第六章-協(xié)議測(cè)試方法學(xué)

網(wǎng)絡(luò)性能評(píng)估與測(cè)試

NetworkPerformanceEvaluationandTesting張新有副教授SichuanNetworkCommunicationKeyTechnologyLaboratoryxyzhang@87601745-6042023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試26.1協(xié)議測(cè)試概述6.2協(xié)議一致性測(cè)試

★6.3協(xié)議互操作測(cè)試6.4協(xié)議性能測(cè)試6.5協(xié)議魯棒性測(cè)試6.6協(xié)議測(cè)試技術(shù)的發(fā)展第6講：協(xié)議測(cè)試方法學(xué)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試3

網(wǎng)絡(luò)測(cè)試以軟件測(cè)試技術(shù)為基礎(chǔ)，但又有不同之處：1)網(wǎng)絡(luò)測(cè)試以網(wǎng)絡(luò)協(xié)議與服務(wù)規(guī)范為基礎(chǔ)，而非軟件需求說明書；2)網(wǎng)絡(luò)層次結(jié)構(gòu)形成了復(fù)雜的測(cè)試體系；3)除軟件測(cè)試的概念外，強(qiáng)調(diào)協(xié)議測(cè)試概念：性能測(cè)試PerformanceTesting、一致性測(cè)試ConformanceTesting、互操作測(cè)試InteroperabilityTesting，魯棒性測(cè)試。根據(jù)測(cè)試對(duì)象不同，網(wǎng)絡(luò)測(cè)試有單品測(cè)試，系統(tǒng)測(cè)試；系統(tǒng)測(cè)試又分端系統(tǒng)測(cè)試，中繼系統(tǒng)測(cè)試等分類。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試4關(guān)于網(wǎng)絡(luò)測(cè)試的理解：1）同軟件測(cè)試一樣，網(wǎng)絡(luò)測(cè)試不能保證通過測(cè)試的設(shè)備沒有錯(cuò)誤與故障，更不能因此證明通過測(cè)試的設(shè)備內(nèi)部協(xié)議本身的正確性。協(xié)議的正確性驗(yàn)證屬于協(xié)議工程的研究內(nèi)容，需要形式化(Formal)的協(xié)議驗(yàn)證(ProtocolVerification)技術(shù)和工具來完成。2）網(wǎng)絡(luò)測(cè)試結(jié)果受使用的測(cè)試方法、測(cè)試系統(tǒng)的好壞、測(cè)試條件、測(cè)試控制數(shù)據(jù)的完整程度影響。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試56.1協(xié)議測(cè)試概述1、協(xié)議測(cè)試是協(xié)議工程的一個(gè)重要組成部分。隨著網(wǎng)絡(luò)應(yīng)用的增加和QoS要求的提高，網(wǎng)絡(luò)系統(tǒng)的復(fù)雜性在協(xié)議方面體現(xiàn)出分布性、并發(fā)性、異步性、不穩(wěn)定性和多樣性，采用直覺方法進(jìn)行協(xié)議設(shè)計(jì)，在完整性、正確性、安全性、可移植性和標(biāo)準(zhǔn)化等都難以得到保證。因此需要合適的方法、技術(shù)和輔助工具，協(xié)議工程(ProtocolEngineering)產(chǎn)生。

它用形式化的方法描述在協(xié)議中的各個(gè)活動(dòng)，用一套嚴(yán)格的方法，使協(xié)議開發(fā)的整個(gè)過程一體化、系統(tǒng)化和形式化，以便提高協(xié)議的開發(fā)效率，促進(jìn)標(biāo)準(zhǔn)化協(xié)議實(shí)現(xiàn)，提高網(wǎng)絡(luò)軟件的可靠性和可維護(hù)性。協(xié)議測(cè)試是協(xié)議工程中一個(gè)很重要的部分。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試6協(xié)議工程方法：（1）分析分布式用戶的應(yīng)用需求，建立文檔。（2）設(shè)計(jì)協(xié)議分層的體系結(jié)構(gòu)，滿足需求。（3）定義協(xié)議分層結(jié)構(gòu)中各層的服務(wù)：整體描述，定義服務(wù)原語序列集合和服務(wù)原語在使用者接口處的關(guān)系；整體描述的逐步求精，即定義準(zhǔn)確的且與實(shí)現(xiàn)無關(guān)的接口。（4）描述分層結(jié)構(gòu)的各層協(xié)議或協(xié)議類，包括在服務(wù)描述求精過程中為每個(gè)服務(wù)使用者定義一個(gè)協(xié)議機(jī)。在這個(gè)階段應(yīng)進(jìn)行協(xié)議驗(yàn)證和性能評(píng)價(jià)；然后建立實(shí)現(xiàn)描述。（5）由實(shí)現(xiàn)描述產(chǎn)生目標(biāo)實(shí)現(xiàn)的編碼。（6）進(jìn)行協(xié)議的測(cè)試調(diào)試，嚴(yán)格測(cè)試協(xié)議的實(shí)現(xiàn)，確認(rèn)是否符合協(xié)議描述要求和錯(cuò)誤是否被糾正。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試7協(xié)議開發(fā)過程：圖1協(xié)議開發(fā)過程（生命期）2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試8研究協(xié)議測(cè)試的目的是為了保證一個(gè)標(biāo)準(zhǔn)化協(xié)議的不同實(shí)現(xiàn)之間能夠成功地進(jìn)行通信。一般說來，協(xié)議標(biāo)準(zhǔn)是使用自然語言描述的，實(shí)現(xiàn)人員對(duì)于協(xié)議的不同理解可能會(huì)導(dǎo)致不同的協(xié)議實(shí)現(xiàn)，甚至出現(xiàn)錯(cuò)誤的實(shí)現(xiàn)。即便協(xié)議實(shí)現(xiàn)正確，也不能保證不同的實(shí)現(xiàn)彼此之間能夠準(zhǔn)確無誤地通信，而且同一協(xié)議的不同實(shí)現(xiàn)其性能也有差別。因此，需要一種有效的方法來對(duì)協(xié)議實(shí)現(xiàn)進(jìn)行判別，以驗(yàn)證協(xié)議實(shí)現(xiàn)與協(xié)議標(biāo)準(zhǔn)之間、協(xié)議實(shí)現(xiàn)與協(xié)議實(shí)現(xiàn)之間的等價(jià)性，這就是”協(xié)議測(cè)試”。2、協(xié)議測(cè)試的目的2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試9協(xié)議測(cè)試是用測(cè)試的方法執(zhí)行一組目的明確的測(cè)試用例，進(jìn)而觀察被測(cè)實(shí)現(xiàn)（IUT：ImplementationUnderTest）的輸出行為，并分析測(cè)試結(jié)果，對(duì)協(xié)議實(shí)現(xiàn)進(jìn)行評(píng)價(jià)，判斷IUT的功能或性能是否滿足協(xié)議或用戶的規(guī)定。

協(xié)議測(cè)試是一種黑盒測(cè)試，它依據(jù)協(xié)議標(biāo)準(zhǔn)來控制觀察被測(cè)試協(xié)議實(shí)現(xiàn)的外部行為，而后對(duì)被測(cè)協(xié)議實(shí)現(xiàn)進(jìn)行測(cè)試。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試10協(xié)議測(cè)試主要有四種：一致性測(cè)試、性能測(cè)試、互操作性測(cè)試、魯棒性測(cè)試。(1)一致性測(cè)試(ConformanceTesting):一致性測(cè)試是協(xié)議測(cè)試的基礎(chǔ)，用于檢測(cè)所實(shí)現(xiàn)的系統(tǒng)(IUT)與協(xié)議現(xiàn)范描述的符合程度；

(2)性能測(cè)試(PerformanceTesting):檢測(cè)協(xié)議實(shí)體或系統(tǒng)的性能指標(biāo)(數(shù)據(jù)傳輸率、聯(lián)接時(shí)問、執(zhí)行速度。吞吐量、井發(fā)度等)。性能測(cè)試是用實(shí)驗(yàn)的方法來觀測(cè)被測(cè)協(xié)議實(shí)現(xiàn)的各種性能參數(shù)，如吞吐量和傳輸延遲等等，其結(jié)果往往與輸入負(fù)載有關(guān)。3、協(xié)議測(cè)試的內(nèi)容2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試11

(2)互操作性測(cè)試(InteroperabilityTesting):檢測(cè)同一協(xié)議的不同實(shí)現(xiàn)版本之間、同一類協(xié)議(電子郵件協(xié)議X.400和SMTP)不同實(shí)現(xiàn)版本之間互通能力和互連操作能力；

(3)魯棒性測(cè)試(RobustnessTesting):檢測(cè)協(xié)議實(shí)體或系統(tǒng)在各種惡劣環(huán)境下運(yùn)行的能力(信道被切斷、掉電、注入干擾報(bào)文等)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試124、協(xié)議測(cè)試的基礎(chǔ)知識(shí)LayerNEntitiesLayerNEntitiesLayerNProtocolN-PDU……N-PDUN-ServicePrimitiveN-ServicePrimitive(N-1)-ServicePrimitive(N-1)-ServicePrimitive(N)-SAP(ServiceAccessPoint)(N-1)-SAP(ServiceAccessPoint)1）OSI/RM體系結(jié)構(gòu)的基本概念：協(xié)議(Protocol)；服務(wù)(Service)；SAP(ServiceAccessPoint)；抽象服務(wù)原語(AbstractServicePrimitive)；PDU(ProtocolDataUnit)；SDU(ServiceDataUnit)；N-PDU=(N-1)SDU2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試132）服務(wù)原語的概念

服務(wù)原語(Primitive)用來描述某層提供服務(wù)的方法,并規(guī)定通過服務(wù)訪問點(diǎn)SAP所必需傳遞的信息，供服務(wù)用戶訪問該服務(wù)。ISO/OSI定義的服務(wù)原語劃分四種類型：

①Request:服務(wù)用戶向服務(wù)提供者請(qǐng)求特定的服務(wù)。如建立連接，發(fā)送數(shù)據(jù)，結(jié)束連接等請(qǐng)求。

②Indication:服務(wù)提供者向服務(wù)用戶提示某種狀態(tài)，如連接請(qǐng)求，接收數(shù)據(jù)，連接結(jié)束等指示。

③Response:服務(wù)用戶響應(yīng)先前的Indication，如接受連接的Indication。④Confirmation:服務(wù)提供者報(bào)告先前請(qǐng)求成功否。原語通知服務(wù)提供者采取某些行動(dòng)(Request和Response)，或報(bào)告某對(duì)等實(shí)體已采取的行動(dòng)(Indication和Confirm)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試14服務(wù)原語的概念2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試15打電話邀請(qǐng)朋友參加聚會(huì)

(1)建立連接：有確認(rèn)

CONNECT.request：發(fā)送方發(fā)出建立連接的請(qǐng)求

CONNECT.indication：接收方收到有人請(qǐng)求建立連接的指示

CONNECT.response：接收方表示允許/拒絕建立連接的響應(yīng)

CONNECT.confirm：發(fā)送方收到請(qǐng)求建立連接的確認(rèn)

(2)數(shù)據(jù)傳輸：無確認(rèn)

DATA.request：請(qǐng)求發(fā)送數(shù)據(jù)

DATA.indication：表示數(shù)據(jù)的到達(dá)

(3)拆除連接：無確認(rèn)

DISCONNECT.request：請(qǐng)求拆除連接

DISCONNECT.indication：表示請(qǐng)求拆除連接的到達(dá)

一個(gè)采用面向連接服務(wù)的數(shù)據(jù)傳輸原語示例：2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試16

①

CONNECT.request：

撥朋友的電話號(hào)碼

②

CONNECT.indication：

朋友家的電話鈴響了

③

CONNECT.response：

朋友拿起了電話

④

CONNECT.confirm：

你聽到了電話振鈴?fù)Ｖ?/p>

⑤

DATA.request：

你邀請(qǐng)朋友來參加生日聚會(huì)

⑥

DATA.indication：

朋友聽到了你的要求

⑦

DATA.request：

朋友表示很高興來

⑧

DATA.indication：

你聽到朋友接受了邀請(qǐng)

⑨

DISCONNECT.request：

你掛斷電話

⑩

DISCONNECT.indication：

朋友聽到了掛斷聲，也掛斷了電話打電話邀請(qǐng)朋友參加聚會(huì)要用到以下原語：

2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試17

“狀態(tài)變遷圖”可以描述在服務(wù)訪問點(diǎn)SAP的服務(wù)原語交換關(guān)系和協(xié)議實(shí)體狀態(tài)變遷關(guān)系；OSI/RM對(duì)單層/多層實(shí)體的行為(Action/Behavior)的描述，是通過在特定的協(xié)議狀態(tài)(Protocolstate)下，內(nèi)部事件(Event)(例如：某時(shí)鐘超時(shí))與外部事件(收到上下服務(wù)界面原語、協(xié)議數(shù)據(jù)單元-PDU)和內(nèi)外部行動(dòng)及協(xié)議狀態(tài)來描述。3）狀態(tài)變遷圖2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試18下圖為上層實(shí)體利用N層實(shí)體提供服務(wù)時(shí)，N層實(shí)體作為連接請(qǐng)求方，成功建立連接過程中，外部網(wǎng)絡(luò)服務(wù)原語與N層協(xié)議實(shí)體之間的交互示意圖。如果不考慮建立連接時(shí)的超時(shí)時(shí)鐘事件。

1)請(qǐng)分別列出在這一過程中對(duì)于N層協(xié)議實(shí)體來說，哪些是事件？哪些是實(shí)體采取的行為？這一過程涉及幾個(gè)協(xié)議狀態(tài)。

2)請(qǐng)用狀態(tài)變遷圖的方式描述相關(guān)的協(xié)議狀態(tài)變遷過程。(提示：在表示狀態(tài)間變遷的箭頭線旁，請(qǐng)用：Event/Behavior(Action)描述該條件下的事件/行為關(guān)系)狀態(tài)變遷圖示例：2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試19

1)凡指向協(xié)議實(shí)體的箭頭所代表的協(xié)議數(shù)據(jù)單元或服務(wù)原語都是該協(xié)議狀態(tài)變遷過程中的事件(Event)，即協(xié)議實(shí)體收到的信息(N-ConnectRequest和CallConnected)；凡離開協(xié)議實(shí)體的箭頭所代表的協(xié)議數(shù)據(jù)單元或服務(wù)原語都是該協(xié)議狀態(tài)變遷過程中的行為(Action)，即協(xié)議實(shí)體發(fā)出的原語或協(xié)議數(shù)據(jù)單元(CallRequest和N-ConnectConfirm)；

該過程涉及3個(gè)狀態(tài)：初始狀態(tài)(S0)、連接建立等待狀態(tài)(S1)和數(shù)據(jù)傳輸狀態(tài)(S2)。

2)Event/ActionN-ConnectConfirm/CallConnectedN-ConnectRequest/CallRequest初始狀態(tài)（S0）連接建立等待狀態(tài)（S1）數(shù)據(jù)傳輸狀態(tài)（S2）參考答案：2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試206.2協(xié)議一致性測(cè)試6.2.1一致性測(cè)試的概念6.2.2一致性測(cè)試原理(ISO/IEC9646)6.2.3一致性測(cè)試方法(端系統(tǒng)和中繼系統(tǒng))6.2.4抽象測(cè)試集(ATS)6.2.5一致性測(cè)試流程2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試21協(xié)議的一致性測(cè)試是一種功能性的黑盒測(cè)試，它根據(jù)協(xié)議的標(biāo)準(zhǔn)文本描述對(duì)協(xié)議的某個(gè)實(shí)現(xiàn)進(jìn)行測(cè)試，以判別此實(shí)現(xiàn)與所對(duì)應(yīng)的協(xié)議標(biāo)準(zhǔn)是否一致。協(xié)議一致性測(cè)試實(shí)質(zhì)上是利用一組測(cè)試序列，在一定的網(wǎng)絡(luò)環(huán)境下，對(duì)被測(cè)實(shí)現(xiàn)(IUT)進(jìn)行黑盒測(cè)試，通過比較IUT的實(shí)際輸出與預(yù)期輸出的異同，判定IUT在多大程度上與協(xié)議標(biāo)準(zhǔn)描述相一致，以確定通過一致性測(cè)試的IUT在互聯(lián)時(shí)成功率的高低。6.2.1一致性測(cè)試概念2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試22

一致性測(cè)試是是協(xié)議測(cè)試的基礎(chǔ)，只有符合協(xié)議規(guī)范的協(xié)議實(shí)現(xiàn)才有效。隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和應(yīng)用的發(fā)展，網(wǎng)絡(luò)協(xié)議日益趨向復(fù)雜，一致性測(cè)試是保證協(xié)議實(shí)現(xiàn)質(zhì)量的一個(gè)必需而且十分重要的手段。

一致性測(cè)試是協(xié)議測(cè)試技術(shù)的研究重點(diǎn)。目前一致性測(cè)試已不僅是產(chǎn)品開發(fā)研制過程中一個(gè)簡(jiǎn)單的支撐過程，而且發(fā)展成為網(wǎng)絡(luò)技術(shù)的一個(gè)重要分支。對(duì)一致性測(cè)試的研究將直接影響到網(wǎng)絡(luò)技術(shù)的進(jìn)步和網(wǎng)絡(luò)市場(chǎng)的競(jìng)爭(zhēng)與發(fā)展。因此吸引了眾多研究機(jī)構(gòu)投入了大量的人力物力從事這一方面的研究和實(shí)踐工作，已經(jīng)取得了一定的成果。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試236.2.2一致性測(cè)試原理1、一致性測(cè)試標(biāo)準(zhǔn)：ISO/IEC9646協(xié)議一致性測(cè)試技術(shù)經(jīng)過十幾年的發(fā)展，在許多方面取得了很大的進(jìn)展。90年代ISO制定了一套國際標(biāo)準(zhǔn)—ISO/IEC9646(CMTF:

一致性測(cè)試方法和框架)，該標(biāo)準(zhǔn)描述了一個(gè)通用的方法學(xué)，用以測(cè)試一個(gè)聲稱實(shí)現(xiàn)了某一協(xié)議的產(chǎn)品與相應(yīng)的協(xié)議標(biāo)準(zhǔn)的一致性。我國工信部也制訂了部分一致性測(cè)試標(biāo)準(zhǔn)(YD/T1251)。ISO/IEC9646為協(xié)議一致性測(cè)試提供了基本方法和框架，為測(cè)試集制定了設(shè)計(jì)步驟和描述方法。ISO/IEC9646包括七個(gè)部分:2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試24ISO/IEC9646-1基本概念(Generalconcepts)ISO/IEC9646-2抽象測(cè)試集規(guī)范(ATS:AbstractTestSuiteSpecification)ISO/IEC9646-3樹表結(jié)合表示符號(hào)語言(TTCN:TreeandTabularCombinedNotation)ISO/IEC9646-4測(cè)試實(shí)現(xiàn)(TestRealization)ISO/IEC9646-5一致性判定過程對(duì)測(cè)試實(shí)驗(yàn)室和客戶的要求(RequirementsonTestLaboratoriesandClientsfortheConformanceAssessmentProcess)ISO/IEC9646-6協(xié)議子集測(cè)試規(guī)范(ProtocolProfileTestSpecification)ISO/IEC9646-7協(xié)議實(shí)現(xiàn)一致性聲明

(ImplementationConformanceStatements)ISO/IEC9646內(nèi)容CTMF

(ConformanceTestingMethodologyandFramework)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試25在ISO/IEC9646中，一致性的協(xié)議實(shí)現(xiàn)(IUT)應(yīng)該滿足所有在協(xié)議規(guī)范中顯式表達(dá)的一致性要求，而一致性要求規(guī)定了一個(gè)一致性的協(xié)議實(shí)現(xiàn)應(yīng)該做什么，不應(yīng)該做什么。通常協(xié)議規(guī)范的要求可以分為三類：

(1)必備要求：要求在所有的實(shí)現(xiàn)中都是可觀察到的；

(2)條件要求：只有當(dāng)標(biāo)準(zhǔn)中的特殊條件滿足時(shí)才可觀察到；

(3)選擇要求：為協(xié)調(diào)實(shí)現(xiàn)而可以選擇的要求，由實(shí)現(xiàn)者來選擇。2、協(xié)議的一致性要求2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試26由于大量可選功能實(shí)現(xiàn)的存在，不同的協(xié)議實(shí)現(xiàn)者對(duì)同一協(xié)議標(biāo)準(zhǔn)的各個(gè)實(shí)現(xiàn)的功能可能不完全一致，有些可選功能既可實(shí)現(xiàn)，也可不實(shí)現(xiàn)。因此協(xié)議實(shí)現(xiàn)者應(yīng)向測(cè)試方提供協(xié)議實(shí)現(xiàn)一致性聲明(PICS)，說明所有己實(shí)現(xiàn)的功能，從而使得測(cè)試人員知道需要進(jìn)行何種測(cè)試。測(cè)試實(shí)驗(yàn)室除了由PICS提供的信息外，還需IUT和其測(cè)試環(huán)境相關(guān)的信息，即協(xié)議實(shí)現(xiàn)附加說明(PIXIT,ProtocolImplementationExtraInformationStatement)。在PIXIT中提供了測(cè)試時(shí)必須標(biāo)明的協(xié)議參數(shù)，它作為測(cè)試集的一部分提出。協(xié)議實(shí)現(xiàn)一致性聲明(PICS，ProtocolImplementConformanceStatements)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試27因而在協(xié)議標(biāo)準(zhǔn)中定義的一致性測(cè)試要求分為兩組：

(1)靜態(tài)一致性要求：規(guī)定了網(wǎng)絡(luò)互連所規(guī)定的最小能力和對(duì)可選功能進(jìn)行選擇時(shí)應(yīng)遵從的約束。它規(guī)定了一個(gè)協(xié)議實(shí)現(xiàn)所應(yīng)提供的最低功能及不同可選功能之間的組合性與一致性。

(2)動(dòng)態(tài)一致性要求：構(gòu)成協(xié)議標(biāo)準(zhǔn)的主體，它定義了協(xié)議實(shí)現(xiàn)和外部環(huán)境進(jìn)行通信時(shí)的全部可觀察行為。因此，對(duì)應(yīng)一致性測(cè)試包括靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試兩類。

(1)靜態(tài)一致性測(cè)試是將協(xié)議實(shí)現(xiàn)者向測(cè)試方提供的“協(xié)議實(shí)現(xiàn)一致性聲明PICS”與協(xié)議規(guī)范中的靜態(tài)一致性要求相比較;(2)動(dòng)態(tài)一致性測(cè)試就是運(yùn)行測(cè)試集對(duì)IUT進(jìn)行測(cè)試。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試283、協(xié)議測(cè)試級(jí)別協(xié)議測(cè)試和其他測(cè)試一樣，一般要分級(jí)進(jìn)行或者說由單元測(cè)試到集成測(cè)試再到系統(tǒng)測(cè)試。針對(duì)協(xié)議實(shí)現(xiàn)的層次結(jié)構(gòu)，ISO9646標(biāo)準(zhǔn)建議了四個(gè)協(xié)議測(cè)試級(jí)別：基本連接測(cè)試(BasicInterconnectionTest)，能力測(cè)試(CapabilityTest)，行為測(cè)試(BehaviorTest)，一致性分解測(cè)試(ConformanceResolutionTest)。

(1)基本連接測(cè)試是檢查IUT是否有最小連接能力，能否接收和發(fā)送數(shù)據(jù)，從而具備進(jìn)一步測(cè)試的條件。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試29

(2)能力測(cè)試是檢查IUT是否符合靜態(tài)一致性要求。

(3)行為測(cè)試是檢查IUT是否符合動(dòng)態(tài)一致性要求，它有分兩級(jí)：覆蓋性測(cè)試(ComprehensiveTesting)和窮盡性測(cè)試(ExhaustiveTesting)。覆蓋性測(cè)試要求測(cè)試序列至少執(zhí)行IUT的所有轉(zhuǎn)化一次，窮盡性測(cè)試要求檢查每個(gè)轉(zhuǎn)換的前后狀態(tài)的一致性。

(4)一致性分解測(cè)試要求測(cè)試執(zhí)行系統(tǒng)對(duì)一致性要求逐項(xiàng)給出判決。由于行為測(cè)試比較復(fù)雜，涉及面廣，因此CTMF建議又將它進(jìn)一步分解為多個(gè)層面。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試30IUT的行為測(cè)試分成B,C,D三大組，每個(gè)大組又分為許多小組(連接建立，數(shù)據(jù)傳輸，連接釋放)。每個(gè)小組的測(cè)試目的可能要由多個(gè)測(cè)試序列(例)來實(shí)現(xiàn)。下面列出這些組的測(cè)試要求。

①

B組(IUT對(duì)合法行為的響應(yīng))：測(cè)試序列及測(cè)試數(shù)據(jù)根據(jù)協(xié)議規(guī)范是合法的；

②

C組(IUT對(duì)語法上不合法行為的響應(yīng))：測(cè)試序列根據(jù)協(xié)議規(guī)范是合法的，測(cè)試數(shù)據(jù)不合法；

③

D組(IUT對(duì)不合法事件的響應(yīng))：異常事件，對(duì)協(xié)議規(guī)范不合法。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試314、一致性測(cè)試系統(tǒng)結(jié)構(gòu)模型在一致性測(cè)試中，一個(gè)被測(cè)對(duì)象IUT是一個(gè)OSI協(xié)議實(shí)體的實(shí)現(xiàn)，IUT所在的系統(tǒng)稱為被測(cè)系統(tǒng)(SUT,SystemUnderTest)。

控制觀察點(diǎn)(PCO,PointsofControlandObservation)是測(cè)試系統(tǒng)和IUT之間的通信點(diǎn)。測(cè)試系統(tǒng)通過PCO訪問IUT，既可對(duì)IUT進(jìn)行通信初始化，也可觀察通信結(jié)果。

Tester和IUT的控制觀察點(diǎn)(PCO)一般定義在相鄰層次的服務(wù)訪問點(diǎn)SAP上。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試32單層/多層協(xié)議實(shí)現(xiàn)下服務(wù)訪問點(diǎn)SAP上服務(wù)訪問點(diǎn)SAP單層/多層協(xié)議實(shí)現(xiàn)服務(wù)訪問點(diǎn)SAP測(cè)試系統(tǒng)被測(cè)系統(tǒng)圖2對(duì)(單層或多層)協(xié)議實(shí)現(xiàn)的觀察點(diǎn)PCO2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試33圖3一致性測(cè)試系統(tǒng)結(jié)構(gòu)模型(抽象測(cè)試系統(tǒng)模型)IUT被測(cè)實(shí)現(xiàn)SUT被測(cè)系統(tǒng)LT下測(cè)試器UT上測(cè)試器PCO控制觀測(cè)點(diǎn)SAP服務(wù)訪問點(diǎn)TCP測(cè)試協(xié)調(diào)過程ASP抽象服務(wù)原語PDU協(xié)議數(shù)據(jù)單元圖3展示了ISO/IEC9646定義的、基于OSI層次模型的協(xié)議一致性測(cè)試系統(tǒng)結(jié)構(gòu)模型和一致性測(cè)試中的一些概念。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試34上層測(cè)試器(UT，UpperTester)和下層測(cè)試器(LT，LowerTester)，分別位于IUT的上側(cè)和下側(cè)PCO，通過PCO對(duì)IUT進(jìn)行控制和觀察。通常，LT是遠(yuǎn)程可訪問接口，因此IUT定義一個(gè)遠(yuǎn)端的PCO，即下層接口被設(shè)置在遠(yuǎn)端。通信被認(rèn)為是異步通信，所以在每一個(gè)PCO都對(duì)應(yīng)兩個(gè)FIFO隊(duì)列(輸入/輸出)。在CTMF中，嚴(yán)格區(qū)分上層測(cè)試功能和下層測(cè)試功能，IUT的上層測(cè)試由UT控制，下層測(cè)試由LT控制。在測(cè)試過程中，UT扮演一個(gè)用戶來使用IUT提供的功能，而LT則模仿一個(gè)IUT下層的通信實(shí)體，也就是說，UT與LT的交互是通過IUT來實(shí)現(xiàn)的。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試35IUT和UT、LT之間通過抽象服務(wù)原語(ASP，AbstractServicePrimitives)進(jìn)行通信。概念上看，LT和IUT通過協(xié)議數(shù)據(jù)單元(PDU)交換數(shù)據(jù)；實(shí)際上，PDU采用ASP對(duì)基本服務(wù)動(dòng)作進(jìn)行編碼，即PDU不是直接進(jìn)行交互，而是根據(jù)PDU的編碼進(jìn)行交互，即在一個(gè)抽象測(cè)試中使用PDU進(jìn)行交換，所以ASP與PDU不再加以區(qū)分。測(cè)試協(xié)調(diào)過程TCP(TCP，TestCoordinationProcedures)負(fù)責(zé)協(xié)調(diào)LT和UT的動(dòng)作，這在LT和UT是兩個(gè)獨(dú)立的過程時(shí)十分必要。圖3中僅表現(xiàn)了一致性測(cè)試方法框架的概念結(jié)構(gòu)，實(shí)際中的測(cè)試系統(tǒng)可根據(jù)采用的測(cè)試方法的不同有相應(yīng)的變化。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試36一致性測(cè)試---抽象測(cè)試系統(tǒng)模型抽象測(cè)試系統(tǒng)模型簡(jiǎn)化2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試37圖4是一個(gè)基于CTMF的IUT測(cè)試狀態(tài)變遷圖。一個(gè)IUT首先由測(cè)試用例的觸發(fā)條件激活，并從穩(wěn)定狀態(tài)進(jìn)入到被測(cè)狀態(tài)；經(jīng)過測(cè)試用例在測(cè)試體中運(yùn)行，進(jìn)行測(cè)試結(jié)束狀態(tài)；如果執(zhí)行的結(jié)果不相同，則需要經(jīng)檢查過程分析結(jié)果中存在的問題，從而進(jìn)入驗(yàn)證狀態(tài)；根據(jù)檢查結(jié)果提出反饋，進(jìn)入下一輪的測(cè)試階段。如果測(cè)試用例的結(jié)束狀態(tài)相同，則直接進(jìn)入穩(wěn)定狀態(tài)，等待下一次測(cè)試過程。5、IUT測(cè)試狀態(tài)變遷圖2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試38圖4IUT測(cè)試狀態(tài)變遷圖2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試396.2.3一致性測(cè)試方法

抽象測(cè)試模型描述由LT、UT和TCP組成的抽象測(cè)試結(jié)構(gòu)以及它們與測(cè)試系統(tǒng)和SUT的關(guān)系組成。一致性測(cè)試使用在PCO對(duì)被測(cè)實(shí)現(xiàn)的層間ASP和PDU進(jìn)行控制和觀察。根據(jù)被測(cè)對(duì)象不同，一致性測(cè)試的抽象測(cè)試方法分為兩大類：端系統(tǒng)的抽象測(cè)試法和中繼系統(tǒng)的抽象測(cè)試法。抽象測(cè)試模型2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試40ISO/IEC9646根據(jù)Tester和IUT的控制觀察點(diǎn)的不同組合，將端系統(tǒng)抽象測(cè)試方法分為本地測(cè)試法(Location)和外部測(cè)試法(External)。

本地測(cè)試法適合于在產(chǎn)品內(nèi)部測(cè)試；外部測(cè)試法(所謂外部是針對(duì)IUT來講)適合于遠(yuǎn)程的第三方測(cè)試，又可分為分布測(cè)試法(Distributedtest)、協(xié)同測(cè)試法(Coordinatedtest)和遠(yuǎn)程測(cè)試法(Remotetest)三種。這三種外部測(cè)試法假定在IUT的下邊界不存在PCO。1、端系統(tǒng)IUT的抽象測(cè)試方法2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試41該測(cè)試法與傳統(tǒng)軟件測(cè)試相對(duì)應(yīng)。該測(cè)試系統(tǒng)中，測(cè)試執(zhí)行系統(tǒng)UT、LT和IUT在同一系統(tǒng)內(nèi)。其中LT和UT分別對(duì)應(yīng)于IUT的上下接口，作用在IUT上下接口處，并通過交換事件來觀察IUT的行為，測(cè)試協(xié)調(diào)過程(TCP)用于協(xié)調(diào)LT和UT的動(dòng)作(圖5)。1）本地測(cè)試法(LTM:LocaltestMethod)圖5本地測(cè)試法（LTM）2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試42

優(yōu)點(diǎn)：測(cè)試功能最強(qiáng)，能夠全面測(cè)試IUT對(duì)正常事件的反應(yīng)和異常時(shí)間的反應(yīng)；上、下測(cè)試器之間同步與協(xié)調(diào)容易。

缺點(diǎn)：①當(dāng)無法對(duì)IUT的上下邊界進(jìn)行訪問時(shí)，要滿足測(cè)試系統(tǒng)與被測(cè)協(xié)議實(shí)體之間的無縫接合會(huì)有一定的難度。②被測(cè)協(xié)議在和上層協(xié)議及下層協(xié)議之間都需要一個(gè)PCO，這就要求測(cè)試者對(duì)協(xié)議系統(tǒng)的實(shí)現(xiàn)要很了解，并熟悉上下層協(xié)議之間的交互過程，才能正確地設(shè)立控制和觀察點(diǎn)。③只能作為系統(tǒng)開發(fā)時(shí)的內(nèi)部測(cè)試系統(tǒng)使用，工作量大。難以作為第三方測(cè)試的使用技術(shù)。

??能否簡(jiǎn)化？能否將測(cè)試器移出被測(cè)系統(tǒng)？2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試43分布式測(cè)試方法對(duì)應(yīng)的結(jié)構(gòu)中IUT和UT處理同一臺(tái)機(jī)器中，而LT分布在其他的若干臺(tái)機(jī)器中，如圖6所示。LT和IUT借助于(n-1)層服務(wù)交換報(bào)文，它們之間的PCO從IUT轉(zhuǎn)移到LT中。2）分布測(cè)試法(DTM:DistributedtestMethod)圖6分布測(cè)試法2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試44由于UT必須在被測(cè)系統(tǒng)中實(shí)現(xiàn)，因此UT的實(shí)現(xiàn)由兩部分組成：與測(cè)試過程控制有關(guān)部分＋I(xiàn)UT接口適配器(或稱IUT接口部分)。下圖為UT內(nèi)部結(jié)構(gòu)示意圖：UT測(cè)試控制部件(即測(cè)試狀態(tài)控制及UT主動(dòng)測(cè)試控制數(shù)據(jù)與生成測(cè)試應(yīng)答數(shù)據(jù)生成及收發(fā)）IUT上界面內(nèi)部服務(wù)接口適配區(qū)IUT(ImplementationUnderTest)UT上測(cè)試器(UT)的內(nèi)部結(jié)構(gòu)與功能上測(cè)試器UT的實(shí)現(xiàn)問題2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試45

優(yōu)點(diǎn)：實(shí)現(xiàn)了系統(tǒng)分布，使測(cè)試效率有了很大的提高。

缺點(diǎn)：①由于UT和LT分布在不同的機(jī)器中通過IUT間接通信，所以UT和LT之間的同步有一定困難，直接導(dǎo)致測(cè)試執(zhí)行存在難度。有人嘗試提出同步測(cè)試集，就是通過測(cè)試集進(jìn)行同步。但是由于有些協(xié)議并不是嚴(yán)格的同步，因此如果分布測(cè)試結(jié)構(gòu)沒有協(xié)同，任何一個(gè)測(cè)試集都不能保證完整錯(cuò)誤覆蓋。

②由于對(duì)IUT的下服務(wù)訪問點(diǎn)只能進(jìn)行間接訪問，對(duì)下界面異常情況的控制能力下降(較難制造異常情況)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試46為了減少在被測(cè)系統(tǒng)中實(shí)現(xiàn)的上測(cè)試器(UT)的難度，盡量減少其復(fù)雜度，部分犧牲測(cè)試效率，將LT與UT的工作模式改為主從模式，LT為主，UT主要以應(yīng)答為主，改稱測(cè)試應(yīng)答器(TR-TestResponder)。實(shí)例：美國NBS的分布式測(cè)試系統(tǒng)的使用說明中特別強(qiáng)調(diào)，使用該測(cè)試系統(tǒng)必須配備異地專用通信工具——電話，出現(xiàn)問題時(shí)，通知被測(cè)系統(tǒng)方重新啟動(dòng)被測(cè)系統(tǒng)。??如何解決LT與UT間的協(xié)調(diào)同步問題？2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試47有時(shí)，測(cè)試者會(huì)將IUT嵌入一個(gè)復(fù)雜的系統(tǒng)中，但UT不能放到該系統(tǒng)中，這樣就引入了遠(yuǎn)程測(cè)試方法。該測(cè)試方法中沒有UT，因此不需要UT和LT之間的協(xié)同。遠(yuǎn)程方法適用于被動(dòng)式協(xié)議實(shí)體或者服務(wù)型協(xié)議實(shí)體的測(cè)試。在使用這種測(cè)試方法時(shí)，測(cè)試過程都是通過觸發(fā)協(xié)議使之有一定的反饋或者沒有特定的反饋來判定協(xié)議。如圖7，LT和IUT借助于(n-1)層ASP交換報(bào)文，反饋信息由n層的(PDU)實(shí)現(xiàn)。3）遠(yuǎn)程測(cè)試法(RTM)圖7遠(yuǎn)程測(cè)試法2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試48

優(yōu)點(diǎn)：實(shí)現(xiàn)一個(gè)只有LT的測(cè)試系統(tǒng)就能夠?qū)Σ煌到y(tǒng)中的同類IUT進(jìn)行測(cè)試，系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)都相對(duì)簡(jiǎn)單。該測(cè)試方法對(duì)于高層的路由協(xié)議測(cè)試十分有效，并且由于它和DTM一樣都分布在不同的機(jī)器中，可以通過遠(yuǎn)程來訪問。通過這些測(cè)試方法可以建立測(cè)試中心來實(shí)現(xiàn)通過公共數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行協(xié)議一致性測(cè)試。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試49

缺點(diǎn)：①測(cè)試能力有限：由于僅能夠通過在被測(cè)系統(tǒng)外部與IUT下服務(wù)界面上的SAP間接地訪問IUT，因此只能在IUT下界面測(cè)試IUT的正常協(xié)議交互情況，不能測(cè)試違背協(xié)議的異常情況IUT的應(yīng)答與活動(dòng)情況。②由于無上測(cè)試器，只能以IUT上層協(xié)議“代替”。即使該實(shí)現(xiàn)經(jīng)過測(cè)試符合相關(guān)協(xié)議，該“上測(cè)試器”只能發(fā)送和對(duì)IUT的正常行為作應(yīng)答，不能測(cè)試IUT上面的協(xié)議異常應(yīng)答情況。

??能否綜合LTM和RTM的優(yōu)缺點(diǎn)，對(duì)RTM進(jìn)行改進(jìn)?2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試50該方法與分布式測(cè)試方法相似(圖8)。兩者的根本區(qū)別是協(xié)同方法引入了一個(gè)協(xié)同協(xié)議TMP(TestManagementProtocol，測(cè)試管理協(xié)議)，這個(gè)協(xié)議用來協(xié)同或者同步UT和LT。

4）協(xié)同測(cè)試法(CTM:CoordinatedtestMethod)圖8協(xié)同測(cè)試法2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試51

優(yōu)點(diǎn)：引入了協(xié)同協(xié)議TMP，彌補(bǔ)了分布式測(cè)試方法中不能協(xié)同的問題。

缺點(diǎn)：增加了測(cè)試系統(tǒng)的復(fù)雜性。協(xié)同方法測(cè)試案例通過測(cè)試管理協(xié)議TMP的數(shù)據(jù)單元來進(jìn)行協(xié)調(diào)，并且它不能直接使用分布式方法的測(cè)試案例。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試52LTM測(cè)試功能最全面但實(shí)現(xiàn)困難，難以作為第三方測(cè)試的技術(shù)；RTM實(shí)現(xiàn)簡(jiǎn)單，但測(cè)試能力太弱，只能作被動(dòng)測(cè)試(監(jiān)測(cè))或簡(jiǎn)單測(cè)試的手段；改進(jìn)后的DTM，即CTM，功能居中，但UT器的復(fù)雜性使系統(tǒng)間移植有一定的難度。新的出路在何方？ISO定義的4種抽象測(cè)試法小結(jié)

2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試531)對(duì)ISO四種抽象測(cè)試法的分析要能夠?qū)Ρ粶y(cè)協(xié)議實(shí)現(xiàn)進(jìn)行全面的測(cè)試，就必須能夠直接對(duì)IUT的上下服務(wù)接口進(jìn)行直接的訪問，直接在服務(wù)訪問點(diǎn)注入測(cè)試控制數(shù)據(jù)和觀察被測(cè)對(duì)象的應(yīng)答，以此全面評(píng)估IUT的協(xié)議活動(dòng)是否符合相關(guān)協(xié)議標(biāo)準(zhǔn)。而長期以來人們的認(rèn)識(shí)是：要這樣做就只有將全部測(cè)試系統(tǒng)放置在被測(cè)系統(tǒng)之中。

2、鉗形渡口測(cè)試法(Ferry-ClipTestMethod)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試54

在英國國家物理實(shí)驗(yàn)室(NationalPhysicalLaboratory)工作期間，在分析各類測(cè)試方法和實(shí)現(xiàn)各方法的典型系統(tǒng)的基礎(chǔ)上，Zeng意識(shí)到應(yīng)當(dāng)將復(fù)雜的測(cè)試功能與服務(wù)接口適配功能分離，將數(shù)據(jù)傳回外部的測(cè)試系統(tǒng)進(jìn)行復(fù)雜的處理。這就是“渡船”(Ferry)概念提出的背景。受人或汽車借用“渡船”過河的簡(jiǎn)單實(shí)事的啟發(fā)，提出在測(cè)試系統(tǒng)與被測(cè)系統(tǒng)間利用“渡船通道”，將外測(cè)試系統(tǒng)向IUT注入測(cè)試控制數(shù)據(jù)和將IUT應(yīng)答信息返回外測(cè)試器進(jìn)行復(fù)雜處理的問題。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試55①早期的“渡船測(cè)試法”是針對(duì)協(xié)同測(cè)試法提出來的。圖9用渡船測(cè)試法取代協(xié)同測(cè)試法與IUT支撐層的對(duì)等實(shí)體與IUT支撐層的對(duì)等實(shí)體IUT的下服務(wù)訪問點(diǎn)SAPIUT(ImplementationUnderTest)被測(cè)系統(tǒng)下測(cè)試器

(LT）外部測(cè)試系統(tǒng)上測(cè)試器

(UT）主渡口從渡口接口適配區(qū)上測(cè)試器收發(fā)的數(shù)據(jù)渡船通道IUT的上服務(wù)訪問點(diǎn)SAP2)“渡船”測(cè)試法(FerryTestMethod)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試56②“鉗形渡口”(FerryClip)與用“鉗形渡口測(cè)試法”(Ferry-ClipTestMethod)替代四種抽象測(cè)試法。圖10用鉗形渡口測(cè)試法取代ISO四種測(cè)試法下接口適配區(qū)與IUT支撐層的對(duì)等實(shí)體IUT的下服務(wù)訪問點(diǎn)SAPIUT被測(cè)系統(tǒng)下測(cè)試器

(LT）外部測(cè)試系統(tǒng)上測(cè)試器

(UT）主“鉗形”渡口從“鉗形”渡口上接口適配區(qū)上、下測(cè)試器收發(fā)的數(shù)據(jù)渡船通道IUT的上服務(wù)訪問點(diǎn)SAP2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試57③

渡船測(cè)試法和鉗形渡口測(cè)試法后被ISO相關(guān)工作組列入端系統(tǒng)的測(cè)試方法。后作為實(shí)現(xiàn)ISO四種抽象測(cè)試方法的通用實(shí)現(xiàn)方法。④中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所在兩項(xiàng)國家自然科學(xué)基金項(xiàng)目、一項(xiàng)“七五”攻關(guān)項(xiàng)目、一項(xiàng)中科院院長基金項(xiàng)目和兩項(xiàng)四川省應(yīng)用基礎(chǔ)項(xiàng)目的支持下，經(jīng)過7年的努力，以鉗形渡口測(cè)試法為基礎(chǔ)研究發(fā)的OSI傳送層協(xié)議測(cè)試系統(tǒng)獲中國科學(xué)院科技進(jìn)步一等獎(jiǎng)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試583、中繼系統(tǒng)IUT的抽象測(cè)試方法1)中間/中繼系統(tǒng)測(cè)試的特點(diǎn)①中間/中繼系統(tǒng)的ConformanceTesting原則上可參照端系統(tǒng)的測(cè)試。I/O單元的單層測(cè)試通常在開發(fā)階段進(jìn)行，第三方測(cè)試通常不采用，原因：一是I/O單元分別涉及兩組協(xié)議棧，二是其大量協(xié)議行為定義為外部可觀察特征。②用戶數(shù)據(jù)平臺(tái)更關(guān)注其轉(zhuǎn)發(fā)/中繼性能指標(biāo)。性能指標(biāo)是路由器/交換機(jī)測(cè)試的重要組成部分（基準(zhǔn)測(cè)試）。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試59③多端口間的并發(fā)數(shù)據(jù)流到達(dá)規(guī)律、轉(zhuǎn)發(fā)規(guī)律(與路徑表、交換表和路徑算法有關(guān))對(duì)性能影響，要求測(cè)試系統(tǒng)：能對(duì)多個(gè)輸入、輸出端口同時(shí)進(jìn)行測(cè)試(多點(diǎn)并發(fā)測(cè)試控制)。能夠模擬網(wǎng)絡(luò)數(shù)據(jù)流的到達(dá)規(guī)律(數(shù)據(jù)流生成器)。能夠?qū)Χ鄠€(gè)端口間數(shù)據(jù)到達(dá)規(guī)律進(jìn)行協(xié)調(diào)和控制(測(cè)試控制協(xié)調(diào))。能夠模擬路徑選擇協(xié)議對(duì)性能的影響(能夠?qū)β窂奖硎┘佑绊?。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試60

④路由器是多個(gè)多層結(jié)構(gòu)互聯(lián)而成的設(shè)備，是多個(gè)輸入輸出間的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備，出于以下的考慮，對(duì)路由器的測(cè)試通常不采用分層測(cè)試：

標(biāo)準(zhǔn)化機(jī)構(gòu)未對(duì)中繼系統(tǒng)中繼功能(RelayFunction)提供任何規(guī)范，而由產(chǎn)品生產(chǎn)廠家自己決定，因而對(duì)該功能的測(cè)試缺乏依據(jù)。例如，路由器是N×N的轉(zhuǎn)發(fā)設(shè)備，與傳統(tǒng)交換層相關(guān)的協(xié)議的描述為1×1關(guān)系。

盡管路由器涉及多個(gè)多層結(jié)構(gòu)的實(shí)現(xiàn)，出于轉(zhuǎn)發(fā)效率考慮各層間界面不清晰，很難找到可直接訪問的界面。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試61

從使用者的角度，更關(guān)心中繼層PDU實(shí)際轉(zhuǎn)發(fā)效率(也即設(shè)備性能），因此可從設(shè)備外部進(jìn)行觀測(cè)。

ISO9646為Conformancetest定義的開放中繼系統(tǒng)的抽象測(cè)試方法包括兩類：

回環(huán)測(cè)試方法和穿越測(cè)試方法。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試622)回環(huán)測(cè)試方法(Loop-backTestMethod)

回環(huán)測(cè)試方法只需要一個(gè)測(cè)試器，但要求在被測(cè)實(shí)現(xiàn)的系統(tǒng)內(nèi)部或外部鏈路上實(shí)現(xiàn)回環(huán)，而且其測(cè)試能力過于簡(jiǎn)單，因而不夠?qū)嵱?。另外，被測(cè)中繼系統(tǒng)只有一端的行為被直接觀察到，而另一端的行為不能被正確地評(píng)價(jià)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試63(b)回環(huán)測(cè)試法控制觀察點(diǎn)(N)-PDU測(cè)試器控制部件

測(cè)試支撐層（N-1層服務(wù)提供者）N層協(xié)議實(shí)現(xiàn)＋N-中繼功能(N-1)-SAP被測(cè)路由器(RUT)PCO測(cè)試器2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試64優(yōu)點(diǎn)：簡(jiǎn)單缺點(diǎn)：由于路徑表在輸入單元，由于測(cè)試器與路由器被測(cè)端口在同一子網(wǎng)段，查表后自動(dòng)返回測(cè)試器，不能測(cè)試路由器的實(shí)際轉(zhuǎn)發(fā)功能。也難以測(cè)試到路徑表的其他表項(xiàng)的正確與否。回環(huán)測(cè)試法的利弊：2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試65

穿越測(cè)試方法能夠測(cè)試中繼系統(tǒng)的全部中繼功能，但需要至少兩個(gè)測(cè)試系統(tǒng)。各測(cè)試系統(tǒng)之間的協(xié)調(diào)是實(shí)現(xiàn)穿越測(cè)試方法的難點(diǎn)，穿越測(cè)試方法則使被測(cè)中繼系統(tǒng)在平常的操作模式下得到測(cè)試，在兩端的行為都能夠觀察到。3)穿越測(cè)試方法(TTM-TransverseTestMethod)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試66

測(cè)試器1測(cè)試器2(d)穿越測(cè)試法示意圖被測(cè)路由器測(cè)試器2測(cè)試器1測(cè)試支撐層（N-1層服務(wù)提供者)測(cè)試控制PCO1測(cè)試控制PCO2(N)-PDU(N)-PDU中繼功能（路徑選擇）IP協(xié)議IP協(xié)議(N-1)-SAP(N-1)-SAP測(cè)試同步手段2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試67優(yōu)點(diǎn)：能夠模擬路由器一對(duì)端口間的正常工作狀況，包括中繼功能；一對(duì)測(cè)試器在同一雙端口測(cè)試系統(tǒng)中容易實(shí)現(xiàn)。缺點(diǎn)：不能同時(shí)測(cè)試多個(gè)端口間的相互影響；盡管可以用多個(gè)雙端口測(cè)試系統(tǒng)性能測(cè)試同時(shí)測(cè)試，但多個(gè)雙端口測(cè)試器間的同步控制困難；現(xiàn)代路由器/交換機(jī)可能有數(shù)十，上百個(gè)端口，很難在同一系統(tǒng)中實(shí)現(xiàn)。穿越測(cè)試法(TransverseTestMethod)的利弊分析2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試68①端系統(tǒng)(End-System)

7/5層結(jié)構(gòu)；對(duì)其測(cè)試更關(guān)注Conformance。通過對(duì)測(cè)試對(duì)象(單/多層協(xié)議實(shí)現(xiàn))的上下服務(wù)接口的“SAP”直接/間接觀測(cè)進(jìn)行測(cè)試。LocalTestMethod(內(nèi)部直接觀察控制)：N-SAP(可直接訪)+(N-i)-SAP(直接可訪)RemoteTestMethod(外部間接觀察控制):N-SAP(不可訪)+(N-i)-SAP(可間接訪）Distributed/CoordinatedTestMethod(內(nèi)外結(jié)合的觀測(cè)控制)：

N-SAP(可直接訪)+(N-i)-SAP(間接可訪)

下測(cè)試(LowerTester)在所有方法中都需要，即在被測(cè)系統(tǒng)外部間接觀察控制被測(cè)對(duì)象IUT的下界面(N-i)-SAP。IUT(ImplementationUnderTest)N-SAP(N-i)-SAP4、一致性測(cè)試總結(jié)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試69②中繼/中間系統(tǒng)(Relay/IntermediateSystem)用戶平臺(tái)(U-Platform):最多下三層,測(cè)試更關(guān)注Performance?？刂乒芾砥脚_(tái)(S&M-Platform):7/5層，測(cè)試更關(guān)注Conformance。兩個(gè)平臺(tái)的測(cè)試都采用類似于測(cè)試端系統(tǒng)的RTM，即通過外部(N-i)-SAP間接觀察控制，N-SAP不觀察控制)。大量使用穿越測(cè)試法：對(duì)一對(duì)/多對(duì)端口進(jìn)行測(cè)試；回環(huán)測(cè)試法因功能受限，很少用作正式測(cè)試方法。只需要下測(cè)試器(LowerTester)。③結(jié)論：所有測(cè)試至少需要下測(cè)試器！2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試701）下測(cè)試器功能①下測(cè)試器與被測(cè)對(duì)象在協(xié)議層次上的關(guān)系被測(cè)協(xié)議實(shí)現(xiàn)(IUT)的對(duì)等實(shí)體，即(N-i)到N層協(xié)議的實(shí)現(xiàn)。通過自身的(N-i)-SAP間接觀察控制IUT的行為，即它需要有(N-i)-Service的支持。②下測(cè)試器功能需求下測(cè)試器必須有從物理層到(N-i)層協(xié)議的正確實(shí)現(xiàn)(測(cè)試支撐平臺(tái))，以便利用(N-i)層服務(wù)傳送測(cè)試控制數(shù)據(jù)。(測(cè)試支撐平臺(tái))下測(cè)試必須具有IUT對(duì)等實(shí)體的協(xié)議功能，能生成IUT相關(guān)協(xié)議的協(xié)議數(shù)據(jù)單元(PDU)。(正常測(cè)試數(shù)據(jù)生成)5、下測(cè)試器(LT)功能與組成2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試71其行為必須能夠支持IUT相關(guān)協(xié)議規(guī)定的正常協(xié)議行為，同時(shí)還需要根據(jù)需要生成異常情況的數(shù)據(jù)單元。(測(cè)試異常情況所需測(cè)試數(shù)據(jù)的生成)如果IUT是多層協(xié)議實(shí)現(xiàn)(N層至應(yīng)用層)，下測(cè)試器必須具備相應(yīng)的協(xié)議功能和(N-i)-Service平臺(tái)，在這種情況下，被測(cè)對(duì)象變?yōu)槎鄬訌?fù)雜的協(xié)議組合測(cè)試控制數(shù)據(jù)的定義和測(cè)試控制過程都較復(fù)雜，對(duì)IUT各層的異常情況測(cè)試較難控制，對(duì)結(jié)果的分析也更困難?！獑螌訙y(cè)試更好下測(cè)試器必須具備描述測(cè)試數(shù)據(jù)和測(cè)試過程控制的功能(測(cè)試控制描述語言)和將測(cè)試控制語言描述的測(cè)試控制數(shù)據(jù)轉(zhuǎn)變?yōu)闇y(cè)試器可執(zhí)行程序的能力(測(cè)試語言支撐工具)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試72下測(cè)試器還需要其他測(cè)試輔助功能，包括：測(cè)試過程顯示功能(文字或圖形化)：測(cè)試監(jiān)測(cè)測(cè)試過程記錄功能：Logging根據(jù)前面測(cè)試結(jié)果靜態(tài)/動(dòng)態(tài)地確定下面測(cè)試的功能：靜態(tài)/動(dòng)態(tài)測(cè)試?yán)x擇(TestCaseSelection)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試73測(cè)試支撐平臺(tái)(軟/硬):TestSupport

Platform測(cè)試控制數(shù)據(jù)描述及支撐工具：TestDefinitionLanguage+Compiler/InterpreterIUT對(duì)等實(shí)體模塊(正常、異常):IUTPeer測(cè)試控制模塊(測(cè)試集執(zhí)行模塊)：TestExecutor用戶(測(cè)試操作人員)接口模塊：TestInterfaceModule2）基本功能模塊2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試74一個(gè)遠(yuǎn)程測(cè)試法RTM的Tester系統(tǒng)結(jié)構(gòu)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試756.2.4測(cè)試集(TS)設(shè)計(jì)及執(zhí)行協(xié)議一致性測(cè)試研究工作主要集中于兩方面：①測(cè)試方法的研究和測(cè)試系統(tǒng)的建立；②如何從理論和方法上研究并生成高質(zhì)量的測(cè)試集；其中，測(cè)試集(TestSuite)是測(cè)試的核心和主線，測(cè)試系統(tǒng)是實(shí)現(xiàn)協(xié)議一致性測(cè)試的基礎(chǔ)，兩者是互相配合，互相制約的。一個(gè)好的測(cè)試方法和測(cè)試系統(tǒng)，可以極大地簡(jiǎn)化測(cè)試序列的設(shè)計(jì)，使測(cè)試能方便、自動(dòng)、高效地進(jìn)行；而一個(gè)好的測(cè)試集也可以極大地減輕測(cè)試系統(tǒng)的負(fù)擔(dān)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試76

從測(cè)試集角度看，協(xié)議一致性測(cè)試分為3個(gè)階段：第一階段是測(cè)試生成。測(cè)試生成的目的是從協(xié)議描述中生成獨(dú)立于協(xié)議實(shí)現(xiàn)的、用嚴(yán)格的測(cè)試表示語言描述的抽象測(cè)試集（ATS）；第二階段是測(cè)試實(shí)現(xiàn)，把抽象測(cè)試集中的測(cè)試?yán)D(zhuǎn)換成在實(shí)際系統(tǒng)上可執(zhí)行測(cè)試集（ETS）；第三階段為測(cè)試執(zhí)行（TE），在特定的IUT上執(zhí)行測(cè)試用例（Case），并且觀察IUT的外部行為結(jié)果，最后對(duì)IUT與協(xié)議說明是否一致給出判定結(jié)果。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試771、抽象測(cè)試集（ATS）1）ATS結(jié)構(gòu)測(cè)試集具有層次結(jié)構(gòu)，圖1是測(cè)試集的結(jié)構(gòu)。每個(gè)測(cè)試集(TestSuite)都是針對(duì)某一被測(cè)協(xié)議的，它由多個(gè)測(cè)試組(TestGroup)組成；每一測(cè)試組往往是針對(duì)某一類測(cè)試意圖(TestPurpose)的覆蓋，比較常見的測(cè)試組劃分是根據(jù)協(xié)議有限狀態(tài)機(jī)(FiniteStateMachine，F(xiàn)SM)的不同狀態(tài)，對(duì)每一狀態(tài)的測(cè)試意圖的集合構(gòu)造一個(gè)測(cè)試組，測(cè)試組由多個(gè)測(cè)試?yán)M成；每一測(cè)試?yán)轻槍?duì)某一測(cè)試意圖的。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試78在一個(gè)測(cè)試集中，被嵌套測(cè)試組用來提供測(cè)試?yán)倪壿嫶涡?，測(cè)試組可以嵌套的深度是任意的。圖1測(cè)試集的結(jié)構(gòu)圖2測(cè)試?yán)慕M成2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試79測(cè)試集中的關(guān)鍵是測(cè)試?yán)Ｃ總€(gè)測(cè)試?yán)衅浯_定目標(biāo)來驗(yàn)證IUT的某個(gè)確定性能，測(cè)試?yán)膶?shí)質(zhì)是通過一些測(cè)試序列(TestSequence)來實(shí)現(xiàn)對(duì)每一測(cè)試意圖的判定，這些測(cè)試序列稱為測(cè)試?yán)腷ody部分。在開始body前，往往要一些前綴序列：preamble，目的是通過這些測(cè)試序列使IUT進(jìn)入某一狀態(tài)，以便執(zhí)行body。執(zhí)行body后，需要驗(yàn)證IUT實(shí)現(xiàn)是否按協(xié)議文本FSM的要求達(dá)到某一狀態(tài)，即是否與協(xié)議一致。判定后，可能需要執(zhí)行后綴序列postamble，將IUT引入某狀態(tài)(如空閑態(tài))，如圖2。圖2測(cè)試?yán)慕M成2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試80利用被稱為測(cè)試步(TestStep)的子劃分，可將測(cè)試?yán)K化。在每個(gè)測(cè)試?yán)?，可提取較為公共的部分作為測(cè)試步，編組成測(cè)試步庫被調(diào)用?？砂慈我獾呐涮咨疃龋瑢y(cè)試步庫構(gòu)造成測(cè)試步的配套集，可把測(cè)試步庫與整個(gè)測(cè)試集或一個(gè)特定的測(cè)試組聯(lián)系起來。如preamble、verification、postamble等都可作為通用的測(cè)試步，因?yàn)樗鼈儶?dú)立于每一個(gè)測(cè)試?yán)?。body中也可引用測(cè)試步，這種引用構(gòu)成了一種專用于描述抽象測(cè)試集的語言TTCN的動(dòng)態(tài)行為樹。樹表組合表述法(TTCN：TreeandTabularCombinedNotation,)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試81測(cè)試?yán)蜏y(cè)試步的最小單位是測(cè)試事件(TestEvent)，它實(shí)際上是測(cè)試序列的每一步，直接描述ASPs、PDUs和Timer的一次具體行為(發(fā)、收、啟動(dòng)計(jì)時(shí)、超時(shí)等)。測(cè)試事件是測(cè)試步內(nèi)規(guī)范的不可見單元(例如到IUT或來自IUT的單個(gè)PDU或ASP的傳送)。所有測(cè)試步都是按照測(cè)試事件的順序或其它較小的測(cè)試步來規(guī)定的，因此，全部測(cè)試步即等效于測(cè)試事件的序列。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試822）ATS的生成①手工生成ATS為了對(duì)ATS設(shè)計(jì)提供參考，ISO/IEC9646-2給出了ATS產(chǎn)生的主要過程，設(shè)計(jì)者不需要完全遵守這種規(guī)則。

在設(shè)計(jì)ATS之前，需要先研究相關(guān)協(xié)議的PICS，決定哪些一致性要求要被測(cè)試；

根據(jù)一致性要求的不同覆蓋，決定測(cè)試組的劃分；

對(duì)每個(gè)測(cè)試組決定其每個(gè)元素的測(cè)試目標(biāo)；

對(duì)每一測(cè)試目標(biāo)描述通用測(cè)試?yán)?GTC)，它獨(dú)立于抽象測(cè)試方法，可以用Body和Event序列來描述；2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試83

根據(jù)選定某種抽象測(cè)試方法，以GTC為依據(jù)，派生出ATC，它是與抽象測(cè)試法相關(guān)的，加入了測(cè)試器(如LT)能力和測(cè)試協(xié)調(diào)過程(TCP)的限制；

選定某種標(biāo)準(zhǔn)化的測(cè)試集描述法(如TTCN)，描述ATC的集合，包括所需的測(cè)試步的集合；

表示測(cè)試?yán)g、測(cè)試?yán)蚉ICS時(shí)間的關(guān)系，為測(cè)試集選擇和可執(zhí)行化提供基礎(chǔ)；

考慮維護(hù)ATS的過程。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試84目前，絕大多數(shù)一致性測(cè)試序列的自動(dòng)生成算法都是基于有限狀態(tài)機(jī)FSM模型的，協(xié)議測(cè)試方法都是在轉(zhuǎn)移級(jí)別來做的，針對(duì)FSM中的單個(gè)轉(zhuǎn)移生成相應(yīng)的測(cè)試子序列。整個(gè)測(cè)試序列經(jīng)過規(guī)范化即生成通用測(cè)試集(GTS).然后分析子序列的關(guān)系，得到針對(duì)特定測(cè)試目標(biāo)(比如測(cè)試一個(gè)狀態(tài)、一個(gè)變遷等)的完整的測(cè)試序列。采用適當(dāng)?shù)臏y(cè)試集描述法對(duì)上述得到的測(cè)試序列進(jìn)行描述，就得到一個(gè)完整的測(cè)試?yán)?。如此?gòu)造出針對(duì)每一個(gè)特定測(cè)試點(diǎn)的測(cè)試?yán)?，就能夠組合成抽象測(cè)試集(ATS)。②自動(dòng)生成ATS2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試852、可執(zhí)行測(cè)試集（ETS）在測(cè)試實(shí)現(xiàn)階段，根據(jù)(IUT)的PICS和PIXIT(通常采用XML形式表達(dá))，從抽象測(cè)試集ATS中選擇適當(dāng)?shù)臏y(cè)試?yán)?，去除沒有意義的測(cè)試?yán)⑹褂肞IXIT提供的信息來量化這些測(cè)試?yán)?。從抽象測(cè)試集(ATS)生成可在一實(shí)際的測(cè)試系統(tǒng)上執(zhí)行的參數(shù)化的可執(zhí)行測(cè)試集(ETS)，即可在特定測(cè)試設(shè)備上對(duì)某個(gè)IUT進(jìn)行測(cè)試運(yùn)行的測(cè)試集。

2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試86選擇通常采用的方式是：提供一個(gè)PICS/PIXIT文件模板，以問卷的形式提供給被測(cè)協(xié)議實(shí)現(xiàn)方，根據(jù)答卷修改PICS/PIXIT文件的內(nèi)容。PICS/PIXIT包含的主要內(nèi)容如下：①一般信息：包括開發(fā)商名稱，產(chǎn)品型號(hào)，協(xié)議的版本號(hào)等；②支持的應(yīng)用服務(wù)：包括服務(wù)的ServiceID，服務(wù)類型，優(yōu)先級(jí)等；③支持的對(duì)象類型；④對(duì)測(cè)試環(huán)境的要求等。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試873、測(cè)試執(zhí)行（TE）現(xiàn)有的測(cè)試執(zhí)行方法可劃分為兩類：基于編譯的測(cè)試執(zhí)行(CTE)和基于解釋的測(cè)試執(zhí)行(ITE)

?；诰幾g的測(cè)試執(zhí)行，是指在測(cè)試執(zhí)行之前，由抽象測(cè)試集ATS到可執(zhí)行測(cè)試集ETS的轉(zhuǎn)換已經(jīng)由轉(zhuǎn)換器或編譯器完成，這一過程非常耗時(shí)，但是提高了測(cè)試執(zhí)行的效率。在基于解釋的測(cè)試執(zhí)行中，從ATS到ETS的轉(zhuǎn)換是在測(cè)試執(zhí)行過程中完成的，這種方法使得用戶可以對(duì)測(cè)試過程進(jìn)行動(dòng)態(tài)觀察和控制，但測(cè)試執(zhí)行的效率較低。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試886.2.5一致性測(cè)試的過程協(xié)議一致性測(cè)試的測(cè)試過程簡(jiǎn)述如下：

(1)測(cè)試方法的選擇和測(cè)試平臺(tái)構(gòu)建。(2)抽象測(cè)試集(TestSuite)的設(shè)計(jì)：在充分理解協(xié)議文本描述的基礎(chǔ)上，設(shè)計(jì)出獨(dú)立于所有協(xié)議實(shí)現(xiàn)且適合人理解的抽象測(cè)試集(ATS)。

(3)測(cè)試?yán)?TestCase)選擇：根據(jù)協(xié)議實(shí)現(xiàn)的PICS和PIXIT，從ATS中選取適當(dāng)?shù)臏y(cè)試?yán)?，并使用PIXIT提供的信息來量化這些測(cè)試?yán)?，從ATS生成可在實(shí)際的測(cè)試系統(tǒng)上執(zhí)行的可執(zhí)行測(cè)試集(ETS)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試89

協(xié)議一致性測(cè)試的測(cè)試過程：2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試90(4)測(cè)試執(zhí)行：

用ETS對(duì)IUT進(jìn)行激勵(lì)—響應(yīng)測(cè)試。一般采用基于解釋的測(cè)試執(zhí)行策略，即測(cè)試執(zhí)行器直接調(diào)用ETS中的測(cè)試?yán)M(jìn)行解釋執(zhí)行，而不需要對(duì)整個(gè)測(cè)試集進(jìn)行編譯預(yù)處理，使得用戶可對(duì)測(cè)試過程進(jìn)行動(dòng)態(tài)的觀察和控制。對(duì)每個(gè)測(cè)試?yán)?，?zhí)行器順序地讀入測(cè)試步(step)，編碼并執(zhí)行該測(cè)試步，激勵(lì)被測(cè)實(shí)現(xiàn)IUT做出響應(yīng)，在后續(xù)的測(cè)試步中，執(zhí)行器接收被測(cè)實(shí)現(xiàn)響應(yīng)的PDU，解碼并于測(cè)試?yán)蓄A(yù)期的PDU進(jìn)行比較，給出測(cè)試結(jié)果。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試91

(5)測(cè)試結(jié)果分析和評(píng)價(jià)：

最后，靜態(tài)一致性檢查的結(jié)果和所有的測(cè)試?yán)膱?zhí)行判定結(jié)果組合在一起，形成一個(gè)有關(guān)IUT的一致性判決。當(dāng)且僅當(dāng)所有的測(cè)試都未失敗時(shí)，最終的判決才會(huì)是通過。對(duì)測(cè)試執(zhí)行產(chǎn)生的測(cè)試記錄文件進(jìn)行分析，生成測(cè)試判斷和協(xié)議一致性測(cè)試報(bào)告。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試92從測(cè)試執(zhí)行的角度看，一致性測(cè)試可分兩個(gè)階段：控制階段和觀察階段。測(cè)試系統(tǒng)向被測(cè)協(xié)議實(shí)現(xiàn)發(fā)送一系列的測(cè)試數(shù)據(jù)包，激發(fā)被測(cè)功能，這稱為一致性測(cè)試的控制階段；在測(cè)試的觀察階段，測(cè)試系統(tǒng)監(jiān)控被測(cè)協(xié)議實(shí)現(xiàn)返回的數(shù)據(jù)包，與預(yù)期的返回?cái)?shù)據(jù)進(jìn)行比較，并做出測(cè)試判定。在測(cè)試執(zhí)行過程中，測(cè)試系統(tǒng)通過PCO對(duì)IUT的輸入和輸出進(jìn)行控制和觀察，在分析輸出是否與預(yù)期輸出相一致的基礎(chǔ)上，才得到針對(duì)本次測(cè)試的肯定結(jié)論。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試936.3協(xié)議互操作性測(cè)試6.3.1互操作測(cè)試標(biāo)準(zhǔn)6.3.2互操作測(cè)試系統(tǒng)結(jié)構(gòu)6.3.3一致性測(cè)試與互操作性測(cè)試的比較2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試94隨著通信技術(shù)的發(fā)展，新的協(xié)議越來越復(fù)雜，協(xié)議一致性測(cè)試工作遇到了很多困難。在實(shí)際測(cè)試中，一致性測(cè)試通過并不能保證互操作測(cè)試一定可以通過。所以互操作性測(cè)試相關(guān)研究越來越受到重視。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試95雖然互操作性測(cè)試目前還未制定國際標(biāo)準(zhǔn)，但是中國以及ETSI、ITU-T、ISO等國際組織都開展了相應(yīng)的研究工作，具體成果有:①ETSITS102237“互操作測(cè)試方法和途徑”；ETSITS202237“互操作測(cè)試方法”；②ITU-T正在完善ITU-TZ.itfm“互操作測(cè)試框架和方法”；③ISO正在許多協(xié)議簇中增加互操作測(cè)試；④中國通信行業(yè)標(biāo)準(zhǔn)YD/T1521-2006“路由協(xié)議互操作性測(cè)試方法”。該標(biāo)準(zhǔn)主要是信產(chǎn)部電信研究院、華為公司、中興通訊公司參與起草，由中華人民共和國信息產(chǎn)業(yè)部發(fā)布。6.3.1互操作測(cè)試的標(biāo)準(zhǔn)2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試96目前互操作測(cè)試沒有標(biāo)準(zhǔn)定義，通常用于研發(fā)階段多廠商準(zhǔn)正式測(cè)試或者運(yùn)營商的選型測(cè)試中?；ゲ僮鳒y(cè)試評(píng)估被測(cè)實(shí)現(xiàn)與相連接相似實(shí)現(xiàn)之間在網(wǎng)絡(luò)操作環(huán)境中交互能力，并且完成協(xié)議標(biāo)準(zhǔn)中規(guī)定的功能，從而確定被測(cè)設(shè)備是否支持所需要的功能。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試97在互操作測(cè)試中，被采用最多的形式是測(cè)試單位選擇經(jīng)一致性操作和互操作測(cè)試認(rèn)可設(shè)備來與被測(cè)設(shè)備進(jìn)行互操作測(cè)試?；ゲ僮餍詼y(cè)試系統(tǒng)結(jié)構(gòu)模型如圖。6.3.2互操作測(cè)試的系統(tǒng)結(jié)構(gòu)互操作測(cè)試系統(tǒng)模型2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試98

表現(xiàn)互操作性測(cè)試的重要特征是:①認(rèn)可設(shè)備(QualifiedEquipment，QE)和被測(cè)設(shè)備(EUT)來自不同廠商(至少不同生產(chǎn)線)共同定義測(cè)試邊界。二者可能是終端設(shè)備、網(wǎng)絡(luò)設(shè)備或者應(yīng)用軟件，也可能是一個(gè)單獨(dú)設(shè)備或者若干設(shè)備組合；②互操作性測(cè)試基于用戶期望的功能，并由用戶控制并觀察測(cè)試結(jié)果。用戶(TestDriver)可以是人工操作也可以是軟件程序;③互操作性測(cè)試在功能性接口上執(zhí)行和觀察，也就是說接口沒有指定在協(xié)議級(jí)而是功能級(jí)上，接口包括人機(jī)接口(MMIs)、協(xié)議設(shè)備接口(PDIs)、應(yīng)用程序接口(APIs)。2023/2/7網(wǎng)絡(luò)性能評(píng)價(jià)與測(cè)試99互操作測(cè)試過程除了測(cè)試