IxDefend協(xié)議健壯性測(cè)試技術(shù)-基礎(chǔ)電子

精品文檔-下載后可編輯IxDefend協(xié)議健壯性測(cè)試技術(shù)-基礎(chǔ)電子檢驗(yàn)設(shè)備軟件在各種條件下可實(shí)現(xiàn)持續(xù)運(yùn)行狀態(tài)，以及評(píng)估設(shè)備從故障中恢復(fù)正常服務(wù)所需要的時(shí)間和其他影響，就是軟件可靠性測(cè)試主要涉及的課題。

為全面評(píng)估軟件容錯(cuò)性和故障恢復(fù)能力，測(cè)試需要制造或模擬一系列條件，包括內(nèi)部硬件故障條件、外部惡意攻擊條件、偶發(fā)過載條件、軟件資源耗盡條件、周邊環(huán)境故障條件以及長(zhǎng)時(shí)間正常負(fù)荷持續(xù)運(yùn)行模擬。為了在產(chǎn)品開發(fā)的不同階段組織針對(duì)性測(cè)試，這些測(cè)試行為又被明確定義并歸類。

測(cè)試分類

1、協(xié)議健壯性測(cè)試

根據(jù)IEEE的定義，協(xié)議的健壯性（Robustness）測(cè)試分析是指系統(tǒng)或者某一組成部分在各種無效、異常輸入或者壓力環(huán)境條件下是否能夠進(jìn)行正確處理和分析。可以想象，各種異?；蛘邿o效輸入的組合數(shù)量要遠(yuǎn)遠(yuǎn)大于允許的正常輸入的可能組合數(shù)量。是一種以破壞性手段去嘗試運(yùn)行軟件的行為，通過用戶接口的異常輸入，使用異常協(xié)議消息交互引導(dǎo)軟件進(jìn)入未定義或未保護(hù)的狀態(tài)。協(xié)議健壯性測(cè)試的手段主要包括下面幾種方式：

（1）緩存溢出型輸入：對(duì)于一些變量字段，通過輸入超量的字符或數(shù)字使緩存定界發(fā)生困難，終溢出，系統(tǒng)停止響應(yīng)或宕機(jī)。

（2）整數(shù)型輸入：對(duì)于一些類似長(zhǎng)度字段，通過輸入邊界或極限值使條件判斷語句失效，服務(wù)終止。

（3）下溢型輸入：對(duì)于一些強(qiáng)制長(zhǎng)度型字段，比如MAC地址，通過缺失或截?cái)嗖糠中畔?，使變量拿不到足夠的賦值，從而造成邏輯失效。

（4）格式型輸入：對(duì)于一些連續(xù)字段，一般有字符定界規(guī)則，比如連續(xù)多少個(gè)全零之后表示邊界，通過違背這些規(guī)則，使程序無法完成定界，系統(tǒng)宕機(jī)；對(duì)于某些有特定格式的字段，比如字符或整數(shù)，通過輸入非法格式，使程序邏輯加長(zhǎng)或直接退出。

（5）消息次序錯(cuò)型輸入：通過修改報(bào)文的出現(xiàn)次序，使系統(tǒng)產(chǎn)生判斷上的困難，狀態(tài)機(jī)無法完成正常轉(zhuǎn)移，造成服務(wù)延遲或等級(jí)下降。

（6）重復(fù)型輸入：在正常報(bào)文中循環(huán)產(chǎn)生某一特定字段信息，使程序檢測(cè)出現(xiàn)異常，并導(dǎo)致系統(tǒng)停止響應(yīng)。

對(duì)于上述測(cè)試手段，采用的是一種新的測(cè)試方法，稱為協(xié)議模糊測(cè)試，英文名稱為“FuzzTesting”或“Fuzzing”。協(xié)議模糊測(cè)試是一種軟件測(cè)試技術(shù)，通過隨機(jī)數(shù)據(jù)輸入（Fuzz方式）到測(cè)試對(duì)象上，如果測(cè)試對(duì)象失敗，比如出現(xiàn)宕機(jī)，程序回應(yīng)異常等，該缺陷就會(huì)被記錄。協(xié)議模糊測(cè)試有兩種類型，一種是隨機(jī)模糊測(cè)試（RandomFuzzing）這種方式預(yù)先假設(shè)大量的隨機(jī)數(shù)據(jù)然后輸入到被測(cè)對(duì)象上，也稱為無狀態(tài)的輸入方式，其缺點(diǎn)是耗費(fèi)很長(zhǎng)測(cè)試時(shí)間，測(cè)試效率低，并且和被測(cè)設(shè)備沒有交互。另外一種方式是智能模糊測(cè)試（IntelligentFuzzing），該方式采用協(xié)議有狀態(tài)交互的方式，根據(jù)協(xié)議的特點(diǎn)和可能的交互流程進(jìn)行一定的假設(shè)性輸入?yún)?shù)，這種方法耗時(shí)較短，執(zhí)行效率高，更容易發(fā)現(xiàn)被測(cè)試對(duì)象的缺陷和存在的問題。

通過對(duì)以上各種測(cè)試手段進(jìn)行有目的的組合，以及持續(xù)、高強(qiáng)度的沖擊，可以檢測(cè)出系統(tǒng)的出錯(cuò)、服務(wù)質(zhì)量下降以及宕機(jī)的概率。概率越低，越健壯，也就是說，協(xié)議的可靠性越高。圖1是協(xié)議健壯性測(cè)試的兩種途徑示意。

對(duì)軟件系統(tǒng)而言，合法輸入組合以外的輸入往往超出正常輸入的組合，軟件運(yùn)行中總會(huì)遇到一些預(yù)期之外的輸入。因此，軟件需要有嚴(yán)格的合法性檢查才能避免進(jìn)入未知狀態(tài)。協(xié)議健壯行測(cè)試的目標(biāo)就是盡可能找出軟件保護(hù)不周的問題。

在軟件測(cè)試的早期階段進(jìn)行的參數(shù)邊界值測(cè)試就屬于健壯性測(cè)試的一部分。比如一個(gè)用戶接口接受1-100的整數(shù)輸入，那么1和100就是合法邊界，大于100和小于1的輸入都是非法輸入。其他非整數(shù)型的輸入也屬于非法值，包括故意破壞檢查輸入條件的代碼的一些組合。軟件面對(duì)的接口除了終用戶可見的部分之外，還有大量的軟件組件之間的不可見部分，以及設(shè)備之間的通信協(xié)議接口。

除了單一輸入的簡(jiǎn)單合法性判斷，軟件在組合輸入和特定狀態(tài)下可接受輸入的定義更為復(fù)雜。為確認(rèn)軟件在各種條件下的運(yùn)行正常，測(cè)試需要嘗試盡可能多的組合。復(fù)雜的通信協(xié)議除了定義有邏輯化結(jié)構(gòu)的報(bào)文格式，還有一系列的內(nèi)部狀態(tài)，要測(cè)試人員完全手工方式遍歷這些狀態(tài)，并且構(gòu)造所有可能的異常組合輸入條件是無法想象的，因此需要專用的測(cè)試工具和儀器專門檢測(cè)軟件對(duì)各種協(xié)議變異報(bào)文的處理，對(duì)參數(shù)的調(diào)整是測(cè)試需要關(guān)注的一個(gè)重要方面。

從系統(tǒng)測(cè)試的角度，觀測(cè)協(xié)議健壯性的測(cè)試結(jié)果是比較困難的，一般是從系統(tǒng)外部觀察整機(jī)是否存在異常，正在被測(cè)試的協(xié)議功能有沒有停止響應(yīng)，正常用戶請(qǐng)求是否得到及時(shí)處理，設(shè)備的性能有沒有下降。而一些細(xì)微的功能異常或資源耗費(fèi)，很容易被測(cè)試人員忽視，在這里，測(cè)試工具也無能為力。

以IxDefend測(cè)試TLS-Server舉例。

完成測(cè)試儀器與被測(cè)試設(shè)備的物理連接，并且將端口配置IP地址，開啟TLS-Server服務(wù)。

通過測(cè)試儀器的GUI控制界面裝入TLSServer測(cè)試套件，如圖1所示。

配置TLSServer測(cè)試所需要的參數(shù)，包括被測(cè)試設(shè)備IP、TLS服務(wù)端口、超時(shí)時(shí)間等，如圖2所示。

點(diǎn)擊開始按鈕啟動(dòng)測(cè)試運(yùn)行。

在產(chǎn)品設(shè)計(jì)階段與功能驗(yàn)證階段使用IxDefend進(jìn)行健壯性與安全測(cè)試，可以盡早發(fā)現(xiàn)產(chǎn)品的安全漏洞，對(duì)產(chǎn)品的成本影響也越小。因?yàn)榘l(fā)現(xiàn)的問題越晚，影響的面就越寬，修改程序的難度就可能越大。首先，在產(chǎn)品開發(fā)驗(yàn)證與測(cè)試階段使用IxDefend進(jìn)行產(chǎn)品的健壯性測(cè)試，在過去根本就沒有很好的手段去驗(yàn)證，或者采用無狀態(tài)的隨機(jī)模糊測(cè)試方法進(jìn)行測(cè)試，這些工具一般都是內(nèi)部自己開發(fā)的軟件，采用自己既是裁判員又是運(yùn)動(dòng)員的做法很不客觀，現(xiàn)在IxDefend完全改變了這種狀態(tài)，使對(duì)協(xié)議沒有深入理解的普通工程師就可以進(jìn)行安全性檢驗(yàn)和漏洞檢查，不需要專門的協(xié)議進(jìn)行各種異常設(shè)計(jì)，大大降低了健壯性測(cè)試的人員成本；其次，使用IxDefend并不需要對(duì)協(xié)議本身有級(jí)的了解，采用IxDefend簡(jiǎn)單易用的配置以及強(qiáng)大的自動(dòng)化測(cè)試功能，使測(cè)試工程師從繁瑣的、單調(diào)的、重復(fù)性的工作解放出來，大大提高測(cè)工作效率；第三，產(chǎn)品測(cè)試使用IxDefend同樣可以幫助研發(fā)隊(duì)伍在版本發(fā)布前及時(shí)發(fā)現(xiàn)產(chǎn)品可能存在的安全問題與各種漏洞，提高研發(fā)人員的效率與產(chǎn)品質(zhì)量。在產(chǎn)品系統(tǒng)測(cè)試階段，還存在新版軟件提供了新的功能或解決了部分老的問題，但同時(shí)引入了新的安全漏洞的情況。因此，在有新版本發(fā)布前，對(duì)新的軟件版本進(jìn)行全面協(xié)議健壯性測(cè)試顯得非常重要。

測(cè)試運(yùn)行期間，儀器會(huì)發(fā)送事先定義好的各種異常組合，并檢查設(shè)備對(duì)這些報(bào)文的響應(yīng)。一旦被測(cè)試設(shè)備失去任何響應(yīng)，就記錄為失敗，并持續(xù)嘗試下面的測(cè)試用例。如圖3所示的是一個(gè)真實(shí)的運(yùn)行記錄，設(shè)備在某項(xiàng)測(cè)試運(yùn)行后發(fā)生異常，該項(xiàng)目被標(biāo)記為紅色。測(cè)試人員可以根據(jù)該記錄重現(xiàn)問題，并將設(shè)備異常信息一并提交給開發(fā)定位具體

圖1IxDefend選擇測(cè)試套件

圖2IxDefend配置TLS-Server套件運(yùn)行參數(shù)

圖3IxDefend運(yùn)行結(jié)果統(tǒng)計(jì)

2、硬件故障模擬測(cè)試

通常，判斷軟件行為是否正常的先決條件之一是其是否運(yùn)行在正確的硬件環(huán)境之下，因?yàn)橛布收蠈?duì)軟件產(chǎn)生的影響往往是致命的和不可預(yù)測(cè)的。在實(shí)際情況中，越是造價(jià)昂貴且承擔(dān)重要任務(wù)的硬件系統(tǒng)，其硬件的復(fù)雜度越高，故障率也更高。為了提高系統(tǒng)的可靠性，硬件在設(shè)計(jì)上會(huì)使用冗余器件的方式，但在很多情況下，硬件替換做不到對(duì)軟件透明，需要依賴軟件檢測(cè)并采取一系列措施。此外，軟件還需要設(shè)計(jì)足夠的容錯(cuò)性去隔離硬件錯(cuò)誤的影響范圍。在非關(guān)鍵器件停止工作之前，軟件需要盡可能保證系統(tǒng)其它功能不受影響。

對(duì)測(cè)試人員而言，了解軟件對(duì)硬件的依賴，通過制造或模擬硬件器件故障檢驗(yàn)軟件行為的合理性，是可靠性測(cè)試的一個(gè)重要環(huán)節(jié)。在測(cè)試有備份硬件系統(tǒng)的產(chǎn)品時(shí)，測(cè)試人員往往使用硬件拔出槽位，命令重啟等方式驗(yàn)證備份機(jī)制的有效性。然而，這還遠(yuǎn)遠(yuǎn)不夠。設(shè)備在實(shí)際運(yùn)行條件下器件被拔出只是一種維護(hù)行為，很多情況下是在連續(xù)運(yùn)行過程中，器件突然失效。測(cè)試人員需要驗(yàn)證這些情況，以確認(rèn)軟件設(shè)計(jì)的故障檢測(cè)機(jī)制和容錯(cuò)機(jī)制的真實(shí)有效性。

由于硬件系統(tǒng)的具體情況不同，每個(gè)器件的故障形式和直接影響不同，是否有規(guī)避方案需要具體分析。軟件對(duì)硬件可用性的依存度往往很高，因此硬件故障測(cè)試的結(jié)果經(jīng)常具有很大的爭(zhēng)議性。對(duì)測(cè)試結(jié)果的分析和判斷比測(cè)試設(shè)計(jì)和執(zhí)行更為重要。

現(xiàn)有的測(cè)試手段中，直接的方式是通過改動(dòng)硬件線路或干預(yù)數(shù)字信號(hào)制造故障。此外，可以通過軟件加入調(diào)試命令，對(duì)一些關(guān)鍵器件的狀態(tài)進(jìn)行修改，設(shè)置為非法的狀態(tài)來模擬故障。

3、壓力測(cè)試

任何設(shè)備或系統(tǒng)都是在一定的工作負(fù)荷下完成其功能。如果外部加入的工作負(fù)擔(dān)超過其能力，系統(tǒng)效能會(huì)下降甚至是停止工作。這是一種與可用性相背離的特性，卻是任何系統(tǒng)的必然屬性。很多重要系統(tǒng)是通過增加硬件成本，人為降低承諾指標(biāo)來緩解這一問題，然而事實(shí)上都存在一個(gè)能力極限，除非輸入子系統(tǒng)進(jìn)行了硬性限制。

為了提高設(shè)備的性價(jià)比，一般軟件系統(tǒng)不會(huì)設(shè)定承載能力的硬性約束，因此，設(shè)備都會(huì)面對(duì)超負(fù)荷工作的場(chǎng)景。軟件設(shè)計(jì)力爭(zhēng)減少超負(fù)荷運(yùn)行的負(fù)面效應(yīng)，使系統(tǒng)在合理壓力下能夠正常運(yùn)作是可靠性的一個(gè)重要考量。雖然用戶不會(huì)要求設(shè)備能在超負(fù)荷的工作環(huán)境下連續(xù)穩(wěn)定運(yùn)行，但在真實(shí)網(wǎng)絡(luò)中，負(fù)荷波動(dòng)是無法避免的，短時(shí)間的超載運(yùn)行不應(yīng)該導(dǎo)致災(zāi)難性的后果。

壓力測(cè)試就是通過制造設(shè)備的超載負(fù)荷，模擬設(shè)備在真實(shí)環(huán)境下可能遇到的場(chǎng)景。一臺(tái)網(wǎng)絡(luò)設(shè)備會(huì)有很多負(fù)載指標(biāo)，驗(yàn)證各個(gè)指標(biāo)的超載工作能力是一項(xiàng)繁雜的測(cè)試工作。這些高負(fù)載的測(cè)試一般都要依賴專用的測(cè)試儀器來模擬。

一般在設(shè)備規(guī)格會(huì)寫明產(chǎn)品支持的IP路由表容量、轉(zhuǎn)發(fā)數(shù)據(jù)流量、ARP或MAC地址容量等指標(biāo)。測(cè)試的工作就是把被測(cè)試設(shè)備與測(cè)試儀器連接，通過儀器構(gòu)造與規(guī)格指標(biāo)相同或略低的一項(xiàng)負(fù)載，再制造一個(gè)10%左右的異常波動(dòng)沖擊被測(cè)設(shè)備，并觀察被測(cè)設(shè)備在加載超載負(fù)荷前、負(fù)荷中和恢復(fù)到初始設(shè)定負(fù)荷之后的實(shí)際表現(xiàn)。

不受壓力影響和能快速恢復(fù)的設(shè)備是可能被制造出來的，但是代價(jià)是必然提高硬件和軟件成本。因此一個(gè)合理的可接受的壓力反應(yīng)和恢復(fù)時(shí)間，往往需要根據(jù)用戶的使用場(chǎng)景和可承受成本綜合考慮。

4、內(nèi)存耗盡測(cè)試

與硬件發(fā)生故障類似，軟件所要面對(duì)的另一種是情況是資源枯竭。因?yàn)檐浖鲿车剡\(yùn)行需要依賴很多外部資源，其中包括：內(nèi)存、定時(shí)器、隊(duì)列、文件句柄、Socket等等。這些資源中關(guān)鍵的就是內(nèi)存，因?yàn)楹芏噘Y源不足可以等待，內(nèi)存短缺會(huì)導(dǎo)致立即的操作失敗。一個(gè)良好設(shè)計(jì)的軟件系統(tǒng)需要設(shè)定內(nèi)存門限，一旦內(nèi)存消耗達(dá)到門限會(huì)強(qiáng)制一些不重要的任務(wù)退出運(yùn)行而釋放資源。而且所有申請(qǐng)內(nèi)存的任務(wù)需要自身設(shè)計(jì)保護(hù)代碼，避免沒有申請(qǐng)成功時(shí)誤入歧途。

資源耗盡的情況下軟件系統(tǒng)必然會(huì)產(chǎn)生一些功能受限的反應(yīng)，只要這種情況能在資源充足后得到恢復(fù)就不構(gòu)成嚴(yán)重問題。確認(rèn)系統(tǒng)在資源不足時(shí)沒有異常反映，合理屏蔽了次要功能，同時(shí)確保高優(yōu)先級(jí)進(jìn)程得到應(yīng)得的資源就是軟件測(cè)試所要做的工作。

測(cè)試手段通常是啟動(dòng)一些重要的功能和構(gòu)造動(dòng)態(tài)的運(yùn)行負(fù)荷，然后用調(diào)試命令占用內(nèi)存或啟動(dòng)一些消耗型任務(wù)占用內(nèi)存，以構(gòu)造資源耗盡的條件，觀察被測(cè)系統(tǒng)在內(nèi)存枯竭后的反應(yīng)，并繼續(xù)進(jìn)行操作。再通過釋放占用的內(nèi)存來恢復(fù)正常條件，觀察系統(tǒng)受影響的功能是否自動(dòng)恢復(fù)。

內(nèi)存耗盡測(cè)試的原理非常簡(jiǎn)單，但是因?yàn)閯?dòng)態(tài)分配內(nèi)存的指令無處不在，測(cè)試覆蓋各種流程分支就要設(shè)定各種組合條件，存在很大執(zhí)行的難度。內(nèi)存耗盡測(cè)試可能發(fā)現(xiàn)長(zhǎng)期隱藏于軟件中的嚴(yán)重問題，徹底解決這些問題，對(duì)軟件的可靠性有很重要的意義。

5、拷機(jī)測(cè)試

拷機(jī)測(cè)試也叫燒機(jī)器，一般指對(duì)于新買的機(jī)器，如電腦、儀器，讓其不關(guān)機(jī)運(yùn)行1-2天來測(cè)試軟硬件的兼容性與系統(tǒng)穩(wěn)定性。因?yàn)殡娮赢a(chǎn)品如果是因?yàn)橛布男阅艿榷鰡栴}的話一般都是在較短的時(shí)間內(nèi)就會(huì)出現(xiàn)了，如果經(jīng)過這段時(shí)間了，那就說明系統(tǒng)還是比較穩(wěn)定的（當(dāng)然了，如果是因?yàn)槭褂昧撕荛L(zhǎng)時(shí)間而出問題那又另當(dāng)別論），所以把機(jī)器買回來之后，是進(jìn)行拷機(jī)，以便在保修期內(nèi)發(fā)現(xiàn)問題，趁早解決，減少損失。

由于軟件固有的邏輯復(fù)雜性和系統(tǒng)測(cè)試手段的限制，有些問題只有在實(shí)際環(huán)境下經(jīng)過足夠長(zhǎng)時(shí)間運(yùn)行才會(huì)出現(xiàn)。拷機(jī)測(cè)試就是在實(shí)驗(yàn)室模擬設(shè)備運(yùn)行的真實(shí)工作場(chǎng)景，通過規(guī)定負(fù)荷及偶發(fā)性過載條件下連續(xù)運(yùn)行，觀測(cè)被測(cè)設(shè)備連續(xù)無故障運(yùn)行時(shí)間，俘獲異常錯(cuò)誤的測(cè)試。

測(cè)試所構(gòu)造的工作場(chǎng)景能否還原真實(shí)應(yīng)用，是能否提早發(fā)現(xiàn)問題的關(guān)鍵。由于用戶的應(yīng)用場(chǎng)景千差萬別，需要用很多設(shè)備搭建組網(wǎng)來還原，而且必須等候足夠長(zhǎng)的時(shí)間，這是一種高成本的測(cè)試方式，卻又不可替代。測(cè)試人員一般會(huì)采用頻繁觸發(fā)設(shè)備狀態(tài)變化的手段加速問題出現(xiàn)，這對(duì)某些問題有效，卻可能隱蔽另外一些問題。

H3C的每個(gè)產(chǎn)品都要經(jīng)過嚴(yán)格測(cè)試，其中必須進(jìn)行的一項(xiàng)就是長(zhǎng)時(shí)間的拷機(jī)環(huán)境測(cè)試。即使產(chǎn)品已經(jīng)在市場(chǎng)正式投入使用，這套拷機(jī)環(huán)境還會(huì)持續(xù)運(yùn)行，并且經(jīng)常調(diào)整流量和業(yè)務(wù)規(guī)劃，以期覆蓋更多的用戶應(yīng)用環(huán)境。

不運(yùn)行任何軟件，是基礎(chǔ)的拷機(jī)，是看你的電腦的基本硬件的兼容性能！如果沒有問題，在進(jìn)行運(yùn)行大型程序進(jìn)行拷機(jī)，比如大型游戲，可以看出來你的內(nèi)存和顯卡等等硬件的工作情況！

6、收斂指標(biāo)測(cè)試

對(duì)網(wǎng)絡(luò)設(shè)備而言，保證網(wǎng)絡(luò)通暢是其重要的功能之一。有些則是針對(duì)自身發(fā)生異常時(shí)實(shí)現(xiàn)冗余硬件切換，流量路徑切換或快速故障恢復(fù)的協(xié)議。針對(duì)這些情況，有一個(gè)通用的度量指標(biāo)，即網(wǎng)絡(luò)收斂指標(biāo)，是通過網(wǎng)絡(luò)中斷服務(wù)（或故障恢復(fù)）時(shí)間來考察設(shè)備或網(wǎng)絡(luò)提供的可靠性。

任何一種網(wǎng)絡(luò)路由協(xié)議或拓?fù)涔芾韰f(xié)議都是為了在動(dòng)態(tài)變化的網(wǎng)絡(luò)中提供一個(gè)可行的流量路徑而設(shè)計(jì)的，所以收斂是一個(gè)基本屬性。從注入拓?fù)渥兓蚬收习l(fā)生的時(shí)間開始，網(wǎng)絡(luò)服務(wù)和數(shù)據(jù)流量受到影響，在拓?fù)涫諗亢舐窂角袚Q到備份網(wǎng)絡(luò)上，恢復(fù)網(wǎng)絡(luò)服務(wù)和流量所經(jīng)歷的時(shí)間就是收斂時(shí)間。為加速收斂而提出的一。

附加技術(shù)可以使收斂時(shí)間縮短到毫秒級(jí)甚至在設(shè)備主控發(fā)生重啟等情況下提供不中斷的轉(zhuǎn)發(fā)服務(wù)。

圖4IGP路由收斂測(cè)試組網(wǎng)圖

IGP收斂的測(cè)試實(shí)例。

如圖4所示，被測(cè)試設(shè)備首先從B和C端口學(xué)