《軟件質(zhì)量與測試》課件第五章系統(tǒng)測試

本章內(nèi)容系統(tǒng)測試計劃系統(tǒng)測試方法系統(tǒng)測試設(shè)計系統(tǒng)測試執(zhí)行沈陽師范大學(xué)軟件學(xué)院1本節(jié)內(nèi)容5.1系統(tǒng)測試計劃5.1.1系統(tǒng)測試計劃概述5.1.2測試計劃內(nèi)容5.1.3如何做好測試計劃沈陽師范大學(xué)軟件學(xué)院25.1.1系統(tǒng)測試計劃概述測試計劃概述軟件測試是有計劃、有組織和有系統(tǒng)的軟件質(zhì)量保證活動，而不是隨意地、松散地、雜亂地實施過程。為了規(guī)范軟件測試內(nèi)容、方法和過程，在對軟件進行測試之前，必須創(chuàng)建測試計劃?！禔NSI/IEEE軟件測試文檔標(biāo)準(zhǔn)829-1983》將測試計劃定義為：“一個敘述了預(yù)定的測試活動的范圍、途徑、資源及進度安排的文檔。它確認了測試項、被測特征、測試任務(wù)、人員安排，以及任何偶發(fā)事件的風(fēng)險?！鄙蜿枎煼洞髮W(xué)軟件學(xué)院35.1.1系統(tǒng)測試計劃概述制定測試計劃原則制定測試計劃也是有原則的，主要包含以下幾個方面：（1）制定測試計劃應(yīng)盡早開始。越早進行測試計劃，就可以從最根本的地方去了解我們所要測試的對象及內(nèi)容，為我們完善測試計劃是很有好處的。（2）保持測試計劃的靈活性。測試計劃不是固定的，在測試進行過程中會有一定的變動，測試計劃的靈活性為我們持續(xù)測試具有很好的支持。（3）保持測試計劃簡潔和易讀。測試計劃做出來后應(yīng)該能夠讓測試人員明了自己的任務(wù)和計劃。（4）盡量爭取多渠道評審測試計劃。通過不同的人來發(fā)現(xiàn)測試計劃中的不足及缺陷，可以很好的改進測試計劃的質(zhì)量。（5）計算測試計劃的投入。投入到測試中的項目經(jīng)費是一定的，我們制定測試計劃時一定要注意測試計劃的費用情況。要量力而行。沈陽師范大學(xué)軟件學(xué)院45.1.2系統(tǒng)測試計劃概述測試計劃內(nèi)容根據(jù)IEEE829－1998軟件測試文檔編制標(biāo)準(zhǔn)的建議，測試計劃包含了16個大綱要項。測試計劃標(biāo)識符介紹測試項需要測試的功能方法（策略）不需要測試的功能測試項通過/失敗的標(biāo)準(zhǔn)測試中斷和恢復(fù)的規(guī)定測試完成所提交的材料沈陽師范大學(xué)軟件學(xué)院55.1.2系統(tǒng)測試計劃概述測試計劃內(nèi)容測試任務(wù)環(huán)境需求職責(zé)人員安排與培訓(xùn)需求進度表潛在的問題和風(fēng)險審批沈陽師范大學(xué)軟件學(xué)院65.1.3如何做好測試計劃如何做好測試計劃了解了測試計劃的基本內(nèi)容之后，我們應(yīng)該想想該如何做好測試計劃呢？除了上述講的制定原則外，我們還應(yīng)該注意什么呢？1.明確測試的目標(biāo)，增強測試計劃的實用性2.堅持“5W1H”規(guī)則3.采用評審和更新機制，保證測試計劃滿足實際需求4.分別創(chuàng)建測試計劃與測試詳細規(guī)格、測試用例5.變更控制沈陽師范大學(xué)軟件學(xué)院75.1.3如何做好測試計劃實訓(xùn)一：根據(jù)需求規(guī)格說明書編寫測試計劃沈陽師范大學(xué)軟件學(xué)院8本節(jié)內(nèi)容5.2系統(tǒng)測試方法5.2.1性能測試5.2.2壓力測試5.2.3容量測試5.2.4健壯性測試5.2.5安全性測試5.2.6可靠性測試5.2.7恢復(fù)性測試5.2.8兼容性測試5.2.9安裝測試5.2.10可用性測試沈陽師范大學(xué)軟件學(xué)院95.2.1性能測試基本概念一般來講，性能是一種表明軟件系統(tǒng)或構(gòu)件對于及時性要求的符合程度的指標(biāo)；其次，性能是軟件產(chǎn)品的一種特性，可以用為度量。性能的及時性通常用系統(tǒng)對請求做出響應(yīng)所需要的時間來衡量。響應(yīng)時間定義：對計算機系統(tǒng)的查詢或請求開始到一個響應(yīng)結(jié)束所使用的時間。對某個系統(tǒng)或應(yīng)用的用戶來講，響應(yīng)時間就是用戶必須等待服務(wù)所花的時間。響應(yīng)時間越短，用戶就越滿意沈陽師范大學(xué)軟件學(xué)院105.2.1性能測試基本概念性能測試主要檢驗軟件是否達到需求規(guī)格說明書中規(guī)定的各類性能指標(biāo)，并滿足一些性能相關(guān)的約束和限制條件。性能測試包括以下幾個方面：評估系統(tǒng)的能力。測試中得到的負荷和響應(yīng)時間等數(shù)據(jù)可以被用于驗證所計劃的模型的能力，并幫助做出決策。識別系統(tǒng)中的弱點。受控的負荷可以被增加到一個極端的水平并突破它，從而修復(fù)系統(tǒng)的瓶頸或薄弱的地方。系統(tǒng)調(diào)優(yōu)。重復(fù)運行測試，驗證調(diào)整系統(tǒng)的活動得到了預(yù)期的結(jié)果，從而改進性能，檢測軟件中的問題。沈陽師范大學(xué)軟件學(xué)院115.2.1性能測試性能測試方法性能測試的基準(zhǔn)大體有以下幾方面：響應(yīng)時間

從應(yīng)用系統(tǒng)發(fā)出請求開始，到客戶端接收到最后一個字節(jié)數(shù)據(jù)為止所消耗的時間。合理的響應(yīng)時間取決于實際的用戶需求。并發(fā)用戶數(shù)

一般是指同一時間段內(nèi)訪問系統(tǒng)的用戶數(shù)量。沈陽師范大學(xué)軟件學(xué)院125.2.1性能測試性能測試方法吞吐量

指單位時間內(nèi)系統(tǒng)處理的客戶請求數(shù)量。性能計數(shù)器

描述服務(wù)器或操作系統(tǒng)性能的一些數(shù)據(jù)指標(biāo)，比如Windows系統(tǒng)資源管理器。沈陽師范大學(xué)軟件學(xué)院135.2.1性能測試性能測試執(zhí)行1）計劃階段定義目標(biāo)并設(shè)置期望值收集系統(tǒng)和測試要求定義工作負載選擇要收集的性能度量值標(biāo)出要運行的測試并決定什么時候運行它們決定工具選項和生成負載編寫測試計劃，設(shè)計用戶場景并創(chuàng)建測試腳本沈陽師范大學(xué)軟件學(xué)院145.2.1性能測試性能測試執(zhí)行2）測試階段做準(zhǔn)備工作（如建立測試服務(wù)器或布置其他設(shè)備）運行測試收集數(shù)據(jù)3）分析階段分析結(jié)果改變系統(tǒng)以優(yōu)化性能設(shè)計新的測試沈陽師范大學(xué)軟件學(xué)院155.2.2壓力測試5.2.2.1基本概念壓力測試是指摸擬巨大的工作負荷，以查看系統(tǒng)在峰值使用情況下是否可以正常運行。壓力測試是通過逐步增加系統(tǒng)負載來測試系統(tǒng)性能的變化，并最終確定在什么負載條件下系統(tǒng)性能處于失效狀態(tài)，以此來獲得系統(tǒng)性能提供的最大服務(wù)級別的測試。沈陽師范大學(xué)軟件學(xué)院165.2.2壓力測試壓力測試方法有如下特點1）壓力測試是檢查系統(tǒng)處于壓力情況下的能力表現(xiàn)。比如，通過增加并發(fā)用戶的數(shù)量，檢測系統(tǒng)的服務(wù)能力和水平；通過增加文件記錄數(shù)來檢測數(shù)據(jù)處理的能力和水平等。2）壓力測試一般通過模擬方法進行。壓力測試是一種極端情況下的測試，所以為了捕獲極端狀態(tài)下的系統(tǒng)表現(xiàn)，往往采用模擬方法進行。通常在系統(tǒng)對內(nèi)存和CPU的利用率上進行模擬，以獲得測量結(jié)果。

沈陽師范大學(xué)軟件學(xué)院175.2.2壓力測試壓力測試方法有如下特點

如將壓力的基準(zhǔn)設(shè)定為：內(nèi)存使用率達到75%以上、CPU使用率達到75%以上，并在此觀測系統(tǒng)響應(yīng)時間、系統(tǒng)有無錯誤產(chǎn)生。除了對內(nèi)存和CPU的使用率進行設(shè)定外，數(shù)據(jù)庫的連接數(shù)量、數(shù)據(jù)庫服務(wù)器的CPU利用率也都可以作為壓力測試的依據(jù)。

3）壓力測試一般用于測試系統(tǒng)的穩(wěn)定性。如果一個系統(tǒng)能夠在壓力環(huán)境下穩(wěn)定運行一段時間，那么該系統(tǒng)在普通的運行環(huán)境下就應(yīng)該可以達到令人滿意的穩(wěn)定程度。在壓力測試中，通常會考慮系統(tǒng)在壓力下是否會出現(xiàn)錯誤等方面的問題。

沈陽師范大學(xué)軟件學(xué)院185.2.2壓力測試5.2.2.2壓力測試方法

壓力測試應(yīng)該盡可能逼真地模擬系統(tǒng)環(huán)境。對于實時系統(tǒng)，測試者應(yīng)該以正常和超常的速度輸入要處理的事務(wù)，從而進行壓力測試。批處理的壓力測試可以利用大批量的事務(wù)進行，被測事務(wù)中應(yīng)該包括錯誤條件。壓力測試中使用的事務(wù)可以通過如下3種途徑獲得：測試數(shù)據(jù)生成器由測試小組創(chuàng)建的測試事務(wù)原來在系統(tǒng)環(huán)境中處理過的事務(wù)

沈陽師范大學(xué)軟件學(xué)院195.2.2壓力測試壓力測試與性能測試的聯(lián)系與區(qū)別

壓力測試是用來保證產(chǎn)品發(fā)布后系統(tǒng)能否滿足用戶需求，關(guān)注的重點是系統(tǒng)整體；而性能測試可以發(fā)生在各個測試階段，即使是在單元層，一個單獨模塊的性能也可以進行評估。壓力測試是通過確定一個系統(tǒng)的瓶頸，來獲得系統(tǒng)能提供的最大服務(wù)級別的測試。性能測試是檢測系統(tǒng)在一定負荷下的表現(xiàn)，是正常能力的表現(xiàn)；而壓力測試是極端情況下系統(tǒng)能力的表現(xiàn)。

沈陽師范大學(xué)軟件學(xué)院205.2.2壓力測試壓力測試可以采用以下的測試手段：

1）重復(fù)測試：重復(fù)測試就是一遍又一遍地執(zhí)行某個操作或功能，比如重復(fù)調(diào)用一個Web服務(wù)。壓力測試的一項任務(wù)就是確定在極端情況下一個操作能否正常執(zhí)行，并且能否持續(xù)不斷地在每次執(zhí)行時都正常。這對于推斷一個產(chǎn)品是否適用于某種生產(chǎn)情況至關(guān)重要，客戶通常會重復(fù)使用產(chǎn)品。重復(fù)測試往往與其它測試手段一并使用。

沈陽師范大學(xué)軟件學(xué)院215.2.2壓力測試壓力測試可以采用以下的測試手段：

2）并發(fā)測試：并發(fā)是同時執(zhí)行多個操作的行為，即在同一時間執(zhí)行多個測試線程。例如，在同一個服務(wù)器上同時調(diào)用許多Web服務(wù)。并發(fā)測試原則上不一定適用于所有產(chǎn)品（比如無狀態(tài)服務(wù)），但多數(shù)軟件都具有某個并發(fā)行為或多線程行為元素，這一點只能通過執(zhí)行多個代碼測試用例才能得到測試結(jié)果。

沈陽師范大學(xué)軟件學(xué)院225.2.2壓力測試壓力測試可以采用以下的測試手段：3）量級增加：并發(fā)是同時執(zhí)行多個操作的行為，即在同一時間執(zhí)行多個測試線程。例如，在同一個服務(wù)器上同時調(diào)用許多Web服務(wù)。并發(fā)測試原則上不一定適用于所有產(chǎn)品（比如無狀態(tài)服務(wù)），但多數(shù)軟件都具有某個并發(fā)行為或多線程行為元素，這一點只能通過執(zhí)行多個代碼測試用例才能得到測試結(jié)果。4）隨機變化：該手段是指對上述測試手段進行隨機組合，以便獲得最佳的測試效果。

沈陽師范大學(xué)軟件學(xué)院235.2.2壓力測試壓力測試可以采用以下的測試手段：

例如使用重復(fù)時，在重新啟動或重新連接服務(wù)之前，可以改變重復(fù)操作間的時間間隔、重復(fù)的次數(shù)，或者也可以改變被重復(fù)的Web服務(wù)的順序；使用并發(fā)時，可以改變一起執(zhí)行的Web服務(wù)、同一時間運行的Web服務(wù)數(shù)目，也可以改變關(guān)于是運行許多不同的服務(wù)還是運行許多同樣的實例的決定。量級測試時，每次重復(fù)測試時都可以更改應(yīng)用程序中出現(xiàn)的變量（例如發(fā)送各種大小的消息或數(shù)字輸入值）。如果測試完全隨機的話，因為很難一致地重現(xiàn)壓力下的錯誤，所以一些系統(tǒng)使用基于一個固定隨機種子的隨機變化。這樣，用同一個種子，重現(xiàn)錯誤的機會就會更大。

沈陽師范大學(xué)軟件學(xué)院245.2.2壓力測試5.2.2.3壓力測試執(zhí)行可以設(shè)計壓力測試用例來測試應(yīng)用系統(tǒng)的整體或部分能力。壓力測試用例選取可以從以下幾個方面考慮：輸入待處理事務(wù)來檢查是否有足夠的磁盤空間；創(chuàng)造極端的網(wǎng)絡(luò)負載；制造系統(tǒng)溢出條件；

沈陽師范大學(xué)軟件學(xué)院255.2.2壓力測試5.2.2.3壓力測試執(zhí)行可以設(shè)計壓力測試用例來測試應(yīng)用系統(tǒng)的整體或部分能力。壓力測試用例選取可以從以下幾個方面考慮：輸入待處理事務(wù)來檢查是否有足夠的磁盤空間；創(chuàng)造極端的網(wǎng)絡(luò)負載；制造系統(tǒng)溢出條件；當(dāng)應(yīng)用系統(tǒng)所能正常處理的工作量并不確定時需要使用壓力測試。壓力測試意圖通過對系統(tǒng)施加超負載事務(wù)量來達到破壞系統(tǒng)的目的。壓力測試和在線應(yīng)用程序非常類似，因為很難利用其他測試技術(shù)來模擬高容量的事務(wù)。壓力測試的弱點在于準(zhǔn)備測試的時間與在測試的實際執(zhí)行過程中所消耗的資源數(shù)量都非常龐大。通常在應(yīng)用程序投入使用之前這種消耗的衡量是無法進行的。

沈陽師范大學(xué)軟件學(xué)院265.2.2壓力測試?yán)耗硞€電話通信系統(tǒng)的測試測試采用壓力測試方法。在正常情況下，每天的電話數(shù)目大約2000個，一天24小時服從正態(tài)分布。在系統(tǒng)第1年使用時，系統(tǒng)的平均無故障時間大約1個月左右。分析表明，系統(tǒng)的出錯原因主要來源于單位時間內(nèi)電話數(shù)量比較大的情況下，為此，對系統(tǒng)采用壓力測試，測試時將每天電話的數(shù)目增加10倍，即20000個左右，分布采用均勻和正態(tài)兩種分布，測試大約進行了4個月，共發(fā)現(xiàn)了314個錯誤，修復(fù)這些錯誤大約花費了6個月的時間，修復(fù)后的系統(tǒng)運行了近2年，尚未出現(xiàn)問題。

沈陽師范大學(xué)軟件學(xué)院275.2.3容量測試5.2.3.1基本概念所謂的容量測試（VolumeTesting）是指，采用特定的手段測試系統(tǒng)能夠承載處理任務(wù)的極限值所從事的測試工作。這里的特定手段是指，測試人員根據(jù)實際運行中可能出現(xiàn)極限，制造相對應(yīng)的任務(wù)組合，來激發(fā)系統(tǒng)出現(xiàn)極限的情況。

沈陽師范大學(xué)軟件學(xué)院285.2.3容量測試5.2.3.1基本概念容量測試的目的是使系統(tǒng)承受超額的數(shù)據(jù)容量來發(fā)現(xiàn)它是否能夠正確處理，通過測試，預(yù)先分析出反映軟件系統(tǒng)應(yīng)用特征的某項指標(biāo)的極限值（如最大并發(fā)用戶數(shù)、數(shù)據(jù)庫記錄數(shù)等），確定系統(tǒng)在其極限值狀態(tài)下是否還能保持主要功能正常運行。容量測試還將確定測試對象在給定時間內(nèi)能夠持續(xù)處理的最大負載或工作量。

沈陽師范大學(xué)軟件學(xué)院295.2.3容量測試容量測試與壓力測試的區(qū)別：與容量測試十分相近的概念是壓力測試。二者都是檢測系統(tǒng)在特定情況下，能夠承擔(dān)的極限值。然而兩者的側(cè)重點有所不同，壓力測試主要是使系統(tǒng)承受速度方面的超額負載，例如一個短時間之內(nèi)的吞吐量。容量測試關(guān)注的是數(shù)據(jù)方面的承受能力，并且它的目的是顯示系統(tǒng)可以處理的數(shù)據(jù)容量。

沈陽師范大學(xué)軟件學(xué)院305.2.3容量測試壓力測試、容量測試和性能測試的區(qū)別：更確切的說，壓力測試可以看作是容量測試、性能測試和可靠性測試的一種手段，不是直接的測試目標(biāo)。壓力測試的重點在于發(fā)現(xiàn)功能性測試所不易發(fā)現(xiàn)的系統(tǒng)方面的缺陷，而容量測試和性能測試是系統(tǒng)測試的主要目標(biāo)內(nèi)容，也就是確定軟件產(chǎn)品或系統(tǒng)的非功能性方面的質(zhì)量特征，包括具體的特征值。容量測試和性能測試更著力于提供性能與容量方面的數(shù)據(jù)，為軟件系統(tǒng)部署、維護、質(zhì)量改進服務(wù)，并可以幫助市場定位、銷售人員對客戶的解釋、廣告宣傳等服務(wù)。

沈陽師范大學(xué)軟件學(xué)院315.2.3容量測試壓力測試、容量測試和性能測試的區(qū)別：壓力測試、容量測試和性能測試的測試方法相通，在實際測試工作中，往往結(jié)合起來進行以提高測試效率。一般會設(shè)置專門的性能測試實驗室完成這些工作，即使用虛擬的手段模擬實際操作，所需要的客戶端有時還是很大，所以性能測試實驗室的投資較大。對于許多中小型軟件公司，可以委托第三方完成性能測試，可以在很大程度上降低成本。

沈陽師范大學(xué)軟件學(xué)院325.2.3容量測試5.2.3.2容量測試方法：進行容量測試的首要任務(wù)就是確定被測系統(tǒng)數(shù)據(jù)量的極限，即容量極限。這些數(shù)據(jù)可以是數(shù)據(jù)庫所能容納的最大值，可以是一次處理所能允許的最大數(shù)據(jù)量等等。系統(tǒng)出現(xiàn)問題，通常是發(fā)生在極限數(shù)據(jù)量產(chǎn)生或臨界產(chǎn)生的情況下，這時容易造成磁盤數(shù)據(jù)的丟失、緩沖區(qū)溢出等一些問題。

沈陽師范大學(xué)軟件學(xué)院335.2.3容量測試5.2.3.2容量測試方法：為了更清楚的說明如何確定容量的極限值，參看圖（資源利用率、響應(yīng)時間、用戶負載關(guān)系圖）：

沈陽師范大學(xué)軟件學(xué)院345.2.3容量測試5.2.3.2容量測試方法：圖中反映了資源利用率、響應(yīng)時間與用戶負載之間的關(guān)系?？梢钥吹?，用戶負載增加，響應(yīng)時間也緩慢的增加，而資源利用率幾乎是線形增長。這是因為應(yīng)用做更多的工作，它需要更多的資源。一旦資源利用率接近百分之百時，出現(xiàn)一個有趣的現(xiàn)象，就是響應(yīng)以指數(shù)曲線方式上升，這點在容量評估中被稱作為飽和點。飽和點是指所有性能指標(biāo)都不滿足，隨后應(yīng)用發(fā)生恐慌的時間點。執(zhí)行容量評估的目標(biāo)是保證用戶知道這點在哪，并且永遠不要出現(xiàn)這種情況。在這種負載發(fā)生前，管理者應(yīng)優(yōu)化系統(tǒng)或者增加適當(dāng)額外的硬件。

沈陽師范大學(xué)軟件學(xué)院355.2.3容量測試5.2.3.2容量測試方法：為了確定容量極限，可以進行一些組合條件下的測試，如核實測試對象在以下高容量條件下能否正常運行：鏈接或模擬了最大（實際或?qū)嶋H允許）數(shù)量的客戶機。所有客戶機在長時間內(nèi)執(zhí)行相同的、可能性能不穩(wěn)定的重要業(yè)務(wù)功能。已達到最大的數(shù)據(jù)庫大?。▽嶋H的或按比例縮放的），而一起同時執(zhí)行多個查詢或報表事務(wù)。

沈陽師范大學(xué)軟件學(xué)院365.2.3容量測試5.2.3.2容量測試方法：注意：不能簡單地說在某一標(biāo)準(zhǔn)配置服務(wù)器上運行某軟件的容量是多少，選用不同的加載策略可以反映不同狀況下的容量。舉個簡單的例子，網(wǎng)上聊天室軟件的容量是多少？在一個聊天室內(nèi)有1000個用戶，和100個聊天室每個聊天室內(nèi)有10個用戶，同樣都是1000個用戶，在性能表現(xiàn)上可能會出現(xiàn)很大的不同，在服務(wù)器端數(shù)據(jù)輸出量、傳輸量更是截然不同的。在更復(fù)雜的系統(tǒng)內(nèi)，就需要分別為多種情況提供相應(yīng)的容量數(shù)據(jù)作為參考

沈陽師范大學(xué)軟件學(xué)院375.2.3容量測試5.2.3.3容量測試執(zhí)行：容量測試常用的用例設(shè)計方法有規(guī)范導(dǎo)出法、邊界值分析、錯誤猜測法。容量測試的步驟：分析系統(tǒng)的外部數(shù)據(jù)源，并進行分類；對每類數(shù)據(jù)源分析可能的容量限制，對于記錄類型數(shù)據(jù)需要分析記錄長度限制，記錄中每個域長度限制和記錄數(shù)量限制；對每個類型數(shù)據(jù)源，構(gòu)造大容量數(shù)據(jù)對系統(tǒng)進行測試；分析測試結(jié)果，并與期望值比較，確定目前系統(tǒng)的容量瓶頸；

沈陽師范大學(xué)軟件學(xué)院385.2.3容量測試5.2.3.3容量測試執(zhí)行：容量測試常用的用例設(shè)計方法有規(guī)范導(dǎo)出法、邊界值分析、錯誤猜測法。容量測試的步驟：分析系統(tǒng)的外部數(shù)據(jù)源，并進行分類；對每類數(shù)據(jù)源分析可能的容量限制，對于記錄類型數(shù)據(jù)需要分析記錄長度限制，記錄中每個域長度限制和記錄數(shù)量限制；對每個類型數(shù)據(jù)源，構(gòu)造大容量數(shù)據(jù)對系統(tǒng)進行測試；分析測試結(jié)果，并與期望值比較，確定目前系統(tǒng)的容量瓶頸；對系統(tǒng)進行優(yōu)化并重復(fù)以上四步，直到系統(tǒng)達到期望的容量處理能力。處理數(shù)據(jù)敏感操作時進行的相關(guān)數(shù)據(jù)比較；

沈陽師范大學(xué)軟件學(xué)院395.2.4健壯性測試5.2.4.1基本概念：

健壯性測試（RobustnessTesting）主要用于測試系統(tǒng)抵御錯誤的能力。這里的錯誤通常指的是由于設(shè)計缺陷而帶來的系統(tǒng)錯誤。測試的重點為當(dāng)出現(xiàn)故障時，是否能夠自動恢復(fù)或忽略故障繼續(xù)運行。

沈陽師范大學(xué)軟件學(xué)院405.2.4健壯性測試5.2.4.1基本概念：健壯性的兩層含義：一是高可靠性，二是從錯誤中恢復(fù)的能力。前者體現(xiàn)了軟件系統(tǒng)的質(zhì)量；后者體現(xiàn)了軟件系統(tǒng)的適應(yīng)性。二者也給測試工作提出了不同的測試要求，前者需要根據(jù)符合規(guī)格說明的數(shù)據(jù)選擇測試用例，用于檢測在正常情況下系統(tǒng)輸出的正確性；后者需要在異常數(shù)據(jù)中選擇測試用例，檢測非正常情況下的系統(tǒng)行為。

沈陽師范大學(xué)軟件學(xué)院415.2.4健壯性測試5.2.4.2健壯性測試方法：健壯性測試可以根據(jù)以下方面評價系統(tǒng)的健壯性：通過：系統(tǒng)調(diào)用運行輸入的參數(shù)產(chǎn)生預(yù)期的正常結(jié)果。災(zāi)難性失效：這是系統(tǒng)健壯性測試中最嚴(yán)重的失效，這種失效只有通過系統(tǒng)重新引導(dǎo)才能得到解決。重啟失效：一個系統(tǒng)函數(shù)的調(diào)用沒有返回，使得調(diào)用它的程序掛起或停止。夭折失效：程序執(zhí)行時由于異常輸入，系統(tǒng)發(fā)出錯誤提示使程序中止。沉寂失效：異常輸入時，系統(tǒng)應(yīng)當(dāng)發(fā)出錯誤提示，但是測試結(jié)果卻沒有發(fā)生異常。干擾失效：指系統(tǒng)異常時返回了錯誤的提示，但是該錯誤提示不是期望中的錯誤。

沈陽師范大學(xué)軟件學(xué)院425.2.4健壯性測試5.2.4.2健壯性測試方法：設(shè)計健壯性測試的策略：基于錯誤的策略：確認所有可能的錯誤源，為每一類錯誤開發(fā)錯誤注入技術(shù)；基于覆蓋率的策略：接口覆蓋的數(shù)量，故障位置覆蓋的數(shù)量，例外覆蓋的數(shù)量；基于失效的策略：用例設(shè)計故障是否被處理了，例外是否被處理了，一個組件中的失效是否影響另一個組件；

沈陽師范大學(xué)軟件學(xué)院435.2.5安全性測試5.2.5.1基本概念：安全性測試是檢查系統(tǒng)對非法侵入的防范能力，其目的是為了發(fā)現(xiàn)軟件系統(tǒng)中是否存在安全漏洞。軟件安全性是指在非正常條件下不發(fā)生安全事故的能力。安全性一般分為兩個層次，即應(yīng)用程序級的安全性和系統(tǒng)級別的安全性。它們的關(guān)系：

沈陽師范大學(xué)軟件學(xué)院445.2.5安全性測試5.2.5.1基本概念：應(yīng)用程序級別的安全性包括對數(shù)據(jù)或業(yè)務(wù)功能的訪問；而系統(tǒng)級別的安全性包括對系統(tǒng)的登錄或遠程訪問。應(yīng)用程序級別的安全性可確保在預(yù)期的安全性情況下，操作者只能訪問特定的功能或用例，或者只能訪問有限的數(shù)據(jù)。例如，某財務(wù)系統(tǒng)可能會允許所有人輸入數(shù)據(jù)，創(chuàng)建新賬戶，但只有管理員才能刪除這些數(shù)據(jù)或賬戶。系統(tǒng)級別的安全性對確保只有具備系統(tǒng)訪問權(quán)限的用戶才能訪問應(yīng)用程序，而且只能通過相應(yīng)的入口來訪問。

沈陽師范大學(xué)軟件學(xué)院455.2.5安全性測試5.2.5.2安全性測試方法：（1）功能驗證功能驗證是采用軟件測試當(dāng)中的黑盒測試方法，對涉及安全的軟件功能，如用戶管理模塊、權(quán)限管理模塊、加密系統(tǒng)、認證系統(tǒng)等進行測試，主要是驗證上述功能是否有效。一些功能性的安全問題包括：控制特性是否工作正確？無效的或者不可能的參數(shù)的指令是否被檢測并且被適當(dāng)?shù)靥幚?？無效的或者超出范圍的指令是否被檢測并且被適當(dāng)?shù)靥幚?？錯誤和文件訪問是否適當(dāng)?shù)乇挥涗?？是否有變更安全性表格的過程？系統(tǒng)配置數(shù)據(jù)是否能正確保存，系統(tǒng)出現(xiàn)故障時是否能恢復(fù)？

沈陽師范大學(xué)軟件學(xué)院465.2.5安全性測試5.2.5.2安全性測試方法：系統(tǒng)配置數(shù)據(jù)能否導(dǎo)出，并在其他機器上進行備份？系統(tǒng)配置數(shù)據(jù)能否導(dǎo)入，導(dǎo)入后能否正常使用？系統(tǒng)配置數(shù)據(jù)保存時是否加密？沒有口令是否可以登錄到系統(tǒng)中？有效的口令是否被接受，無效的口令是否被拒絕？系統(tǒng)對多次無效口令是否有適當(dāng)?shù)姆磻?yīng)？系統(tǒng)初始的權(quán)限功能是否正確？各級用戶權(quán)限劃分是否合理？用戶的生命期是否有限制？

沈陽師范大學(xué)軟件學(xué)院475.2.5安全性測試5.2.5.2安全性測試方法：低級別的用戶是否可以操作高級別用戶命令？高級別的用戶是否可以操作低級別用戶命令？用戶是否會自動超時退出，超時的時間設(shè)置是否合理，用戶數(shù)據(jù)是否會丟失？登錄用戶修改其他用戶的參數(shù)是否會立即生效？系統(tǒng)在最大用戶數(shù)量時是否操作正常？對于遠端操作是否有安全方面的特性？防火墻是否能被激活和取消激活？防火墻功能激活后是否會引起其他問題？

沈陽師范大學(xué)軟件學(xué)院485.2.5安全性測試5.2.5.2安全性測試方法：（2）漏洞掃描安全漏洞掃描通常都是借助于特定的漏洞掃描器完成。漏洞掃描器是一種能自動檢測遠程或本地主機安全性弱點的程序，通過使用漏洞掃描器，系統(tǒng)管理員能夠發(fā)現(xiàn)所維護信息系統(tǒng)存在的安全漏洞，從而在信息系統(tǒng)網(wǎng)絡(luò)安全防護過程中做到有的放矢，及時修補漏洞。

沈陽師范大學(xué)軟件學(xué)院495.2.5安全性測試5.2.5.3安全性測試執(zhí)行：危險和威脅分析。執(zhí)行系統(tǒng)和它的實用環(huán)境的風(fēng)險和威脅分析。以一種它們可以和系統(tǒng)的安全性動作相比較的方式來定義安全性需求和劃分優(yōu)先級。基于威脅分析，為系統(tǒng)定義安全需求，最關(guān)鍵的安全性需求應(yīng)該得到最大程度的關(guān)注。注意，系統(tǒng)最弱的鏈接也是重要的，安全性需求的定義是一個反復(fù)的過程。模擬安全行為。基于劃分的安全需求的優(yōu)先次序，識別形成系統(tǒng)安全動作的功能和它們依賴的優(yōu)先順序。執(zhí)行安全性測試。實用合適的證據(jù)收集和測試工具。估計基于證據(jù)的安全活動的可能性和影響。合計出一個準(zhǔn)確的結(jié)果及系統(tǒng)是否滿足安全性需求。

沈陽師范大學(xué)軟件學(xué)院505.2.6可靠性測試5.2.6.1可靠性測試對象選取需要長時間運行的軟件。如服務(wù)器軟件和航天、電信、金融服務(wù)等領(lǐng)域的軟件等。對故障率有特別需求的軟件。如驅(qū)動程序等。使用頻度非常高的底層模塊。如驅(qū)動程序模塊、公用模塊等。

沈陽師范大學(xué)軟件學(xué)院515.2.6可靠性測試5.2.6.1可靠性測試對象選取需要長時間運行的軟件。如服務(wù)器軟件和航天、電信、金融服務(wù)等領(lǐng)域的軟件等。對故障率有特別需求的軟件。如驅(qū)動程序等。使用頻度非常高的底層模塊。如驅(qū)動程序模塊、公用模塊等。

沈陽師范大學(xué)軟件學(xué)院525.2.6可靠性測試5.2.6.2可靠性測試方法測試用例設(shè)計充分。多個組進行獨立測試真實環(huán)境測試長時間運行測試故障插入測試

沈陽師范大學(xué)軟件學(xué)院535.2.7恢復(fù)性測試5.2.7.1恢復(fù)性測試概述恢復(fù)性測試主要檢查系統(tǒng)的容錯能力。當(dāng)系統(tǒng)出錯時，能否在指定時間間隔內(nèi)修正錯誤并重新啟動系統(tǒng)?；謴?fù)測試首先要采用各種辦法強迫系統(tǒng)失敗，然后驗證系統(tǒng)是否能盡快恢復(fù)。對于自動恢復(fù)，需驗證重新初始化、檢查點、數(shù)據(jù)恢復(fù)和重新啟動等機制的正確性；對于人工干預(yù)的恢復(fù)系統(tǒng)，還需估測平均修復(fù)時間，確定其是否在可接受的范圍內(nèi)備份測試是恢復(fù)測試的一個補充，也是恢復(fù)性測試的一個部分。備份測試的目的是驗證系統(tǒng)在軟件或者硬件失敗時備份數(shù)據(jù)的能力。

沈陽師范大學(xué)軟件學(xué)院545.2.7恢復(fù)性測試5.2.7.2在設(shè)計恢復(fù)性測試用例時，需要考慮下面這些關(guān)鍵問題：測試是否存在潛在的災(zāi)難，以及它們可能造成的損失？消防訓(xùn)練式的布置災(zāi)難場景是一種有效的方法。保護和恢復(fù)工作是否為災(zāi)難提供了足夠的準(zhǔn)備？評審人員應(yīng)該評審測試工作及測試步驟，以便檢查對災(zāi)難的準(zhǔn)備情況。評審人員包括主要事件專家和系統(tǒng)用戶。當(dāng)真正需要時，恢復(fù)過程是否能夠正常工作？模擬的災(zāi)難需要和實際的系統(tǒng)一起被創(chuàng)建以驗證恢復(fù)過程。用戶、供應(yīng)商應(yīng)當(dāng)共同完成測試工作。

沈陽師范大學(xué)軟件學(xué)院555.2.8兼容性測試5.2.8.1兼容性測試概述：兼容性測試是指檢查軟件之間是否能夠正確地進行交互和共享信息。對新軟件進行軟件兼容性測試，需要解決：1．軟件設(shè)計要求與何種其它平臺和應(yīng)用軟件保持兼容？如果要測試的軟件是一個平臺，那么設(shè)計要求什么應(yīng)用程序在其上運行？2．應(yīng)該遵守何種定義軟件之間交互當(dāng)?shù)貥?biāo)準(zhǔn)或者規(guī)范？3．軟件使用何種數(shù)據(jù)與其它平臺和軟件交互和共享信息？

沈陽師范大學(xué)軟件學(xué)院565.2.8兼容性測試兼容性測試概述：兼容性測試是指檢查軟件之間是否能夠正確地進行交互和共享信息。對新軟件進行軟件兼容性測試，需要解決：1．軟件設(shè)計要求與何種其它平臺和應(yīng)用軟件保持兼容？如果要測試的軟件是一個平臺，那么設(shè)計要求什么應(yīng)用程序在其上運行？2．應(yīng)該遵守何種定義軟件之間交互當(dāng)?shù)貥?biāo)準(zhǔn)或者規(guī)范？3．軟件使用何種數(shù)據(jù)與其它平臺和軟件交互和共享信息？

沈陽師范大學(xué)軟件學(xué)院575.2.9安裝性測試安裝性測試概述：軟件如要實現(xiàn)其功能（除嵌入式軟件外），第一步是安裝操作。理想情況下，一個軟件的安裝程序應(yīng)當(dāng)可以較好的與已有系統(tǒng)相兼容，并有相應(yīng)的提示界面供用戶參考，安裝完畢并實現(xiàn)其功能。若事先沒有正確的安裝測試，導(dǎo)致軟件安裝錯誤或失敗，則軟件根本就談不上正確的執(zhí)行，因此安裝測試就顯得相當(dāng)重要。安裝性測試的目的就是要驗證系統(tǒng)成功安裝的能力，并保證程序安裝后能正常運行。因此清晰且簡單的安裝過程是系統(tǒng)文檔中最重要的部分。

沈陽師范大學(xué)軟件學(xué)院585.2.9安裝性測試安裝性測試概述：

安裝測試應(yīng)考慮多個方面的內(nèi)容，其方法和應(yīng)考慮的方面主要有以下：首先，應(yīng)參照安裝手冊中的步驟進行安裝，主要考慮到安裝過程中所有的缺省選項和典型選項的驗證。安裝前應(yīng)先備份測試機的注冊表。安裝有自動安裝和手工配置之分，應(yīng)測試不同的安裝組合的正確性，最終使所有組合均能安裝成功。安裝過程中異常配置或狀態(tài)情況（繼電等）要進行測試。

沈陽師范大學(xué)軟件學(xué)院595.2.9安裝性測試安裝性測試概述：檢查安裝后能否產(chǎn)生正確或是多余的目錄結(jié)構(gòu)和文件，以及文件屬性是否正確。安裝測試應(yīng)該在所有的運行環(huán)境上進行驗證，如操作系統(tǒng)，數(shù)據(jù)庫，硬件環(huán)境，網(wǎng)絡(luò)環(huán)境等。至少要在一臺筆記本上進行安裝測試，臺式機和筆記本硬件的差別會造成其安裝時出現(xiàn)問題。安裝后應(yīng)執(zhí)行卸載操作，檢測系統(tǒng)是否可以正確完成任務(wù)。檢測安裝該程序是否對其他的應(yīng)用程序造成影響。如有web服務(wù)，應(yīng)檢測會不會引起多個web服務(wù)的沖突。

沈陽師范大學(xué)軟件學(xué)院605.2.10可用性測試可用性測試概述：可用性測試(UsabilityTesting)是對于用戶友好性的測試，是指在設(shè)計過程中被用來改善易用性的一系列方法。測試人員為用戶提供一系列操作場景和任務(wù)讓他們?nèi)ネ瓿?，這些場景和任務(wù)與產(chǎn)品或服務(wù)密切相關(guān)，通過觀察來發(fā)現(xiàn)完成過程中出現(xiàn)了什么問題、用戶喜歡或不喜歡哪些功能和操作方式，原因是什么，針對問題所在提出改進的建議。

沈陽師范大學(xué)軟件學(xué)院615.2.10可用性測試可用性測試概述：

可用性是指產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時所具有的有效性、效率和用戶主觀滿意度。有效性是用戶完成特定任務(wù)時所具有的正確和完整程度；效率是用戶完成任務(wù)的正確完整程度與所用資源（如時間）之間的比率；滿意度是用戶在使用產(chǎn)品過程中具有的主觀滿意和接受程度。可用性體現(xiàn)的是用戶在使用過程中所實際感受到的產(chǎn)品質(zhì)量，即使用質(zhì)量；而實用性體現(xiàn)的是產(chǎn)品功能，即產(chǎn)品本身所具有的功能模塊。與實用性相比，可用性重視了人的因素，重視了產(chǎn)品是被要最終用戶使用的。。

沈陽師范大學(xué)軟件學(xué)院625.2.10可用性測試典型可用性測試包含以下維度:任務(wù)操作的成功率；任務(wù)操作效率；任務(wù)操作前的用戶期待；任務(wù)操作后的用戶評價；用戶滿意度；各任務(wù)出錯率；二次操作成功率；二次識別率用戶操作過程中各認知緯度（視產(chǎn)品情況而定）。

沈陽師范大學(xué)軟件學(xué)院635.2.10可用性測試可用性測試的文檔：日程安排文檔用戶協(xié)議測試前問卷任務(wù)卡片過程記錄文檔影音資料用戶背景資料文檔測試腳本測試后問卷測試過程檢查文檔測試報告

沈陽師范大學(xué)軟件學(xué)院645.2.10可用性測試可用性測試方法：（1）一對一用戶測試（2）啟發(fā)式評估（3）焦點小組可用性問題包括以下方面:過分復(fù)雜的功能或者指令；困難的安裝過程；錯誤信息過于簡單，例如“系統(tǒng)錯誤”；語法難于理解和使用；

沈陽師范大學(xué)軟件學(xué)院655.2.10可用性測試可用性問題包括以下方面:非標(biāo)準(zhǔn)的GUI接口；用戶被迫去記住太多的信息；難以登錄；幫助文本上下文不敏感或者不夠詳細；和其他系統(tǒng)之間的連接太弱；默認不夠清晰；接口太簡單或者太復(fù)雜；語法、格式和定義不一致；沒有給用戶提供所有輸入的清晰的認識。

沈陽師范大學(xué)軟件學(xué)院66本節(jié)內(nèi)容5.3系統(tǒng)測試設(shè)計5.3.1用戶層設(shè)計5.3.2應(yīng)用層設(shè)計5.3.3功能層設(shè)計5.3.4子系統(tǒng)層設(shè)計沈陽師范大學(xué)軟件學(xué)