軟件異常測試

1、軟件異常測試 由安博測試空間技術(shù)中心 地址：北京市海淀區(qū)學(xué)院路 40號大唐電信測試空間樓軟件交付最終用戶使用之前，需要進(jìn)行各種類型的蜒，其中就包括異常測試。異常測 試，是檢測系統(tǒng)對異常情況的處理。異常測試覆蓋硬件或布竟常時的處理。測試方應(yīng)通過人為制造錯誤情況測試系統(tǒng)對錯誤操作、錯誤報文的反應(yīng)，檢查程序中的屏幕或頁面是否給出了清晰且充分的提示或約束；一旦出現(xiàn)錯誤情況， 系統(tǒng)是否能正常報告， 并檢查系統(tǒng)的錯誤提示是否清晰且充分；測試系統(tǒng)是否處理了用戶的異常操作，還是造成死機(jī)或處理錯誤。 只有通過異常測試的軟件產(chǎn)品，才可以保證軟件在正式上線后長時間的保持良好的運(yùn)營狀 態(tài)，給最終用戶以信心。異常測試的

2、結(jié)果也有助于為我們進(jìn)一步的系統(tǒng)優(yōu)化設(shè)計(jì)積累經(jīng)驗(yàn)， 設(shè)計(jì)和測試是一個相互反饋的過程。這里我們只針對異常測試案例的設(shè)計(jì)進(jìn)行討論。為了驗(yàn)證軟件的健壯性、可靠性，我們需要對軟件進(jìn)行異常測試，設(shè)計(jì)軟件異常測試的測試用例。為了更清晰的分析和解決問題， 我們從四個方面入手，他們分別是：業(yè)務(wù)需求、操作需求、標(biāo)準(zhǔn)需求和經(jīng)驗(yàn)需求。下面我們 就從這四個方面詳細(xì)闡述如何設(shè)計(jì)異常測試用例。從業(yè)務(wù)需求方面：業(yè)務(wù)需求是開發(fā)之源，也是測試之源。測試人員對業(yè)務(wù)需求的了解是非常非常重要的， 針對于異常測試更是如此。進(jìn)行正常測試可以對軟件進(jìn)行掃菜單”式的測試，但是進(jìn)行異常測試就必須要熟悉所測軟件的業(yè)務(wù)流程、相關(guān)業(yè)務(wù)領(lǐng)域知識等信息，

3、只有這樣才可以知道系統(tǒng)在什么情況下會發(fā)生異常，什么情況下容易發(fā)生人為錯誤。這需要測試人員和開發(fā)人員或 者系統(tǒng)分析員甚至真正的業(yè)務(wù)人員一起討論，根據(jù)軟件的類型與特點(diǎn)設(shè)計(jì)測試案例，不能憑空猜想。只有這樣設(shè)計(jì)出的案例才能夠真正的測試到，由于關(guān)鍵業(yè)務(wù)需要或者變化發(fā)生了異常，在此時軟件的處理能力。這一類的測試案例可以包括：特殊業(yè)務(wù)流程測試：測試軟件不按照正規(guī)的流程，而是按照可能的但非正規(guī)的業(yè)務(wù)流程 運(yùn)行，是否會生成錯誤數(shù)據(jù)，或者造成原有數(shù)據(jù)的錯誤，甚至造成系統(tǒng)的癱瘓；壓力測試：壓力測試又稱強(qiáng)度測試，主要是檢查系統(tǒng)某些關(guān)鍵業(yè)務(wù)在極限情況下運(yùn)行的 能力，測試在這種情況下系統(tǒng)的運(yùn)行、處理數(shù)據(jù)的情況，是否會造成

4、系統(tǒng)癱瘓；業(yè)務(wù)模塊的添加、刪除測試：根據(jù)實(shí)際情況，增加或刪除業(yè)務(wù)模塊，測試系統(tǒng)的運(yùn)行狀況；刪除或修改系統(tǒng)的重要配置文件測試：測試情況發(fā)生時系統(tǒng)是否能夠正確的提示，指明系統(tǒng)的錯誤。在進(jìn)行相應(yīng)修補(bǔ)后，系統(tǒng)是否能夠正常運(yùn)行；修改系統(tǒng)的重要配置信息測試：在軟件的配置界面進(jìn)行重要信息的修改或刪除，測試系統(tǒng)是否有相關(guān)限制提示， 并測試如果修改錯誤，系統(tǒng)是否能夠進(jìn)行錯誤提示，引導(dǎo)用戶修改，而不至于系統(tǒng)癱瘓；違規(guī)操作：這類測試可以包括，對現(xiàn)有重要業(yè)務(wù)數(shù)據(jù)的違規(guī)操作、用戶越權(quán)業(yè)務(wù)操作等，測試系統(tǒng)是否有相關(guān)約束。如果發(fā)生類似事件，系統(tǒng)是否有補(bǔ)救措施，而不導(dǎo)致系統(tǒng)的癱瘓。從操作需求方面：用戶正確的操作是系統(tǒng)正常運(yùn)行

5、的前提。所以在測試的時候，一定要進(jìn)行錯誤操作來測試軟件系統(tǒng)的健壯性。 在從操作需求方面設(shè)計(jì)異常測試的測試用例時，需要從用戶或者操作者的每一步的操作中進(jìn)行提煉，而且這些測試用例一定要可操作性強(qiáng)，輸入、輸出、操作步驟都應(yīng)該明確。實(shí)際上這部分測試用例也是 功能測試 用例的一部分,只是他不是正常、按照 用戶需求說明書的操作而已。這一類的測試案例可以包括：單引號操作：大多數(shù)基于 SQL的數(shù)據(jù)庫系統(tǒng)在用戶存儲包含一個英文單引號的信息時 會出現(xiàn)問題，所以每一個可以接受文字?jǐn)?shù)字型的條目都要有包含一個或多個單引號的文本案 例。當(dāng)然，這類問題還應(yīng)該包括英文雙引號、&、等特殊字符。在測試的時候應(yīng)該注 意其之

6、前的提示和錯誤操作之后的恢復(fù)與補(bǔ)救措施等；必填項(xiàng)輸入測試：測試每一個功能說明書上指出的屏幕上必須輸入數(shù)據(jù)的字段和屏幕上 每一個被說明為必須輸入的字段，以保證它強(qiáng)制要求你在字段中輸入數(shù)據(jù)。測試其如果沒有輸入相關(guān)數(shù)據(jù)的提示和后續(xù)操作；特殊字段類型測試：準(zhǔn)備每一個功能說明書或界面中規(guī)定的特殊數(shù)據(jù)輸入要求(身份證、日期、電話號碼、郵編等)的字段的測試案例，輸入的數(shù)據(jù)包括它不應(yīng)該接受的數(shù)據(jù)類型， 測試軟件對錯誤輸入的提示和后續(xù)操作；字段長度測試：準(zhǔn)備功能說明書或者界面上要求的字段最大長度的測試案例，輸入數(shù)據(jù)應(yīng)該大于這個最大長度，測試軟件對錯誤輸入的提示和后續(xù)操作；數(shù)字類型的邊界測試：如果是數(shù)字類型，長度

7、往往不能測試出問題，要準(zhǔn)備數(shù)字類型的邊界值測試案例，測試軟件對越界錯誤輸入的提示和后續(xù)操作；日期類型測試：日期類型要測試其邊界值和日期格式類型的有效性測試。對于日期類型的邊界值可能根據(jù)數(shù)據(jù)庫不同而不同，比如sql server的最小日期是1753年1月1日；而對于有效性最常用的就是閏年的有效日期問題，準(zhǔn)備這類測試用例來測試軟件對于錯誤輸入的提示和后續(xù)操作；web會話測試：對于采用 b/s結(jié)構(gòu)的軟件，應(yīng)該注意 web會話測試。比如：在空白的 瀏覽器中輸入比較敏感的頁面的URL ,軟件是否有相應(yīng)的提示、強(qiáng)調(diào)應(yīng)該先進(jìn)行登錄才能訪問該界面。從標(biāo)準(zhǔn)需求方面：在軟件界中被廣泛使用的質(zhì)量標(biāo)準(zhǔn)是ISO/ IE

8、C 9126,而其中對于異常測試最相關(guān)的質(zhì)量特性就是可靠性(reliability ),它的定義是：在指定條件使用時，軟件產(chǎn)品維持規(guī)定的 性能級別的能力。他下面又有四個子特性：成熟性、容錯性、易恢復(fù)性、可靠性依從性。下 面我們就從這四方面來設(shè)計(jì)異常測試案例。1. 成熟性：軟件產(chǎn)品為避免由軟件中錯誤而導(dǎo)致失效的能力2. 容錯性：在軟件失效或者違反規(guī)定的接口的情況下，軟件產(chǎn)品維持規(guī)定的性能級別的 能力3. 易恢復(fù)性：在發(fā)生故障的情況下，軟件重建規(guī)定的性能級別并恢復(fù)受直接影響的數(shù)據(jù) 的能力4. 可靠性依從性：軟件產(chǎn)品依附于同可靠性相關(guān)的標(biāo)準(zhǔn)、約定或規(guī)定的能力。實(shí)際以上四條是我們進(jìn)行異常測試的目的和依

9、據(jù)，我們之前的測試案例都是在驗(yàn)證這四條特性。根據(jù)這些標(biāo)準(zhǔn)，我們可以進(jìn)一步準(zhǔn)備異常測試案例，其中包括：數(shù)據(jù)庫服務(wù)器死機(jī)測試：在測試過程中強(qiáng)行關(guān)閉軟件的數(shù)據(jù)庫服務(wù)器或者用其它方式導(dǎo) 致數(shù)據(jù)庫死機(jī)，測試被測系統(tǒng)的提示是否準(zhǔn)確以及其后的相關(guān)補(bǔ)救提示或操作；數(shù)據(jù)表毀壞測試：非法刪除或修改數(shù)據(jù)庫中的表數(shù)據(jù)或者表，測試被測系統(tǒng)的提示是否準(zhǔn)確以及其后的相關(guān)補(bǔ)救提示或操作；網(wǎng)絡(luò)故障測試：在測試中中斷網(wǎng)絡(luò)或者人工增加網(wǎng)絡(luò)流量，測試被測系統(tǒng)的提示是否準(zhǔn)確以及其后的相關(guān)補(bǔ)救提示或操作；軟件服務(wù)器故障測試：在測試過程中，強(qiáng)行重啟軟件的web服務(wù)器或者中間件服務(wù)器，測試系統(tǒng)的恢復(fù)能力；從經(jīng)驗(yàn)需求方面：對于測試人員，經(jīng)驗(yàn)是十分重要的。 測試是有規(guī)律可循的，對軟件測試、軟件相關(guān)業(yè)務(wù) 與流程熟悉的測試人員，測試肯定會事半功倍。根據(jù)以往的經(jīng)驗(yàn)，異常測試案例的設(shè)計(jì)，除了上面提及的各個案例，還有一些補(bǔ)充的被廣泛采納的測試案例。這些案例包括以下幾類：文件丟失測試：強(qiáng)行刪除被測軟件的一些文件，測試被測系統(tǒng)的提示是否準(zhǔn)確以及其后 的相關(guān)補(bǔ)救提示或操作；服務(wù)器資源測試：通過人為手段，增加軟件數(shù)據(jù)庫服務(wù)器、 web服務(wù)器或者中間件服務(wù) 器等相關(guān)服務(wù)器的硬件資源，如：cpu、內(nèi)存、硬盤等的負(fù)載，測試被測系統(tǒng)的反應(yīng)和其后的補(bǔ)救提示或操作