軟件可靠性測(cè)試與評(píng)估實(shí)驗(yàn)指導(dǎo)書

1、軟件可靠性測(cè)試與評(píng)估實(shí)驗(yàn)指導(dǎo)書北航可靠性與系統(tǒng)工程學(xué)院目 錄1緒論11.1軟件可靠性測(cè)試與評(píng)估概論11.2軟件可靠性測(cè)試分類32實(shí)驗(yàn)設(shè)置的背景、意義和內(nèi)容安排42.1實(shí)驗(yàn)設(shè)置的背景、意義42.2本實(shí)驗(yàn)的內(nèi)容安排52.3實(shí)驗(yàn)課要求52.4實(shí)驗(yàn)報(bào)告要求62.5實(shí)驗(yàn)軟件簡(jiǎn)介62.5.1軟件可靠性測(cè)試數(shù)據(jù)生成工具TCS62.5.2軟件可靠性評(píng)估工具SRET62.5.3ATM機(jī)軟件63軟件可靠性測(cè)試剖面構(gòu)造實(shí)驗(yàn)部分73.1概述及實(shí)驗(yàn)相關(guān)介紹73.1.1Musa操作剖面73.1.2Musa操作剖面的構(gòu)造方法83.2實(shí)驗(yàn)軟件133.2.1TCS133.2.2ATM機(jī)軟件143.3實(shí)驗(yàn)內(nèi)容144軟件可靠性驗(yàn)證

2、測(cè)試實(shí)驗(yàn)部分154.1概述及實(shí)驗(yàn)相關(guān)介紹154.1.1軟件可靠性驗(yàn)證測(cè)試流程154.1.2軟件可靠性驗(yàn)證統(tǒng)計(jì)測(cè)試方案174.1.3軟件可靠性驗(yàn)證測(cè)試的注意事項(xiàng)224.2實(shí)驗(yàn)軟件234.3實(shí)驗(yàn)內(nèi)容235軟件可靠性增長(zhǎng)測(cè)試實(shí)驗(yàn)部分(選做)235.1概述及實(shí)驗(yàn)相關(guān)介紹235.1.1軟件可靠性增長(zhǎng)測(cè)試流程235.1.2軟件可靠性增長(zhǎng)測(cè)試的注意事項(xiàng)265.2實(shí)驗(yàn)軟件265.3實(shí)驗(yàn)內(nèi)容276軟件可靠性評(píng)估實(shí)驗(yàn)276.1概述及實(shí)驗(yàn)相關(guān)介紹276.1.1軟件可靠性評(píng)估流程276.1.2軟件可靠性評(píng)估注意事項(xiàng)286.2實(shí)驗(yàn)軟件286.3實(shí)驗(yàn)內(nèi)容281 緒論1.1 軟件可靠性測(cè)試與評(píng)估概論軟件可靠性測(cè)試是指為了保

3、證和驗(yàn)證軟件的可靠性而對(duì)軟件進(jìn)行的測(cè)試。它是隨機(jī)測(cè)試的一種，其主要特征是按照用戶實(shí)際使用軟件的方式來測(cè)試軟件。軟件可靠性測(cè)試是評(píng)估軟件可靠性水平及驗(yàn)證軟件產(chǎn)品是否達(dá)到可靠性要求的一種有效途徑。與其它類型的軟件測(cè)試相比，軟件可靠性測(cè)試可以使用與其它測(cè)試方法相同的測(cè)試環(huán)境和測(cè)試結(jié)果分析方法，但是必須使用專有的軟件測(cè)試數(shù)據(jù)生成方法和軟件可靠性評(píng)估技術(shù)，在測(cè)試數(shù)據(jù)中體現(xiàn)出軟件需求以及用戶對(duì)軟件的使用情況，在評(píng)估中體現(xiàn)出軟件可靠性測(cè)試中的定量化評(píng)估度量。通過軟件可靠性測(cè)試可以達(dá)到以下目的：a) 實(shí)現(xiàn)軟件可靠性的有效增長(zhǎng)：通過軟件可靠性測(cè)試暴露出軟件中隱藏的缺陷，并進(jìn)行排錯(cuò)和糾正后，軟件可靠性會(huì)得到增長(zhǎng)。

4、軟件可靠性測(cè)試暴露出來的缺陷是那些軟件中發(fā)生概率高的缺陷，而且是對(duì)軟件可靠性影響最大的缺陷，這些缺陷得到糾正后，軟件可靠性在軟件可靠性測(cè)試的早期就會(huì)得到較大的增長(zhǎng)。b) 用于驗(yàn)證軟件可靠性是否滿足一定的要求：可以根據(jù)用戶的可靠性要求確定可靠性驗(yàn)證方案，進(jìn)行可靠性驗(yàn)證測(cè)試，從而驗(yàn)證軟件可靠性的定量要求是否得到滿足。c) 用于預(yù)計(jì)軟件的可靠性：通過對(duì)軟件可靠性增長(zhǎng)測(cè)試中觀測(cè)到的失效數(shù)據(jù)進(jìn)行分析，可以評(píng)估當(dāng)前軟件可靠性的水平，預(yù)測(cè)未來可能達(dá)到的水平，從而為軟件開發(fā)管理提供決策依據(jù)。軟件可靠性測(cè)試與一般軟件測(cè)試在測(cè)試目的、測(cè)試效率、測(cè)試數(shù)據(jù)生成方法、測(cè)試數(shù)據(jù)收集、測(cè)試數(shù)據(jù)分析以及測(cè)試停止準(zhǔn)則上都存在差

5、異，軟件可靠性測(cè)試與一般軟件測(cè)試的比較如表1所示。表1軟件可靠性增長(zhǎng)測(cè)試與一般測(cè)試比較比較項(xiàng)目軟件可靠性增長(zhǎng)測(cè)試一般軟件測(cè)試測(cè)試目的評(píng)估軟件可靠性水平、有效實(shí)現(xiàn)軟件可靠性增長(zhǎng)發(fā)現(xiàn)軟件的故障測(cè)試效率較快達(dá)到可靠性要求達(dá)到可靠性要求較慢測(cè)試數(shù)據(jù)生成方法基于使用的測(cè)試，根據(jù)軟件的使用狀況構(gòu)造操作剖面然后生成測(cè)試用例基于需求/結(jié)構(gòu)的測(cè)試，根據(jù)軟件的需求或結(jié)構(gòu)生成測(cè)試用例數(shù)據(jù)收集需要收集測(cè)試輸出結(jié)果和失效時(shí)間等數(shù)據(jù)只需收集測(cè)試輸出結(jié)果數(shù)據(jù)分析通過失效數(shù)據(jù)進(jìn)行可靠性分析根據(jù)用例執(zhí)行情況進(jìn)行需求/結(jié)構(gòu)覆蓋分析測(cè)試停止準(zhǔn)則滿足可靠性要求功能/性能測(cè)試：需求覆蓋100%結(jié)構(gòu)測(cè)試：語(yǔ)句覆蓋100%、分支覆蓋100

6、%或滿足其它結(jié)構(gòu)覆蓋要求軟件可靠性測(cè)試的特點(diǎn)如圖1所示。圖 1軟件可靠性測(cè)試的特點(diǎn)國(guó)家標(biāo)準(zhǔn)GB11457中，軟件可靠性評(píng)估（software reliability assessment）或軟件可靠性評(píng)價(jià)（software reliability evaluation）是指“確定現(xiàn)有系統(tǒng)或系統(tǒng)部件可靠性所達(dá)到的水平的過程”。國(guó)際標(biāo)準(zhǔn)IEEE Std.1633中，軟件可靠性評(píng)估（software reliability evaluation）被定義為“統(tǒng)計(jì)學(xué)技術(shù)在系統(tǒng)測(cè)試和運(yùn)行期間收集的可觀測(cè)失效數(shù)據(jù)上的應(yīng)用，用于評(píng)價(jià)軟件的可靠性”。軟件的失效數(shù)據(jù)可以在下述兩種情況下獲得，一是在測(cè)試階段后期，通

7、過軟件可靠性測(cè)試（即按照軟件的實(shí)際使用方式測(cè)試軟件的一種方法），收集測(cè)試過程中的失效數(shù)據(jù)，對(duì)軟件的可靠性水平進(jìn)行估計(jì)，并能夠?qū)ξ磥砜赡苓_(dá)到的可靠性水平進(jìn)行預(yù)計(jì)；二是在軟件投入使用后，通過收集實(shí)際使用過程中軟件的失效數(shù)據(jù)，對(duì)軟件可靠性進(jìn)行評(píng)估，并對(duì)未來軟件可能達(dá)到的可靠性水平進(jìn)行預(yù)計(jì)。此時(shí)的軟件可靠性評(píng)估結(jié)果被認(rèn)為是真正意義上“軟件完成規(guī)定功能的能力”（即軟件可靠性的定義）的反映，即：此時(shí)的可靠性評(píng)估結(jié)果，不僅可以給出實(shí)際的可靠性水平，也可以為下一代軟件或同類型軟件的可靠性定量要求的確定提供參考。軟件可靠性評(píng)估是軟件可靠性工程中的重要活動(dòng)內(nèi)容之一，可用于定量地評(píng)價(jià)軟件工程技術(shù)，能夠給出“軟件究竟

8、有多可靠”的定量結(jié)果。1.2 軟件可靠性測(cè)試分類軟件可靠性測(cè)試分為軟件可靠性增長(zhǎng)測(cè)試、軟件可靠性驗(yàn)證測(cè)試，如果在沒有可靠性指標(biāo)要求而需要評(píng)估當(dāng)前的可靠性水平，還有軟件可靠性摸底測(cè)試。l 軟件可靠性增長(zhǎng)測(cè)試軟件可靠性增長(zhǎng)測(cè)試一般在軟件系統(tǒng)測(cè)試階段的末期進(jìn)行。通常在完成編碼、單元測(cè)試、集成測(cè)試以及常規(guī)系統(tǒng)測(cè)試后，如果還有可靠性要求，再進(jìn)行軟件可靠性增長(zhǎng)測(cè)試。軟件可靠性增長(zhǎng)測(cè)試是一項(xiàng)費(fèi)時(shí)、費(fèi)力的工作，一般僅適用于有可靠性定量要求、且可能會(huì)影響系統(tǒng)安全和任務(wù)完成的關(guān)鍵軟件。通常采取的是測(cè)試-可靠性分析-修改-再測(cè)試-再分析-再修改的循環(huán)過程。軟件可靠性增長(zhǎng)測(cè)試具有以下特點(diǎn)，如表2所示表 2軟件可靠性增

9、長(zhǎng)測(cè)試的特點(diǎn)軟件可靠性增長(zhǎng)測(cè)試的特點(diǎn)測(cè)試目的通過測(cè)試-可靠性分析-修改-再測(cè)試-再分析-再修改的循環(huán)過程，使軟件達(dá)到可靠性要求測(cè)試人員通常由軟件研制方而非使用方進(jìn)行測(cè)試測(cè)試階段通常在軟件系統(tǒng)測(cè)試階段測(cè)試場(chǎng)所一般在實(shí)驗(yàn)室中進(jìn)行測(cè)試對(duì)象軟件產(chǎn)品的中間形式測(cè)試方法基于操作剖面的隨機(jī)測(cè)試方法測(cè)試特征測(cè)試過程中軟件出現(xiàn)失效后修改軟件、排除引起失效的缺陷，從而實(shí)現(xiàn)軟件可靠性的增長(zhǎng)l 軟件可靠性驗(yàn)證測(cè)試軟件可靠性驗(yàn)證測(cè)試是為了驗(yàn)證在給定的置信度下，軟件當(dāng)前的可靠性水平是否滿足用戶的要求而進(jìn)行的測(cè)試。即用戶在接收軟件時(shí)，確定它是否滿足軟件研制任務(wù)書中規(guī)定的可靠性指標(biāo)要求。軟件可靠性驗(yàn)證測(cè)試具有如表3所示的特點(diǎn)

10、。表 3軟件可靠性驗(yàn)證測(cè)試的特點(diǎn)軟件可靠性驗(yàn)證測(cè)試的特點(diǎn)測(cè)試目的定量估計(jì)軟件產(chǎn)品的可靠性，并作出接收/拒收回答測(cè)試人員通常由使用方參加進(jìn)行測(cè)試測(cè)試階段軟件確認(rèn)（驗(yàn)收）階段測(cè)試場(chǎng)所既可在實(shí)驗(yàn)室測(cè)試又可現(xiàn)場(chǎng)測(cè)試測(cè)試對(duì)象軟件產(chǎn)品的最終形式，而不是中間形式測(cè)試方法基于軟件操作剖面的隨機(jī)測(cè)試方法測(cè)試特征不進(jìn)行軟件缺陷剔除2 實(shí)驗(yàn)設(shè)置的背景、意義和內(nèi)容安排2.1 實(shí)驗(yàn)設(shè)置的背景、意義在高新技術(shù)武器裝備中，計(jì)算機(jī)軟件在裝備研制中的地位日趨重要。以美國(guó)殲擊機(jī)上的航空電子系統(tǒng)為例，美國(guó)的殲擊機(jī)每更新一代，其由軟件實(shí)現(xiàn)的功能翻一番。然而，軟件發(fā)展至今不過短短幾十年的時(shí)間，無論從開發(fā)過程還是質(zhì)量控制，與硬件相比都顯

11、得較為薄弱。對(duì)軟件，人們通常關(guān)心兩個(gè)方面：一個(gè)是軟件的功能性能需求，我們需要功能強(qiáng)大、性能優(yōu)越的軟件在生產(chǎn)、生活中扮演更加重要的角色；另一個(gè)是對(duì)軟件質(zhì)量的需求，需要高可靠性的軟件在生產(chǎn)、生活中持續(xù)的發(fā)揮作用。對(duì)于第一個(gè)需求，不斷涌現(xiàn)的編程工具和語(yǔ)言，能夠使編程人員開發(fā)出功能和規(guī)模非常強(qiáng)大的軟件。對(duì)于第二個(gè)需求，定量化的可靠性管理將是一個(gè)重要手段，如在美國(guó)的第五代戰(zhàn)機(jī)研制中已經(jīng)明確的提出了軟件可靠性指標(biāo)，并進(jìn)行定量化的驗(yàn)證。常規(guī)的軟件測(cè)試（如單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試等）旨在發(fā)現(xiàn)軟件缺陷，卻不能進(jìn)行軟件可靠性的定量評(píng)估。因?yàn)檐浖煽啃耘c軟件的使用情況密切相關(guān)，在測(cè)試中需要體現(xiàn)出用戶對(duì)軟件的使用

12、情況，成為了軟件可靠性測(cè)試中一個(gè)非常重要的環(huán)節(jié)。軟件可靠性測(cè)試有效地發(fā)現(xiàn)程序中影響軟件可靠性的缺陷，從而實(shí)現(xiàn)可靠性增長(zhǎng)；通過對(duì)軟件可靠性測(cè)試中觀測(cè)到的失效情況進(jìn)行分析，可以驗(yàn)證軟件可靠性的定量要求是否得到滿足；通過對(duì)軟件可靠性測(cè)試中觀測(cè)到的失效數(shù)據(jù)進(jìn)行分析，可以評(píng)估當(dāng)前軟件可靠性的水平,預(yù)測(cè)未來可能達(dá)到的水平，從而為軟件的開發(fā)管理提供決策依據(jù)。軟件可靠性測(cè)試與評(píng)估是軟件可靠性工程的核心內(nèi)容，是軟件可靠性工程技術(shù)區(qū)別與其它軟件工程技術(shù)的特色所在。通過軟件可靠性測(cè)試與評(píng)估實(shí)驗(yàn)教學(xué)，能夠使學(xué)生建立定量的軟件可靠性實(shí)驗(yàn)技術(shù)的概念，掌握軟件可靠性工程中最具代表性的軟件可靠性測(cè)試剖面技術(shù)，按照嚴(yán)格的軟件可

13、靠性增長(zhǎng)測(cè)試和驗(yàn)證測(cè)試的要求，實(shí)現(xiàn)完整的測(cè)試評(píng)估實(shí)驗(yàn)過程，以軟件可靠性測(cè)試計(jì)劃、測(cè)試說明、測(cè)試報(bào)告的方式完成實(shí)驗(yàn)報(bào)告。本實(shí)驗(yàn)采用的軟件可靠性測(cè)試試驗(yàn)系統(tǒng)，軟件可靠性測(cè)試數(shù)據(jù)自動(dòng)生成工具，軟件可靠性評(píng)估工具為北航所獨(dú)有。本實(shí)驗(yàn)的開設(shè)，對(duì)國(guó)內(nèi)高校研究生軟件可靠性實(shí)驗(yàn)來說具有開創(chuàng)性。不僅可以掌握軟件可靠性測(cè)試與評(píng)估的基本原理，而且通過實(shí)驗(yàn)使學(xué)生從軟件被測(cè)對(duì)象分析、軟件可靠性測(cè)試剖面構(gòu)造、軟件可靠性測(cè)試執(zhí)行、軟件可靠性測(cè)試評(píng)估等環(huán)節(jié)加深對(duì)軟件可靠性測(cè)試及評(píng)估理論知識(shí)的理解，并熟悉相關(guān)軟件的使用，對(duì)于他們將來走上工作崗位無論是理論研究還是工程實(shí)踐都具有重要意義。2.2 本實(shí)驗(yàn)的內(nèi)容安排本實(shí)驗(yàn)包括四部分內(nèi)

14、容：1）軟件可靠性測(cè)試剖面構(gòu)造實(shí)驗(yàn)2）軟件可靠性評(píng)估實(shí)驗(yàn)3）軟件可靠性驗(yàn)證測(cè)試實(shí)驗(yàn)4）軟件可靠性增長(zhǎng)測(cè)試實(shí)驗(yàn)（選做）其中軟件可靠性評(píng)估實(shí)驗(yàn)會(huì)貫穿在驗(yàn)證測(cè)試實(shí)驗(yàn)和增長(zhǎng)測(cè)試實(shí)驗(yàn)之中進(jìn)行。2.3 實(shí)驗(yàn)課要求1) 以兩人為小組完成實(shí)驗(yàn)內(nèi)容，每組使用一臺(tái)固定的實(shí)驗(yàn)用計(jì)算機(jī)，以小組成績(jī)作為學(xué)生個(gè)人成績(jī)。2) 每個(gè)小組需要在實(shí)驗(yàn)用計(jì)算機(jī)的D盤，以兩人的姓名命名一個(gè)文件夾，并把實(shí)驗(yàn)中產(chǎn)生的數(shù)據(jù)、文件、文檔存放在該文件夾中。3) 實(shí)驗(yàn)用計(jì)算機(jī)禁止插拔自帶U盤，非教師允許，不得向?qū)嶒?yàn)計(jì)算機(jī)拷入和拷出文件。4) 各小組可以在實(shí)驗(yàn)過程中自帶筆記本電腦編寫測(cè)試文檔，測(cè)試文檔可以在實(shí)驗(yàn)室之外完成。5) 實(shí)驗(yàn)中使用的軟件可

15、靠性測(cè)試剖面報(bào)告、軟件可靠性驗(yàn)證測(cè)試計(jì)劃、軟件可靠性驗(yàn)證測(cè)試說明、軟件可靠性驗(yàn)證測(cè)試報(bào)告、軟件可靠性增長(zhǎng)測(cè)試計(jì)劃、軟件可靠性增長(zhǎng)測(cè)試說明、軟件可靠性增長(zhǎng)測(cè)試報(bào)告及測(cè)試記錄表格模版可以在實(shí)驗(yàn)課公共郵箱中下載：，密碼為shiyan2014。實(shí)驗(yàn)報(bào)告需要在實(shí)驗(yàn)結(jié)束后的2周內(nèi)提交。6) 實(shí)驗(yàn)前請(qǐng)認(rèn)真預(yù)習(xí)實(shí)驗(yàn)指導(dǎo)書，每次到實(shí)驗(yàn)室需要簽到。7) 實(shí)驗(yàn)出勤情況、軟件可靠性測(cè)試剖面的完成質(zhì)量、軟件可靠性測(cè)試數(shù)據(jù)的收集質(zhì)量、測(cè)試文檔質(zhì)量將作為成績(jī)?cè)u(píng)價(jià)的主要標(biāo)準(zhǔn)。2.4 實(shí)驗(yàn)報(bào)告要求本實(shí)驗(yàn)按照軟件可靠性測(cè)試過程開展。實(shí)驗(yàn)報(bào)告為可靠性測(cè)試的階段性文檔，包括測(cè)試計(jì)劃、測(cè)試說

16、明、測(cè)試報(bào)告、測(cè)試記錄等。實(shí)驗(yàn)報(bào)告以電子文檔的方式編寫和提交，嚴(yán)禁抄襲。如果發(fā)現(xiàn)雷同的實(shí)驗(yàn)報(bào)告，將取消實(shí)驗(yàn)課成績(jī)。2.5 實(shí)驗(yàn)軟件簡(jiǎn)介2.5.1 軟件可靠性測(cè)試數(shù)據(jù)生成工具TCS軟件可靠性測(cè)試數(shù)據(jù)生成工具TCS是集軟件可靠性測(cè)試剖面建模與測(cè)試用例生成為一體的軟件工具，支持使用Musa的建模。關(guān)于TCS的說明詳見TCS用戶手冊(cè)。2.5.2 軟件可靠性評(píng)估工具SRETSRET支持基于軟件可靠性失效數(shù)據(jù)分析可靠性趨勢(shì)，分析軟件可靠性模型的質(zhì)量，并進(jìn)行可靠性評(píng)估。關(guān)于SRET的詳細(xì)說明詳見SRET用戶手冊(cè)。2.5.3 ATM機(jī)軟件ATM機(jī)軟件主要用于用戶進(jìn)行取款，存款，轉(zhuǎn)賬，查詢余額，退卡等操作?？蛻?/p>

17、通過插入銀行卡，輸入正確的密碼，便可根據(jù)顯示器頁(yè)面上的提示進(jìn)行以上操作。操作界面如圖2。關(guān)于ATM機(jī)軟件的詳細(xì)說明詳見ATM機(jī)的軟件需求規(guī)格說明。圖 2 ATM軟件界面3 軟件可靠性測(cè)試剖面構(gòu)造實(shí)驗(yàn)部分3.1 概述及實(shí)驗(yàn)相關(guān)介紹軟件可靠性測(cè)試的主要思想就是按照用戶對(duì)軟件實(shí)際使用的統(tǒng)計(jì)規(guī)律進(jìn)行隨機(jī)測(cè)試，目前通常采用操作剖面的形式對(duì)軟件的使用情況進(jìn)行建模，然后在建模的基礎(chǔ)上生成測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。常見的操作剖面通常有Musa的操作剖面、Markov、使用剖面等方法。本實(shí)驗(yàn)將采用Musa操作剖面構(gòu)造方法進(jìn)行剖面構(gòu)造。3.1.1 Musa操作剖面對(duì)于軟件可靠性測(cè)試而言，其基本思路都是按照用戶的實(shí)際使用軟

18、件的方式來進(jìn)行測(cè)試，操作剖面是目前常用的一種對(duì)用戶實(shí)際使用軟件情況進(jìn)行建模的工具。其主要目的之一就是生成軟件可靠性測(cè)試數(shù)據(jù)，用于支持測(cè)試的執(zhí)行。對(duì)于操作剖面，Musa的定義是指操作的集合及其發(fā)生概率。該定義中，操作剖面不嚴(yán)格強(qiáng)調(diào)輸入之間的相互約束和時(shí)序關(guān)系，重點(diǎn)關(guān)心操作的分布。這種定義的特點(diǎn)是簡(jiǎn)單易行，由于相對(duì)忽略了輸入之間的約束和時(shí)序，在工程中較容易推行。在Musa的操作剖面中，操作是一個(gè)主要的系統(tǒng)邏輯任務(wù)，持續(xù)時(shí)間短，結(jié)束時(shí)將控制權(quán)交還給系統(tǒng)，并且它的處理與其它操作顯著不同。按照Musa的定義，操作應(yīng)該是一個(gè)邏輯概念，它與軟件的功能需求和特征相關(guān)。根據(jù)Musa的操作剖面，對(duì)操作可以做如下的

19、解釋：“持續(xù)時(shí)間短”是指在通常負(fù)載條件下每個(gè)小時(shí)可以有多個(gè)操作發(fā)生；“將控制權(quán)交還給系統(tǒng)”說明當(dāng)一個(gè)操作完成后，系統(tǒng)應(yīng)該結(jié)束對(duì)該操作的處理，進(jìn)而轉(zhuǎn)入等待下一個(gè)操作，或者立即執(zhí)行下一個(gè)操作；“處理與其它操作顯著不同”是從系統(tǒng)執(zhí)行操作的角度來說的，不同的操作，系統(tǒng)應(yīng)該有著顯著不同的處理方式。剖面是一組獨(dú)立的元素及其發(fā)生概率。例如，如果某一時(shí)刻操作A的發(fā)生概率是60%，B的發(fā)生概率是30%，C發(fā)生的概率是10%，則此時(shí)的剖面可以表示為A，0.6；B，0.3；C，0.1。3.1.2 Musa操作剖面的構(gòu)造方法構(gòu)造操作剖面的主要目的是定量刻畫用戶對(duì)軟件的使用情況，即用戶使用軟件的統(tǒng)計(jì)規(guī)律。通常操作剖面可

20、以采用兩種不同的構(gòu)造方法。1) Musa操作剖面構(gòu)造方法1Musa第一種構(gòu)造操作剖面方法（簡(jiǎn)稱Musa-1）的流程通常包括以下5個(gè)步驟，見Error! Reference source not found.3，其中（1）(4)步為中間步驟剖面，是為準(zhǔn)確得到操作剖面而逐步細(xì)化的過程。圖3 Musa-1流程(1) 確定客戶剖面軟件的客戶是購(gòu)買并使用軟件系統(tǒng)的個(gè)人、團(tuán)體或者機(jī)構(gòu)?？蛻羝拭姘ㄒ唤M獨(dú)立的客戶類型?？蛻纛愋褪强蛻羧后w中以相近的方式使用系統(tǒng)的一個(gè)或多個(gè)客戶，這些客戶在使用軟件的方式上與其它客戶存在顯著的區(qū)別。通過市場(chǎng)調(diào)查的方式可以收集軟件的客戶信息，對(duì)它們進(jìn)行歸納整理就能得到不同的客戶類型

21、?？蛻羝拭嬷行枰獮槊恳环N客戶類型確定發(fā)生概率。概率信息可以從以往類似的軟件系統(tǒng)的客戶類型中進(jìn)行收集，并根據(jù)新系統(tǒng)的使用要求進(jìn)行修正，也可以通過收集的客戶數(shù)量，將組成某一客戶類型的客戶數(shù)量比上所有客戶的總數(shù)得到。(2) 定義用戶剖面用戶是使用系統(tǒng)的人、組織、機(jī)構(gòu)或其它系統(tǒng)，而用戶組是以同一種方法使用軟件的用戶的集合。用戶剖面是用戶組及其發(fā)生概率的集合，通常在客戶剖面的基礎(chǔ)上建立用戶剖面?？梢酝ㄟ^市場(chǎng)或用戶調(diào)查的方式收集軟件的用戶信息，然后根據(jù)使用軟件方式的不同將用戶劃分為不同的用戶組；用戶組的發(fā)生概率可以通過組成用戶組的用戶數(shù)量比上同一客戶類型中所有用戶數(shù)量的方式得到。如果在不同的客戶類型中出現(xiàn)

22、了相同的用戶組，則需要把它們進(jìn)行合并：假設(shè)用戶組U在某一客戶類型Ci下的概率為P(Ci,U)，Ci的發(fā)生概率為P（Ci），則合并后的用戶組發(fā)生概率： (1)其中n為包含用戶組U的客戶類型總數(shù)。(3) 定義系統(tǒng)模式剖面系統(tǒng)模式是為了便于分析執(zhí)行行為，分組而成的一個(gè)功能或操作集合。系統(tǒng)模式剖面是系統(tǒng)模式及其發(fā)生概率的集合。通常情況下，系統(tǒng)模式種類越多，專門化信息的價(jià)值越高，操作也越便利，但是與之而來的是確定和測(cè)試其相關(guān)操作剖面的費(fèi)用也增多了。系統(tǒng)模式可以來源于軟件的需求或使用情況分析。系統(tǒng)模式的發(fā)生概率可以使用各種模式發(fā)生頻率占所有模式發(fā)生頻率的比例確定，獲得系統(tǒng)模式發(fā)生頻率的最佳途徑是統(tǒng)計(jì)軟件在

23、客戶現(xiàn)場(chǎng)的使用情況；對(duì)于新軟件或新的應(yīng)用領(lǐng)域，由于軟件還未發(fā)布，此時(shí)就需要統(tǒng)計(jì)類似軟件或應(yīng)用于其它領(lǐng)域的軟件早期版本的使用情況，然后根據(jù)新軟件或新領(lǐng)域的實(shí)際情況進(jìn)行調(diào)整；也可以邀請(qǐng)部分客戶對(duì)新軟件進(jìn)行試用，統(tǒng)計(jì)試用情況；在沒有統(tǒng)計(jì)數(shù)據(jù)的情況下可以通過調(diào)查目標(biāo)客戶、詢問專家意見等方式進(jìn)行估計(jì)。定義系統(tǒng)模式可以參考以下因素：a) 重要的環(huán)境條件：如過載與正常的通訊量、初始化與連續(xù)操作、系統(tǒng)場(chǎng)所、時(shí)間等；b) 操作的構(gòu)造性結(jié)構(gòu)：如聯(lián)機(jī)模式和單機(jī)模式；c) 緊迫性：如某種緊急情況下的應(yīng)急處理模式；d) 客戶或用戶：如要求特殊功能的用戶組，飛行員模式和地勤人員維護(hù)模式；e) 用戶經(jīng)驗(yàn)程度：如初學(xué)者、普通

24、用戶或?qū)＜夷Ｊ健?4) 確定功能剖面功能剖面是在系統(tǒng)模式下分解系統(tǒng)所需的功能，并確定每個(gè)功能的發(fā)生概率。功能剖面不需要考慮系統(tǒng)的體系結(jié)構(gòu)或設(shè)計(jì)因素，通常在需求階段建立，并且與需求密切相關(guān)。構(gòu)造過程中可以先從軟件的研制任務(wù)書或軟件的需求文檔中獲得初始的軟件功能列表，再結(jié)合運(yùn)行環(huán)境的各種情況得到最終的功能列表，最后為每個(gè)最終功能分配發(fā)生概率。發(fā)生概率可以通過功能使用頻率占同一系統(tǒng)模式下所有功能使用頻率的比例確定，功能的使用頻率同樣可以通過統(tǒng)計(jì)現(xiàn)場(chǎng)使用信息、參考類似軟件或早期版本、邀請(qǐng)客戶試用、調(diào)查目標(biāo)客戶及詢問專家意見等方式確定。(5) 確定操作剖面操作剖面是操作及其發(fā)生概率的集合，確定操作剖面的

25、主要步驟是列出操作并確定每個(gè)操作的發(fā)生概率。功能與操作之間存在一定的聯(lián)系，一個(gè)功能可以映射成一個(gè)或多個(gè)操作，一組功能也可以重新合并成一組不同的操作，因此能夠根據(jù)功能剖面獲取操作列表。由于功能之間的差異主要體現(xiàn)在完全不同的任務(wù)實(shí)現(xiàn)上，而操作之間的差異主要體現(xiàn)在完全不同的處理過程上，因此需要根據(jù)系統(tǒng)任務(wù)將功能映射為操作。操作發(fā)生概率的確定方式與功能發(fā)生概率的確定方式類似，通過操作發(fā)生頻率占所有操作發(fā)生頻率的比例得到，操作的發(fā)生頻率也是通過統(tǒng)計(jì)現(xiàn)場(chǎng)信息、參考類似軟件或早期版本、統(tǒng)計(jì)客戶使用信息、調(diào)查目標(biāo)客戶及詢問專家意見等方式收集。根據(jù)軟件的具體特點(diǎn)，可以對(duì)上述步驟進(jìn)行裁減：a) 在軟件的客戶比較單

26、一的情況下，不需要建立客戶剖面；b) 在軟件的用戶比較單一的情況下，不需要建立用戶剖面；c) 在軟件的系統(tǒng)模式比較單一的情況下，可以省去系統(tǒng)模式剖面的構(gòu)造；d) 在軟件的操作比較明顯的情況下，可以省去功能剖面的構(gòu)造。2) Musa操作剖面構(gòu)造方法2Musa另一種構(gòu)造操作剖面（簡(jiǎn)稱Musa-2）的方法流程通常包括以下6個(gè)步驟，見圖4。圖 4 Musa-2流程(1) 確定操作模式操作模式的概念與Musa第一種方法中的系統(tǒng)模式概念相同，是系統(tǒng)使用的獨(dú)特模式，是需要單獨(dú)測(cè)試的環(huán)境條件的集合。(2) 確定操作的發(fā)起者操作的發(fā)起者包括系統(tǒng)的用戶、外界系統(tǒng)和系統(tǒng)自身的控制程序。為了確定操作的發(fā)起者，首先應(yīng)該

27、基于系統(tǒng)相關(guān)的商業(yè)用例和系統(tǒng)使用信息來確定系統(tǒng)的用戶類型，用戶類型是傾向于以同樣的方式使用系統(tǒng)的用戶的集合。這里的用戶指的是任何能夠發(fā)起操作的人、系統(tǒng)或組織。(3) 選擇操作剖面表示法操作剖面可以用表格表示法或圖形表示法進(jìn)行表示。表格表示法的示例見表3，圖形表示法的示例見圖5。如果大部分操作可以用很少的屬性表示，就使用表格表示法，表格表示法中通常以其功能組合來命名操作；如果大部分操作由許多屬性來描述，逐一地考慮屬性會(huì)比較容易，此時(shí)就應(yīng)該選擇圖形表示法。圖形表示法將每個(gè)操作表示為圖中的一條路徑，圖5中的節(jié)點(diǎn)表示操作的屬性，分支表示不同的屬性值。表 3表格法表示的操作剖面操作概率GPS有效、目標(biāo)方

28、向水平、開啟軸線調(diào)整0.4725GPS有效、目標(biāo)方向水平、關(guān)閉軸線調(diào)整0.2025GPS有效、目標(biāo)方向垂直、開啟軸線調(diào)整0.0525GPS有效、目標(biāo)方向垂直、關(guān)閉軸線調(diào)整0.0225GPS無效、目標(biāo)方向水平、開啟軸線調(diào)整0.14875GPS無效、目標(biāo)方向水平、關(guān)閉軸線調(diào)整0.06375GPS無效、目標(biāo)方向垂直、開啟軸線調(diào)整0.02625GPS無效、目標(biāo)方向垂直、關(guān)閉軸線調(diào)整0.01125圖 5圖形法表示的操作剖面(4) 為每個(gè)操作發(fā)起者創(chuàng)建操作列表基于操作的發(fā)起人，能夠較為方便地創(chuàng)建操作列表。創(chuàng)建操作列表時(shí)，應(yīng)該將每個(gè)顯著不同的處理都定義為不同的操作，除非它有著非常低的發(fā)生概率或執(zhí)行非常不重要

29、的功能。除了主要參考系統(tǒng)的需求以外，還可以參考事件流圖、用戶手冊(cè)、協(xié)議和以前的系統(tǒng)版本等信息。(5) 確定單個(gè)操作或?qū)傩灾档某霈F(xiàn)率出現(xiàn)率是操作或?qū)傩灾翟趩挝粫r(shí)間內(nèi)的發(fā)生次數(shù)，最好使用實(shí)際的數(shù)據(jù)來決定出現(xiàn)率。這種對(duì)使用的度量常?？梢詮南到y(tǒng)的日志中獲得，通常情況下，這些數(shù)據(jù)已經(jīng)存在于相同或相類似的系統(tǒng)中。如果在沒有這些直接的日志的情況下，可以通過更多的調(diào)研工作來收集信息，使用相關(guān)的一些數(shù)據(jù)來對(duì)出現(xiàn)率進(jìn)行評(píng)估。確定操作或?qū)傩灾档陌l(fā)生概率。操作或?qū)傩灾档陌l(fā)生概率通過出現(xiàn)率計(jì)算得來，可以采用操作/屬性值的發(fā)生次數(shù)除以所有操作/屬性值發(fā)生的總數(shù)獲得。3.2 實(shí)驗(yàn)軟件3.2.1 TCSTCS軟件是面向?qū)崟r(shí)嵌

30、入式軟件可靠性測(cè)試數(shù)據(jù)生成的應(yīng)用軟件，能夠支持對(duì)實(shí)時(shí)嵌入式軟件的圖形化測(cè)試輸入建模以及輸入元素的信息描述，輔助測(cè)試人員對(duì)測(cè)試環(huán)境、軟件的使用情況、軟件輸入情況進(jìn)行分析。在測(cè)試建模的基礎(chǔ)上，本軟件能夠自動(dòng)生成軟件可靠性測(cè)試數(shù)據(jù)，并實(shí)現(xiàn)對(duì)測(cè)試數(shù)據(jù)的管理。TCS具備以下的基本功能特性：1) 支持測(cè)試分析、測(cè)試建模和測(cè)試數(shù)據(jù)自動(dòng)生成的全過程。2) 提供系統(tǒng)圖的建模機(jī)制，能夠以圖形化描述的方式輔助用戶進(jìn)行被測(cè)系統(tǒng)交聯(lián)環(huán)境的構(gòu)建和系統(tǒng)分析。3) 為用戶提供輸入變量和使用類的提取以及圖形建模的機(jī)制，使用戶能夠以圖形繪制的方式構(gòu)建使用類圖。4) 為用戶提供使用剖面的建模機(jī)制，能夠以圖形化視圖的方式實(shí)現(xiàn)多個(gè)使用

31、子剖面圖，并建立起使用剖面中各個(gè)元素的使用關(guān)系。5) 為使用剖面中的每個(gè)操作構(gòu)建操作描述圖，支持步驟圖和連續(xù)圖描述。6) 支持圖形化建模過程中的圖形元素的拖放、刪除、修改、重命名等操作，并能夠保持建模中關(guān)系的一致性。7) 能夠?yàn)閳D形建模提供檢查機(jī)制，實(shí)現(xiàn)建模過程中錯(cuò)誤的發(fā)現(xiàn)和定位，并給出準(zhǔn)確的錯(cuò)誤提示。8) 能夠根據(jù)用戶的描述建模信息，自動(dòng)按照測(cè)試數(shù)據(jù)取值規(guī)則生成XML形式的測(cè)試數(shù)據(jù)。9) 能夠以測(cè)試報(bào)表的形式給出整個(gè)測(cè)試輸入建模過程中用戶描述信息的報(bào)表。10) 能夠提供信息檢索服務(wù)，用于查找建模中的元素，并提供定位功能。11) 通過提供測(cè)試輸入建模信息導(dǎo)入導(dǎo)出功能，從而實(shí)現(xiàn)多人開發(fā)對(duì)同一個(gè)被

32、測(cè)對(duì)象進(jìn)行描述。3.2.2 ATM機(jī)軟件在本部分實(shí)驗(yàn)中，學(xué)生需要熟悉ATM機(jī)軟件的使用，并對(duì)其進(jìn)行剖面建模。ATM機(jī)軟件的主要功能如圖6所示。圖 6 ATM功能結(jié)構(gòu)圖1) 登錄模塊登錄模塊提供了插卡和輸入密碼兩個(gè)功能。用戶只有在插入磁卡，并正確輸入密碼后，才能進(jìn)行后續(xù)的事務(wù)操作。2) 事務(wù)模塊事務(wù)模塊提供了取款，存款，轉(zhuǎn)賬，查詢余額，修改密碼五項(xiàng)功能。各項(xiàng)功能的詳細(xì)說明可見ATM機(jī)軟件需求說明書。3) 退出模塊用戶可選擇退卡功能選項(xiàng)，退出賬戶。再次登錄需要重新輸入密碼，執(zhí)行登錄操作。3.3 實(shí)驗(yàn)內(nèi)容1) 教師演示教師將對(duì)ATM機(jī)軟件和TCS軟件的使用進(jìn)行演示，以幫助學(xué)生熟悉這兩項(xiàng)軟件的使用。2

33、) 學(xué)生熟悉軟件學(xué)生分組之后，以兩人為一組熟悉ATM機(jī)軟件和TCS軟件的使用。3) ATM機(jī)軟件剖面構(gòu)造(1) 學(xué)生以小組為單位對(duì)ATM機(jī)軟件進(jìn)行分析，并使用TCS構(gòu)造剖面。(2) 編寫剖面報(bào)告，編寫的剖面報(bào)告將作為該部分的成績(jī)參考。4) 軟件可靠性測(cè)試剖面討論（視情）在剖面構(gòu)造完成并提交之后，隨機(jī)抽取小組講解構(gòu)造的剖面，并集體進(jìn)行完善，挑選出最佳的剖面建模，作為后續(xù)實(shí)驗(yàn)的標(biāo)準(zhǔn)剖面。4 軟件可靠性驗(yàn)證測(cè)試實(shí)驗(yàn)部分4.1 概述及實(shí)驗(yàn)相關(guān)介紹4.1.1 軟件可靠性驗(yàn)證測(cè)試流程軟件可靠性驗(yàn)證測(cè)試過程分為4個(gè)階段：測(cè)試策劃階段、測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段、測(cè)試執(zhí)行階段和測(cè)試總結(jié)階段。主要流程見圖7。圖 7軟件

34、可靠性驗(yàn)證測(cè)試的主要流程1 測(cè)試策劃階段在該階段主要進(jìn)行的工作為確定軟件失效的定義和等級(jí)、編制驗(yàn)證統(tǒng)計(jì)測(cè)試方案；主要輸出為軟件可靠性驗(yàn)證測(cè)試計(jì)劃。其中最為重要的工作為編制驗(yàn)證統(tǒng)計(jì)測(cè)試方案。軟件可靠性驗(yàn)證測(cè)試中通常選用的統(tǒng)計(jì)方案有：定時(shí)截尾方案、序貫方案和無失效運(yùn)行方案。表4Error! Reference source not found.簡(jiǎn)述了各統(tǒng)計(jì)方案的特點(diǎn)與確定程序。表 4統(tǒng)計(jì)測(cè)試方案特點(diǎn)及確定程序測(cè)試方案定時(shí)截尾方案序貫方案無失效運(yùn)行方案特點(diǎn)a.測(cè)試時(shí)間可以預(yù)先確定，便于進(jìn)行資源分配，管理簡(jiǎn)單；b.在信息量的利用上還不夠充分a.更充分地利用軟件每次的失效信息；b.在可靠性比較高或比較低

35、的情況下可以做出更快的判決a.針對(duì)可靠性要求很高的軟件；b.對(duì)驗(yàn)證測(cè)試已判為接收的軟件改錯(cuò)后要進(jìn)行無失效運(yùn)行測(cè)試2 測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段在該階段主要進(jìn)行的工作為構(gòu)造操作剖面并生成測(cè)試用例、建立并校核測(cè)試環(huán)境。該階段工作的輸出為軟件可靠性驗(yàn)證測(cè)試說明及其附件軟件可靠性測(cè)試用例集。該階段的主要工作與增長(zhǎng)測(cè)試類似。3 測(cè)試執(zhí)行階段在該階段主要進(jìn)行的工作為執(zhí)行測(cè)試用例，記錄、分析測(cè)試結(jié)果并收集失效數(shù)據(jù)，按照統(tǒng)計(jì)方案要求進(jìn)行接受/拒收判斷。主要的輸出為軟件可靠性驗(yàn)證測(cè)試記錄、軟件可靠性驗(yàn)證測(cè)試問題報(bào)告和軟件可靠性驗(yàn)證測(cè)試失效數(shù)據(jù)記錄和分析。這三份文檔作為最終的軟件可靠性驗(yàn)證測(cè)試報(bào)告的附件。4 測(cè)試總結(jié)階段

36、在該階段主要進(jìn)行的工作為對(duì)軟件可靠性驗(yàn)證測(cè)試過程和結(jié)果進(jìn)行總結(jié)，對(duì)軟件可靠性參數(shù)進(jìn)行估計(jì)，給出軟件可靠性驗(yàn)證測(cè)試結(jié)論。該階段的主要輸出為軟件可靠性驗(yàn)證測(cè)試報(bào)告。4.1.2 軟件可靠性驗(yàn)證統(tǒng)計(jì)測(cè)試方案軟件可靠性驗(yàn)證統(tǒng)計(jì)測(cè)試方案對(duì)于軟件可靠性驗(yàn)證測(cè)試非常重要，是驗(yàn)證測(cè)試時(shí)間、資源、接收/拒收條件的重要支持。不同的可靠性驗(yàn)證指標(biāo)，對(duì)統(tǒng)計(jì)方案有著不同的要求。選擇統(tǒng)計(jì)測(cè)試方案時(shí)應(yīng)考慮驗(yàn)證指標(biāo)的類型、測(cè)試環(huán)境的預(yù)期壽命、該類型軟件的質(zhì)量要求、對(duì)軟件的實(shí)際質(zhì)量的估計(jì)、可承受的最大測(cè)試時(shí)間、可承受的最大失效數(shù)、測(cè)試經(jīng)費(fèi)、費(fèi)用-時(shí)間的權(quán)衡、是否有先驗(yàn)信息等諸多因素。1 方案類別的選擇(1) 驗(yàn)證指標(biāo)為MTBF/

37、失效率的軟件a) 若合同中要求進(jìn)行軟件可靠性驗(yàn)證測(cè)試，提供MTBF的驗(yàn)證值，并且有固定的測(cè)試截止時(shí)間時(shí)，應(yīng)選用軟件可靠性（MTBF）定時(shí)測(cè)試方案；b) 對(duì)于質(zhì)量很高或很低的軟件，可選擇軟件可靠性（MTBF）序貫測(cè)試方案，以盡早對(duì)軟件作出接收或拒收判決；c) 對(duì)可靠性要求（MTBF）較高的軟件可選用基于MTBF的無失效考核測(cè)試方案；d) 對(duì)于做過軟件可靠性增長(zhǎng)測(cè)試，有先驗(yàn)失效信息的軟件，可選擇貝葉斯測(cè)試方案以減少測(cè)試時(shí)間。(2) 驗(yàn)證指標(biāo)為成功率/失效概率的軟件a) 對(duì)于人力和測(cè)試時(shí)間受限的情況宜采用定數(shù)測(cè)試方案以提前確定測(cè)試工作量；b) 對(duì)于質(zhì)量很高或很低的軟件，可選擇軟件可靠性（成功率）序貫

38、測(cè)試方案，以盡早對(duì)軟件作出接收或拒收判決；c) 對(duì)可靠性要求（成功率）較高的軟件可選用基于成功率的無失效考核測(cè)試方案；d) 對(duì)于驗(yàn)證指標(biāo)為可接收的失效概率和使用方風(fēng)險(xiǎn)/置信度的單邊指標(biāo)，對(duì)測(cè)試中允許的最大失效數(shù)有限制時(shí)可選擇TRW法；e) 對(duì)于驗(yàn)證指標(biāo)為可接收的失效概率和使用方風(fēng)險(xiǎn)/置信度的單邊指標(biāo)時(shí)，對(duì)測(cè)試的最長(zhǎng)時(shí)間有限制時(shí)，可選用單風(fēng)險(xiǎn)序貫測(cè)試方案；f) 對(duì)于驗(yàn)證指標(biāo)為可接收的失效概率和使用方風(fēng)險(xiǎn)/置信度的單邊指標(biāo)時(shí)，若做過軟件可靠性增長(zhǎng)測(cè)試，有先驗(yàn)失效信息時(shí)，可選擇貝葉斯測(cè)試方案以減少測(cè)試時(shí)間。2 統(tǒng)計(jì)方案參數(shù)的選取原則(1) 測(cè)試時(shí)間a) 驗(yàn)證指標(biāo)為MTBF的統(tǒng)計(jì)測(cè)試方案對(duì)于序貫測(cè)試方

39、案，應(yīng)按方案中可能的最長(zhǎng)測(cè)試時(shí)間來設(shè)計(jì)，以保證時(shí)間控制在計(jì)劃之內(nèi)。測(cè)試應(yīng)進(jìn)行到總測(cè)試時(shí)間或失效數(shù)達(dá)到測(cè)試方案可以作出接收或拒收判決為止。定時(shí)測(cè)試方案和無失效考核測(cè)試方案的測(cè)試時(shí)間應(yīng)按照確定的統(tǒng)計(jì)方案中的驗(yàn)證時(shí)間進(jìn)行。b) 驗(yàn)證指標(biāo)為成功率的統(tǒng)計(jì)測(cè)試方案對(duì)于序貫測(cè)試方案，應(yīng)按方案中可能的最大用例數(shù)執(zhí)行所需的估計(jì)時(shí)間來設(shè)計(jì)，以保證時(shí)間控制在計(jì)劃之內(nèi)。測(cè)試應(yīng)執(zhí)行到最大用例數(shù)或失效數(shù)達(dá)到測(cè)試方案可以作出接收或拒收判決為止。定數(shù)測(cè)試方案和無失效考核測(cè)試方案的測(cè)試用例數(shù)量應(yīng)按照確定的統(tǒng)計(jì)方案中的用例數(shù)量來生成用例，相應(yīng)的測(cè)試應(yīng)按執(zhí)行該測(cè)試用例數(shù)量所需的估計(jì)時(shí)間來設(shè)計(jì)。(2) 決策風(fēng)險(xiǎn)在風(fēng)險(xiǎn)方案中，一般來說

40、，選擇決策風(fēng)險(xiǎn)較小的測(cè)試方案，需要較長(zhǎng)的總測(cè)試時(shí)間（用例數(shù)量），但接收不合格軟件及拒收合格軟件的概率也小了。在制定方案時(shí)，力求方案的實(shí)際決策風(fēng)險(xiǎn)值接近于指定的風(fēng)險(xiǎn)值，并使每一方案的兩類決策風(fēng)險(xiǎn)盡可能接近。(3) 鑒別比鑒別比是檢驗(yàn)上限與檢驗(yàn)下限的比值。鑒別比越大，作出判決就越快。應(yīng)慎重選擇鑒別比，以防止因鑒別比過大而導(dǎo)致的檢驗(yàn)上限相應(yīng)過大，使指標(biāo)要求難以實(shí)現(xiàn)。3 定時(shí)可靠性驗(yàn)證測(cè)試方案制定定時(shí)可靠性驗(yàn)證測(cè)試方案的程序通常為：a) 根據(jù)軟件產(chǎn)品的可靠性要求及可用的測(cè)試資源，由用戶和開發(fā)方共同協(xié)商確定1、d、值，一般選、值為10%、20%，特殊情況下可取高風(fēng)險(xiǎn)率30%。b) 根據(jù)1、d、值查表5（

41、原定的、叫名義值，實(shí)際計(jì)算中的、取值叫實(shí)際值、 ），得相應(yīng)的測(cè)試時(shí)間（1的倍數(shù)）、接收數(shù)Ac及拒收數(shù)Re = Ac +1值。統(tǒng)計(jì)在方案中給定的測(cè)試時(shí)間內(nèi)收集的失效數(shù)據(jù)個(gè)數(shù)，進(jìn)行接收/拒收判斷：l 當(dāng)實(shí)際失效個(gè)數(shù)小于等于接收數(shù)Ac時(shí)，接收軟件；l 當(dāng)實(shí)際失效個(gè)數(shù)大于等于拒收數(shù)Re時(shí)拒收軟件。c) 參數(shù)估計(jì)。若用戶需要根據(jù)測(cè)試數(shù)據(jù)估計(jì)軟件的MTTF，必須規(guī)定置信區(qū)間的置信度，GJB899A建議=1-2。測(cè)試方根據(jù)測(cè)試數(shù)據(jù)向用戶提供MTTF的觀測(cè)值（點(diǎn)估計(jì)值）及相應(yīng)于給定的置信區(qū)間（L，U），這里分為兩種情況： l 判決結(jié)果為接收時(shí)的MTTF的估計(jì)設(shè)T是定時(shí)截尾測(cè)試規(guī)定測(cè)試時(shí)間，r是到測(cè)試結(jié)束時(shí)出現(xiàn)

42、的失效總數(shù)，則MTTF的觀測(cè)值為： (2)表5驗(yàn)證測(cè)試統(tǒng)計(jì)方案對(duì)應(yīng)表方案號(hào)決策風(fēng)險(xiǎn)（%）鑒別比d=0/1實(shí)驗(yàn)時(shí)間(1的倍數(shù))判決失效數(shù)名義值實(shí)際值拒收數(shù)() Re接收數(shù)() Ac9101012.09.91.545.0373610102010.921.41.529.9262511202019.719.61.521.518171210109.610.62.018.814131310209.820.92.012.410914202019.921.02.07.86515109.36516102010.921.33.05.44317202017.519.73.04.33219303

43、08328.52.03.73221303030.733.33.01.110當(dāng)r0時(shí)，根據(jù)IEC建議 (3)給定置信度，則的單側(cè)置信下限為 (4)其中表示：置信水平為，自由度為2r+2的分布值。的雙側(cè)置信區(qū)間為： (5)(6)l 判決結(jié)果為拒收時(shí)的MTTF的估計(jì)設(shè)T是最后一個(gè)失效發(fā)生時(shí)軟件的總測(cè)試時(shí)間，r是失效總數(shù)，則MTTF的觀測(cè)值為： (7)給定置信度則相應(yīng)的置信區(qū)間為： (8)(9)4 序貫可靠性驗(yàn)證測(cè)試方案制定序貫可靠性驗(yàn)證測(cè)試方案的步驟通常為：a) 用戶及軟件開發(fā)商協(xié)商確定0、1、。d可取1.5、2.0、3.0之一，、可取10%或20%，(

44、短時(shí)高風(fēng)險(xiǎn)方案取30%)。b) 畫出序貫測(cè)試判決圖（如Error! Reference source not found.），圖中標(biāo)出合格判定線及不合格判定線，接收區(qū)、繼續(xù)測(cè)試區(qū)。圖表中的標(biāo)準(zhǔn)化判決時(shí)間t以的倍數(shù)表示。使用時(shí)應(yīng)將圖表中的標(biāo)準(zhǔn)化判決時(shí)間乘以，以得到實(shí)際的接收判決時(shí)間及拒收判決時(shí)間。圖 8 序貫測(cè)試判決示意圖Error! Reference source not found.中，合格判定線 (10)不合格判定線 (11) 其中： (12) 根據(jù)每次失效的發(fā)生時(shí)間在序貫測(cè)試判決圖上描點(diǎn)，進(jìn)行接收/拒收判決：l 若該點(diǎn)落在“接收區(qū)”即接收軟件；l 若該點(diǎn)落在“拒收區(qū)”即拒收軟件；l 若

45、該點(diǎn)落在“繼續(xù)測(cè)試區(qū)”即繼續(xù)測(cè)試，直至失效點(diǎn)落在接收區(qū)或拒收區(qū)即停止測(cè)試。c) 參數(shù)估計(jì)。根據(jù)測(cè)試中收集的每個(gè)失效發(fā)生的時(shí)間，在給定的置信度下可估計(jì)MTTF的上下限。4.1.3 軟件可靠性驗(yàn)證測(cè)試的注意事項(xiàng)軟件可靠性驗(yàn)證測(cè)試的注意事項(xiàng)如下：a) 驗(yàn)證測(cè)試中，使用的測(cè)試數(shù)據(jù)必須基于操作剖面（如Musa操作剖面）隨機(jī)抽取，否則驗(yàn)證的結(jié)果以及評(píng)估得出的結(jié)果是不正確的；b) 驗(yàn)證測(cè)試過程中，發(fā)現(xiàn)失效后不對(duì)軟件進(jìn)行修改，從而保證失效時(shí)間服從指數(shù)分布；c) 在進(jìn)行可靠性驗(yàn)證測(cè)試前必須由測(cè)試方、開發(fā)方以及使用方（可能的話）明確失效的判據(jù)，并明確哪些失效需要統(tǒng)計(jì)在內(nèi)。對(duì)于不同的可靠性要求其失效判據(jù)可能不同，比

46、如，如果只對(duì)影響任務(wù)的失效提出了可靠性定量要求，則失效應(yīng)定義為影響軟件系統(tǒng)任務(wù)完成的軟件行為；d) 在接受/拒收判定及可靠性參數(shù)評(píng)估中，應(yīng)計(jì)入每一次失效，無論其是否由相同的原因?qū)е?；如一次失效是由N個(gè)獨(dú)立的缺陷引起，則應(yīng)計(jì)為N次失效；e) 在驗(yàn)證測(cè)試中，就算產(chǎn)品被接收了，也應(yīng)該排除可靠性測(cè)試中發(fā)現(xiàn)的軟件缺陷，在條件允許的情況下，可以增加無失效方案進(jìn)一步驗(yàn)證。4.2 實(shí)驗(yàn)軟件本部分實(shí)驗(yàn)將使用TCS軟件、ATM機(jī)軟件。本部分實(shí)驗(yàn)需要根據(jù)4.1.2中的方法制定統(tǒng)計(jì)方案，并使用TCS生成的測(cè)試用例對(duì)ATM機(jī)軟件進(jìn)行可靠性測(cè)試，根據(jù)測(cè)試過程中收集到的失效數(shù)據(jù)數(shù)據(jù)進(jìn)行接收或拒收判別。4.3 實(shí)驗(yàn)內(nèi)容選取驗(yàn)

47、證統(tǒng)計(jì)測(cè)試方案進(jìn)行可靠性驗(yàn)證測(cè)試。1) 按照Error! Reference source not found.開展軟件可靠性驗(yàn)證測(cè)試2) 設(shè)計(jì)統(tǒng)計(jì)實(shí)驗(yàn)方案3) 使用TCS生成1000個(gè)測(cè)試用例4) 按照測(cè)試用例逐一測(cè)試ATM機(jī)軟件5) 記錄測(cè)試用例的執(zhí)行時(shí)間和失效發(fā)生的時(shí)間6) 判定是否接收或拒收，同時(shí)進(jìn)行區(qū)間和點(diǎn)估計(jì)7) 完成軟件可靠性驗(yàn)證測(cè)試計(jì)劃、說明、報(bào)告的編寫5 軟件可靠性增長(zhǎng)測(cè)試實(shí)驗(yàn)部分(選做)5.1 概述及實(shí)驗(yàn)相關(guān)介紹5.1.1 軟件可靠性增長(zhǎng)測(cè)試流程軟件可靠性增長(zhǎng)測(cè)試通常采用如圖9的流程。1) 測(cè)試策劃階段該階段的主要工作是定義失效和可靠性目標(biāo)。在測(cè)試前應(yīng)該確定失效判據(jù)。專用的

48、失效判據(jù)通常由測(cè)試人員、開發(fā)人員和用戶共同商定。首先需要定義什么是失效，如果軟件可靠性要求是針對(duì)不同嚴(yán)重性等級(jí)的失效提出的，則應(yīng)按照嚴(yán)重性等級(jí)將軟件失效進(jìn)行分類，以便基于不同嚴(yán)重性等級(jí)的失效數(shù)據(jù)評(píng)估相應(yīng)的軟件可靠性。定義軟件可靠性增長(zhǎng)的目標(biāo)主要用于是否停止增長(zhǎng)測(cè)試的參照。通常采用系統(tǒng)分配給軟件的可靠性指標(biāo)作為可靠性增長(zhǎng)的目標(biāo)值。該階段的主要輸出是軟件可靠性增長(zhǎng)測(cè)試計(jì)劃，計(jì)劃中包括對(duì)失效和可靠性目標(biāo)的定義，以及時(shí)間進(jìn)度、資源等安排。通常軟件可靠性增長(zhǎng)測(cè)試計(jì)劃完成后需要組織評(píng)審。圖 9軟件可靠性增長(zhǎng)測(cè)試的主要流程2) 測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段該階段的主要工作包括構(gòu)造操作剖面與建立測(cè)試環(huán)境，以及在此基礎(chǔ)上

49、生成軟件可靠性測(cè)試用例。(1) 構(gòu)造操作剖面如上一節(jié)實(shí)驗(yàn)內(nèi)容(2) 搭建軟件可靠性測(cè)試環(huán)境通常測(cè)試環(huán)境應(yīng)與真實(shí)運(yùn)行環(huán)境盡可能相同，在真實(shí)測(cè)試環(huán)境受限的情況下也可以在仿真測(cè)試環(huán)境下進(jìn)行測(cè)試。本實(shí)驗(yàn)的測(cè)試環(huán)境已經(jīng)由實(shí)驗(yàn)教師搭建完畢。(3) 生成測(cè)試用例根據(jù)構(gòu)建的操作剖面，可以通過隨機(jī)抽樣生成測(cè)試數(shù)據(jù)。該階段的主要輸出是軟件可靠性增長(zhǎng)測(cè)試說明，包含測(cè)試用例集。對(duì)于較復(fù)雜的軟件，隨機(jī)抽樣產(chǎn)生的測(cè)試數(shù)據(jù)通常不含測(cè)試預(yù)期結(jié)果，此時(shí)可以在抽樣生成的測(cè)試數(shù)據(jù)的基礎(chǔ)上，人工添加測(cè)試預(yù)期結(jié)果，從而生成完整的測(cè)試用例。由于操作剖面是軟件可靠性測(cè)試的關(guān)鍵環(huán)節(jié)之一，通常在操作剖面構(gòu)建完成之后要進(jìn)行嚴(yán)格的評(píng)審，重點(diǎn)審核操

50、作剖面的合理性以及測(cè)試環(huán)境的可行性。3) 軟件可靠性增長(zhǎng)測(cè)試執(zhí)行階段測(cè)試執(zhí)行階段的主要工作是根據(jù)測(cè)試用例執(zhí)行測(cè)試，同時(shí)收集失效數(shù)據(jù)用于可靠性評(píng)估。(1) 測(cè)試執(zhí)行與收集失效數(shù)據(jù)收集軟件失效數(shù)據(jù)是采用模型進(jìn)行軟件可靠性評(píng)估的基礎(chǔ)，因此失效數(shù)據(jù)收集的完整、準(zhǔn)確、及時(shí)與否對(duì)可靠性評(píng)估結(jié)果的可信程度至關(guān)重要。針對(duì)不同的可靠性要求，應(yīng)該制定不同的數(shù)據(jù)收集程序和數(shù)據(jù)收集要求。通常認(rèn)為，對(duì)于軟件可靠性模型來說，執(zhí)行時(shí)間比日歷時(shí)間更好，如果不能得到執(zhí)行時(shí)間，也可以使用一些近似的表示，諸如時(shí)鐘時(shí)間、加權(quán)時(shí)鐘時(shí)間或事務(wù)處理數(shù)等表示。常用的模型使用兩類失效數(shù)據(jù)：失效計(jì)數(shù)數(shù)據(jù)和失效時(shí)間數(shù)據(jù)。失效計(jì)數(shù)數(shù)據(jù)是指單位時(shí)間內(nèi)

51、發(fā)生的失效數(shù)，如每日、每周發(fā)生的失效次數(shù)；失效時(shí)間數(shù)據(jù)是指每次失效發(fā)生的累計(jì)執(zhí)行時(shí)間或間隔執(zhí)行時(shí)間，可以直接或間接地收集，最好收集程序的實(shí)際執(zhí)行時(shí)間，而不是時(shí)鐘時(shí)間。因?yàn)闀r(shí)鐘時(shí)間往往會(huì)給出樂觀的軟件可靠性估計(jì)?？梢杂脝挝粫r(shí)鐘時(shí)間的平均利用率因子來調(diào)整時(shí)鐘時(shí)間得到實(shí)際執(zhí)行時(shí)間的估計(jì)值。(2) 測(cè)試結(jié)果分析與處理對(duì)測(cè)試結(jié)果的分析與處理主要包含兩部分的工作，一是針對(duì)發(fā)現(xiàn)的軟件失效，分析失效帶來的影響，從而排除缺陷，并進(jìn)行回歸測(cè)試；另一方面是分析失效數(shù)據(jù)的趨勢(shì)，選擇出軟件可靠性模型進(jìn)行評(píng)估分析。軟件可靠性增長(zhǎng)測(cè)試執(zhí)行階段的主要輸出是可靠性測(cè)試執(zhí)行記錄、問題報(bào)告以及失效數(shù)據(jù)分析與處理的記錄。4) 軟件可

52、靠性測(cè)試總結(jié)階段總結(jié)階段主要對(duì)測(cè)試過程和數(shù)據(jù)進(jìn)行總結(jié)，主要輸出是軟件可靠性增長(zhǎng)測(cè)試報(bào)告。通常需要對(duì)測(cè)試報(bào)告進(jìn)行正式評(píng)審。5.1.2 軟件可靠性增長(zhǎng)測(cè)試的注意事項(xiàng)軟件可靠性增長(zhǎng)測(cè)試注意事項(xiàng)為：a) 對(duì)于有可靠性定量要求的軟件才進(jìn)行軟件可靠性增長(zhǎng)測(cè)試；b) 軟件可靠性增長(zhǎng)測(cè)試使用的測(cè)試數(shù)據(jù)必須基于操作剖面生成；c) 對(duì)增長(zhǎng)測(cè)試中發(fā)現(xiàn)的問題必須加以糾正；d) 可能的話，記錄每一次軟件的失效時(shí)間；e) 在軟件可靠性評(píng)估中，由相同的軟件缺陷導(dǎo)致的軟件失效只計(jì)第一次；f) 回歸測(cè)試時(shí)收集的信息，不作為軟件可靠性評(píng)估的依據(jù)；g) 軟件可靠性估計(jì)必須基于軟件可靠性數(shù)據(jù)，即在基于操作剖面的軟件測(cè)試中收集到的失效數(shù)據(jù)，或?qū)嶋H使用中收集到的失效數(shù)據(jù)。失效數(shù)據(jù)的收集必須完整、及時(shí)、準(zhǔn)確；h) 在進(jìn)行可靠性測(cè)試前必須由測(cè)試方、開發(fā)方以及使用方（可能的話）明確失效的判據(jù)，并明確哪些失效需要統(tǒng)計(jì)在內(nèi)。對(duì)于不同的可靠性要求其失效定義可能不同，例如，如果只對(duì)影響任務(wù)的失效提出了可靠性定量要求，則失效應(yīng)定義為影響軟件系統(tǒng)任務(wù)完成的軟件行為；i) 一個(gè)軟件系統(tǒng)可以有多個(gè)操作剖面，主要取決于是否針對(duì)不同的操作模式有獨(dú)立的可靠性要求。5.2 實(shí)驗(yàn)軟件本部分實(shí)驗(yàn)將使用TCS軟件、ATM機(jī)軟件和SRET軟件。TCS軟件將用于測(cè)試數(shù)據(jù)的自動(dòng)生成；ATM機(jī)軟件作為被測(cè)軟件支持測(cè)試工作的進(jìn)行；SRET軟