DL∕T 1729-2017 電力信息系統(tǒng)功能及非功能性測試規(guī)范

電力信息系統(tǒng)功能及非功能性測試規(guī)范國家能源局發(fā)布I Ⅱ 12規(guī)范性引用文件 1 1 24.1測試目的 2 2 3 3 44.6測試文檔 6 6 7 7 85.1適合性 8 85.3互操作性 8 96非功能性 96.1可靠性 9 96.3效率 7測試階段 7.4驗(yàn)收測試 7.5運(yùn)行測試 附錄A(資料性附錄)軟件測試方法 20附錄B(規(guī)范性附錄)電力信息系統(tǒng)非功能性測試指標(biāo)表 Ⅱ1本標(biāo)準(zhǔn)不涉及信息系統(tǒng)安全性測試要求，安全性測試要求見GB/T18336信息技術(shù)安全技術(shù)GB/T8566信息技術(shù)軟件生存周期過程(GB/T8566—2007,ISO/IEC12207:1995,MOD)GB/T11457信息技術(shù)軟件工程術(shù)語GB/T18336信息技術(shù)安全技術(shù)信息技術(shù)安全性評估準(zhǔn)則(ISO/IEC15408:2005,IDT)GB/T20158信息技術(shù)軟件生存周期過程配置管理(GB/T20158—2006,ISO/IECTR24總則3c)對測試過程的正確或異常終止情況進(jìn)行a)描述測試狀態(tài)。如實(shí)際測試與測試計(jì)劃和測試說明的差異、測試用例合理性、測試充分性分依據(jù)測試總結(jié)，出具相應(yīng)的測試報(bào)告。測試報(bào)告應(yīng)至少包括產(chǎn)品名稱、版本號、委托單位、樣品編號、測試資源(硬件測試環(huán)境、軟件測試環(huán)境和測試工具)、測試項(xiàng)目(功能性測試和非功能性測試)和測試結(jié)論。4.3測試方法41)每個(gè)測試輸入的具體內(nèi)容(如確定的數(shù)值、狀態(tài)或信號等)及其性質(zhì)(如有效值、無效3)每一步的評價(jià)準(zhǔn)則；5具體職責(zé)測試分析員測試設(shè)計(jì)員測試程序員測試執(zhí)行員測試系統(tǒng)管理員對測試環(huán)境和資產(chǎn)進(jìn)行管理和維護(hù)配置管理員設(shè)置、管理和維護(hù)測試配置管理數(shù)據(jù)庫，測注2:一個(gè)人可以承擔(dān)多個(gè)角色的工作，一個(gè)角色可由多1)具有測試合同(或項(xiàng)目計(jì)劃);應(yīng)按照信息系統(tǒng)配置管理的要求，將測試過程中產(chǎn)生的各種工作產(chǎn)品納入配置管理。由開發(fā)組織實(shí)施的信息系統(tǒng)測試，應(yīng)將測試工作產(chǎn)品納入項(xiàng)目的配置管理；由獨(dú)立測試組織實(shí)施的信息系統(tǒng)測試，應(yīng)建立配置管理庫，將被測對象和測試工作產(chǎn)品納入配置管理。配置管理要求見6在測試執(zhí)行前，對測試計(jì)劃和測試說明等進(jìn)行評審，評審測試計(jì)劃的合理性、測試用例的正確性、完整性和覆蓋充分性，以及測試組織、測試環(huán)境和設(shè)備工具是否齊全并符合技術(shù)要求等。審查的b)通過比較測試環(huán)境與信息系統(tǒng)真實(shí)運(yùn)行的軟件、硬件在測試完成后，評審測試過程和測試結(jié)果的有效性，確定是否達(dá)到測試目的，主要對測試記錄、h)評審對測試過程中出現(xiàn)的異常進(jìn)行處理的正確性。信息系統(tǒng)測試文檔一般包括測試計(jì)劃、測試說明(需要時(shí)進(jìn)一步細(xì)分為測試設(shè)計(jì)說明、測試用例的基本內(nèi)容和要求見GB/T9386,根據(jù)軟件的完整性級別和軟件規(guī)模等級可對信息系統(tǒng)測試文檔進(jìn)行合工具類型功能和特征說明舉例設(shè)計(jì)和代碼進(jìn)行評審、走查細(xì)設(shè)計(jì)的靜態(tài)分析工具很少7表2(續(xù))工具類型功能和特征說明舉例選擇測試用例、設(shè)置環(huán)境、有效性評價(jià)等管理等工具活動的其他工具的測試設(shè)計(jì)、測試數(shù)據(jù)生理工具復(fù)雜度分析可用于測試計(jì)劃的制定、捕獲和回放、1)易用性；2)互操作性；3)穩(wěn)定性；4)經(jīng)濟(jì)實(shí)用性；5)可維護(hù)性。 85功能性從易學(xué)性方面考慮，可測試信息系統(tǒng)的在線幫助，確認(rèn)在線幫助是否容易定位，是否有效，還可c)要求具有還原能力(數(shù)據(jù)庫的事務(wù)回滾能力)的功能，確認(rèn)它們能否在動作完成之后被撤銷；從時(shí)間特性方面考慮，可測試信息系統(tǒng)的響應(yīng)時(shí)間、平均響應(yīng)時(shí)間、響應(yīng)極限時(shí)間；信息系統(tǒng)的在測試時(shí)，應(yīng)標(biāo)識和定義適合于信息系統(tǒng)應(yīng)用的任務(wù)，并對多項(xiàng)任務(wù)進(jìn)行測試，而不是僅測試一當(dāng)替換整個(gè)不同的信息系統(tǒng)和用同一系列的高版本替換低版本時(shí)，在易替換性方面，可考慮單元測試的對象是由開發(fā)人員對信息系統(tǒng)中的最小可測試單元(最小功能模塊)進(jìn)行檢查和驗(yàn)e)語句覆蓋率應(yīng)達(dá)到100%;f)分支覆蓋率應(yīng)達(dá)到100%;測試環(huán)境包括測試的運(yùn)行環(huán)境和測試工具環(huán)境。測試的運(yùn)行環(huán)境一般應(yīng)b)系統(tǒng)性能測試1)時(shí)間特性。i)應(yīng)測試運(yùn)行條件(如數(shù)據(jù)結(jié)構(gòu)、輸入/輸出通道容量、內(nèi)存空間、調(diào)用頻率等)在邊界狀態(tài)3)默認(rèn)使用的寄存器的值正確嗎?1)嵌套的IF是否已正確的縮進(jìn)?2)注釋準(zhǔn)確并有意義嗎?3)是否使用了有意義的標(biāo)號?5)是否遵循全套的編程標(biāo)準(zhǔn)?1)初始入口的最終出口正確嗎?2)規(guī)定的域正確嗎?4)存儲器重復(fù)使用嗎?可能產(chǎn)生沖突嗎?1)是否進(jìn)行了浮點(diǎn)相等比較?2)測試條件正確嗎?3)用于測試的變量正確嗎?5)三種情況(大于0,小于0,等于0)是否已全部測試?1)邏輯是否被最佳地編碼?1)全部設(shè)計(jì)是否均已實(shí)現(xiàn)?1)是否有不可能執(zhí)行到的代碼?4)是否有多余的程序單元?3)標(biāo)識符的使用方式；4)過程的調(diào)用層次；5)違背編碼規(guī)則；a)分析成規(guī)格說明，引出原因(輸入條件)和結(jié)果(輸出結(jié)果),并給每個(gè)原因和結(jié)果賦予一個(gè)A.2.2.7猜錯法一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明1(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請求到請求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間=測試的總時(shí)間/界面打開類：通過對用戶信息系統(tǒng)最基本典型面打開涉及的用戶端界面顯示響應(yīng)時(shí)長發(fā)現(xiàn)問題，提升信息系統(tǒng)性能強(qiáng)制型2圖片/視頻界1.僅限打開圖片/視頻操作。始加載或自動加載開始至在界面上打開并呈現(xiàn)的時(shí)長說明書中要求，如需求規(guī)格說明書未作要求，則圖片/視頻界面過10s強(qiáng)制型31.非打開圖片完成并呈現(xiàn)的時(shí)長滿足需求規(guī)格說明書中要求，如需求規(guī)格說明書未作要求，則普通界面打開時(shí)長不得超過5s強(qiáng)制型寫表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明4(性響應(yīng)時(shí)間響應(yīng)時(shí)間理請求的速度在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請求到請求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間數(shù)據(jù)處理類：型操作細(xì)化分問題，提升系統(tǒng)性能標(biāo)準(zhǔn)查詢用戶系統(tǒng)缺省設(shè)置查詢開始到界面呈現(xiàn)查詢結(jié)果的操作說明書中要求如需求規(guī)格說明書過5s強(qiáng)制型5個(gè)性查詢準(zhǔn)或高級查詢點(diǎn)呈現(xiàn)查詢結(jié)果的操作說明書中要求如需求規(guī)格說明書過8s強(qiáng)制型6向系統(tǒng)進(jìn)行添有數(shù)據(jù)操作到系加、修改和刪除的提示界面的時(shí)長說明書中要求如需求規(guī)格說明書長不超過5s強(qiáng)制型7(性響應(yīng)時(shí)間響應(yīng)時(shí)間理請求的速度在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請求到請求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間統(tǒng)計(jì)分析類：析，從表格類、等相關(guān)操作響應(yīng)時(shí)長分析系統(tǒng)性能點(diǎn)擊展示到展示說明書中要求如需求規(guī)格說明書長不應(yīng)超過20s強(qiáng)制型8圖形式報(bào)表處理圖形式報(bào)表從點(diǎn)擊展示到展示說明書中要求如需求規(guī)格說明書未作要求，則圖長不應(yīng)超過30s強(qiáng)制型表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明9(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請求到請求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間測試的總次數(shù)不存在動態(tài)數(shù)據(jù)示的時(shí)長說明書中要求如需求規(guī)格說明書時(shí)長不應(yīng)超過強(qiáng)制型(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請求到請求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間=測試的總時(shí)間/其他交互類：指除上述類別的所有功能系統(tǒng)登錄/注銷開頁面到頁面響應(yīng)打開加上用戶時(shí)長說明書中要求如需求規(guī)格說明書未作要求，銷時(shí)長不應(yīng)超過5s強(qiáng)制型(性響應(yīng)時(shí)間響應(yīng)時(shí)間在最壞情況下處出請求到請求完成為止用戶經(jīng)歷的平均等待時(shí)間最大響應(yīng)時(shí)間長的響應(yīng)時(shí)間滿足需求規(guī)格說明書中要求，如需求規(guī)格說息系統(tǒng)界面打開類不應(yīng)超過30s;數(shù)據(jù)處理類不應(yīng)超過20s;統(tǒng)計(jì)分析類不應(yīng)超過60s;數(shù)據(jù)轉(zhuǎn)換和傳輸類不應(yīng)超過5s;系統(tǒng)登錄/注銷不應(yīng)超過12s強(qiáng)制型(性資源利用率當(dāng)系統(tǒng)并發(fā)用戶數(shù)在設(shè)計(jì)要求范圍內(nèi)時(shí)，評估系統(tǒng)應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器的CPU利用情況一個(gè)特定的系占用的CPU資源時(shí)間一程序占用的總CPU時(shí)間×滿足需求規(guī)格說明書中要求，如需求規(guī)格說用服務(wù)器和數(shù)據(jù)庫服務(wù)器的CPU平均利用率不得強(qiáng)制型(性資源內(nèi)存利用率當(dāng)系統(tǒng)并發(fā)用的內(nèi)存利用情況一個(gè)特定的系統(tǒng)負(fù)載下，服務(wù)器中運(yùn)行的進(jìn)程內(nèi)存利用率=(服務(wù)器總內(nèi)存一存)/服務(wù)器總內(nèi)滿足需求規(guī)格說明書中要求，如需求規(guī)格說用服務(wù)器的內(nèi)存平均使用率不得超過80%,強(qiáng)制型表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明效率(性成功率定壓力下事務(wù)處理的能力一個(gè)特定的系統(tǒng)負(fù)載下，系統(tǒng)得到了服務(wù)器正確響應(yīng)事務(wù)數(shù)在相應(yīng)的總事務(wù)數(shù)中的占比事務(wù)數(shù)/相應(yīng)的總事務(wù)數(shù)強(qiáng)制型效率(性在線用戶數(shù)最大在線用戶數(shù)=系統(tǒng)能夠處理的最大在線用效率(性并發(fā)訪問數(shù)同時(shí)訪問系統(tǒng)的最大用戶數(shù)最大并發(fā)訪問數(shù)=系統(tǒng)能處理的最大用戶同時(shí)性的適護(hù)者能否容易地使信息系統(tǒng)適應(yīng)環(huán)境、信息系統(tǒng)是否有足夠的能力使它自身適應(yīng)件適應(yīng)運(yùn)行環(huán)境時(shí)的用戶或維護(hù)境進(jìn)行運(yùn)行測試時(shí)能完成任務(wù)且使任務(wù)滿足適當(dāng)級別的運(yùn)行的功能數(shù)/進(jìn)行測試的功能總數(shù)性的適護(hù)者能否容易地使軟件適應(yīng)環(huán)境、信息系統(tǒng)是否有足夠的能力使它自身適應(yīng)運(yùn)件適應(yīng)運(yùn)行環(huán)境時(shí)的用戶或維護(hù)統(tǒng)軟件或并行應(yīng)數(shù)/進(jìn)行測試的功能總數(shù)表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明易安的易安裝性能否容易地把軟件安裝在運(yùn)行環(huán)境中行環(huán)境中安裝軟件時(shí)用戶或維護(hù)性=用戶為自己的方便成功地更改安裝操作的次方便企圖更改安裝操作的總次數(shù)滿足需求規(guī)格說明書要求，如需求規(guī)格說明易安的易性環(huán)境中卸載軟件件時(shí)用戶或維護(hù)性=用戶為自己的方便成功地更改卸載操作的次方便企圖更改卸載操作的總次數(shù)滿足需求規(guī)格說明書要求，如需求規(guī)格說明性的共共同運(yùn)行時(shí)，用戶遇到限制或意外失效的頻繁程評價(jià)的軟件與用戶經(jīng)常使用的其他軟件并存時(shí)，評價(jià)其有效其他軟件共同運(yùn)行時(shí)，用戶遇到的限制或意外失效的時(shí)間/與其他軟件共同運(yùn)行的時(shí)間滿足需求規(guī)格說明書要求，如需求規(guī)格說明書未易替數(shù)據(jù)的連評估在更換原先的軟件之后觀能否繼續(xù)使用同是否成功的轉(zhuǎn)移當(dāng)更換軟件后觀察能否連續(xù)使用原軟件的數(shù)據(jù)用性=(在其他更換的軟件中使用并證實(shí)能繼續(xù)更換的軟件中使用并計(jì)劃能繼續(xù)重新使用的數(shù)據(jù)個(gè)數(shù))滿足需求規(guī)格說明書要求，如需求規(guī)格說明出表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明易替功能的內(nèi)評估在更換原先的軟件之后觀察用戶或維護(hù)者能否繼續(xù)容易地使用類似的功能、信息系統(tǒng)是否成功的轉(zhuǎn)移當(dāng)更換軟件時(shí)觀察信息系統(tǒng)的=(在新版本軟件中產(chǎn)生類似結(jié)果而無需變更的功能數(shù))/(由要更換的其他軟件提供的類似功能并已測試過的功能數(shù))易用性易理的完的幫助程度信息系統(tǒng)描述后(或功能的類型)比例=[被理解的功能(或功能的類型)數(shù)]/(測試功能[或功能的類型)總數(shù)]于90%易用性易理功能的易性息系統(tǒng)功能正確理解的程度階段及完成階段軟件功能被用戶正確理解的比例解能正確描述出的功能數(shù)/測試功能總數(shù)易用性易理輸出的易性息系統(tǒng)輸入數(shù)據(jù)及輸出數(shù)據(jù)的理指用戶在使用信息系統(tǒng)時(shí)能正確理解輸入輸出數(shù)據(jù)的比例輸入輸出的易功理解的輸入和輸出數(shù)據(jù)項(xiàng)的數(shù)到的輸入和輸出數(shù)據(jù)項(xiàng)的總數(shù)于90%易用性易理界面的明潔文字或提供了界面元素的明的界面元素?cái)?shù)/難以理解的界面元素總數(shù)表B.1(續(xù))出一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明易用性易學(xué)習(xí)性幫助的完評估用戶文檔和/或幫助機(jī)制中進(jìn)行幫助描述的完整程度幫助機(jī)制或文所占的比例=(幫助機(jī)制或文檔描述過的功能數(shù))/功能總數(shù)易用性易操用中的一性程度用戶在使用信息系統(tǒng)時(shí)各種操作模式保持一致的比例一測試發(fā)現(xiàn)操作模式不一致用例易用性易操的有性檢查的程度入項(xiàng)提供了對有效性數(shù)據(jù)進(jìn)行檢查的比例檢查=對有效數(shù)據(jù)進(jìn)行檢查的輸據(jù)可能進(jìn)行檢查的輸入項(xiàng)數(shù)于95%易用性吸引性界面外觀的易定制性的易定制性界面元素能定制為用戶滿意的外觀的比例界面外觀的易定制性=能定制為用戶滿意的外用戶希望定制的界面元素總數(shù)性成熟性失效率測的能力周期內(nèi)檢測出失效的多少100%一試驗(yàn)周期測試用例的個(gè)數(shù)于98%性成熟性率評估測試期間信息系統(tǒng)執(zhí)行測要求的測試用例的比例測試期間實(shí)際執(zhí)按照覆蓋需求要求執(zhí)行的測試用例數(shù)強(qiáng)制型表B.1(續(xù))一級二級指標(biāo)目的指標(biāo)等級指標(biāo)時(shí)長說明性成熟性度評估測試計(jì)劃的充分程度要求的測試用例的比例并在評審中證實(shí)的測試用例數(shù)/要求的測試用例數(shù)強(qiáng)制型性性失效評估能控制多少種故障模式以避免關(guān)鍵性的或?qū)σ呀?jīng)避免的故障模式的個(gè)數(shù)進(jìn)行計(jì)算，并與考慮到的故障模應(yīng)故障模式的測試用例，避免關(guān)鍵和嚴(yán)重失效發(fā)中執(zhí)行的故障模(幾乎會引起失強(qiáng)制型性性作評估實(shí)現(xiàn)了名少種抵御誤操作能力的功能鍵或嚴(yán)重失效的誤操作的測試用例個(gè)數(shù)進(jìn)行計(jì)數(shù)，并與執(zhí)行的考慮誤操作模式的測試用例個(gè)數(shù)相比較避免關(guān)鍵失效和嚴(yán)重失效發(fā)生的行的(幾乎引起失效的)誤操作模式的測試用例的個(gè)數(shù)強(qiáng)制型性易恢復(fù)性易修常情況下或需要時(shí)自身的修復(fù)能力時(shí)在目標(biāo)時(shí)間內(nèi)成功自動修復(fù)的比例易修復(fù)性=在評審中證實(shí)已實(shí)現(xiàn)的具有復(fù)原功說明中的需要具有復(fù)原功能的需求數(shù)強(qiáng)制型性易恢復(fù)性時(shí)間目標(biāo)的業(yè)務(wù)恢復(fù)能力難狀態(tài)恢復(fù)到可運(yùn)行狀態(tài)所需的時(shí)間時(shí)間恢復(fù)目標(biāo)