軟件產(chǎn)品測評作業(yè)指導(dǎo)書

名稱：軟件產(chǎn)品測評作業(yè)指導(dǎo)書頁共39頁一適用范圍本細(xì)則適用于對軟件產(chǎn)品的測試。規(guī)定了在進(jìn)行軟件產(chǎn)品測試時的引用文件（標(biāo)準(zhǔn)）、軟件質(zhì)量特性、測評方式、測評類型、測評內(nèi)容、判定準(zhǔn)則、測評工作流程等方面的要求。二引用文件GB/T25000.51-2010《軟件工程軟件產(chǎn)品質(zhì)量要求與評價(SquaRE)商業(yè)現(xiàn)貨(COTS)軟件產(chǎn)品的質(zhì)量要求和測試細(xì)則》。GB/T25000.1-2010《軟件工程軟件產(chǎn)品質(zhì)量要求與評價(SQuaRE)SQuaRE指南》。GB/T16260-2006《信息技術(shù)軟件產(chǎn)品評價質(zhì)量特性及其使用指南》其它有關(guān)技術(shù)標(biāo)準(zhǔn)。有關(guān)法律、法規(guī)和內(nèi)部規(guī)定。三軟件質(zhì)量特性及有關(guān)術(shù)語定義3.1功能性functionality與現(xiàn)有的一組功能及其規(guī)定的性質(zhì)有關(guān)的一組屬性。這里的功能是指滿足明確的或隱含的需求那些功能。[GB/T16260–2006]3.1.1適合性suitability與規(guī)定任務(wù)能否提供一級功能以及這些功能的適合程度有關(guān)的軟件屬性。3.1.2準(zhǔn)確性accuracy與能否得到正確或相符的結(jié)果或效果有關(guān)的軟件屬性。3.1.3互操作性；3.1.4互用性interoperability與同其他指定系統(tǒng)進(jìn)行交互的能力有關(guān)的軟件屬性。3.1.5依從性compliance使軟件遵循有關(guān)的標(biāo)準(zhǔn)、約定、法規(guī)及類似規(guī)定的軟件屬性。3.1.6安全性security與防止對程序及數(shù)據(jù)的非授權(quán)的故意或意外訪問的能力有關(guān)的軟件屬性.3.2可靠性reliability與在規(guī)定的一段時間和條件下，軟件維持其性質(zhì)水平的能力有關(guān)的一組屬性[GB/T16260–2006]。3.2.1成熟性maturity與由軟件故障引起失效的頻度有關(guān)的軟件屬性。3.2.2容錯性faulttolerance與在軟件故障或違反指定接口的情況下，維持規(guī)定的性能水平的能力有關(guān)的軟件屬性。3.2.3易恢復(fù)性recoverability與在失效發(fā)生后，重建其性能水平并恢復(fù)直接受影響數(shù)據(jù)的能力以及達(dá)此目的所需的時間和努力有關(guān)的軟件屬性。3.3易用性usability與一組規(guī)定或潛在的用戶為使用軟件所需做的努力并且對這樣的使用所作的評價有關(guān)的一組屬性[GB/T16260–2006]。3.3.1易理解性understandability與用戶為認(rèn)識邏輯概念及其應(yīng)用范圍所花的努力有關(guān)的軟件屬性。程序的問題、消息和結(jié)果應(yīng)是易理解的。3.3.2易學(xué)性Learnability與用戶為學(xué)習(xí)軟件應(yīng)用（例如運行控制、輸入、輸出）所花的努力有關(guān)的軟件屬性。3.3.3易瀏覽性如果有多種媒體，則每種數(shù)據(jù)媒體應(yīng)具有產(chǎn)品標(biāo)識、可辨別編號或文本。程序宜易觀察易讀的形式向用戶提供信息。3.4易操作性O(shè)perability與用戶為操作和運行控制所花的努力有關(guān)的軟件屬性。3.5效率efficiency與在規(guī)定的條件下，軟件的性質(zhì)水平和所使用資源量之間的關(guān)系有關(guān)的一組屬性。[GB/T16260–2006]3.5.1時間特性timebehavior與軟件執(zhí)行其功能時響應(yīng)和處理時間以及吞吐量有關(guān)的軟件屬性。3.5.2資源特性resourcebehavior與軟件在執(zhí)行其功能時所使用的資源數(shù)量及其使用時間有關(guān)的軟件屬性。3.6可維護(hù)性maintainability與進(jìn)行規(guī)定的修改所需的努力有關(guān)的一組屬性。[GB/T16260–2006]3.6.1易分析性analyzability與為診斷缺陷或失效原因及為判定待修改的部分所需努力有關(guān)的軟件屬性。3.6.2易改變性changeability與進(jìn)行修改、排除錯誤或適應(yīng)環(huán)境變化所需努力有關(guān)的軟件屬性。3.6.3穩(wěn)定性stability與修改所造成的未預(yù)料結(jié)果的風(fēng)險有關(guān)的軟件屬性。3.6.4易測試性testability與確認(rèn)已修改軟件所需的努力有關(guān)的軟件屬性。3.7可移植性portability與軟件可從某一環(huán)境到另一環(huán)境的能力有關(guān)的一組屬性。[GB/T16260–2006]3.7.1適應(yīng)性adaptability與軟件無需采用有別于為該軟件準(zhǔn)備的活動或手段就可能適應(yīng)不同的規(guī)定環(huán)境有關(guān)的軟件屬性。3.7.2易安裝性installability與在指定環(huán)境下安裝所需努力有關(guān)的軟件屬性。3.7.3遵循性conformance使軟件遵循與可移植性有關(guān)的標(biāo)準(zhǔn)或約定的軟件屬性。3.7.4易替換性replaceability與軟件在該軟件環(huán)境中有來替代指定的其軟件的機(jī)會和努力有關(guān)的軟件屬性。3.8用戶文檔集userdocumentation以打印的或非打印形式得到的文檔的完整集合，用戶文檔的提供有利于產(chǎn)品的應(yīng)用并且是產(chǎn)品的必備部分。3.9產(chǎn)品說明productdescription陳述軟件各種性質(zhì)的文檔，其主要目的是幫助潛在的需方在采購前對該軟件進(jìn)行適用性評價。（包括全部封面信息、數(shù)據(jù)表、網(wǎng)站信息等。）[GB/T25000.51-2010]。3.10測試用例testcase測試者使用的文檔化細(xì)則，其規(guī)定如何對某項功能或功能組合進(jìn)行測試。包括測試目標(biāo)、要測試的功能、測試環(huán)境和其他條件、測試數(shù)據(jù)、過程、系統(tǒng)的預(yù)期行為。3.11判定verdict相對于測評項，對被測實現(xiàn)的結(jié)果給出“通過”或“不通過”等結(jié)論性陳述的行為。3.12判定準(zhǔn)則verdictcriteria在測評項中規(guī)定的、使測評實驗室和測評人員對測評結(jié)果做出評定結(jié)論的依據(jù)。四測試內(nèi)容4.1用戶文檔集測試為了使用戶了解軟件的使用、操作和對軟件進(jìn)行維護(hù)，軟件開發(fā)者為用戶提供的詳細(xì)資料，稱為用戶文檔，即用戶手冊、操作手冊、維護(hù)手冊。用戶文檔集測試文檔的完備性、正確性、一致性、易理解性、易學(xué)性和可操作性：4.1.1完備性用戶文檔集中是否包含使用該軟件的必須信息。用戶文檔集是否包含在產(chǎn)品說明中陳述的所有功能以及最終用戶能使用的功能。用戶文檔集中是否說明可靠性的特征及其操作。用戶文檔集中是否列出所處置的和引起應(yīng)用系統(tǒng)失效或終止的差錯和失效，特別是那些導(dǎo)致數(shù)據(jù)丟失的應(yīng)用系統(tǒng)終止的結(jié)束條件。用戶文檔集中是否給出必要數(shù)據(jù)的備份和恢復(fù)指南。對于關(guān)鍵軟件功能（即失效后會對安全產(chǎn)生影響或會造成重大財產(chǎn)損失或社會損失的軟件），用戶文檔集是否提供詳細(xì)的說明和參考信息。用戶文檔集中是否陳述了產(chǎn)品文檔中給出的所有限制。用戶文檔集中是否陳述了安裝該軟件所要求的最小和最大磁盤空間。對用戶要完成的應(yīng)用管理職能，用戶文檔集是否包括所有必要的信息。在用戶所完成的應(yīng)用管理職能的信息中，應(yīng)包括讓用戶能驗證是否成功完成應(yīng)用管理職能的信息。如果用戶文檔集分若干部分，檢查是否有標(biāo)識標(biāo)識出所有部分。4.1.2正確性檢查用戶文檔集中的信息是否存在歧義。4.1.3一致性用戶文檔集是否自相矛盾、互相矛盾以及與產(chǎn)品說明矛盾。4.1.4易理解性用戶文檔集中的術(shù)語和文體是否便于用戶理解。是否有編排完整的文檔清單。4.1.5易學(xué)行用戶文檔集中是否包含便于用戶使用該軟件的必要信息。4.1.6可操作性如果用戶文檔集不是紙質(zhì)文檔，檢查文檔中是否指明該文檔集能否被打印，如果能打印，檢查是否指出如何獲得打印件。用戶文檔集是卡片和快速參考指南以外的文檔集，檢查是否給出目次（或主題詞列表）和索引。檢查用戶文檔集中是否對不常用的術(shù)語和首字母縮略語加以定義。4.2功能性測試4.2.1安裝與卸載軟件由用戶安裝，用戶手冊和軟件能提供詳細(xì)的安裝導(dǎo)向和缺省設(shè)置，是否提供覆蓋、修復(fù)和重新安裝；安裝后，程序能否運行應(yīng)是可鑒別的；軟件是否能夠?qū)崿F(xiàn)完全卸載（自動卸載、手動卸載）；軟件完成安裝與卸載，是否影響其他的程序。4.2.2軟件各功能模塊是否能夠全部掛接。4.2.3用戶手冊中提到的所有功能應(yīng)可執(zhí)行。4.2.4為完成工作任務(wù)，程序功能應(yīng)正確執(zhí)行。4.2.5如果由于產(chǎn)品特定的邊界值致使產(chǎn)品使用受限，應(yīng)提供這些邊界值：最小和最大值；鍵的長度；文卷中的記錄的最大數(shù)目；檢索準(zhǔn)則的最大數(shù)目；最小樣本大??；4.2.6安全性在軟件的質(zhì)量特性中，安全性與功能、易用性有較大的關(guān)聯(lián)，安全性是通過某些功能的實現(xiàn)來體現(xiàn)的，易用性與安全性也緊密相連，同時也存在矛盾。軟件產(chǎn)品安全性測試主要測試項：（一）、用戶管理和訪問控制1、用戶權(quán)限控制對于應(yīng)用軟件來說，用戶權(quán)限的控制是比較重要的。一個用戶能夠訪問一個應(yīng)用系統(tǒng)的權(quán)限主要來源于三個方面：應(yīng)用軟件本身、操作系統(tǒng)和數(shù)據(jù)庫。應(yīng)用軟件在在開發(fā)過程中，主要采用用戶名和密碼登錄的方式完成。安全強(qiáng)度高的軟件也可采用指紋認(rèn)證、智能卡認(rèn)證等方式進(jìn)行。⑴用戶名稱的測試用戶名稱應(yīng)該具有惟一性。①同時存在的用戶名稱在不考慮大小寫的狀態(tài)下，不能夠同名；②對于關(guān)鍵領(lǐng)域的軟件產(chǎn)品和安全性要求較高發(fā)軟件，應(yīng)當(dāng)同時保證使用過的用戶在用戶刪除或停用后，保留該用戶記錄，并且新用戶不得與該用戶同名。⑵用戶口令測試用戶口令應(yīng)該滿足當(dāng)前流行的控制模式，主要測試口令的強(qiáng)度、口令存儲的位置和加密強(qiáng)度。①最大口令時效：指定用戶可以保留當(dāng)前口令的時間；②最小口令時效：指定用戶修改口令之前，用戶必須保留口令的時間；③口令歷史：確定系統(tǒng)將要記住的口令數(shù)量，如果用戶選擇的口令存在于口令數(shù)據(jù)庫中，系統(tǒng)將強(qiáng)制用戶選擇其他口令；④最小口令長度：對于用戶口令可以包含的最少的可以接受的⑤口令復(fù)雜度：在口令中要求用戶使用非字母數(shù)字的字符或大小寫字母；⑥加密選項：可以加密本地存儲的口令；⑦口令鎖定：在輸入非法口令達(dá)到規(guī)定的次數(shù)之后，系統(tǒng)將禁用這個帳戶。⑧帳戶復(fù)位：帳戶鎖定后定義是否可以在規(guī)定的時間間隔后自動恢復(fù)。2、操作系統(tǒng)安全性測試⑴是否關(guān)閉或卸載了不必要的服務(wù)和程序；⑵是否存在不必要的帳戶；⑶權(quán)限設(shè)置是否合理；⑷安裝相應(yīng)的安全補(bǔ)丁程序的情況；⑸操作系統(tǒng)日志管理。3、數(shù)據(jù)庫權(quán)限測試⑴數(shù)據(jù)庫管理用戶的設(shè)置應(yīng)當(dāng)注意對帳戶的保護(hù)，超級用戶的口令不得為空或默認(rèn)口令。對數(shù)據(jù)庫的帳號和組的權(quán)限應(yīng)作相應(yīng)設(shè)置。⑵數(shù)據(jù)庫中關(guān)于應(yīng)用軟件用戶權(quán)限和口令存儲的相關(guān)表格，盡量采用加密算法進(jìn)行加密；⑶根據(jù)不同的程序訪問數(shù)據(jù)庫的功能，使用不同的數(shù)據(jù)庫用戶進(jìn)行連接，并且必須設(shè)置密碼。（二）、通信加密通信加密是保證數(shù)據(jù)在傳輸過程中數(shù)據(jù)的保密性和一致性。軟件產(chǎn)品在技術(shù)上通常使用鏈路加密、數(shù)據(jù)加密的方式進(jìn)行。目前，使用的加密技術(shù)包括VPN技術(shù)、對稱加密算法、非對稱加密算法、HASH算法。本測試細(xì)則按照客戶設(shè)計要求所使用的加密技術(shù)，采用驗證的方式進(jìn)行測試。（三）、安全日志測試安全日志是軟件產(chǎn)品被動防范的措施，但也是重要的防范功能。⑴日志應(yīng)當(dāng)記錄所有用戶訪問系統(tǒng)的操作內(nèi)容，包括登錄用戶名稱、登錄時間、瀏覽數(shù)據(jù)動作、修改數(shù)據(jù)動作、刪除數(shù)據(jù)動作、退出時間等；⑵日志的完整性、正確性；⑶大型應(yīng)用軟件，系統(tǒng)是否提供了安全日志的統(tǒng)計分析能力。程序和數(shù)據(jù)其本身不能自相矛盾，產(chǎn)品描述和用戶文檔不能相互矛盾，每個術(shù)語應(yīng)處處具有相同的含義，具有良好的一致性。⑴測試軟件程序和數(shù)據(jù)其本身是否產(chǎn)生自相矛盾；⑵測試軟件產(chǎn)品描述和用戶文檔是否相互矛盾；⑶測試軟件的每個術(shù)語是否處處具有相同的含義，是否具有良好的一致性。4.3可靠性測試軟件產(chǎn)品可靠性是指軟件在規(guī)定的條件下和規(guī)定的時間內(nèi)完成規(guī)定的功能的能力。軟件可靠性測試是對軟件產(chǎn)品的可靠性進(jìn)行調(diào)查、分析和評價的一個過程。4.3.1軟件產(chǎn)品可靠性測試的主要目的：發(fā)現(xiàn)軟件系統(tǒng)在需求、設(shè)計、編碼、測試、實施等方面存在的缺陷；為軟件的使用和維護(hù)提供可靠性數(shù)據(jù)；⑶確認(rèn)軟件是否達(dá)到可靠性的定量要求。4.3.2軟件產(chǎn)品可靠性測試項：確認(rèn)可靠性目標(biāo)。檢查被測試軟件的需求與設(shè)計是否一致；檢查軟件設(shè)計過程中形成的文檔的準(zhǔn)確性、完整性與程序的一致性；檢查所交付的程序和數(shù)據(jù)是否符合要求；檢查軟件支持環(huán)境是否符合要求。測試在規(guī)定的時間內(nèi)，軟件能夠正常運行的情況。軟件可靠性主要體現(xiàn)在其運行階段，所以“運行時間”既是“規(guī)定的時間”的度量?！斑\行時間”包括軟件系統(tǒng)運行后工作與掛起（開啟但空閑）的累計時間。因此，在規(guī)定的時間內(nèi)，主要測試軟件是否能夠正常的運行。測試在規(guī)定的條件下，軟件能夠正常運行。在軟件指定的運行環(huán)境中（即軟件系統(tǒng)運行時所需的各種支持要素。如：硬件平臺、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、中間件及其它支持軟件等），主要測試軟件是否能夠正常的運行。測試軟件所要求的功能。軟件的可靠性與軟件規(guī)定的任務(wù)和功能有著密切的關(guān)系。軟件要完成的任務(wù)不同，運行的情況也會有所不同，調(diào)用的模塊、選擇的路徑也會不同，反映在可靠性方面也就可能不同。因此，要準(zhǔn)確的度量軟件的可靠性，重點測試軟件所規(guī)定的任務(wù)和功能是否能夠按照要求實現(xiàn)。測試軟件的可靠度軟件的可靠性度是指在規(guī)定的時間內(nèi)，規(guī)定的條件下，軟件不發(fā)生失效的概率。測試軟件在系統(tǒng)（包括硬件、要求的軟件及屬于該產(chǎn)品的程序）運行過程中，不應(yīng)出現(xiàn)用戶無法控制的狀態(tài)，即不應(yīng)崩潰也不應(yīng)丟失數(shù)據(jù)。即使出現(xiàn)下列情況也應(yīng)滿足上述要求：使用的容量達(dá)到規(guī)定的極限；企圖使用的容量超出規(guī)定的極限；其他程序或用戶造成的錯誤輸入；使用用戶手冊中明確規(guī)定的非法指令。不能用任何程序捕獲的硬中斷和操作系統(tǒng)中斷（例如，操作系統(tǒng)復(fù)為位用的鍵或組合鍵）不在此范圍內(nèi)。測試記錄在測試過程中必須真實地進(jìn)行記錄，每個記錄應(yīng)包含的內(nèi)容：測試的時間；含有測試用例的測試說明或標(biāo)識；所有與測試有關(guān)的測試結(jié)果，包括生效數(shù)據(jù)；測試人員。4.4易用性測試通過選擇適當(dāng)?shù)男g(shù)語、圖形、背景信息、幫助功能，使程序的問題、消息和結(jié)果是易理解的。出錯消息應(yīng)提供解釋相應(yīng)差錯產(chǎn)生原因和糾正的詳細(xì)信息。如果有多種媒體，則每種數(shù)據(jù)媒體應(yīng)具有產(chǎn)品標(biāo)識、可辨別編號或文本。屏幕輸入格式、報表和輸出設(shè)計清晰和易瀏覽。具嚴(yán)重后果的功能執(zhí)行應(yīng)是可逆或應(yīng)給出明顯警告并在執(zhí)行前要求確認(rèn)。4.4.1軟件安裝的易用性1）、安裝手冊評估。安裝前，需要檢查安裝手冊或用戶文檔中的安裝說明。一般來說，安裝手冊需要對安裝平臺、安裝過程需要注意的問題以及手動配置的部分進(jìn)行詳細(xì)說明。2）、安裝的自動化程度測試。由于制作安裝程序的軟件很多，許多軟件采用了自動安裝方式。但由于部分軟件的特殊性，有時必須采用一定的手動配置來完成安裝。因此，評測軟件安裝過程的自動化程度，一般來說，軟件安裝盡可能做到“全自動化”，即使在不得已的情況下需要進(jìn)行手動配置，也需要采取一些措施，比如選擇框方式等，使手動配置變得簡單和明確。3）、安裝選項和設(shè)置的測試。在安裝的過程中常常需要對安裝的項目進(jìn)行選擇，也可能要設(shè)置不同的信息，比如：安裝路徑、安裝向?qū)?、缺省設(shè)置等，安裝測試時需要對不同的選項和設(shè)置方案進(jìn)行測試，論證各種方案是否能夠安裝成功。4）、安裝過程的中斷測試。一個大型的軟件有可能需要很長時間來進(jìn)行安裝，如果因為斷電、文件沖突或讀寫錯誤導(dǎo)致安裝過程的非正常中斷，有可能使已進(jìn)行的安裝前功盡棄。一個好的自動化安裝程序應(yīng)該能夠記憶安裝的過程，當(dāng)恢復(fù)安裝時，安裝程序能夠自動進(jìn)行檢測，并從“斷點”進(jìn)行安裝‘5）、安裝順序測試。對于大多數(shù)應(yīng)用系統(tǒng)，特別是分別式系統(tǒng)，常常需要安裝軟件系統(tǒng)的不同組成部分。不同的安裝順序會導(dǎo)致安裝失敗，或引起一些不可預(yù)料的錯誤，例如，先安裝客戶端后安裝服務(wù)器，會導(dǎo)致莫些軟件的客戶端與服務(wù)器連接不上。因此，如果安裝手冊中未明確指出安裝順序，則需要測試不同順序的安裝過程。6）、多環(huán)境安裝測試。不同的應(yīng)用環(huán)境下安裝的情況也是不一樣的。因此，測試時需要在標(biāo)準(zhǔn)配置、最低配置和筆記本電腦三種環(huán)境中進(jìn)行安裝測試。7）、安裝的正確性測試。在上述安裝測試后，還需要簡單的使用以驗證安裝的正確性，同時，還要考察對其他應(yīng)用程序的影響。8）、恢復(fù)安裝與卸載測試。修復(fù)安裝主要是在軟件使用后，根據(jù)需要添加或刪除軟件的一些組件或者修復(fù)受損軟件。修復(fù)安裝和卸載應(yīng)該是自動化的。修復(fù)、安裝、卸載是一個完整安裝程序中的不同選項。進(jìn)行修復(fù)安裝時，需要檢查修復(fù)對軟件有無不良影響。4.4.2軟件功能的易用性業(yè)務(wù)符合性：主要測試軟件是否符合其所服務(wù)的領(lǐng)域的業(yè)務(wù)邏輯。要求軟件的界面風(fēng)格、表格設(shè)計、業(yè)務(wù)流程、數(shù)據(jù)加密機(jī)制等必須符合相關(guān)的法律法規(guī)、業(yè)界標(biāo)準(zhǔn)規(guī)范以及使用人員的習(xí)慣。功能定制性：為了適應(yīng)用戶需求的不斷變化，軟件功能應(yīng)該能夠靈活定制。如電子政務(wù)軟件的公文流轉(zhuǎn)可節(jié)點，應(yīng)可以靈活定義；工資軟件中部門結(jié)構(gòu)和人員歸屬應(yīng)可以靈活調(diào)整。業(yè)務(wù)模塊的集成度：主要測試軟件系統(tǒng)中業(yè)務(wù)模塊之間存在緊密關(guān)聯(lián)的程度。也就是在用戶操作界面下，緊密關(guān)聯(lián)的模塊能夠快捷的進(jìn)行轉(zhuǎn)換。數(shù)據(jù)共享能力：測試軟件數(shù)據(jù)庫表的關(guān)聯(lián)和數(shù)據(jù)重用問題，最大程度地減少用戶的重復(fù)輸入，同時保證數(shù)據(jù)傳遞的一致性。約束性：對于流程性比較強(qiáng)的業(yè)務(wù)操作，上一步操作完成以后，要強(qiáng)制進(jìn)行下一步操作，這時需要軟件以向?qū)Щ蚺c屏蔽無關(guān)操作的方式來限制用戶的操作；另外，應(yīng)以屏蔽或提示的方式阻止用戶輸入非法字符或進(jìn)行損害數(shù)據(jù)和系統(tǒng)的操作，有效的避免用戶犯錯誤，減少系統(tǒng)出現(xiàn)異常的概率，提高系統(tǒng)的安全可靠性。交互性：主要測試用戶操作的可見性和系統(tǒng)對用戶的反饋。也就是用戶的每一步操作都應(yīng)有所回應(yīng)或者提示，使用戶清晰地看到系統(tǒng)的運行狀態(tài)。錯誤提示：測試軟件在關(guān)鍵操作完成后或數(shù)據(jù)刪除等操作前給出明確提示，操作錯誤或系統(tǒng)出現(xiàn)錯誤時，給出的出錯信息中提供差錯產(chǎn)生的原因，并指示如何進(jìn)入正確的步驟，幫助用戶從錯誤中恢復(fù)。4.4.3用戶界面用戶界面測試主要是核實用戶與軟件之間的交互，驗證用戶界面中的對象是否按照預(yù)期的方式運行，并且符合國家或行業(yè)的標(biāo)準(zhǔn)。用戶界面測試分為界面整體測試和界面中的元素測試。界面整體測試。主要是對界面的規(guī)范性、一致性、合理性進(jìn)行測試。⑴規(guī)范性測試：軟件的界面要盡量符合現(xiàn)行的標(biāo)準(zhǔn)和規(guī)范，并在應(yīng)用軟件中保持一致。對于一些特殊行業(yè)，由于系統(tǒng)使用環(huán)境和用戶使用習(xí)慣的特殊性，在所以以上標(biāo)準(zhǔn)時，還要對自身特殊的需要加以補(bǔ)充。合理性測試：測試軟件界面是否與軟件功能相融合，界面的顏色和布局是否協(xié)調(diào)。軟件界面測試一般通過觀察進(jìn)行。比如：界面中元素的文字、顏色等信息是否與功能不一致；前景與背景色搭配是否合理協(xié)調(diào)；界面中元素大小和布局是否協(xié)調(diào)；窗口的比例是否合適。一致性測試：主要測試軟件使用標(biāo)準(zhǔn)的控件、相同的信息表現(xiàn)方法，如在字體、標(biāo)簽風(fēng)格、顏色、術(shù)語、顯示錯誤信息等方面確保一致。界面一致性測試的要素：①布局是否一致，如所有窗口按鈕的位置和對齊方式要一致；②標(biāo)簽和訊息的措辭是否一致；③界面外觀是否一致，如控件大小、顏色、背景和顯示信息等屬性要一致；④操作方法是否一致，如雙擊其中的項，使某些事件發(fā)生，那么，雙擊其他任何列表框中的項，都應(yīng)該有同樣的事發(fā)生；⑤顏色的使用是否一致，顏色的前后一致會使整個應(yīng)用軟件有同樣的感觀；⑥快捷鍵在各個配置項上語義是否保持一致。⑷界面定制性測試。主要針對適用于多層次用戶的軟件，測試由于用戶熟練程度不同、使用頻度不同、角色不同，需要不同的操縱方式或用戶界面。界面定制性測試的要素：①界面要素的可定制性?？梢栽试S用戶定義工具欄、狀態(tài)欄是否顯示，一些軟件可以定義菜單的位置；

②工具欄的可定制性。工具欄為用戶使用常用的功能提供了方便，但不同的用戶對常用的理解是不同的，因此，軟件應(yīng)當(dāng)允許用戶自定義工具欄，包括建立新的工具欄，選擇要顯示的工具欄，定義工具欄上的按鈕。

③統(tǒng)計檢索的可定制性。測試檢索條件是否靈活、分類統(tǒng)計是否合理、是否允許用戶定義檢索條件和統(tǒng)計項；

④報表的可定制性。測試報表表頭包括的項目、表格的行高列寬、表中數(shù)據(jù)的單位和顯示格式、分頁方式是否允許用戶自定義。界面元素測試⑴窗口測試①窗口控件的大小、對齊方向、顏色、背景等屬性的設(shè)置值是否和程序設(shè)計規(guī)約相一致。

②是否顯示相關(guān)的下拉菜單、工具條、滾動條、對話框、按鈕、圖標(biāo)和其他控制。

③若窗口無法顯示，所有內(nèi)容是否能夠改變大小、移動和滾動。

④活動窗口是否能夠被反顯加亮。

⑤窗口是否正確地關(guān)閉。

⑥多個窗口疊加時，窗口的名稱是否顯示正確。

⑦窗口的數(shù)據(jù)是否能夠利用鼠標(biāo)、功能鍵、方向箭頭和鍵盤操作。

⑧當(dāng)窗口被覆蓋并重新調(diào)用后，窗口是否能夠正確再生。如果所有多任務(wù)，是否所有的窗口被適時更新。窗口是否支持最大化或放大。窗口上的控件是否隨著窗體的縮放而縮放。父窗體支持縮放時，子窗體縮放也縮放。子窗口位置是否在父窗口的左上角或正中。當(dāng)多個子窗口彈出時是否依次向右下方偏移以顯示出窗口標(biāo)題為宜。重要的命令按鈕與使用頻繁的按鈕是否放在界面上醒目的位置。與正在進(jìn)行的操作無關(guān)的按鈕應(yīng)該加以屏蔽。按鈕的大小與界面的大小和空間是否協(xié)調(diào)。多窗口的切換響應(yīng)時間是否過長。⑵菜單測試①是否符合要求；②菜單項的措辭是否準(zhǔn)確；③菜單項的順序是否合理；④圖形的布局是否一致。⑶圖標(biāo)測試①圖標(biāo)是否符合常規(guī)的表達(dá)習(xí)慣；

②不同的目標(biāo)是否采用不同的圖標(biāo)；

③圖標(biāo)是否具有清晰的輪廓；

④圖標(biāo)的外形與實際功能是否相似；

⑤圖標(biāo)是否加有標(biāo)注。⑷鼠標(biāo)測試在整個交互式語境中，是否可以識別鼠標(biāo)操作；如果要求多次點擊鼠標(biāo)，是否能夠在語境中正確識別；如果鼠標(biāo)有多個按鈕，是否能夠在語境中正確識別；光標(biāo)、處理指示器和識別指針是否隨操作恰當(dāng)?shù)母淖?；點擊選中而不是滑動停留選中；支持鼠標(biāo)中的滑輪上下翻動操作；對于相同種類的的元素采用相同的操作激活；用沙漏表示系統(tǒng)忙，用手型表示可以點擊；鼠標(biāo)無規(guī)則點擊時，是否會產(chǎn)生無法預(yù)料的后果；單擊鼠標(biāo)右鍵是否彈出菜單，取消右鍵是否隱藏彈出的菜單。文字測試文字是否零亂；是否拼寫正確，是否易懂，不存在歧義性；是否表達(dá)了設(shè)計主題和構(gòu)想意念。輔助系統(tǒng)(幫助\向?qū)信息提示).一般來說，輔助系統(tǒng)包括幫助、向?qū)Ш托畔⑻崾?。幫助測試軟件應(yīng)該提供所有規(guī)格說明和各種操作命令用法的幫助系統(tǒng)。對幫助系統(tǒng)測試的主要內(nèi)容：前后一致性；內(nèi)容完整性；可理解性；方便性。向?qū)y試向?qū)欠裾_；向?qū)欠翊嬖?；向?qū)欠褚恢?；向?qū)欠裼迷诠潭ㄌ幚砹鞒讨?。信息提示信息提示是否具有可以理解的語言進(jìn)行描述；對重要的、有破壞性的命令是否提供確認(rèn)措施；信息是否具有判斷色彩，任何情況下，信息提示只能是引導(dǎo)和幫助用戶，而不是指責(zé)用戶。信息提示是否具有統(tǒng)一的標(biāo)記標(biāo)準(zhǔn)的縮寫和隱含的顏色。4.4.4中文符合性界面中文符合性：界面使用規(guī)范的文字（簡體中文，GB2312）。字庫中文符合性：提示使用統(tǒng)一規(guī)范的文字。4.5效率測試4.5.1時間特性測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,提供適當(dāng)?shù)捻憫?yīng)和處理時間以及吞吐率的能力。（1）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,提供的響應(yīng)時間；（2）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,提供的處理時間；（3）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,反映吞吐率的能力。4.5.2資源利用性測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,使用合適的數(shù)量和類型的資源的能力。（1）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,對磁盤的使用和影響程度；（2）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,對內(nèi)存的占用和影響程度；（3）測試在規(guī)定的條件下,軟件產(chǎn)品執(zhí)行其功能時,對CPU的使用和影響程度。4.5.3效率依從性測試軟件產(chǎn)品依附于同效率相關(guān)的標(biāo)準(zhǔn)或約定的能力。（1）對標(biāo)準(zhǔn)的依從性。測試軟件是否符合相關(guān)標(biāo)準(zhǔn)要求。（2）對約定的依從性。測試軟件是否滿足了相關(guān)的標(biāo)準(zhǔn)或設(shè)計的技術(shù)約定。4.6可維護(hù)性測試主要測試軟件產(chǎn)品可被修改的能力。修改包括修正、改進(jìn)或軟件適應(yīng)環(huán)境、需求和功能規(guī)格說明中的變化。4.6.1易分析性（1）測試軟件產(chǎn)品是否具有診斷軟件本身的缺陷或生效原因的手段。（2）測試軟件產(chǎn)品是否具有判定軟件本身待修改部分的手段。4.6.2易改變性測試軟件產(chǎn)品進(jìn)行修改后，使指定的修改是否可以被軟件實現(xiàn)的能力。4.6.3穩(wěn)定性（1）測試軟件產(chǎn)品進(jìn)行修改后，不會因為軟件的修改而造成意外的結(jié)果。（2）測試軟件產(chǎn)品進(jìn)行修改后，是否因為軟件的修改會降低軟件原來本身具有的性能。4.6.4易測試性測試軟件產(chǎn)品使已修改軟件能被確認(rèn)的能力。4.6.5維護(hù)性依從性測試軟件產(chǎn)品依附于同維護(hù)性相關(guān)的標(biāo)準(zhǔn)或約定的能力。（1）對標(biāo)準(zhǔn)的依從性。測試軟件產(chǎn)品是否符合同維護(hù)性相關(guān)的標(biāo)準(zhǔn)要求。（2）對約定的依從性。測試軟件產(chǎn)品是否滿足了同維護(hù)性相關(guān)的標(biāo)準(zhǔn)或設(shè)計的技術(shù)約定。4.7可移植性測試測試軟件產(chǎn)品從某一環(huán)境到另一環(huán)境的能力。主要包括適應(yīng)性、易安裝性、共存性、易替換性、依從性。4.7.1適應(yīng)性測試軟件產(chǎn)品無需采用有別于為考慮該軟件的目的而準(zhǔn)備的活動或手段，就可能適應(yīng)不同的指定環(huán)境的能力。⑴最低配置是否能夠滿足系統(tǒng)運行的需要。即軟件的功能能夠完整的實現(xiàn)，軟件的運行速度、響應(yīng)時間用戶可以忍受的范圍。⑵在推薦配置下系統(tǒng)響應(yīng)迅速。應(yīng)該注意推薦配置的合理性。⑶為了滿足不同的使用需求，軟件能否運行在多種硬件配置環(huán)境下，并且軟件各項功能和性能都能滿足設(shè)計要求。4.7.2易安裝性測試軟件產(chǎn)品在指定的環(huán)境中被安裝的能力。⑴軟件安裝盡可能做到“全自動化”，即使在不得已的情況下需要進(jìn)行手動配置，也需要采取一些措施，比如選擇框方式等，使手動配置變得簡單和明確。⑵多環(huán)境安裝測試。不同的應(yīng)用環(huán)境下安裝的情況也是不一樣的。因此，測試時需要在標(biāo)準(zhǔn)配置、最低配置和筆記本電腦三種環(huán)境中進(jìn)行安裝測試。⑶恢復(fù)安裝。修復(fù)安裝主要是在軟件使用后，根據(jù)需要添加或刪除軟件的一些組件或者修復(fù)受損軟件。修復(fù)安裝應(yīng)該是自動化的。進(jìn)行修復(fù)安裝時，需要檢查修復(fù)對軟件有無不良影響。4.7.3共存性測試軟件產(chǎn)品在公共環(huán)境中同與其分享公共資源的其他獨立軟件共存的能力。⑴與支持軟件的兼容性。測試軟件運行還需要哪些應(yīng)用軟件支持。⑵與其他同類軟件的兼容性。測試軟件與其他同類軟件安裝在同一系統(tǒng)上、同時使用，是否會造成其他軟件運行錯誤，或自身是否正確實現(xiàn)其功能。⑶與其他非同類軟件的兼容性。測試軟件與其他非同類軟件安裝在同一系統(tǒng)上、同時使用，是否會造成其他軟件運行錯誤，或自身是否正確實現(xiàn)其功能。4.7.4易替換性測試軟件產(chǎn)品在環(huán)境相同、目的相同的情況下替代另一個指定軟件產(chǎn)品的能力。⑴同類軟件的替換。測試在相同環(huán)境條件下、實現(xiàn)相同目的的同類軟件的替換程度。⑵操縱系統(tǒng)的替換。如果軟件承諾在多個操作系統(tǒng)上運行，需要測試軟件在不同的操縱系統(tǒng)平臺上的運行能力。4.7.5可移植性依從性測試軟件產(chǎn)品依附于同可移植性相關(guān)的標(biāo)準(zhǔn)或約定的能力。⑴對標(biāo)準(zhǔn)的依從性。測試軟件是否符合相關(guān)標(biāo)準(zhǔn)要求。⑵對約定的依從性。測試軟件是否滿足了相關(guān)的標(biāo)準(zhǔn)或設(shè)計的技術(shù)約定。4.8產(chǎn)品說明測試4.8.1可用性產(chǎn)品說明對于該產(chǎn)品的潛在需方和用戶應(yīng)是可用的。4.8.2內(nèi)容產(chǎn)品說明應(yīng)包含潛在需方的信息，以便評價該軟件對其需要的適用性。產(chǎn)品說明應(yīng)排除內(nèi)部的不一致。產(chǎn)品說明中包括的說明應(yīng)是可測試的或可驗證的。4.8.3標(biāo)示和鑒別產(chǎn)品說明應(yīng)顯示唯一的標(biāo)識。軟件產(chǎn)品應(yīng)以其名稱、版本和日期指稱。產(chǎn)品說明應(yīng)包含供方和至少一家銷售商、（當(dāng)適用時）電子商務(wù)銷售商或分銷商的名稱和地址（郵政的或網(wǎng)絡(luò)的）。產(chǎn)品說明應(yīng)標(biāo)識該軟件能完成的預(yù)期的工作任務(wù)和服務(wù)。當(dāng)由法律或行政機(jī)構(gòu)界定的要求適用于軟件產(chǎn)品、而供方想要聲稱符合于相應(yīng)的需求文檔時，則產(chǎn)品說明應(yīng)標(biāo)識出這些需求文檔。產(chǎn)品說明應(yīng)指明軟件產(chǎn)品期望在單一系統(tǒng)上供多個并發(fā)最終用戶使用或供一個最終用戶使用，并且應(yīng)說明在所要求的系統(tǒng)地所陳述的性能級別上可行的最大并發(fā)最終用戶數(shù)。當(dāng)產(chǎn)品說明引證已知的對其他軟件的用戶可調(diào)用的接口時，則應(yīng)標(biāo)識出這些接口或軟件。產(chǎn)品說明應(yīng)以適當(dāng)?shù)膽?yīng)用文檔指明軟件產(chǎn)品在何處依賴于特定軟件和（或）硬件。這些引用可包括：軟件和（或）硬件的名稱；版本；特定操作系統(tǒng)。產(chǎn)品說明應(yīng)陳述是否對運行軟件產(chǎn)品提供支持。產(chǎn)品說明應(yīng)陳述是否提供維護(hù)。如果提供維護(hù)，則產(chǎn)品說明應(yīng)陳述所提供的維護(hù)服務(wù)。4.8.4功能性陳述產(chǎn)品說明應(yīng)包含有關(guān)功能性的陳述，要考慮適合性、準(zhǔn)確性，安全保密性以及功能的依從性，并以書面形式展示可驗證的依從性依據(jù)。產(chǎn)品說明應(yīng)提供該產(chǎn)品中最終用戶可調(diào)用的功能的概述。產(chǎn)品說明應(yīng)說明所有的關(guān)鍵功能。當(dāng)有軟件組件的選項和版本時，應(yīng)予指明。對用戶功能性的所有已知的限制均應(yīng)加以說明。當(dāng)提供對軟件的未授權(quán)訪問（不管是偶然的還是故意的）的預(yù)防措施時，則產(chǎn)品說明應(yīng)包含這些信息。4.8.5可靠性陳述適用時，產(chǎn)品說明應(yīng)根據(jù)GB/T16260.-2006包含有關(guān)可靠性的陳述，要考慮成熟性、容錯性、易恢復(fù)性以及可靠性的依從性，并以書面形式展示可驗證的依從性證據(jù)。在遇有用戶接口出錯、應(yīng)用程序自身的邏輯出錯、系統(tǒng)或網(wǎng)絡(luò)資源可用性引發(fā)差錯的情況下，產(chǎn)品說明應(yīng)就軟件的繼續(xù)運行（即是可用的）能力作出說明。產(chǎn)品說明應(yīng)包括關(guān)于數(shù)據(jù)保存和恢復(fù)規(guī)程的信息。4.8.6易用性陳述產(chǎn)品說明應(yīng)包含有關(guān)易用性陳述，要考慮易理解性、易學(xué)性、易操作性、吸引性以及易用性的依從性，并以書面形式寫出能夠正視可驗證得依從性依據(jù)。產(chǎn)品說明應(yīng)規(guī)定用戶接口的類型（如：命令行、菜單、視窗、瀏覽器、功能鍵、幫助功能）。產(chǎn)品說明應(yīng)規(guī)定使用和操作該軟件所要求的專門知識。（如：所使用的數(shù)據(jù)庫調(diào)用和協(xié)議的知識；技術(shù)領(lǐng)域的知識；操作系統(tǒng)的知識；經(jīng)專門培訓(xùn)可獲得的知識；產(chǎn)品說明中已寫明的語言之外的其他語言的知識。）當(dāng)該軟件能由用戶作適應(yīng)性修改時，則應(yīng)標(biāo)識用于修改的工具或規(guī)程及其使用條件。使用的條件可以是：參數(shù)的變更；計算算法的變更；接口定制；功能鍵指派。當(dāng)預(yù)防版權(quán)侵犯的技術(shù)保護(hù)妨礙易用性時，則應(yīng)陳述這種保護(hù)。（如：程序設(shè)置的使用截至日期；拷貝付費的交互式提醒。）產(chǎn)品說明應(yīng)包括可訪問性的規(guī)定標(biāo)示，特別是對有殘疾的用戶和存在語言差異的用戶。4.8.7效率陳述產(chǎn)品說明應(yīng)包含有關(guān)效率的陳述，要考慮時間特性、資源利用性以及效率的依從性，并以書面形式寫出能夠證實可驗證的依從性依據(jù)。4.8.8可維護(hù)性陳述產(chǎn)品說明應(yīng)考慮易分析性、易改變性、穩(wěn)定性、可測試性以及維護(hù)性的依從性，并以書面形式寫出能夠證實可驗證的依從性依據(jù)。產(chǎn)品說明應(yīng)包括用戶所需的維護(hù)信息。監(jiān)控應(yīng)用程序的動態(tài)性能信息；監(jiān)控不期望的實效和重要條件的信息；監(jiān)控運行指示器（如日志、警告屏）的信息；監(jiān)控由應(yīng)用程序處理本地數(shù)據(jù)信息。4.8.9可移植性陳述產(chǎn)品說明應(yīng)包含有關(guān)可移植性的陳述，要考慮適用性、易用性、共存性、易替換性以及可移植性的依從性，并以書面形式寫出能夠證實可驗證的依從性依據(jù)。產(chǎn)品說明應(yīng)規(guī)定將該軟件投入使用的不同配置或所支持的配置（硬件、軟件）。系統(tǒng)包括：操作系統(tǒng)；處理器；主內(nèi)存規(guī)模；外存的類型和規(guī)模；擴(kuò)展卡；輸入和輸出設(shè)備；網(wǎng)絡(luò)環(huán)境；系統(tǒng)軟件和其他軟件。產(chǎn)品說明應(yīng)提供安裝規(guī)程信息。4.8.10適用質(zhì)量陳述產(chǎn)品應(yīng)包含有關(guān)使用質(zhì)量的陳述，在規(guī)定的使用周境中要考慮有效性、生產(chǎn)率、安全性以及滿意度，并以書面形式寫出能夠證實可驗證性的依從性依據(jù)。產(chǎn)品說明應(yīng)給出測試報告的引用文件。五測評工作流程軟件產(chǎn)品測試的總體流程如下圖所示：需求確認(rèn)測試報告測試準(zhǔn)備和實施需求調(diào)研需求確認(rèn)測試報告測試準(zhǔn)備和實施需求調(diào)研5.1需求調(diào)研送測單位與中心簽訂測試合同，并提交相關(guān)材料，測評實驗室根據(jù)送測單位提供的材料，進(jìn)行需求調(diào)研，編制《測試需求表》；5.2需求確認(rèn)與送測單位溝通，確認(rèn)測試需求。5.3測評實施5.3.1產(chǎn)品測試項的現(xiàn)場要求被測軟件包的所有交付項（包括載有程序和數(shù)據(jù)的物理介質(zhì)、文檔）及被測產(chǎn)品文檔描述中已標(biāo)識的需求文檔、數(shù)據(jù)和附件，都應(yīng)提供到測試現(xiàn)場。產(chǎn)品測試前，應(yīng)對產(chǎn)品進(jìn)行標(biāo)識，標(biāo)識應(yīng)具有統(tǒng)一性和唯一性。5.3.2對系統(tǒng)組成部分的現(xiàn)場要求被測軟件包的產(chǎn)品文檔描述中已指明的所有計算機(jī)系統(tǒng)的組成部分（包括硬件和軟件支持環(huán)境）應(yīng)被提供到測試現(xiàn)場，并進(jìn)行試運行（如對系統(tǒng)進(jìn)行掃描病毒檢查、調(diào)試各部件之間的連接和通信是否正常、可否與數(shù)據(jù)庫正常接口等），以確認(rèn)其是否能正常運行。5.3.3培訓(xùn)如果被測軟件包的產(chǎn)品描述中提到培訓(xùn)，則測試人員應(yīng)在測試活動實施前使用培訓(xùn)教材和培訓(xùn)大綱。5.3.4測試用例⑴在測試之前，應(yīng)以產(chǎn)品描述和用戶文檔為基礎(chǔ)構(gòu)造測試用例。測試