GBT25000.62-2014軟件工程 軟件產(chǎn)品質(zhì)量要求與評價 易用性測試報告行業(yè)通用格式

軟件工程軟件產(chǎn)品質(zhì)量要求與評價(SQuaRE)易用性測試報告(SQuaRE)—Commonindustryformat(CIF)forusabilitytestreports中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局發(fā)布前言 I Ⅱ 2符合性 13規(guī)范性引用文件 4術(shù)語和定義 5報告格式 35.1標(biāo)題頁 35.2執(zhí)行摘要 3 5.4方法 45.5結(jié)果 9 附錄A(資料性附錄)檢查表 附錄B(資料性附錄)術(shù)語 附錄C(資料性附錄)報告模板 參考文獻(xiàn) 23I本部分是GB/T25000《軟件工程軟件產(chǎn)品質(zhì)量要求與評價(SQuaRE)》的第62部分。本部分按照GB/T1.1—2009給出的規(guī)則起草。本部分使用翻譯法等同采用ISO/IEC25062:2006《軟件工程軟件產(chǎn)品質(zhì)量要求與評價本部分由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。Ⅱ易用性是預(yù)測軟件能否成功部署的關(guān)鍵因素。軟件廠商在產(chǎn)品開發(fā)的不同階段都進(jìn)行易用性測準(zhǔn)差)。易用性測試報告行業(yè)通用格式(CIF)目的在于輔助易用性專業(yè)人員作出總結(jié)性的易用性測試行業(yè)通用格式(CIF)規(guī)范了用戶測試過程中獲取的信息類型。主要的可變因素是用戶統(tǒng)計數(shù)據(jù)、1軟件工程軟件產(chǎn)品質(zhì)量要求與評價(SQuaRE)易用性測試報告行業(yè)通用格式(CIF)—-顧客組織內(nèi)的人類工效學(xué)專家或其他易用性專業(yè)人員評價易用性測試的技術(shù)價值和產(chǎn)品易用GB/T16260.1—2006軟件工程產(chǎn)品質(zhì)量第1部分：質(zhì)量模型(ISO/IECGB/T16260.2—2006軟件工程產(chǎn)品質(zhì)量第2部分：外部度量(ISO/IECTR9126-2:2001,GB/T16260.3—2006軟件工程產(chǎn)品質(zhì)量第3部分：內(nèi)部度量(ISO/IECTR9126-3:2001,GB/T16260.4—2006軟件工程產(chǎn)品質(zhì)量第4部分：使用質(zhì)量的度量(ISO/IECTR9126-4:2GB/T18905.5—2002軟件工程產(chǎn)品評價第5部分：評價者用的過程(ISO/IEC14598-5:GB/T18976—2003以人為中心的交互系統(tǒng)設(shè)計過程(ISO13407:1999,IDT)GB/T18978.11—2004使用視覺顯示終端(VDTs)辦公的人類工效學(xué)要求第11部分：可用性GB/T18978.11-2004界定的以及下列術(shù)語和定義適用于本文件。在特定的使用周境下，特定的用戶，使用產(chǎn)品在有效性、效率和滿意度方面達(dá)到規(guī)定目標(biāo)的程度。用戶實現(xiàn)特定目標(biāo)的準(zhǔn)確性和完備性。效率efficiency與用戶實現(xiàn)目標(biāo)的準(zhǔn)確性和完備性相應(yīng)的資源消耗。與產(chǎn)品交互的個體。根據(jù)年齡、文化、專業(yè)技術(shù)等可能影響易用性的因素區(qū)分用戶的子集。用戶與產(chǎn)品交互所產(chǎn)生的期望結(jié)果。實現(xiàn)目標(biāo)所必需的活動。3為提高可訪問性而添加到系統(tǒng)或與系統(tǒng)進(jìn)行集成的硬件或軟件。測試參與者無法自己完成任務(wù)時，測試管理者為了使測試?yán)^續(xù)而進(jìn)行直接干預(yù)，為測試參與者提供5報告格式5.1標(biāo)題頁應(yīng)提供以下信息：——標(biāo)明報告為GB/T25000.62易用性測試報告行業(yè)通用格式，并提供聯(lián)系信息；——命名被測產(chǎn)品和版本；——測試負(fù)責(zé)人；——測試執(zhí)行時間；——報告起草日期；——報告起草人；——接受問題質(zhì)疑和澄清時的聯(lián)系人姓名；——供方聯(lián)系電話；——供方郵寄地址。宜提供以下信息：——顧客企業(yè)名稱；——顧客企業(yè)聯(lián)系人。本條給出了測試的概述，旨在為顧客組織中的采購決策者提供信息，他們不必閱讀文檔的技術(shù)為便于本條作為一個獨立的摘要使用，應(yīng)在新頁面開始，并以分頁符結(jié)束。應(yīng)提供以下信息：——產(chǎn)品名稱和描述；——方法摘要，包括參與者和任務(wù)的數(shù)量及類型；——以平均分或其他合適的集中趨勢測度表示的執(zhí)行結(jié)果和滿意度。4——測試的特性及目的；——執(zhí)行結(jié)果的表格匯總；——當(dāng)認(rèn)為產(chǎn)品或數(shù)值之間存在差異時，差異非偶然發(fā)生的概率。本條提供了對產(chǎn)品和測試目標(biāo)的描述?！降漠a(chǎn)品名稱以及發(fā)行版本；——產(chǎn)品被評價的部分；——產(chǎn)品的意向用戶群?！a(chǎn)品支持的援助技術(shù)；——預(yù)期的產(chǎn)品使用環(huán)境(包括物理環(huán)境和社會環(huán)境)的簡短描述；——產(chǎn)品支持的用戶工作類型?！ㄋ兄付ㄅd趣領(lǐng)域的測試目標(biāo)；-—與用戶直接或間接交互的功能和部件?！磳ν暾a(chǎn)品進(jìn)行測試時，宜說明關(guān)注產(chǎn)品某個子集的原因。應(yīng)給出詳細(xì)信息，使得獨立的測試人員可重復(fù)進(jìn)行測試?！獪y試的參與者總數(shù)；——如果參與測試的用戶組多于一個，應(yīng)說明用戶組的劃分；——用戶組的關(guān)鍵特征和能力；——選擇參與者的依據(jù)；參與者是否具有基本的特征；——抽取的參與者與用戶群之間的差異；——包含人數(shù)統(tǒng)計、專業(yè)經(jīng)驗、計算機(jī)經(jīng)驗和援助技術(shù)需求的表格，其中行代表參與者，列代表5性別參與者1注1:在“性別”欄，應(yīng)輸入男性或女性。本科畢業(yè)生則有16年教育經(jīng)歷)。在某些情況下，教育程度可描述為“最高學(xué)歷”。注4:在“職業(yè)/職責(zé)”欄，應(yīng)輸人用戶使用該產(chǎn)品時的工作角色。應(yīng)盡可能地提供角色的頭注5:在“專業(yè)經(jīng)驗”欄，應(yīng)給出用戶擔(dān)任某角色的時歷。這可能不止一列。注7:在“產(chǎn)品經(jīng)驗”欄，應(yīng)給出之前曾接觸過的本產(chǎn)品或同類產(chǎn)品的類型和持續(xù)時間。--任務(wù)來源；——任何可能影響結(jié)果的相關(guān)特征或環(huán)境。6 -測度的操作定義； 7——給予參與者的指導(dǎo)(在此描述或在附錄中描述);完成率是指完整且正確地完成了每一項任務(wù)目標(biāo)的參與者比例。如果目標(biāo)能部分完成(如未完成或未達(dá)到最佳結(jié)果),則通過與部分結(jié)果值相關(guān)的指定準(zhǔn)則按0～100%記分，由此來報告所達(dá)到的平均算完成率的方法是權(quán)值法，如在文檔標(biāo)題頁中的拼寫錯誤的重要程度是文本差錯是指測試參與者未成功完成任務(wù)，或不得不多次嘗試執(zhí)行部分任8種分類法對差錯進(jìn)行分類，如參考文獻(xiàn)[10]。當(dāng)參與者不能繼續(xù)一個任務(wù)時，有時測試管理者會直接給予程序上的幫助，以使測試?yán)^續(xù)進(jìn)行。盡管“援助”測度與易學(xué)性和有效性均有關(guān)聯(lián)，但為了與GB/T18978.11—2004中定義的易用性的三個元應(yīng)提供以下信息：——非受援完成率(即在測試人員未干涉的情況下的完成率);——在受援完成率和非受援完成率有差別的地方，受援完成率(即在測試人員干涉情況下的完成率)。當(dāng)允許或提供援助時，應(yīng)在測試結(jié)果報告中說明援助的類型和次數(shù)。如果研究設(shè)計允許援助，那么提供受援完成率和提供非受援完成率沒有太大的差別。在這種情況下，只需要提供一個完成率，但應(yīng)包括援助的類型和次數(shù)。在一些易用性測試中，當(dāng)參與者不能獨立完成任務(wù)時，他們可得到幫助工具(如在線幫助或文檔)的指導(dǎo)，而這些工具是產(chǎn)品的一部分。對本報告來說，獲取提示信息和在線幫助的產(chǎn)品特性不算是一種援助。不過，如果產(chǎn)品的幫助特性可使參與者獲得獨立使用產(chǎn)品的能力，那么還是應(yīng)在報告中記錄獲取不同產(chǎn)品幫助特性的頻率。效率與達(dá)到的有效性級別以及開銷的資源數(shù)量有關(guān)。效率通常是用完成任務(wù)的平均時間來評估的。效率也與其他資源相關(guān)(如總開銷)。效率的一般測度是完成任務(wù)的時間。應(yīng)提供以下信息：——參與者完成每項任務(wù)的平均時間，以及時間范圍和標(biāo)準(zhǔn)差。完成率/任務(wù)時間均值是效率的另一個測度[10]。通過成功率與時間的關(guān)系，顧客可將快速但易錯的界面(如用通配符批量刪除文件的命令行界面)與慢速但易用的界面(如用鼠標(biāo)和鍵盤把文件逐個拖至回收站的界面)進(jìn)行對比。應(yīng)提供以下信息：——一個或多個用戶滿意度的測度。滿意度是指使用產(chǎn)品時，用戶的主觀反應(yīng)。用戶滿意度可能和使用產(chǎn)品的動機(jī)相關(guān)，并且在某些情況下可能影響使用性能。用于測量滿意度和相關(guān)看法的問卷，通常使用Likert標(biāo)度和語義差異標(biāo)度來構(gòu)造?？墒褂貌煌墓ぞ邷y量交互式軟件產(chǎn)品的用戶滿意度，也有許多組織創(chuàng)建了自己的工具。不管是為顧客組織普遍對此感興趣。許多問卷被廣泛使用，包括ASQ°]、CSUI”、PSSUQI?]、QUIS[、SUMI卷都給出了一些對產(chǎn)品易用性主觀測度的獨特看法，但大多數(shù)都包括滿意度、有用性和易使用性的測量。參考文獻(xiàn)[4]對問卷結(jié)構(gòu)的一般信息進(jìn)行了解釋。供方可選擇使用已發(fā)布的、經(jīng)確認(rèn)的滿意度測度或提交他們自己完成的滿意度度量。9應(yīng)對以下信息做詳細(xì)的描述，以便于在重復(fù)測試時，其他組織可重復(fù)所使用的數(shù)據(jù)分析方法：——數(shù)據(jù)采集：規(guī)劃要采集的數(shù)據(jù)和實際采集的數(shù)據(jù)之間的差異?！獢?shù)據(jù)評分：收集到的數(shù)據(jù)值和后續(xù)分析中使用的值之間的對應(yīng)關(guān)系；——數(shù)據(jù)簡化：計算集中趨勢測度和描述數(shù)據(jù)變化的方法；——統(tǒng)計分析：分析數(shù)據(jù)的統(tǒng)計規(guī)程。所報告的平均值數(shù)據(jù)應(yīng)包括標(biāo)準(zhǔn)差和可選的均值的標(biāo)準(zhǔn)誤差。應(yīng)提供以下信息：—-用表格形式表示的每個任務(wù)或任務(wù)組執(zhí)行結(jié)果的有效性和效率的測度。表2任務(wù)A有效性[(%)完成量]有效性[(%)完成量]任務(wù)時間(分)12N不同的圖形格式有助于表述易用性數(shù)據(jù)。條形圖用來表示主觀數(shù)據(jù)，如利用Likert標(biāo)度方法采集的數(shù)據(jù)。通過有效使用不同的圖形能對一個產(chǎn)品的專家基準(zhǔn)時間和參與者執(zhí)行的平均時間進(jìn)行對比。這些數(shù)據(jù)可附有結(jié)果的簡短說明，但不鼓勵在報告的正文中對此做詳細(xì)解釋。在必要時，可在附錄中進(jìn)行詳細(xì)解釋。可提供以下信息：——描述執(zhí)行結(jié)果的有效性和效率測度的圖。宜提供以下信息：——描述所有任務(wù)執(zhí)行結(jié)果的有效性和效率測度的匯總表；——描述執(zhí)行結(jié)果的有效性和效率測度的圖形表示；——如果度量和產(chǎn)品設(shè)計及特定應(yīng)用領(lǐng)域相關(guān)，應(yīng)提供附加的度量表。表3任務(wù)執(zhí)行結(jié)果匯總表有效性總量[(%)完成量]有效性總量[(%)完成量]總?cè)蝿?wù)時間(分)12N結(jié)果表格可用來表示相關(guān)任務(wù)組(例如，一個組包括所有的程序編制任務(wù)，另一個組包括所有的調(diào)試任務(wù)),這會更有效、更有意義。如果單元任務(wù)有子任務(wù)，那么可以以摘要的方式記錄子任務(wù)。-—-描述滿意度結(jié)果的測度的匯總表。表4滿意度匯總表易使用性12N中間值——描述滿意度結(jié)果的測度的圖形表示。應(yīng)提供以下信息——所使用的定制問卷(見和);——參與者一般性指導(dǎo)(若報告正文中未提供)(見);——參與者任務(wù)指導(dǎo)(見)。宜提供以下信息——發(fā)布說明或升級測試結(jié)果的注釋。(資料性附錄)本附錄給出了易用性測試報告的檢查表，見表A.1。使用以下清單確保您的行業(yè)通用格式報告中包含了必需元素(用※表示)。推標(biāo)題頁◆公司標(biāo)志或名稱※標(biāo)明報告為GB/T25000.62易用性測試行業(yè)通用格式※命名被測產(chǎn)品和版本※測試負(fù)責(zé)人※測試執(zhí)行時間※報告起草日期※報告起草人◆顧客企業(yè)名稱◆顧客企業(yè)聯(lián)系人※接受問題質(zhì)疑和(或)澄清時的聯(lián)系人姓名※供方聯(lián)系電話※供方e-mail地址※供方郵寄地址※提供測試的總體概述※產(chǎn)品名稱和描述※方法摘要，包括參與者和任務(wù)的數(shù)量及類型※以平均分或其他合適的集中趨勢測度表示的結(jié)果◆測試的特性及目的◆執(zhí)行結(jié)果的表格匯總◆如果聲明了差異，應(yīng)說明相關(guān)統(tǒng)計概率※在新的一頁中開始；以分頁符結(jié)束引言※正式的產(chǎn)品名稱以及發(fā)行版本※描述產(chǎn)品的被評價部分※產(chǎn)品的意向用戶群◆產(chǎn)品支持的援助技術(shù)◆宜使用產(chǎn)品的環(huán)境的簡述◆產(chǎn)品支持的用戶工作類型表A.1(續(xù))※陳述測試目標(biāo)及任何指定興趣領(lǐng)域※與用戶直接或間接交互的功能和部件◆關(guān)注產(chǎn)品某個子集的原因※測試的參與者總數(shù)※如果測試的用戶組多于一個，應(yīng)說明用戶組的劃分※用戶組的關(guān)鍵特征和資質(zhì)※選擇參與者的方法；參與者是否具有基本的特征※抽取的參與者與用戶群之間的差異※參與者(行)特征(列)的表格◆需要提供援助技術(shù)的用戶的描述※評價的使用周境與預(yù)期使用周境之間的任何重要差異※描述被測試的任務(wù)※描述測試任務(wù)的場景※解釋選擇任務(wù)的依據(jù)※描述任務(wù)來源※提供給參與者的任務(wù)數(shù)據(jù)※為每個任務(wù)確立的完成準(zhǔn)則或性能準(zhǔn)則◆描述進(jìn)行評價所用場地的設(shè)置和類型◆詳述任何可能影響結(jié)果的相關(guān)特征或周圍環(huán)境※計算機(jī)配置，包括型號、操作系統(tǒng)版本、所需要的程序庫或設(shè)置※如果使用了瀏覽器或相關(guān)插件，應(yīng)說明其名稱及版本※如果產(chǎn)品用顯示器輸出，應(yīng)說明屏幕的尺寸、分辨率和顏色設(shè)置※如果產(chǎn)品用打印機(jī)輸出，應(yīng)說明打印介質(zhì)尺寸和打印分辨率※如果可視化界面元素(如字體)尺寸可變的話，應(yīng)說明測試中所用的尺寸◆如果產(chǎn)品有音頻接口，宜說明音頻比特、音量和其他屬性的相關(guān)設(shè)置或?qū)傩灾怠羧绻褂昧溯斎朐O(shè)備，宜說明測試用的設(shè)備的品牌和型號※如果使用了標(biāo)準(zhǔn)問卷，在此描述或詳細(xì)說明◆描述用于控制測試或記錄數(shù)據(jù)的任何硬件或軟件※描述對測試實驗的設(shè)計※定義獨立自變量和控制變量表A.1(續(xù))※描述記錄數(shù)據(jù)所用的測度※測度的操作定義※獨立自變量和控制變量的描述※任務(wù)的時間限制※測試人員與受測人間溝通的策略和規(guī)程◆參與者從加入到解散的事件序列◆保密協(xié)議、完成表格的填寫、準(zhǔn)備工作、預(yù)先培訓(xùn)和任務(wù)報告◆確認(rèn)參與者了解并理解他們作為受測人的權(quán)利◆說明執(zhí)行測試和記錄數(shù)據(jù)的步驟◆測試期間與參與者進(jìn)行溝通的人員數(shù)量和各自承擔(dān)的角色◆說明測試環(huán)境中是否有其他個體在場◆陳述是否向參與者支付酬金※給予參與者的指導(dǎo)(在此描述或在附錄中描述)※參與者如何與在場的其他人進(jìn)行溝通的指導(dǎo)※任務(wù)指導(dǎo)摘要易用性度量※有效性度量※效率度量※滿意度度量結(jié)果※數(shù)據(jù)采集※數(shù)據(jù)評分※數(shù)據(jù)簡化※統(tǒng)計分析※用表格形式表示的每個任務(wù)或任務(wù)組執(zhí)行結(jié)果的有效性和效率的測度◆所有任務(wù)執(zhí)行結(jié)果的匯總表◆執(zhí)行結(jié)果的圖形表示◆附加的度量表(若相關(guān)的話)※描述滿意度結(jié)果的測度匯總表※描述滿意度結(jié)果的測度的圖形化表示附件※所使用的定制問卷※參與者一般性指導(dǎo)※參與者任務(wù)指導(dǎo)◆對發(fā)布的注釋對).強(qiáng)烈不同意中立強(qiáng)烈同意強(qiáng)烈不同意中立強(qiáng)烈同意用于測試的某類計算機(jī)(操作系統(tǒng)和硬件)。常見平臺包括基于IdeaCentre的Windows,基于易于使用1234567難以使用令人沮喪的1234567令人滿意的從事易用性工程/測試實踐的人。這些從業(yè)者懂得如何設(shè)計和執(zhí)行以人為測試對象的總結(jié)性性能(資料性附錄)報告模板GB/T25000.62易用性測試報告行業(yè)通用格式「※測試負(fù)責(zé)人][※測試執(zhí)行時間][※報告起草日期][※報告起草人]◆顧客企業(yè)名稱]顧客企業(yè)聯(lián)系人]問題致信：[※接受問題質(zhì)疑和澄清時的聯(lián)系人姓名電話：[※供方聯(lián)系電話]電子郵箱：[※供方e-mail地址執(zhí)行摘要[※提供測試的總體概述][※命名和描述產(chǎn)品][※以平均分或其他合適的集中趨勢測度表示的結(jié)果][◆測試的特性及目的][◆性能測試結(jié)果匯總表]產(chǎn)品描述[※正式的產(chǎn)品名稱以及發(fā)行版本][※描述產(chǎn)品被評價的部分][※產(chǎn)品的意向用戶群體][◆產(chǎn)品支持的援助技術(shù)][◆產(chǎn)品預(yù)期使用環(huán)境的簡短描述][◆產(chǎn)品支持的用戶工作類型]測試目標(biāo)[※陳述測試目標(biāo)及任何指定興趣領(lǐng)域][※用戶直接或間接與之交互的功能和部件][◆關(guān)注產(chǎn)品某個子集的原因]方法參與者[※測試參與者的總數(shù)][※用戶組的關(guān)鍵特征和資質(zhì)][※抽取的參與者與用戶群體之間的差異][※參與者(行)與特征(列)的表格]特征1特征2參與者1參與者2[◆對需要援助技術(shù)的用戶的描述]產(chǎn)品測試使用周境[※被評價的使用周境與預(yù)期的使用周境之間的任何已知差異]任務(wù)[※描述測試的任務(wù)][※描述測試的任務(wù)場景][※解釋選擇任務(wù)的依據(jù)][※描述任務(wù)來源][※提供給參與者的任務(wù)數(shù)據(jù)][※為每個任務(wù)確立的完成準(zhǔn)則或性能準(zhǔn)則]測試設(shè)施[◆描述進(jìn)行評價所用場地的設(shè)置和類型][◆詳述任何可能影響結(jié)果的相關(guān)特征或周圍環(huán)境]參與者的計算環(huán)境測試管理者工具[◆描述用于控制測試或記錄數(shù)據(jù)的任何硬件或軟件]實驗設(shè)計[※描述對測試實驗的設(shè)計][※定義獨立自變量和控制變量][※描述記錄數(shù)據(jù)所用的測度]規(guī)程[※測度的操作定義][※獨立自變量和控制變量的描述][※任務(wù)的時間限制][※測試人員與受測人間溝通的策略和規(guī)程][◆參與者從被組織到被解散的事件序列][◆確認(rèn)參與者了解并理解他們作為受測人的權(quán)利][◆說明執(zhí)行測試和記錄數(shù)據(jù)的步驟][◆測試期間與參與者進(jìn)行溝通的人員數(shù)量和各自承擔(dān)的角色][◆說明測試環(huán)境中是否有其他個體在場][◆陳述是否向參與者支付酬金]參與者一般性指導(dǎo)[※給予參與者的指導(dǎo)][※關(guān)于參與者如何與在場的其他人進(jìn)行溝通的指導(dǎo)]參與者任務(wù)指導(dǎo)[※任務(wù)指導(dǎo)摘要]易用性度量[※有效性度量][※效率度量][※滿意度度量]結(jié)果數(shù)據(jù)分析[※數(shù)據(jù)采集][※數(shù)據(jù)評分][※數(shù)據(jù)簡化][※統(tǒng)計分析]結(jié)果表述[※用表格形式表示的每個任務(wù)或任務(wù)組執(zhí)行結(jié)果的有效性和效率的測度]用戶測度1測度2參與者1參與者2標(biāo)準(zhǔn)差執(zhí)行結(jié)果[◆描述所有任務(wù)執(zhí)行結(jié)果的有效性和效率測度的匯總表]用戶總測度1總測度2參與者1參與者2標(biāo)準(zhǔn)差[◆執(zhí)行結(jié)果的圖形表示][◆附加的度量表]滿意度結(jié)果用戶標(biāo)度1標(biāo)度2參與者1參與者2標(biāo)準(zhǔn)差[◆滿意度結(jié)果的圖形表示]附件[※所使用的定制問卷][※參與者一般性指導(dǎo)][※參與者任務(wù)指導(dǎo)][◆發(fā)布說明][1]AmericanPsychologicalAssociation.EthicalPrinciplesintheCmanParticipants,1982.[2]Brooke,J.(1996).SUS:A“quickandandWeerdmeester,B.A.(Eds.),UsabilityEvaluationinIndustry.UK:TaylorandF[3]Chin,J.P.,Diehl,V.A.,andNorman,Kusersatisfactionofthehuman-computerinterface.In:CHI’88.ConferetorsinComputingSystems.NewYork:ACM,pp.213-218.[4]Dumas,J.,andRedish,G.(1999).APracticalGuidetoUsabilityTes[5]Kirakows