CRSS-T-2023-010-服務(wù)機(jī)器人 軟件試驗(yàn)方法

ICS35.240.01

CCSJ28

CRSS

重慶市機(jī)器人學(xué)會團(tuán)體標(biāo)準(zhǔn)

T/CRSSXXXX—XXXX

服務(wù)機(jī)器人軟件試驗(yàn)方法

Servicerobots-Softwaretestingmethod

（征求意見稿）

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

重慶市機(jī)器人學(xué)會發(fā)布

T/CRSSXXXX—XXXX

服務(wù)機(jī)器人軟件試驗(yàn)方法

1范圍

本文件規(guī)定了服務(wù)機(jī)器人軟件試驗(yàn)方法的術(shù)語和定義、技術(shù)要求、試驗(yàn)條件和試驗(yàn)方法。主要的技

術(shù)內(nèi)容有測試對象的安全性等級要求、測試目的、測試內(nèi)容、測試級別、測試方法、測試過程、測試用

例、測試管理、文檔編寫和測試工具，從而實(shí)現(xiàn)對機(jī)器人軟件測試與評估。

本文件適用于服務(wù)機(jī)器人軟件測試與評估。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T12643—2013機(jī)器人與機(jī)器人裝備詞匯

GB/T25000.10—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第10部分：系統(tǒng)與

軟件質(zhì)量模

GB/T25000.51—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第51部分：就緒可

用軟件產(chǎn)品（RUSP）的質(zhì)量要求和測試細(xì)則

GB/T38260—2019服務(wù)機(jī)器人功能安全評估

GB/T38634—2020系統(tǒng)與軟件工程軟件測試

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

機(jī)器人robot

具備一定程度的自主能力，可在其環(huán)境內(nèi)運(yùn)動以執(zhí)行預(yù)期的任務(wù)的執(zhí)行機(jī)構(gòu)。

服務(wù)機(jī)器人sevicerobot

除工業(yè)自動化應(yīng)用外，能為人類或設(shè)備完成有用任務(wù)的機(jī)器人。

注：工業(yè)自動化應(yīng)用包括(但不限于)制造、檢驗(yàn)、包裝和裝配。

注：用于生產(chǎn)線的關(guān)節(jié)機(jī)器人是工業(yè)機(jī)器人,而類似的關(guān)節(jié)機(jī)器人用于供餐的就是服務(wù)機(jī)器人。

[來源：GB/T12643—2013,2.10]

安全相關(guān)軟件safety-relatedsoftware

在服務(wù)機(jī)器人安全相關(guān)系統(tǒng)中，用于實(shí)現(xiàn)SRCF的軟件。

[來源：GB/T38260—2019,3.1.20]

4服務(wù)機(jī)器人軟件系統(tǒng)

機(jī)器人的軟件設(shè)計(jì)應(yīng)與硬件資源相適應(yīng)。服務(wù)機(jī)器人軟件系統(tǒng)應(yīng)包括運(yùn)行環(huán)境、驅(qū)動程序、應(yīng)用

軟件，還應(yīng)具備系統(tǒng)運(yùn)行日志、數(shù)據(jù)共享接口及相應(yīng)的異常檢測和處理機(jī)制，包含故障自檢和故障修復(fù)

程序等。服務(wù)機(jī)器人軟件架構(gòu)通常包含但不限于以下四層。

人機(jī)交互及傳感器網(wǎng)絡(luò)管理層（必備）：用戶通過語音、觸摸屏、按鍵等向機(jī)器人發(fā)送指令；對

傳感器網(wǎng)絡(luò)進(jìn)行管理。

中間服務(wù)層（必備）：將機(jī)器人低、中、高級功能封裝成相應(yīng)的服務(wù)，導(dǎo)航規(guī)劃、任務(wù)執(zhí)行、操

作動作等。

4

T/CRSSXXXX—XXXX

操作器及傳感器驅(qū)動軟件接口層（必備）：系統(tǒng)中各種傳感器、操作器等硬件設(shè)備的軟件接口。

中臺管理層（選配）：采集、分析單個服務(wù)機(jī)器人終端數(shù)據(jù)，也可以支持遠(yuǎn)程控制。

服務(wù)機(jī)器人系統(tǒng)按功能模塊分可以包含但不限于人機(jī)交互系統(tǒng)、業(yè)務(wù)系統(tǒng)、控制系統(tǒng)、圖像識別

系統(tǒng)、運(yùn)動系統(tǒng)、導(dǎo)航定位系統(tǒng)、環(huán)境認(rèn)知系統(tǒng)、大數(shù)據(jù)決策系統(tǒng)等。

5軟件等級

軟件等級的定義

服務(wù)機(jī)器人軟件等級是在系統(tǒng)安全評估過程中確定的，它是根據(jù)軟件對潛在的失效狀態(tài)的貢獻(xiàn)率

來劃分的。軟件等級隨著失效狀態(tài)類別的變化而變化。

服務(wù)機(jī)器人軟件等級的定義如下：

a)A級：其異常狀態(tài)將會導(dǎo)致或引起系統(tǒng)功能的失效并給服務(wù)機(jī)器人、使用者及周圍環(huán)境帶來災(zāi)

難性的失效狀態(tài)的軟件，如安全相關(guān)軟件；

b)B級：其異常狀態(tài)將會導(dǎo)致或引起系統(tǒng)功能的失效并給服務(wù)機(jī)器人帶來嚴(yán)重的失效狀態(tài)的軟

件；

c)C級：其異常狀態(tài)不會降低服務(wù)機(jī)器人的安全性和可操作性。

軟件等級的確定

5.2.1如果服務(wù)機(jī)器人軟件部分的異常狀態(tài)引起多個失效狀態(tài)，軟件部件中最嚴(yán)重的失效狀態(tài)類別決

定了軟件部件的軟件等級。

5.2.2系統(tǒng)功能可以分配到一個或多個已劃分的軟件部件中，并行實(shí)施是用多個軟件部件來實(shí)現(xiàn)一個

系統(tǒng)功能。這樣，只有多個部件的異常狀態(tài)才能產(chǎn)生一個失效狀態(tài)。對并行架構(gòu)，至少有一個軟件部件

具有與系統(tǒng)功能最嚴(yán)重的失效狀態(tài)類別相應(yīng)的軟件等級。

5.2.3一個系統(tǒng)功能亦可用多個軟件部件來串行實(shí)施。這樣，任何部件的異常狀態(tài)都能產(chǎn)生失效狀態(tài)。

在這種情況下，軟件部件講具有與系統(tǒng)功能的最嚴(yán)重的失效狀態(tài)類別相應(yīng)的軟件等級。

6一般要求

測試目的

服務(wù)機(jī)器人軟件的測試目的是：

a)驗(yàn)證軟件是否滿足服務(wù)機(jī)器人系統(tǒng)規(guī)格說明、系統(tǒng)設(shè)計(jì)說明、軟件需求規(guī)格說明、軟件設(shè)計(jì)說

明等規(guī)定的軟件功能、性能、接口、安全及其他特性要求；

b)通過軟件測試，盡早的發(fā)現(xiàn)軟件中的缺陷，通過修正各種缺陷提高軟件質(zhì)量，規(guī)避軟件發(fā)布后

由于潛在的軟件缺陷造成的失效所帶來的風(fēng)險。；

c)為服務(wù)機(jī)器人軟件產(chǎn)品確認(rèn)、驗(yàn)收以及軟件質(zhì)量評估提供依據(jù)。

測試原則

服務(wù)機(jī)器人軟件的測試原則主要包括：

a)充分性。軟件測試應(yīng)全面覆蓋軟件功能、性能、接口等需求及其他特性要求；

b)客觀性。軟件測試應(yīng)采取客觀公正的態(tài)度，測試過程、人員應(yīng)保持相對的獨(dú)立性；

c)追溯性。所有的測試點(diǎn)都可追溯到需求/用戶。

測試級別

如下測試級別的詳細(xì)描述見本文件第8章測試技術(shù)要求：

a)單元測試；

b)集成測試；

c)系統(tǒng)測試。

注1：回歸測試可出現(xiàn)在上述每個測試類別中，并貫穿于整個軟件全生命周期，單獨(dú)分類進(jìn)行描述。

注2：不同類型服務(wù)機(jī)器人應(yīng)完成的測試級別參考附錄C。

5

T/CRSSXXXX—XXXX

軟件等級與測試級別的關(guān)系

針對服務(wù)機(jī)器人軟件特點(diǎn)，A級軟件必須完成單元測試、集成測試、系統(tǒng)測試。B級軟件至少完成

集成測試與系統(tǒng)測試。C級軟件至少完成系統(tǒng)測試。

測試類型

應(yīng)根據(jù)軟件測試目的、要求及軟件等級等特點(diǎn)，選取適當(dāng)?shù)臏y試類型，測試類型技術(shù)要求見附錄A：

a)文檔類測試。文檔審查；

b)代碼類測試。代碼審查、靜態(tài)分析；

c)數(shù)據(jù)類測試。數(shù)據(jù)處理測試；

d)功能類測試。功能測試、邊界測試、可恢復(fù)性測試；

e)性能類測試。性能測試、余量測試、強(qiáng)度測試、容量測試；

f)接口類測試。接口測試、人機(jī)交互界面測試；

g)專項(xiàng)類測試。安全性測試、可靠性測試、兼容性測試。

測試方法

從是否實(shí)際執(zhí)行程序的角度，測試方法可分為動態(tài)測試和靜態(tài)測試。從是否考慮程序內(nèi)部結(jié)構(gòu)和內(nèi)

部特性的角度，測試方法可分為白盒測試、黑盒測試和灰盒測試。

測試方法的選用及要求包括：

a)單元測試一般采用白盒測試方法，輔助以黑盒測試方法；集成測試和系統(tǒng)測試一般采用黑盒測

試方法，輔助以白盒測試方法；

b)測試用例設(shè)計(jì)時，應(yīng)依據(jù)測試類型的特點(diǎn)，使用恰當(dāng)?shù)臏y試方法對測試用例進(jìn)行分析與設(shè)計(jì)，

確保測試用例的充分性、典型性、準(zhǔn)確性和合理性：

1)充分性。如使用功能分解法對功能測試點(diǎn)進(jìn)行分解，分解粒度應(yīng)達(dá)到恰當(dāng)?shù)募?xì)度；

2)典型性。如使用等價類劃分法設(shè)計(jì)具有代表性的測試用例，避免同類測試用例無實(shí)質(zhì)意義

的機(jī)械累加；

3)準(zhǔn)確性。如使用邊界值分析法確定邊界條件，分析邊界條件所對應(yīng)的輸入數(shù)據(jù)；

4)合理性。如使用判定表法生成測試用例，保證測試用例驗(yàn)證需求規(guī)格的合理性。

c)測試方法的使用結(jié)果應(yīng)在測試用例中進(jìn)行詳細(xì)說明，基于某測試方法生成的測試用例集，應(yīng)進(jìn)

行統(tǒng)一歸類說明；

d)基于可量化度量的測試方法生成的測試用例，其測試結(jié)果應(yīng)進(jìn)行量化評價。

測試過程

服務(wù)機(jī)器人軟件測試過程主要包括以下四個步驟，回歸測試應(yīng)在軟件更改情況及影響域分析的基

礎(chǔ)上視情況執(zhí)行a)~c)。

a)測試需求分析與策劃。確定需要測試的內(nèi)容、測試的充分性要求，提出測試的基本方法；確定

測試的資源、技術(shù)需求；分析測試風(fēng)險，制定測試計(jì)劃；進(jìn)行測試計(jì)劃評審；

b)測試設(shè)計(jì)與實(shí)現(xiàn)。設(shè)計(jì)和選取測試用例；獲取并驗(yàn)證測試數(shù)據(jù)；根據(jù)測試資源、風(fēng)險等約束條

件，確定測試用例執(zhí)行順序，編制測試用例；獲取測試資源，開發(fā)或選用測試工具；建立并校

準(zhǔn)測試環(huán)境；進(jìn)行測試用例評審；

c)測試執(zhí)行。執(zhí)行測試用例，獲取并記錄測試結(jié)果數(shù)據(jù)；分析測試過程的正?；虍惓＝K止情況，

視情補(bǔ)充或停止測試；對測試過程中發(fā)現(xiàn)的問題進(jìn)行分析確認(rèn)并填寫問題報(bào)告單；

d)測試總結(jié)。匯總測試數(shù)據(jù)，總結(jié)測試工作，評估測試結(jié)果，描述測試狀態(tài)；編制測試報(bào)告，進(jìn)

行測試總結(jié)評審。

測試環(huán)境

服務(wù)機(jī)器人軟件測試環(huán)境通常包括被測軟件運(yùn)行所需的軟件、硬件、數(shù)據(jù)、工具及接近服務(wù)機(jī)器人

真實(shí)工作外部環(huán)境，如家居環(huán)境、商場環(huán)境、酒店環(huán)境、醫(yī)院環(huán)境等。場景化測試是服務(wù)機(jī)器人測試的

重點(diǎn)：

6

T/CRSSXXXX—XXXX

a)不同的測試級別一般使用不同的測試環(huán)境，應(yīng)保證與軟件實(shí)際運(yùn)行環(huán)境的一致性或相容性。通

常，單元測試可在仿真環(huán)境下進(jìn)行，集成測試、系統(tǒng)測試應(yīng)在至少接近服務(wù)機(jī)器人真實(shí)工作環(huán)

境下進(jìn)行；

b)應(yīng)采取措施保證測試的軟件環(huán)境沒有被病毒感染；

c)測試環(huán)境應(yīng)盡可能與開發(fā)環(huán)境分離；

d)測試環(huán)境應(yīng)達(dá)到系統(tǒng)或軟件對安全性、保密性的需求；

e)測試環(huán)境應(yīng)考慮被測軟件對設(shè)備、網(wǎng)絡(luò)設(shè)施等硬件環(huán)境的適應(yīng)能力，以及對系統(tǒng)軟件、其他并

行使用的應(yīng)用軟件等軟件環(huán)境的適應(yīng)能力；

f)當(dāng)測試環(huán)境與實(shí)際環(huán)境存在差異時，應(yīng)進(jìn)行差異性分析，說明在該環(huán)境下測試結(jié)果的有效性；

g)應(yīng)根據(jù)測試要求選用測試工具，包括采購商用測試工具和自行開發(fā)測試工具；

h)對測試結(jié)果有重要影響的測試數(shù)據(jù)、有指標(biāo)要求的測試工具，在投入使用前應(yīng)采用適當(dāng)?shù)姆椒?/p>

對其是否符合測試要求進(jìn)行校核、確認(rèn)；

i)應(yīng)對測試工具實(shí)施管理，包括版本控制、升級以及技術(shù)支持；

j)在測試執(zhí)行前應(yīng)對測試環(huán)境進(jìn)行校核，在測試過程中應(yīng)對測試環(huán)境進(jìn)行管理和維護(hù)。

軟件問題分級分類及處理

6.9.1軟件問題后果

軟件中的錯誤可能導(dǎo)致故障的出現(xiàn)，產(chǎn)生服務(wù)機(jī)器人失效狀態(tài)。

6.9.2軟件問題分類

軟件測試過程中發(fā)現(xiàn)的問題可分為：

a)需求問題。產(chǎn)品定義或需求問題；

b)設(shè)計(jì)問題。系統(tǒng)設(shè)計(jì)或軟件設(shè)計(jì)問題；

c)文檔問題。文檔描述問題；

d)編碼問題。代碼實(shí)現(xiàn)問題；

e)數(shù)據(jù)問題。數(shù)據(jù)規(guī)格及內(nèi)容問題；

f)其他問題。上述問題之外的問題。

6.9.3問題等級

軟件問題分為災(zāi)難、嚴(yán)重、一般、改進(jìn)建議四個等級：

a)災(zāi)難問題。將會造成服務(wù)機(jī)器人失去控制并對周圍環(huán)境造成破壞或?qū)θ嗽斐蓚Α?/p>

1)導(dǎo)致系統(tǒng)死機(jī)、崩潰或異常退出；

2)主要功能未實(shí)現(xiàn)或?qū)崿F(xiàn)錯誤；

3)造成人員、設(shè)備、環(huán)境等重大損失；

4)重要數(shù)據(jù)丟失，且很難恢復(fù)。

b)嚴(yán)重問題。將會降低服務(wù)機(jī)器人功能水平大幅下降。

1)沒有完整實(shí)現(xiàn)軟件需求，對主要功能性能等有較大影響；

2)沒有正確實(shí)現(xiàn)軟件需求，對主要功能性能等有較大影響；

3)造成環(huán)境等嚴(yán)重?fù)p失；

4)重要數(shù)據(jù)丟失，但能以某種方式恢復(fù)；

5)軟件文檔對主要功能、性能描述缺失或錯誤。

c)一般問題。不會降低服務(wù)機(jī)器人的安全性和可操作性，軟件問題對軟件功能性能有較小影響。

1)沒有完整實(shí)現(xiàn)軟件需求，對軟件主要功能性能影響較小，或?qū)σ话愎δ苄阅茉斐捎绊懀?/p>

2)沒有正確實(shí)現(xiàn)軟件需求，對軟件主要功能性能影響較小，或?qū)σ话愎δ苄阅茉斐捎绊懀?/p>

3)軟件操作與軟件使用說明不符；

4)軟件文檔存在準(zhǔn)確性、一致性、錯別字等影響較小的問題。

d)改進(jìn)建議。測試過程中發(fā)現(xiàn)的對軟件功能有輕微影響的問題可提出改進(jìn)建議。

6.9.4問題處理

7

T/CRSSXXXX—XXXX

在軟件測試過程中應(yīng)如實(shí)記錄測試過程、原始數(shù)據(jù)、結(jié)果及發(fā)現(xiàn)的故障現(xiàn)象，填寫軟件問題報(bào)告單：

a)測試人員應(yīng)與開發(fā)人員共同確認(rèn)發(fā)現(xiàn)的軟件問題；

b)開發(fā)人員應(yīng)對問題進(jìn)行定位，開展原因分析，提出修改措施，說明修改對軟件的影響，如不修

改，應(yīng)說明理由及其影響，在回歸測試前提交給測試方；

c)對測試中有爭議的問題，應(yīng)組織利益相關(guān)方及領(lǐng)域?qū)＜夜餐_認(rèn)。

測試文檔

軟件測試過程中的文檔主要包括(參見附錄B)：

a)軟件測試計(jì)劃；

b)軟件測試用例及測試記錄；

c)軟件問題單；

d)軟件測試報(bào)告；

e)其他管理文檔和記錄，如：評審、質(zhì)量保證、項(xiàng)目跟蹤以及配置管理等記錄和報(bào)告。

7測試過程

測試需求分析與策劃

7.1.1過程輸入

開展軟件測試需求分析與策劃活動的輸入應(yīng)包括：

a)軟件測試任務(wù)書、合同或其他等效文件；

b)軟件開發(fā)文檔，例如，系統(tǒng)需求說明、接口需求說明、系統(tǒng)設(shè)計(jì)說明、接口設(shè)計(jì)說明、軟件研

制任務(wù)書、軟件需求規(guī)格說明、軟件設(shè)計(jì)說明、軟件用戶手冊、數(shù)據(jù)庫設(shè)計(jì)說明等；

c)軟件更改及影響分析報(bào)告（必要時）；

d)軟件源程序；

e)軟件運(yùn)行資源。

7.1.2過程輸出

軟件測試需求分析與策劃階段輸出的主要產(chǎn)品為軟件測試計(jì)劃。

7.1.3過程要求

軟件測試需求分析與策劃要求一般包括：

a)測試需求分析。根據(jù)輸入信息分析測試需求并確定以下內(nèi)容：

1)確定測試級別；

2)確定測試充分性要求。根據(jù)被測軟件的重要性、測試目標(biāo)和約束條件，確定測試范圍及每

一范圍所要求的覆蓋程度；

3)確定測試需求。分析被測軟件的功能、性能、接口、數(shù)據(jù)結(jié)構(gòu)、設(shè)計(jì)約束等，包括隱含需

求及特殊需求；

4)根據(jù)測試需求確定測試類型及其測試點(diǎn)；

5)分析并確定測試環(huán)境需求。

b)測試策劃。根據(jù)測試需求分析結(jié)果策劃測試活動，確定以下內(nèi)容：

1)確定測試資源要求，包括人員、設(shè)備、設(shè)施等；

2)確定測試策略、技術(shù)和方法，包括測試環(huán)境搭建策略、集成測試策略、采用的標(biāo)準(zhǔn)或非標(biāo)

準(zhǔn)測試方法以及測試數(shù)據(jù)生成和驗(yàn)證方法、測試數(shù)據(jù)注入方法、測試結(jié)果捕獲方法及分析

方法、使用的測試工具、動靜態(tài)測試先后順序等；

3)確定測試結(jié)束條件；

4)確定被測軟件的評價準(zhǔn)則和方法；

5)根據(jù)任務(wù)要求、資源、風(fēng)險、測試充分性等因素確定測試進(jìn)度；

6)分析測試風(fēng)險及應(yīng)對措施，例如，技術(shù)風(fēng)險、人員風(fēng)險、資源風(fēng)險和進(jìn)度風(fēng)險等；

7)確定測試點(diǎn)目跟蹤與控制、配置管理和質(zhì)量保證等要求。

8

T/CRSSXXXX—XXXX

c)編寫軟件測試計(jì)劃；

d)軟件測試計(jì)劃應(yīng)受到變更控制和版本控制。

測試設(shè)計(jì)與實(shí)現(xiàn)

7.2.1過程輸入

開展軟件測試設(shè)計(jì)與實(shí)現(xiàn)的輸入應(yīng)包括但不限于以下內(nèi)容：

a)軟件測試計(jì)劃；

b)軟件開發(fā)文檔，例如，系統(tǒng)規(guī)格說明、接口需求規(guī)格說明、軟件需求規(guī)格說明、系統(tǒng)設(shè)計(jì)說明、

接口設(shè)計(jì)說明、數(shù)據(jù)庫設(shè)計(jì)說明、軟件設(shè)計(jì)說明、軟件用戶手冊等；

c)軟件源程序、可執(zhí)行文件及軟件運(yùn)行所依賴的數(shù)據(jù)；

d)軟件運(yùn)行的硬件環(huán)境；

e)系統(tǒng)運(yùn)行的場景。

7.2.2過程輸出

軟件測試設(shè)計(jì)與實(shí)現(xiàn)階段輸出應(yīng)包括：

a)軟件測試用例；

b)軟件測試數(shù)據(jù)；

c)自行開發(fā)的測試程序、軟硬件工具；

d)仿真或真實(shí)的服務(wù)機(jī)器人運(yùn)行場景。

7.2.3過程要求

軟件測試設(shè)計(jì)與實(shí)現(xiàn)的要求一般包括：

a)對所有測試點(diǎn)或測試子項(xiàng)設(shè)計(jì)測試用例，并進(jìn)行標(biāo)識；

b)根據(jù)測試資源、風(fēng)險等約束條件確定測試用例/典型實(shí)例執(zhí)行順序；

c)針對測試輸入要求，設(shè)計(jì)測試數(shù)據(jù)，準(zhǔn)備和驗(yàn)證測試數(shù)據(jù)；

d)準(zhǔn)備測試資源，例如，測試工具、搭建測試環(huán)境所必須的軟硬件資源，必要時，開發(fā)測試執(zhí)行

所需測試程序、軟硬件工具；

e)建立和校核測試環(huán)境，記錄校核結(jié)果，說明測試環(huán)境的偏差及對測試結(jié)果的影響；

f)編寫軟件測試用例，確定軟件測試用例與軟件測試計(jì)劃的追蹤關(guān)系；

g)應(yīng)對該階段工作產(chǎn)品進(jìn)行評審；

h)軟件測試用例、測試程序應(yīng)受到變更控制和版本控制。

測試執(zhí)行

7.3.1過程輸入

開展軟件測試執(zhí)行活動的輸入應(yīng)至少包括：

a)通過評審的軟件測試計(jì)劃、軟件測試用例；

b)已建立并通過驗(yàn)證的測試環(huán)境、測試數(shù)據(jù)、測試工具等；

c)被測軟件已納入配置管理。

7.3.2過程輸出

軟件測試實(shí)施階段輸出應(yīng)包括：

a)軟件測試記錄；

b)軟件問題報(bào)告。

7.3.3過程要求

軟件測試執(zhí)行的要求一般包括：

a)靜態(tài)測試一般先于動態(tài)測試執(zhí)行；

b)文檔審查、代碼審查應(yīng)按照審查單要求逐項(xiàng)進(jìn)行，記錄審查情況、存在的問題等信息；

9

T/CRSSXXXX—XXXX

c)應(yīng)按照軟件測試用例的內(nèi)容和要求執(zhí)行測試用例，如實(shí)、具體、完整地記錄測試輸入數(shù)據(jù)、測

試結(jié)果，當(dāng)測試結(jié)果有量值要求時，應(yīng)準(zhǔn)確記錄實(shí)際的量值；

d)根據(jù)每個測試用例的期望測試結(jié)果、實(shí)際測試結(jié)果和評估準(zhǔn)則，分析并判定測試結(jié)果；

e)在執(zhí)行測試的過程中，可根據(jù)測試的進(jìn)展情況補(bǔ)充測試用例，必要時變更軟件測試計(jì)劃；

f)當(dāng)所有的測試用例執(zhí)行完畢，應(yīng)對測試的充分性進(jìn)行分析。如果發(fā)現(xiàn)測試工作不足，或測試未

達(dá)到預(yù)期要求時，可增加新的測試用例或測試數(shù)據(jù)，直到達(dá)到充分性要求；

g)原始記錄應(yīng)有簽署，并受到嚴(yán)格管理；

h)匯總測試中有異議的問題，組織問題確認(rèn)評審。

測試總結(jié)

7.4.1過程輸入

開展軟件測試總結(jié)的輸入應(yīng)包括：

a)軟件測試任務(wù)書、合同或其他等效文件；

b)被測軟件相關(guān)文檔、代碼和數(shù)據(jù)；

c)測試文件，包括軟件測試計(jì)劃、軟件測試用例及測試記錄、軟件問題報(bào)告、軟件回歸測試方案

（如需要）。

7.4.2過程輸出

軟件測試總結(jié)階段輸出為軟件測試報(bào)告。

7.4.3過程要求

軟件測試總結(jié)的要求一般包括：

a)分析和評價測試工作，一般包括：

1)總結(jié)軟件測試計(jì)劃和軟件測試用例的變化情況及其原因；

2)分析測試工作完成情況，包括回歸測試；

3)分析測試環(huán)境與軟件實(shí)際運(yùn)行環(huán)境之間的差異及其對測試結(jié)果的影響；

4)對測試異常終止情況，分析未能被測試活動充分覆蓋的范圍及其理由。

b)分析和評價被測軟件，一般包括：

1)說明被測軟件對研制任務(wù)書等文檔規(guī)定的軟件功能、性能、接口及質(zhì)量特性等要求的滿足

情況；

2)統(tǒng)計(jì)并分析所發(fā)現(xiàn)的軟件問題，對遺留的軟件問題說明不能解決的理由，給出其可能給軟

件和系統(tǒng)帶來的影響，可能時，推薦糾正方案或方法；

3)分析軟件設(shè)計(jì)、代碼中可能存在的缺陷和風(fēng)險；

4)根據(jù)測試結(jié)果評估被測軟件，給出評估意見和改進(jìn)建議。

c)分析測試產(chǎn)生的數(shù)據(jù)和文檔，積累測試資產(chǎn)，一般包括：典型軟件問題、典型用例、測試腳本、

管理數(shù)據(jù)（如生產(chǎn)率、工作量、進(jìn)度等）；

d)編制軟件測試報(bào)告；

e)應(yīng)進(jìn)行測試總結(jié)評審；

f)軟件測試報(bào)告應(yīng)受到變更控制和版本控制。

8測試技術(shù)要求

單元測試

8.1.1測試對象

單元測試的對象是具有輸入/輸出、完成特定功能、可被調(diào)用使用的最小代碼集合的軟件單元。在

編程語言中，通常將一個函數(shù)、一個模塊、一個過程、一個子程序視為一個軟件單元。

8.1.2測試目的

10

T/CRSSXXXX—XXXX

驗(yàn)證軟件單元是否實(shí)現(xiàn)了軟件設(shè)計(jì)規(guī)定的功能、性能、接口和其他設(shè)計(jì)約束等要求，發(fā)現(xiàn)單元內(nèi)可

能存在的錯誤，并保證代碼質(zhì)量。

8.1.3開始條件

單元測試進(jìn)入條件如下：

a)軟件單元代碼無錯誤地通過編譯；

b)具備滿足要求的測試環(huán)境及測試工具。

8.1.4技術(shù)要求

具體要求如下：

a)單元測試應(yīng)列表說明被測單元的清單，對單元的剪裁應(yīng)說明理由，關(guān)鍵單元、重要單元不允許

被剪裁；

b)單元測試的直接依據(jù)應(yīng)是詳細(xì)設(shè)計(jì)文檔（軟件設(shè)計(jì)說明中的詳細(xì)設(shè)計(jì)部分），被測單元清單中

應(yīng)說明文檔依據(jù)的索引；

c)應(yīng)采用靜態(tài)測試和動態(tài)白盒測試的測試方法開展單元測試；

d)一般應(yīng)在動態(tài)測試前開展靜態(tài)測試，靜態(tài)測試發(fā)現(xiàn)的問題修改后再進(jìn)行動態(tài)測試；

e)在動態(tài)測試中，應(yīng)設(shè)計(jì)測試用例逐項(xiàng)驗(yàn)證軟件單元的功能、性能、接口等設(shè)計(jì)要求；

f)測試用例的輸入應(yīng)覆蓋單元接口輸入變量的有效值、無效值和邊界值；

g)單元測試覆蓋率要求如下：

所有單元的語句覆蓋率和分支覆蓋率應(yīng)達(dá)到80%及以上。

h)對于覆蓋率未達(dá)到指標(biāo)要求的單元，應(yīng)說明原因，并通過代碼審查進(jìn)行輔助驗(yàn)證。

8.1.5環(huán)境要求

要求如下：

a)應(yīng)建立單元測試環(huán)境，配備軟件單元測試工具；

b)單元測試環(huán)境可以是仿真環(huán)境、模擬環(huán)境、開發(fā)環(huán)境（推薦）；

c)單元測試環(huán)境應(yīng)支持驅(qū)動模塊和樁模塊的編寫與加載，并與測試用例一起進(jìn)行有效管理。

集成測試

8.2.1測試對象

a)任意一個軟件單元及與其接口相連的其他軟/硬件集成得到的局部系統(tǒng)及其集成過程。

b)任意一個組裝得到的軟件系統(tǒng)。

8.2.2測試目的

軟件集成測試的目的是檢驗(yàn)軟件單元之間、軟件單元和已集成的軟件系統(tǒng)之間的接口關(guān)系，并驗(yàn)證

已集成軟件系統(tǒng)是否符合設(shè)計(jì)要求。

8.2.3開始條件

集成測試進(jìn)入條件如下：

a)軟件已納入軟件配置管理，所涉硬件技術(shù)狀態(tài)受控；

b)具備與被測軟件源代碼版本對應(yīng)的文檔；

c)具備滿足要求的測試環(huán)境。

8.2.4技術(shù)要求

軟件集成測試一般應(yīng)符合以下技術(shù)要求：

a)應(yīng)采用適合的集成測試策略，使系統(tǒng)中所有的軟件和硬件都被集成和測試；

b)應(yīng)對已集成軟件進(jìn)行必要的靜態(tài)測試，并先于動態(tài)測試進(jìn)行；

c)軟件要求的每個特性應(yīng)被至少一個正常的測試用例和一個被認(rèn)可的異常測試用例覆蓋；

d)測試用例的輸入應(yīng)至少包括有效等價類值、無效等價類值和邊界數(shù)據(jù)值；

11

T/CRSSXXXX—XXXX

e)應(yīng)測試運(yùn)行條件（如數(shù)據(jù)結(jié)構(gòu)、輸入/輸出通道容量、內(nèi)存空間、調(diào)用頻率等）在邊界狀態(tài)下，

進(jìn)而在人為設(shè)定的狀態(tài)下，軟件的功能和性能；

f)應(yīng)驗(yàn)證局部系統(tǒng)內(nèi)外接口的匹配性、協(xié)調(diào)性、一致性，具體包括；

1)集成后的軟件子系統(tǒng)之間、軟硬件之間交互接口數(shù)據(jù)及其格式；

2)局部系統(tǒng)的輸出數(shù)據(jù)及其格式；

3)在任意外部輸入情況下，局部系統(tǒng)從外部接口采集和發(fā)送數(shù)據(jù)的能力，包括對正常數(shù)據(jù)及

狀態(tài)的處理，對接口錯誤、數(shù)據(jù)錯誤、錯誤的識別及處理。

g)應(yīng)驗(yàn)證集成后的軟硬件工作時序之間的匹配性、協(xié)調(diào)性、一致性；

h)應(yīng)驗(yàn)證局部系統(tǒng)對硬件資源使用及硬件資源配置之間的匹配性、協(xié)調(diào)性、一致性、合理性和資

源余量。

i)對不同的實(shí)際問題應(yīng)外加相應(yīng)的專門測試，比如安全測試、兼容性測試等。

8.2.5測試環(huán)境

集成測試環(huán)境要求如下：

a)集成測試環(huán)境推薦使用軟件真實(shí)運(yùn)行環(huán)境和真實(shí)外部硬件環(huán)境；

b)若選擇仿真或模擬測試環(huán)境，應(yīng)進(jìn)行環(huán)境等效性分析；

c)應(yīng)配備必要的軟件測試工具、監(jiān)測設(shè)備、數(shù)據(jù)分析軟件等。

系統(tǒng)測試

8.3.1測試對象

系統(tǒng)測試的對象是完整的、集成的服務(wù)機(jī)器人軟硬件系統(tǒng)。

8.3.2測試目的

系統(tǒng)測試的目的是在真實(shí)系統(tǒng)工作環(huán)境下檢驗(yàn)完整的服務(wù)機(jī)器人軟硬件系統(tǒng)的功能、性能、接口、

安全性、可靠性、易用性等各項(xiàng)要求。

8.3.3開始條件

系統(tǒng)測試進(jìn)入條件如下：

a)軟件已通過集成測試；

b)被測軟件已納入軟件配置管理，所涉硬件技術(shù)狀態(tài)受控；

c)具備軟件系統(tǒng)測試要求的環(huán)境；

d)具備與被測軟件源代碼版本對應(yīng)的文檔。

8.3.4技術(shù)要求

軟件系統(tǒng)測試一般應(yīng)符合以下技術(shù)要求：

a)開展測試需求分析，列表說明系統(tǒng)的測試點(diǎn)，并說明與需求點(diǎn)的對應(yīng)關(guān)系。通常一個需求點(diǎn)應(yīng)

被若干個測試用例所覆蓋，一般應(yīng)被正常測試用例和異常測試用例所覆蓋；

b)應(yīng)采用文檔審查和動態(tài)測試的測試方法開展系統(tǒng)測試，一般采用的是動態(tài)黑盒測試方法。

c)依據(jù)系統(tǒng)的任務(wù)剖面，從運(yùn)行場景出發(fā)進(jìn)行情景想定分析，開展系統(tǒng)任務(wù)想定設(shè)計(jì)；

d)應(yīng)在動態(tài)測試前開展文檔審查，文檔審查應(yīng)包含系統(tǒng)的所有相關(guān)文檔，例如通訊協(xié)議、數(shù)據(jù)處

理算法等，在文檔審查問題得到有效處理后再進(jìn)行動態(tài)測試；

e)測試用例的輸入一般應(yīng)被有效值、無效值和邊界值所覆蓋；

f)軟件之間及軟件與硬件之間的所有接口應(yīng)進(jìn)行測試用例設(shè)計(jì)；

g)建立系統(tǒng)測試環(huán)境。依據(jù)系統(tǒng)的特點(diǎn)及具體情況，系統(tǒng)測試環(huán)境可以是半實(shí)物仿真環(huán)境、全實(shí)

物實(shí)裝環(huán)境等，系統(tǒng)測試環(huán)境應(yīng)能支持運(yùn)行方案說明中描述的運(yùn)行場景，支持系統(tǒng)任務(wù)過程所

需情景想定的配置，支持系統(tǒng)任務(wù)過程測試用例的加載、執(zhí)行、過程數(shù)據(jù)采集等，評估測試環(huán)

境對測試結(jié)果的影響，分析系統(tǒng)測試環(huán)境的局限性，確認(rèn)系統(tǒng)測試環(huán)境的有效性；

h)動態(tài)測試的測試類型選擇要求：

1)至少應(yīng)包括：功能測試、性能測試、接口測試、邊界測試；

12

T/CRSSXXXX—XXXX

2)關(guān)鍵重要系統(tǒng)的測試類型應(yīng)增加：安全性測試、余量測試、強(qiáng)度測試。在實(shí)裝系統(tǒng)上開展

的安全性測試，應(yīng)在安全關(guān)鍵部件模擬器的配合下進(jìn)行測試；

3)測試類型應(yīng)結(jié)合軟件的特點(diǎn)進(jìn)行選擇，如，具有人機(jī)交互界面的系統(tǒng)應(yīng)進(jìn)行人機(jī)交互界面

的測試，具有雙機(jī)熱備份或冷備份功能的系統(tǒng)應(yīng)進(jìn)行恢復(fù)性測試，對可異步并發(fā)操作同一

共享數(shù)據(jù)源的相關(guān)軟件應(yīng)進(jìn)行互操作性測試等；

i)基于運(yùn)行方案說明中的運(yùn)行場景，將系統(tǒng)規(guī)格說明中的系統(tǒng)能力需求組合為系統(tǒng)的任務(wù)需求，

逐一驗(yàn)證系統(tǒng)的任務(wù)運(yùn)行能力。

8.3.5測試環(huán)境

系統(tǒng)測試環(huán)境要求如下：

a)推薦使用全實(shí)物實(shí)裝環(huán)境。若選擇全數(shù)字仿真環(huán)境或半實(shí)物仿真環(huán)境，應(yīng)進(jìn)行環(huán)境等效性分析；

b)應(yīng)配備必要的軟件測試工具、監(jiān)測設(shè)備、數(shù)據(jù)分析軟件等。

回歸測試

8.4.1測試對象

更改后的軟件，包括更改所影響到的軟件單元、軟件子系統(tǒng)、軟件系統(tǒng)，還應(yīng)包括因軟件更改涉及

到的集成過程。

8.4.2測試目的

對更改后的軟件重新進(jìn)行測試，以確認(rèn)更改正確且更改未引入新的軟件問題，即更改未影響軟件原

有的、正確的功能、性能和其他規(guī)定的要求。

8.4.3開始條件

回歸測試進(jìn)入條件如下：

a)被測軟件已納入配置管理；

b)具備軟件開發(fā)文檔、代碼、數(shù)據(jù)、軟件問題處理單（或軟件更改及影響分析報(bào)告）等；

c)具備相關(guān)的測試文檔及資源；

d)具備相應(yīng)級別測試的進(jìn)入條件。

8.4.4技術(shù)要求

具體要求如下：

a)應(yīng)統(tǒng)計(jì)軟件修改的代碼更改量，包括：

1)相同行。更改前與更改后完全相同的代碼行；

2)修改行。更改前與更改后部分相同的代碼行；

3)增加行。更改前沒有而更改后有的代碼行；

4)刪除行。更改前有而更改后沒有的代碼行；

5)更改行。修改行、增加行、刪除行之和；

6)更改率。更改行/(更改行+相同行)*100%。

b)當(dāng)軟件完成測試后，后續(xù)軟件又發(fā)生了變化，如軟件更改率大于20%，則應(yīng)按全新軟件重新測

試；

c)應(yīng)依據(jù)軟件更改影響分析結(jié)果確定回歸測試范圍，選用或修改已有的測試用例，或新增測試用

例，并對測試用例使用情況進(jìn)行分類統(tǒng)計(jì)：

1)沿用測試用例；

2)修改測試用例，即測試用例的名稱、標(biāo)識未改，但內(nèi)容略有修改；

3)新增測試用例。

d)應(yīng)論證或證明測試用例的執(zhí)行覆蓋了全部修改內(nèi)容；

e)回歸測試的技術(shù)要求應(yīng)符合原測試級別的技術(shù)要求。

13

T/CRSSXXXX—XXXX

A

A

附錄A

(規(guī)范性）

測試類型技術(shù)要求

A.1文檔類測試

A.1.1文檔審查

文檔審查是開展的針對軟件相關(guān)文檔的審查。文檔審查的具體要求如下：

a)審查軟件文檔種類是否齊套；

b)審查軟件文檔內(nèi)容是否完整；

c)審查軟件文檔描述是否準(zhǔn)確；

d)審查軟件文檔格式是否規(guī)范；

e)審查軟件文檔是否文文一致、文實(shí)相符；

f)編制審查所用文檔檢查單并通過評審。

A.2代碼類測試

A.2.1代碼審查

代碼審查是依據(jù)相關(guān)標(biāo)準(zhǔn)及軟件文檔開展的針對軟件程序代碼的審查。代碼審查的具體要求如下：

a)以人工閱讀方式對代碼進(jìn)行審查，可以借助工具輔助完成分析。

b)代碼審查包含編程準(zhǔn)則檢查、代碼流程審查、軟件結(jié)構(gòu)審查、需求實(shí)現(xiàn)審查四個審查類型，測

試需求分析中應(yīng)確定需要開展的審查類型。

c)編程準(zhǔn)則檢查：依據(jù)編程準(zhǔn)則的要求，對程序的編碼進(jìn)行編程準(zhǔn)則的符合性檢查。編程準(zhǔn)則檢

查應(yīng)依據(jù)語言特點(diǎn)，確定編程準(zhǔn)則的檢查標(biāo)準(zhǔn)并通過評審，使用專業(yè)工具掃描出的警告信息應(yīng)

經(jīng)過人工核實(shí)確認(rèn)。

d)代碼流程審查：審查程序代碼的條件判別、控制流程、數(shù)據(jù)處理等是否滿足設(shè)計(jì)要求。

e)軟件結(jié)構(gòu)審查：依據(jù)設(shè)計(jì)文檔，審查程序代碼的結(jié)構(gòu)設(shè)計(jì)，包括程序結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，

f)在程序設(shè)計(jì)層發(fā)現(xiàn)問題。需求實(shí)現(xiàn)審查：依據(jù)需求文檔及其他相關(guān)資料，審查程序代碼的需求

層的功能實(shí)現(xiàn)，審查中應(yīng)形成所有變量物理含義及取值含義的變量字典，依據(jù)數(shù)學(xué)模型、邏輯

模型、時序模型、處理模型等和變量字典審查程序代碼的處理流程，發(fā)現(xiàn)需求實(shí)現(xiàn)的問題。

g)代碼審查的軟件單元應(yīng)列表匯總，并針對軟件單元說明開展的審查類型。

h)應(yīng)根據(jù)軟件的特點(diǎn)及審查內(nèi)容，確定審查所用的代碼審查單并通過評審。

A.2.2靜態(tài)分析

靜態(tài)分析是可借助專業(yè)工具對程序代碼特性進(jìn)行機(jī)械性和程序化的專項(xiàng)分析，靜態(tài)分析的內(nèi)容通

常包括程序結(jié)構(gòu)分析、數(shù)據(jù)結(jié)構(gòu)分析、控制流分析、數(shù)據(jù)流分析、接口分析、表達(dá)式分析、語言使用分

析、軟件質(zhì)量指標(biāo)度量等。

靜態(tài)分析應(yīng)對程序代碼的質(zhì)量度量元進(jìn)行統(tǒng)計(jì)與度量。程序質(zhì)量度量的具體要求如下：

a)質(zhì)量度量元包括：軟件的代碼行數(shù)、有效代碼行數(shù)、注釋行數(shù)、模塊數(shù)、模塊代碼行數(shù)、模塊

圈復(fù)雜度、模塊基本復(fù)雜度、模塊扇入數(shù)、模塊扇出數(shù)等。

b)通常指標(biāo)要求如下：

1)軟件總注釋率不小于20%（注釋行數(shù)/代碼行數(shù)*100%）；

2)模塊的平均規(guī)模不大于200行（模塊代碼行數(shù)之和/模塊數(shù)）；

3)模塊的平均圈復(fù)雜度不大于10（模塊圈復(fù)雜度之和/模塊數(shù)）；

4)模塊的平均扇出數(shù)不大于7（模塊扇出數(shù)之和/模塊數(shù)）。

c)對圈復(fù)雜度、規(guī)模行數(shù)、扇出數(shù)不滿足指標(biāo)要求的模塊，應(yīng)進(jìn)行專項(xiàng)代碼審查。

d)基于指標(biāo)要求并結(jié)合其他度量結(jié)果，給出軟件編碼質(zhì)量的評價。

A.3數(shù)據(jù)類測試

14

T/CRSSXXXX—XXXX

A.3.1數(shù)據(jù)處理測試

數(shù)據(jù)處理測試是對完成專門數(shù)據(jù)處理功能所進(jìn)行的測試。數(shù)據(jù)處理測試的具體要求如下：

a)應(yīng)對數(shù)據(jù)文件存取、數(shù)據(jù)庫操作、數(shù)據(jù)采集、數(shù)據(jù)融合、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)解析等專門數(shù)據(jù)處理

功能進(jìn)行測試；

b)應(yīng)對剔除壞數(shù)據(jù)、數(shù)據(jù)濾波、數(shù)據(jù)容錯等數(shù)據(jù)特殊處理功能進(jìn)行測試；

c)應(yīng)針對數(shù)據(jù)讀取/寫入過程中的容錯、保護(hù)、超時等進(jìn)行測試；

d)應(yīng)對大數(shù)據(jù)處理算法、模型的實(shí)現(xiàn)正確性進(jìn)行測試。

A.4功能類測試

A.4.1功能測試

功能測試是對軟件的功能需求逐項(xiàng)進(jìn)行的測試，以驗(yàn)證其功能是否滿足要求。功能測試的具體要求

如下：

a)應(yīng)對軟件功能進(jìn)行分析，通過等價類、邊界值、判定表、因果圖、猜錯法等分析方法確定軟件

功能的輸入；

b)輸入等價類應(yīng)包括正常等價類和異常等價類；

c)輸入邊界值應(yīng)包括合法邊界值和非法邊界值；

d)確定功能的輸出及預(yù)期的輸出結(jié)果和判定條件；

e)應(yīng)用真實(shí)數(shù)據(jù)測試超負(fù)荷、飽和及其他最壞情況等極端條件；

f)應(yīng)對功能控制流程、狀態(tài)轉(zhuǎn)換、模式切換等的正確性和合理性進(jìn)行驗(yàn)證；

g)在系統(tǒng)測試中，應(yīng)在任務(wù)剖面和業(yè)務(wù)流程中進(jìn)行測試；

h)建議采用組合測試法、蛻變測試法等方法提高關(guān)鍵功能的測試充分性。

A.4.2邊界測試

邊界測試是對軟件處在邊界或端點(diǎn)情況下運(yùn)行狀態(tài)的測試。邊界測試的具體要求如下：

a)應(yīng)對輸入域或輸出域的端點(diǎn)或邊界點(diǎn)進(jìn)行測試；

b)針對數(shù)據(jù)結(jié)構(gòu)（如，數(shù)組、字符串、堆棧等）進(jìn)行端點(diǎn)或邊界點(diǎn)測試；

c)針對狀態(tài)的轉(zhuǎn)換條件（如，閾值判別、區(qū)間判別等）進(jìn)行端點(diǎn)或邊界點(diǎn)測試；

d)針對狀態(tài)的出現(xiàn)概率（如，設(shè)備狀態(tài)、通訊狀態(tài)等）進(jìn)行小概率極端情況的測試；

e)功能、性能、容量等涉及到的極限情況均視為廣義端點(diǎn)或邊界點(diǎn)進(jìn)行測試；

f)需要時，應(yīng)考慮接近邊界、超越邊界、連續(xù)來回穿越邊界等各種情況的測試。

A.4.3恢復(fù)性測試

恢復(fù)性測試是對有恢復(fù)或重置功能的軟件的每一類導(dǎo)致恢復(fù)或重置的情況逐一進(jìn)行的測試，以驗(yàn)

證其恢復(fù)或重置功能?；謴?fù)性測試是要證實(shí)在克服軟硬件故障后，系統(tǒng)能否正常地繼續(xù)進(jìn)行工作，且不

對系統(tǒng)造成任何損害。

恢復(fù)性測試的具體要求如下：

a)應(yīng)對探測錯誤并通過容錯恢復(fù)其正常工作的能力進(jìn)行測試；

b)應(yīng)對自復(fù)位或備機(jī)切換措施恢復(fù)繼續(xù)工作的能力進(jìn)行測試；

c)應(yīng)對系統(tǒng)恢復(fù)后，依據(jù)記錄數(shù)據(jù)恢復(fù)故障前運(yùn)行作業(yè)、相關(guān)數(shù)據(jù)和系統(tǒng)狀態(tài)等能力進(jìn)行測試；

d)應(yīng)對恢復(fù)時間是否滿足規(guī)定要求進(jìn)行測試。

A.5性能類測試

A.5.1性能測試

性能測試是對軟件的性能需求逐項(xiàng)進(jìn)行的測試，以驗(yàn)證其性能是否滿足要求。性能測試的具體要

求如下：

a)應(yīng)進(jìn)行數(shù)據(jù)精度的測試，如數(shù)值計(jì)算的精確度等；

b)應(yīng)進(jìn)行時間精度的測試，如執(zhí)行時間、響應(yīng)時間等；

c)應(yīng)進(jìn)行空間占用的測試，如軟件運(yùn)行所占用的內(nèi)存空間等；

15

T/CRSSXXXX—XXXX

d)應(yīng)進(jìn)行處理能力的測試，如功能所處理的數(shù)據(jù)量等；

e)應(yīng)進(jìn)行數(shù)據(jù)傳輸吞吐量的測試；

f)應(yīng)關(guān)注軟件并發(fā)處理能力的測試；

g)在系統(tǒng)測試中，應(yīng)關(guān)注軟件性能和硬件性能的集成；

h)測試結(jié)果應(yīng)得到具體的量化數(shù)值；

i)對具有不確定性的數(shù)值：

1)應(yīng)至少得到10組以上的實(shí)測值；

2)應(yīng)給出最大值、最小值、平均值的統(tǒng)計(jì)結(jié)果；

3)對波動性較大的測量值，應(yīng)統(tǒng)計(jì)出實(shí)測值的方差。

A.5.2余量測試

余量測試是對軟件是否達(dá)到需求要求的余量的測試。余量測試的具體要求如下：

a)針對時間約束要求，應(yīng)測試出實(shí)際執(zhí)行時間相對于時間約束要求的余量；

b)針對空間約束要求，應(yīng)測試出實(shí)際占用空間相對于空間約束要求的余量；

c)針對處理約束要求，應(yīng)測試出軟件具備的處理能力相對于處理約束要求的余量；

d)針對通訊約束要求，應(yīng)測試出數(shù)據(jù)傳輸吞吐量相對于帶寬的余量；

e)如無明確規(guī)定，最少應(yīng)有20%以上的余量。

A.5.3強(qiáng)度測試

強(qiáng)度測試是檢驗(yàn)軟件的外部可變性影響條件惡劣到何種程度將導(dǎo)致軟件無法正常工作的測試。強(qiáng)

度測試的具體要求如下：

a)應(yīng)首先確定軟件運(yùn)行所依賴的外部可變性影響條件；

b)控制外部可變性影響條件的范圍變化（如，處理的信息量越來越大、通訊的數(shù)據(jù)量越來越大、

監(jiān)測報(bào)警數(shù)越來越多），測試出直到軟件故障或條件已達(dá)極限時的范圍極限條件；

c)控制外部可變性影響條件的頻度變化（如，越來越頻繁的外部錯誤、越來越小的通訊周期、越

來越頻繁的中斷信號），測試出直到軟件故障或條件已達(dá)極限時的頻度極限條件；

d)對軟件進(jìn)行業(yè)務(wù)流程工作狀態(tài)下的規(guī)定的長時間連續(xù)不中斷運(yùn)行的測試（并不要求一定運(yùn)行至

出現(xiàn)故障）；

e)當(dāng)軟件運(yùn)行環(huán)境資源不能保證時，應(yīng)在測試中逐步惡化運(yùn)行環(huán)境條件，測試出直到軟件故障時

的極限運(yùn)行環(huán)境條件；

f)對具有降級處理能力的軟件，應(yīng)對降級條件進(jìn)行極限情況測試。

A.5.4容量測試

容量測試是檢驗(yàn)軟件的能力最高能達(dá)到什么程度的測試。容量測試一般應(yīng)測試到在正常情況下軟

件所具備的最高能力。容量測試的具體要求如下：

a)針對具有時間約束要求的功能，應(yīng)測試出正常工作條件下實(shí)際執(zhí)行時間的最值范圍；

b)針對具有空間約束要求的功能，應(yīng)測試出正常工作條件下實(shí)際占用空間的最值范圍；

c)針對通訊接口，應(yīng)測試出正常工作條件下實(shí)際傳輸時間、傳輸數(shù)據(jù)量的最值范圍；

d)針對軟件的處理能力，如處理目標(biāo)數(shù)等，應(yīng)測試出正常工作條件下處理能力的最值范圍。

A.6接口類測試

A.6.1接口測試

接口測試是對軟件的接口需求逐項(xiàng)進(jìn)行的測試，以驗(yàn)證其接口是否滿足要求。功能測試的具體要求

如下：

a)應(yīng)對接口的信息格式是否正確進(jìn)行測試，如幀格式是否滿足要求；

b)應(yīng)對接口的信息內(nèi)容是否正確進(jìn)行測試，如內(nèi)容的解析是否正確；

c)應(yīng)對接口的時間特性是否滿足要求進(jìn)行測試，如傳輸時間、時序關(guān)系等；

d)應(yīng)對外部干擾、丟幀、錯幀、誤碼等異常模式予以容錯性驗(yàn)證；

e)集成測試和系統(tǒng)測試中，應(yīng)重點(diǎn)對軟件的所有外部接口進(jìn)行測試；

16

T/CRSSXXXX—XXXX

f)軟硬件系統(tǒng)中應(yīng)特別關(guān)注軟硬件接口，應(yīng)關(guān)注信號觸發(fā)類的接口測試。

A.6.2人機(jī)交互界面測試

人機(jī)交互界面測試是對所有人機(jī)交互界面提供的操作和顯示界面進(jìn)行的測試，以檢驗(yàn)是否滿足用

戶的要求。人機(jī)交互界面測試的具體要求如下：

a)應(yīng)依據(jù)用戶手冊或操作手冊，逐條驗(yàn)證文實(shí)的一致性；

b)應(yīng)對界面顯示的符合性、準(zhǔn)確性、直觀性等進(jìn)行測試；

c)應(yīng)對操作輸入的方便性、健壯性、提示性等進(jìn)行測試；

d)應(yīng)對人機(jī)交互的友好性、導(dǎo)航性、適宜性等進(jìn)行測試；

e)軟硬系統(tǒng)中作為軟件輸入的操作桿、旋鈕、開關(guān)等均屬于操作界面范疇，作為軟件輸出的警示

燈、蜂鳴器等均屬于顯示界面范疇。

A.7專項(xiàng)測試

A.7.1A.7.1安全性測試

安全性測試是檢驗(yàn)軟件功能安全性以及信息安全性是否滿足要求的測試。安全性測試的具體要求

如下：

a)應(yīng)對軟件安全性需求中確定的與軟件相關(guān)的所有故障模式進(jìn)行逐一測試，驗(yàn)證軟件處理故障模

式的安全性措施正確并有效。

b)應(yīng)對系統(tǒng)故障后的降級處理能力進(jìn)行測試。

c)軟硬件系統(tǒng)中，應(yīng)進(jìn)行軟硬混合故障模式的測試。

d)軟件的安全關(guān)鍵單元或部件，必須進(jìn)行安全性測試。

e)對涉及安全性措施的結(jié)構(gòu)、算法、容錯、冗余及中斷處理等設(shè)計(jì)，必須進(jìn)行針對性的測試。

f)應(yīng)對多點(diǎn)組合故障模式進(jìn)行測試，并結(jié)合各種最壞情況的組合進(jìn)行測試。

g)應(yīng)對雙工切換、多機(jī)替換等安全性的冗余設(shè)計(jì)措施進(jìn)行測試。

h)應(yīng)對可能的異常事件進(jìn)行測試，包括：

1)可能的硬件異常，如，外設(shè)故障等；

2)可能的軟件異常，如，程序跑飛等；

3)可能的操作異常，如，操作失誤等；

4)可能的輸入異常，如，數(shù)據(jù)丟幀等；

5)可能的時序異常，如，控制流程的時間順序紊亂等。

i)應(yīng)對軟件的信息保密與防護(hù)能力進(jìn)行測試：

1)應(yīng)對軟件使用的身份識別、權(quán)限保護(hù)能力進(jìn)行測試；

2)應(yīng)對重要數(shù)據(jù)保護(hù)能力（如，抗非法訪問能力、加密傳輸能力等）進(jìn)行測試；

3)應(yīng)對軟件和系統(tǒng)被惡意篡改或被攻擊的防護(hù)能力進(jìn)行測試。

A.7.2可靠性測試

可靠性測試是在真實(shí)的或仿真的環(huán)境中，以軟件可靠性評估為目的，按照運(yùn)行剖面和使用的概率分

布進(jìn)行的軟件功能測試。軟件可靠性測試的具體要求如下：

a)測試環(huán)境應(yīng)與典型使用環(huán)境的統(tǒng)計(jì)特性相一致，必要時使用測試平臺；

b)從用戶視角出發(fā)進(jìn)行情景想定分析，建立軟件的使用剖面（任務(wù)剖面/業(yè)務(wù)剖面/運(yùn)行剖面/操作

剖面等）；

c)應(yīng)對軟件使用程度進(jìn)行定量度量，如，使用剖面的概率分布、使用特征的覆蓋率等；

d)必須保證輸入覆蓋，應(yīng)覆蓋重要的輸入變量值（所有被測輸入值域的概率之和必須大于軟件可

靠性要求）、各種使用功能、相關(guān)輸入變量可能組合以及不合法輸入域等；

e)對于可能導(dǎo)致軟件運(yùn)行方式改變的一些邊界條件和環(huán)境條件，必須進(jìn)行針對性測試；

f)監(jiān)測軟件出現(xiàn)的故障，通常情況下，軟件一旦出現(xiàn)故障，應(yīng)進(jìn)行軟件的糾錯性修改，修改后的

軟件繼續(xù)進(jìn)行后續(xù)的測試；

g)記錄并統(tǒng)計(jì)軟件的故障數(shù)據(jù)，依據(jù)故障數(shù)據(jù)對軟件可靠性指標(biāo)進(jìn)行量化評估。

A.7.3兼容性測試

17

T/CRSSXXXX—XXXX

兼容性測試是檢驗(yàn)軟件不同版本之間、不同軟件產(chǎn)品之間、不同軟硬件環(huán)境之間兼容程度的測試。

兼容性測試的具體要求如下：

a)當(dāng)新版本軟件替代舊版本軟件時，應(yīng)進(jìn)行向下兼容性測試；

b)當(dāng)多個軟件版本可以同時使用時，應(yīng)進(jìn)行相互兼容性測試；

c)當(dāng)兩個軟件產(chǎn)品可在同一硬件環(huán)境中替換使用時，應(yīng)進(jìn)行交錯兼容性測試；

d)當(dāng)軟件產(chǎn)品可能在不同的硬件設(shè)備中使用時，應(yīng)進(jìn)行適配兼容性測試；

e)當(dāng)軟件產(chǎn)品可能在不同的軟件環(huán)境中使用時，應(yīng)進(jìn)行環(huán)境兼容性測試。

18

T/CRSSXXXX—XXXX

B

B

附錄B

(資料性）

軟件測試文檔模板

B.1軟件測試用例編寫模板

表B.1測試用例設(shè)計(jì)單

被測軟件版本測試用例名稱

測試用例標(biāo)識測試用例

用例設(shè)計(jì)方法用例屬性

用例初始化

前提與約束

終止條件

測試過程

序號輸入及操作說明期望測試結(jié)果實(shí)際測試結(jié)果

評估準(zhǔn)則

設(shè)計(jì)人員設(shè)計(jì)日期

執(zhí)行情況執(zhí)行結(jié)果問題標(biāo)識

測試人員測試監(jiān)督員測試執(zhí)行日期

模板說明：

19

T/CRSSXXXX—XXXX

a）測試用例名稱：測試用例名稱應(yīng)盡量體現(xiàn)該測試用例的核心意圖；在同一個測試點(diǎn)目中，測試

用例名稱必須唯一；

b）測試追蹤：相應(yīng)的測試點(diǎn)的標(biāo)識；

c）測試用例：簡要描述測試的對象、目的和所采用的測試方法；

d）測試用例設(shè)計(jì)方法：如等價類劃分、邊界值分析、猜錯法、因果圖、功能圖等；

e）用例屬性：對于測試軟件正常功能和接口的測試用例，填寫“正常”測試軟件異常功能和接口

的測試用例，填寫“異?！?；

f）測試用例初始化：包括軟件配置、測試配置（如測試工具、模擬系統(tǒng)等）、參數(shù)設(shè)置等的初始

化要求；

g）前提與約束：說明實(shí)施測試用例有關(guān)的硬件配置情況，例如測試環(huán)境中各設(shè)備連接情況、某個

設(shè)備的狀態(tài)設(shè)置情況等；

h）終止條件：說明測試用例的測試正常終止和異常終止條件；

i）輸入及操作說明：記錄測試執(zhí)行的輸入，包括：

1）測試輸入項(xiàng)的名稱、具體內(nèi)容（如確定的數(shù)值、狀態(tài)或信號等）、性質(zhì)（如有效值、無效

值、邊界值等；

2）測試輸入的來源（如：測試程序生成、磁盤文件讀取、網(wǎng)絡(luò)數(shù)據(jù)接收、人機(jī)交互界面輸入

等），以及真實(shí)的還是模擬的；

3）測試輸入的時間順序或事件順序。

j）評估準(zhǔn)則：對于功能性測試用例，評估準(zhǔn)則可填寫“與期望結(jié)果一致”；對于非功能性測試用

例，給出具體評估方法，例如：實(shí)際測試結(jié)果所需的精確度，允許的實(shí)際測試結(jié)果與期望結(jié)果之間差

異的上、下限，時間的最大或最小間隔，時間數(shù)目的最大或最小值等。

B.2軟件測試問題單模板

表B.2軟件問題報(bào)告單

項(xiàng)目

單編號

名稱

問題名稱

軟件

問題數(shù)目

版本

問題來源

需求問設(shè)計(jì)問文檔問編碼問數(shù)據(jù)問其它問

問題類型

題題題題題題

問題等級災(zāi)難問題嚴(yán)重問題一般問題改進(jìn)建議

問題描述

20

T/CRSSXXXX—XXXX

處理措施

開發(fā)意見

及簽字

簽字：年