嵌入式軟件測試課件1

嵌入式軟件測試

第一部分軟件測試技術(shù)軟件測試技術(shù)—提要軟件測試基礎(chǔ)軟件測試的典型問題及對策嵌入式軟件測試級別及內(nèi)容軟件測試過程及管理概述—測試的定義由人工或自動(dòng)方法來執(zhí)行或評價(jià)系統(tǒng)或系統(tǒng)部件的過程，以驗(yàn)證它是否滿足規(guī)定的需求；或識別出期望的結(jié)果和實(shí)際結(jié)果之間有無差別。概述—測試的目的驗(yàn)證軟件是否滿足軟件開發(fā)合同或任務(wù)書、系統(tǒng)/子系統(tǒng)設(shè)計(jì)文檔、軟件需求規(guī)格說明和軟件設(shè)計(jì)說明所規(guī)定的軟件質(zhì)量特性要求；通過測試，發(fā)現(xiàn)軟件錯(cuò)誤；為軟件產(chǎn)品質(zhì)量的評價(jià)提供依據(jù)。概述—測試的地位有效的測試對于開發(fā)可靠、安全和成功的軟件是必須的測試不是“銀彈(silverbullet)”，它具有有效范圍，它不是其他軟件工程方法的替代品概述—測試的作用1證實(shí)給定的軟件滿足其規(guī)格說明測試公理不可能對程序進(jìn)行完全的測試局限無法確信規(guī)格說明100%正確無法確信可以達(dá)到100%足夠的軟件測試無法保證測試環(huán)境100%滿足測試要求概述—測試的作用2在給定的時(shí)限內(nèi)盡可能多的發(fā)現(xiàn)缺陷和隱患測試公理測試無法說明軟件沒有缺陷局限軟件質(zhì)量體現(xiàn)在多個(gè)方面，但首先要面對并必須解決的方面是軟件缺陷，在資源制約和技術(shù)限制的條件下，無法保證找到軟件中所有的缺陷概述—測試的作用3為軟件產(chǎn)品質(zhì)量的評價(jià)提供依據(jù)測試公理發(fā)現(xiàn)的問題越多,那里潛在的問題也更多局限不可能通過測試獲得100%的質(zhì)量信心無法確信測試系統(tǒng)(或環(huán)境)的正確性無法確信測試人員完全理解了軟件產(chǎn)品沒有足夠的資源徹底完成軟件測試概述—測試的發(fā)展歷程時(shí)間區(qū)間狀況-1956面向調(diào)試的階段1957-1978面向證實(shí)的階段1979-1982面向缺陷的階段1983-1987面向評價(jià)的階段1988-面向預(yù)防的階段概述—測試對象的特點(diǎn)軟件被廣泛應(yīng)用，承擔(dān)許多關(guān)鍵與核心任務(wù)軟件是被開發(fā)或設(shè)計(jì)的，包括維護(hù)階段軟件是邏輯產(chǎn)品，可視性低軟件是復(fù)雜的，輸入空間無限大，可執(zhí)行路徑特別多大多數(shù)軟件是定制的，可選標(biāo)準(zhǔn)構(gòu)件少概述—軟件的缺陷屬性無法提供無缺陷的軟件，缺陷已成為軟件的固有屬性和特征各種研究報(bào)告表明，每寫1000行代碼會產(chǎn)生30到85個(gè)缺陷大多數(shù)缺陷可通過測試捕獲在大量的已完成測試的軟件中，每1000行代碼仍存在0.5~3缺陷軟件缺陷有可能會給系統(tǒng)質(zhì)量尤其是可靠性帶來重大影響概述—缺陷與失效失誤(mistake)在軟件開發(fā)過程中軟件開發(fā)人員產(chǎn)生隱錯(cuò)／缺陷(bug/defect)在軟件產(chǎn)品中軟件中存在設(shè)計(jì)者的錯(cuò)誤行為(失誤)→導(dǎo)致軟件中留有錯(cuò)誤的設(shè)計(jì)(缺陷)→導(dǎo)致軟件錯(cuò)誤地執(zhí)行(故障)→導(dǎo)致軟件的錯(cuò)誤行為(失效)。故障(fault)在軟件運(yùn)行中缺陷被激活失效(failure)在運(yùn)行階段用戶的經(jīng)歷概述—缺陷過濾器容錯(cuò)(Defecttolerance)編譯失誤避錯(cuò)(Defectavoidance)排錯(cuò)(defectremoval)審查使用缺陷逃逸測試概述—缺陷解決策略避錯(cuò)(Defectavoidance)第一次就做正確排錯(cuò)(Defectremoval)早發(fā)現(xiàn),早實(shí)施容錯(cuò)(Defecttolerance)有缺陷，也能正確的完成任務(wù)恢復(fù)選用最佳恢復(fù)策略，失效后繼續(xù)工作概述—如何獲得高質(zhì)量軟件軟件質(zhì)量軟件工程方法正式技術(shù)評審度量與控制標(biāo)準(zhǔn)與過程測試SCM與SQA概述—驗(yàn)證與確認(rèn)驗(yàn)證與確認(rèn)是廣泛認(rèn)可的質(zhì)量保證方法和手段軟件測試是軟件驗(yàn)證與確認(rèn)的重要組成部分驗(yàn)證是指對某項(xiàng)規(guī)定活動(dòng)進(jìn)行檢查的過程，以確保該活動(dòng)實(shí)現(xiàn)了規(guī)定功能確認(rèn)是指審查已建立的軟件產(chǎn)品是否符合客戶需要的過程驗(yàn)證(Verification):

Arewebuildingtheproductright?確認(rèn)(Validation):

Arewebuildingtherightproduct?概述—測試與調(diào)試測試不是調(diào)試，調(diào)試也不是測試，實(shí)際工作中人們常將測試與調(diào)試混為一談主要區(qū)別：測試是一種檢驗(yàn)，調(diào)試是推理過程測試從已知條件開始，使用預(yù)先定義的規(guī)程并且有可預(yù)知的結(jié)果；調(diào)試的開始條件可能是不可知的，結(jié)果不可預(yù)見測試經(jīng)常由非程序設(shè)計(jì)人員完成，調(diào)試必須由程序設(shè)計(jì)者完成概述—嵌入式軟件執(zhí)行數(shù)據(jù)采集、控制等任務(wù)，邏輯復(fù)雜運(yùn)行在資源受限系統(tǒng)上系統(tǒng)構(gòu)成多樣化部署后不受人的控制修補(bǔ)困難多為實(shí)時(shí)系統(tǒng)多為關(guān)鍵系統(tǒng)既可能運(yùn)行在芯片上，也可能運(yùn)行與大型工業(yè)控制系統(tǒng)概述—嵌入式軟件測試對測試環(huán)境的要求高對專業(yè)測試的依賴程度高測試輸入和結(jié)果獲得需要專門的手段測試約束大軟件測試典型問題及對策軟件測試時(shí)機(jī)軟件測試層次軟件測試環(huán)境軟件測試管理軟件測試風(fēng)險(xiǎn)軟件測試復(fù)雜性軟件測試追溯性軟件測試終止準(zhǔn)則問題及對策—測試時(shí)機(jī)測試的時(shí)機(jī)問題代碼出來了，甚至系統(tǒng)實(shí)現(xiàn)了，才開始測試文檔開發(fā)滯后，更新不及時(shí)，追蹤性差系統(tǒng)狀態(tài)不穩(wěn)定，測試的效果無法體現(xiàn)主要對策在軟件開發(fā)過程中盡早開展軟件測試做好軟件設(shè)計(jì)評審和分析做好配置管理工作問題及對策—測試層次典型問題調(diào)試代替低層次測試，ATP代替高層次測試不測試無效和不期望的輸入不希望外部介入完全依賴外部測試主要對策開展第三方測試對開發(fā)過程中的測試提出明確要求問題及對策—測試環(huán)境典型問題過分關(guān)注測試執(zhí)行，而忽視測試設(shè)計(jì)期望自動(dòng)工具替代測試工程師期望靠測試自動(dòng)化節(jié)約測試成本期望靠測試自動(dòng)化改善測試質(zhì)量相信錄制/回放工具是萬能的主要對策先建立流程，再實(shí)現(xiàn)自動(dòng)化與實(shí)際需求相結(jié)合問題及對策—測試管理典型問題被測對象來自非受控渠道測試沒有文檔化的計(jì)劃、方案支持獨(dú)立測試組與開發(fā)組之間關(guān)系不協(xié)調(diào)主要對策建立測試過程，進(jìn)行測試項(xiàng)目策劃、跟蹤與控制，開展測試的質(zhì)量保證和配置管理將需求工程延伸到測試問題及對策—測試風(fēng)險(xiǎn)典型問題不使用風(fēng)險(xiǎn)分析技術(shù)，測試不關(guān)注風(fēng)險(xiǎn)開發(fā)時(shí)希望成關(guān)鍵，測試時(shí)希望成一般主要對策通過風(fēng)險(xiǎn)分析確定測試范圍、目標(biāo)和策略將測試作為一種高風(fēng)險(xiǎn)活動(dòng)進(jìn)行管理問題及對策—測試復(fù)雜性典型問題認(rèn)為測試工作很簡單，測試成為新程序員的過渡性工作/不合格程序員的歸宿認(rèn)為軟件測試太復(fù)雜，投入很大，做了但是沒有效果進(jìn)行無知的測試主要對策培訓(xùn)，指派有經(jīng)驗(yàn)、富有創(chuàng)造性的人員承擔(dān)測試采用適當(dāng)?shù)募夹g(shù)、有效的方法進(jìn)行測試設(shè)計(jì)完善動(dòng)態(tài)仿真環(huán)境，掌握測試工具問題及對策—測試追溯性典型問題軟件需求規(guī)格說明太簡單、過時(shí)即興測試不創(chuàng)建和維護(hù)測試文檔主要對策測試應(yīng)源于用戶需求維持完整的證據(jù)鏈進(jìn)行可重復(fù)和可再現(xiàn)的測試問題及對策—測試終止準(zhǔn)則典型問題測試組應(yīng)對保證質(zhì)量負(fù)責(zé)用發(fā)現(xiàn)缺陷數(shù)量評價(jià)測試業(yè)績測試到資源耗盡就結(jié)束主要對策明確定義測試結(jié)束的標(biāo)準(zhǔn)正確理解測試的作用和局限性提高和改善軟件設(shè)計(jì)質(zhì)量級別—測試策略SRDCUIVST系統(tǒng)工程單元測試編碼軟件需求分析設(shè)計(jì)集成測試配置項(xiàng)測試系統(tǒng)測試級別—為什么要分級別？與軟件開發(fā)過程相適應(yīng)為了說明軟件系統(tǒng)內(nèi)單元/部件的互操作性需要進(jìn)行三種基本的測試單獨(dú)單元/部件的測試測試單元/部件間互操作測試單元/部件結(jié)合成的軟件系統(tǒng)級別—單元測試的特點(diǎn)對象－模塊依據(jù)－軟件設(shè)計(jì)規(guī)格說明實(shí)現(xiàn)－串行或并行測試方法－白盒為主被測模塊測試用例結(jié)果測試工程師級別—單元測試內(nèi)容靜態(tài)測試代碼走查代碼檢查靜態(tài)分析動(dòng)態(tài)測試黑盒測試白盒測試基于數(shù)據(jù)結(jié)構(gòu)的測試級別—單元?jiǎng)討B(tài)測試焦點(diǎn)被測單元單元接口局部數(shù)據(jù)結(jié)構(gòu)邊界條件獨(dú)立執(zhí)行路徑錯(cuò)誤處理的路徑測試用例級別—單元?jiǎng)討B(tài)測試環(huán)境被測模塊驅(qū)動(dòng)模塊結(jié)果測試用例模塊接口局部數(shù)據(jù)結(jié)構(gòu)邊界條件獨(dú)立執(zhí)行路徑錯(cuò)誤處理的路徑樁1樁2樁n級別—單元測試工作產(chǎn)品單元測試計(jì)劃單元測試說明單元測試報(bào)告測試記錄問題報(bào)告與問題處理報(bào)告質(zhì)量記錄級別—集成測試集成測試的對象是軟件部件軟件部件由軟件單元組成集成測試前，部件中的所有單元必須已經(jīng)完成了單元測試級別—集成測試準(zhǔn)備要求的文檔可提交軟件概要設(shè)計(jì)說明軟件接口設(shè)計(jì)說明被集成的軟件單元已通過單元測試被測試構(gòu)件已納入配置管理中具備了滿足要求的集成測試環(huán)境和測試工具級別—集成測試內(nèi)容單元間的接口測試全局?jǐn)?shù)據(jù)結(jié)構(gòu)測試軟件功能模塊的功能測試性能測試邊界和人為條件下的性能級別—集成測試焦點(diǎn)重點(diǎn)尋找與下述內(nèi)容相關(guān)的缺陷軟件系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)和構(gòu)造在子系統(tǒng)層次上被集成的功能或操作組件/模塊之間的接口和相互作用資源集成環(huán)境集成級別—集成測試通過準(zhǔn)則單元間無錯(cuò)誤連接滿足各項(xiàng)功能、性能要求對錯(cuò)誤有正確的處理對測試中的異常有合理解釋接口正確級別—部件測試工作產(chǎn)品部件測試計(jì)劃部件測試說明部件測試報(bào)告測試記錄問題報(bào)告與問題處理報(bào)告質(zhì)量記錄級別—配置項(xiàng)測試概念配置項(xiàng)測試的對象是計(jì)算機(jī)軟件配置項(xiàng)（CSCI）計(jì)算機(jī)軟件配置項(xiàng)，是能夠被獨(dú)立地進(jìn)行配置管理的，并能夠滿足最終用戶功能的一組軟件級別—配置項(xiàng)測試的目的發(fā)現(xiàn)軟件配置項(xiàng)內(nèi)存在的缺陷和問題驗(yàn)證軟件配置項(xiàng)實(shí)現(xiàn)了所需的能力驗(yàn)證軟件是否按軟件需求規(guī)格說明書中確定的軟件功能、性能、質(zhì)量屬性、約束及限制等技術(shù)要求進(jìn)行工作檢驗(yàn)軟件配置項(xiàng)與相關(guān)的軟件/硬件配置項(xiàng)接口的正確性和互操作性級別—配置項(xiàng)測試依據(jù)測試要求任務(wù)書、合同、測試規(guī)范等對軟件測試有約束力的文件，規(guī)定了軟件測試的類型、程度、管理，等等被測對象的規(guī)格說明軟件需求規(guī)格說明書，等級別—配置項(xiàng)測試焦點(diǎn)功能(針對業(yè)務(wù)/任務(wù)需求，逐項(xiàng))接口(關(guān)注通信需求與手段)配置項(xiàng)級的性能(關(guān)注容量、余量、瓶頸)質(zhì)量屬性(關(guān)注質(zhì)量設(shè)計(jì)的實(shí)現(xiàn))設(shè)計(jì)約束(關(guān)注資源的利用率和余量)級別—配置項(xiàng)測試主要內(nèi)容功能測試性能測試接口測試容錯(cuò)測試安全性測試邊界測試安裝性測試文檔審查用戶操作特定條件下的行為與硬件配置項(xiàng)的集成與系統(tǒng)中其它軟件配置項(xiàng)的集成與協(xié)作級別—配置項(xiàng)測試環(huán)境要求配置項(xiàng)測試對測試環(huán)境的關(guān)注更關(guān)注環(huán)境的可控性，通常會在仿真或模擬環(huán)境下進(jìn)行，要求高度的可控性和盡量的真實(shí)性對侵入式測試方法的支持級別—配置項(xiàng)測試工作產(chǎn)品配置項(xiàng)測試計(jì)劃配置項(xiàng)測試說明配置項(xiàng)測試報(bào)告測試記錄問題報(bào)告與問題處理報(bào)告質(zhì)量記錄級別—系統(tǒng)測試概念軟件系統(tǒng)作為一個(gè)整體進(jìn)行測試，檢驗(yàn)系統(tǒng)各部分之間的協(xié)調(diào)情況，以證實(shí)在目標(biāo)環(huán)境下軟件完成了全部系統(tǒng)功能和性能。系統(tǒng)測試是一系列不同測試的組合，這些測試目的不同，但都是為了整個(gè)系統(tǒng)成分能正常地集成到一起并完成分配的功能。級別—系統(tǒng)測試的目的發(fā)現(xiàn)軟件系統(tǒng)范圍內(nèi)存在的缺陷和問題驗(yàn)證軟件系統(tǒng)實(shí)現(xiàn)了所需的能力驗(yàn)證軟件系統(tǒng)各部分之間的協(xié)調(diào)情況，以證實(shí)在目標(biāo)環(huán)境下軟件系統(tǒng)完成了軟件任務(wù)書或系統(tǒng)/子系統(tǒng)設(shè)計(jì)文檔規(guī)定的全部軟件需求檢驗(yàn)軟件系統(tǒng)能否與其他指定的系統(tǒng)成功地進(jìn)行協(xié)同操作級別—系統(tǒng)測試的依據(jù)測試要求任務(wù)書、合同、測試規(guī)范等對軟件測試有約束力的文件，規(guī)定了軟件測試的類型、程度、管理，等等被測對象的規(guī)格說明軟件研制任務(wù)書系統(tǒng)/子系統(tǒng)需求規(guī)格說明系統(tǒng)/子系統(tǒng)設(shè)計(jì)文檔，等級別—系統(tǒng)測試焦點(diǎn)功能(針對高級系統(tǒng)需求，強(qiáng)調(diào)完整的業(yè)務(wù)/任務(wù)場景)接口(關(guān)注與其他系統(tǒng)的協(xié)同操作)性能(關(guān)注總體性能和資源競爭)質(zhì)量屬性(關(guān)注因協(xié)同操作帶來的質(zhì)量屬性問題)級別—系統(tǒng)測試主要內(nèi)容功能測試性能測試接口測試容錯(cuò)測試安全性測試邊界測試容量測試強(qiáng)度測試安裝性測試文檔審查用戶操作特定條件下的行為軟件與硬件的集成與協(xié)作軟件與外部軟件和系統(tǒng)的集成系統(tǒng)可用性測試級別—系統(tǒng)測試環(huán)境要求系統(tǒng)測試對測試環(huán)境的關(guān)注更關(guān)注環(huán)境的真實(shí)性對于嵌入式軟件，軟件運(yùn)行環(huán)境較容易保證，但是通用測試工具環(huán)境缺乏對于非嵌入式系統(tǒng)，尤其是大型系統(tǒng)，軟件運(yùn)行環(huán)境較難保證，而通用測試工具環(huán)境豐富級別—系統(tǒng)測試工作產(chǎn)品系統(tǒng)測試計(jì)劃系統(tǒng)測試說明系統(tǒng)測試報(bào)告測試記錄問題報(bào)告與問題處理報(bào)告質(zhì)量記錄級別—回歸測試原因超過60%的對軟件系統(tǒng)的修改會無意中引入新的錯(cuò)誤每修改6行代碼就會引入一個(gè)新的錯(cuò)誤目標(biāo)檢驗(yàn)修改是否達(dá)到了預(yù)期的目的檢驗(yàn)是否損害了原有的正常功能，從而造成系統(tǒng)的回歸級別—回歸測試級別—回歸測試流程識別變更，進(jìn)行變更影響分析對原測試集進(jìn)行維護(hù)，生成新的測試集從測試集中選擇回歸測試包用選擇的測試包進(jìn)行回歸測試對回歸測試結(jié)果進(jìn)行分析并報(bào)告級別—回歸測試用例集再測試全部用例基于風(fēng)險(xiǎn)選擇測試基于操作剖面選擇測試再測試修改的部分防火墻內(nèi)再測試級別—更改的影響性分析通過跟蹤矩陣，確定缺陷更改關(guān)聯(lián)的范圍通過修改屬性(糾錯(cuò)、適用、需求)，確定受修改影響的范圍通過被修改工作產(chǎn)品內(nèi)部關(guān)系，保證修改的內(nèi)部一致性、正確性管理—典型測試過程測試要求測試策劃測試設(shè)計(jì)和實(shí)現(xiàn)測試執(zhí)行測試總結(jié)需求管理

策劃管理跟蹤與控制質(zhì)量保證

配置管理軟件測評項(xiàng)目管理

軟件測試過程管理—關(guān)于測試過程的說明過程和階段的設(shè)置與測試的組織形式有關(guān)獨(dú)立性測試組織的文化和成熟度在開發(fā)組織開展內(nèi)部測試時(shí)軟件測評項(xiàng)目管理應(yīng)與軟件開發(fā)管理活動(dòng)融合，如需求管理、項(xiàng)目策劃、項(xiàng)目監(jiān)督與控制、質(zhì)量保證、配置管理管理—測試策劃確定測試策略確定測試項(xiàng)確定測試方法確定測試工作產(chǎn)品確定資源要求確定人員要求工作量估算風(fēng)險(xiǎn)分析確定結(jié)束條件確定評價(jià)準(zhǔn)則和方法測試進(jìn)度規(guī)劃確定度量及采集要求管理—測試設(shè)計(jì)和實(shí)現(xiàn)分解測試項(xiàng)根據(jù)測試項(xiàng)特征，