軟件自動(dòng)化測試基礎(chǔ)

1、軟件自動(dòng)化測試基礎(chǔ)1 自動(dòng)化測試基礎(chǔ)2 軟件自動(dòng)化測試生存周期方法學(xué)3 軟件自動(dòng)化測試生存周期方法學(xué)的應(yīng)用4 軟件自動(dòng)化測試工具簡述本章教學(xué)目標(biāo)理論環(huán)節(jié)理論環(huán)節(jié)n認(rèn)識(shí)與理解應(yīng)用軟件自動(dòng)化測試的基本概念n認(rèn)識(shí)與理解軟件自動(dòng)化測試生存周期方法學(xué)及其應(yīng)用n認(rèn)識(shí)軟件自動(dòng)化測試工具與測試平臺(tái)的獲取及引入n常用軟件自動(dòng)化測試工具簡介實(shí)踐環(huán)節(jié)實(shí)踐環(huán)節(jié)n選定一個(gè)白盒自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí)n選定一個(gè)黑盒自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí)n選定一個(gè)負(fù)載自動(dòng)化測試工具，進(jìn)行初步學(xué)習(xí)和認(rèn)識(shí) 1 自動(dòng)化測試基礎(chǔ) 1.1 自動(dòng)化測試的意義 1.2 自動(dòng)化測試的定義和引入 1.3 自動(dòng)化測試的原理和方法 1.4

2、 自動(dòng)化測試工具的作用及優(yōu)勢 1.5 自動(dòng)化測試的運(yùn)用 1.1 自動(dòng)化測試的意義n通常，軟件測試的工作量很大（據(jù)統(tǒng)計(jì)，測試會(huì)占用到40%的開發(fā)時(shí)間；一些可靠性要求非常高的軟件，測試時(shí)間甚至占到開發(fā)時(shí)間的60%）。而測試中的許多操作是重復(fù)性的、非智力性的和非創(chuàng)造性的，并要求做準(zhǔn)確細(xì)致的工作，計(jì)算機(jī)就最適合于代替人工去完成這樣的任務(wù)。n軟件自動(dòng)化測試是相對手工測試而存在的，主要是通過所開發(fā)的軟件測試工具、腳本等來實(shí)現(xiàn)，具有良好的可操作性、可重復(fù)性和高效率等特點(diǎn)。n要理解為什么要進(jìn)行自動(dòng)化測試，可以從兩個(gè)方面考慮：一是手工測試的局限性；二是軟件自動(dòng)化測試所帶來的好處。手工測試的局限性n通過手工測試無

3、法做到覆蓋所有代碼路徑。n簡單的功能性測試用例在每一輪測試中都不能少，而且具有一定的機(jī)械性、重復(fù)性，工作量往往較大。n許多與時(shí)序、死鎖、資源沖突、多線程等有關(guān)的錯(cuò)誤，通過手工測試很難捕捉到。n進(jìn)行系統(tǒng)負(fù)載、性能測試時(shí)，需要模擬大量數(shù)據(jù)或大量并發(fā)用戶等各種應(yīng)用場合時(shí)，很難通過于工測試來進(jìn)行。n進(jìn)行系統(tǒng)可靠性測試時(shí)，需要模擬系統(tǒng)運(yùn)行10年、幾十年，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行，這也是手工測試無法模擬的。n如果有大量（幾千）的測試用例，需要在短時(shí)間內(nèi)（1天）完成，手工測試幾乎不可能做到。自動(dòng)化測試帶來的好處n縮短軟件開發(fā)測試周期，可以讓產(chǎn)品更快投放市場。n測試效率高，充分利用硬件資源。n節(jié)省人力資源，降低

4、測試成本。n增強(qiáng)測試的穩(wěn)定性和可靠性。n提高軟件測試的準(zhǔn)確度和精確度，增加軟件信任度。n軟件測試工具使測試工作相對比較容易，但能產(chǎn)生更高質(zhì)量的測試結(jié)果。n手工不能做的事情，自動(dòng)化測試能做，如負(fù)載、性能測試。 軟件測試實(shí)行自動(dòng)化進(jìn)程，絕不是因?yàn)閰挓┝酥貜?fù)的測試工作，而是因?yàn)闇y試工作的需要，更準(zhǔn)確地說是回歸測試和系統(tǒng)測試的需要。 1.2 自動(dòng)化測試的定義和引入n自動(dòng)化測試的定義：使用一種自動(dòng)化測試工具來驗(yàn)證各種軟件測試的需求，它包括測試活動(dòng)的管理與實(shí)施。n在進(jìn)行自動(dòng)化測試前，首先要建立一個(gè)對軟件測試自動(dòng)化的認(rèn)識(shí)觀。軟件測試工具能提高測試效率、覆蓋率和可靠性等，自動(dòng)化測試雖然具有很多優(yōu)點(diǎn)，但它只是測

5、試工作的一部分，是對手工測試的一種補(bǔ)充。自動(dòng)化測試絕不能代替手工測試，它們各有各自的特點(diǎn)，其測試對象和測試范圍都不一樣：在系統(tǒng)功能邏輯測試、驗(yàn)收測試、適用性測試、涉及物理交互性測試時(shí)，多采用黑盒測試的手工測試方法。自動(dòng)化測試的定義和引入（續(xù)）單元測試、集成測試、系統(tǒng)負(fù)載測試、性能測試、穩(wěn)定性測試、可靠性測試等比較適合采用自動(dòng)化測試。那種不穩(wěn)定軟件的測試、開發(fā)周期很短的軟件、一次性的軟件等不適合自動(dòng)化測試。工具本身并沒有想象力和靈活性，根據(jù)報(bào)道，自動(dòng)化測試只能發(fā)現(xiàn)15的缺陷，而手工測試可以發(fā)現(xiàn)85的缺陷。自動(dòng)化測試工具在進(jìn)行功能測試時(shí)，其準(zhǔn)確的含義是回歸測試工具，這時(shí)工具不能發(fā)現(xiàn)更多的新問題，但

6、可以保證對已經(jīng)測試過部分的準(zhǔn)確性和客觀性。 多數(shù)情況下，手工測試和自動(dòng)化測試應(yīng)該相結(jié)合，以最有效的方法來完成測試任務(wù)。自動(dòng)化測試的定義和引入（續(xù)）n通常，當(dāng)軟件開發(fā)過程具有下列情況時(shí)，就需要考慮引入自動(dòng)化測試： （1）非常重要的測試；（2）涉及范圍很廣的測試；（3）對主要功能的測試；（4）容易自動(dòng)化的測試；（5）很快有回報(bào)的測試；（6）運(yùn)行最頻繁的測試；（7）測試個(gè)案的生成，包括測試輸入、測試輸出、測試操作指令等；（8）測試的執(zhí)行與控制，包括單機(jī)運(yùn)行和網(wǎng)絡(luò)多機(jī)分布式的運(yùn)行，在節(jié)假日的運(yùn)行，測試個(gè)案調(diào)用控制，測試對象、測試范圍與測試版本的控制等；（9）測試結(jié)果與標(biāo)準(zhǔn)輸出進(jìn)行對比；（10）不吻合預(yù)

7、期的測試結(jié)果的分析、記錄、分類和報(bào)告，及總體測試狀況的統(tǒng)計(jì)及報(bào)表的產(chǎn)生。 1.3 自動(dòng)化測試的原理和方法n軟件測試自動(dòng)化實(shí)現(xiàn)的基礎(chǔ)是可以通過設(shè)計(jì)的特殊程序模擬測試人員對計(jì)算機(jī)的操作過程、操作行為，或者類似于編譯系統(tǒng)那樣對計(jì)算機(jī)程序進(jìn)行檢查。n軟件測試自動(dòng)化實(shí)現(xiàn)的原理和方法主要有：直接對代碼進(jìn)行靜態(tài)和動(dòng)態(tài)分析、測試過程的捕獲和回放、測試腳本技術(shù)、虛擬用戶技術(shù)和測試管理技術(shù)。（1）代碼分析 代碼分析類似于高級編譯系統(tǒng)，一般針對不同的高級語言去構(gòu)造分析工具，在工具中定義類、對象、函數(shù)、變量等定義規(guī)則、語法規(guī)則；在分析時(shí)對代碼進(jìn)行語法掃描，找出不符合編碼規(guī)范的地方；根據(jù)某種質(zhì)量模型評價(jià)代碼質(zhì)量，生成系

8、統(tǒng)的調(diào)用關(guān)系圖等。自動(dòng)化測試的原理和方法（續(xù)）（2）捕獲和回放 代碼分析是一種白盒測試的自動(dòng)化方法，捕獲和回放則是一種黑盒測試的自動(dòng)化方法。捕獲是將用戶每一步操作都記錄下來。這種記錄的方式有兩種：程序用戶界面的像素坐標(biāo)或程序顯示對象（窗口、按鈕、滾動(dòng)條等）的位置，以及相對應(yīng)的操作、狀態(tài)變化或是屬性變化。所有的記錄轉(zhuǎn)換為一種腳本語言所描述的過程，以模擬用戶的操作。 回放時(shí)，將腳本語言所描述的過程轉(zhuǎn)換為屏幕上的操作，然后將被測系統(tǒng)的輸出記錄下來同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較。這可以大大減輕黑盒測試的工作量，在迭代開發(fā)的過程中，能夠很好地進(jìn)行回歸測試。 自動(dòng)化測試的原理和方法（續(xù)）n關(guān)于自動(dòng)化測試中的“錄

9、制回放”技術(shù) 目前的自動(dòng)化負(fù)載測試解決方案幾乎都是采用 “錄制-回放”的技術(shù)。 所謂的“錄制-回放”技術(shù)，就是先由手工完成一遍需要測試的流程，同時(shí)由計(jì)算機(jī)記錄下這個(gè)流程期間客戶端和服務(wù)器端之間的通信信息，這些信息通常是一些協(xié)議和數(shù)據(jù)，并形成特定的腳本程序 (Script) 。然后在系統(tǒng)的統(tǒng)一管理下同時(shí)生成多個(gè)虛擬用戶，并運(yùn)行該腳本，監(jiān)控硬件和軟件平臺(tái)的性能，提供分析報(bào)告或相關(guān)資料。這樣，通過幾臺(tái)機(jī)器就可以模擬出成百上千的用戶對應(yīng)用系統(tǒng)進(jìn)行負(fù)載能力的測試。自動(dòng)化測試的原理和方法（續(xù)）（3）腳本技術(shù) 腳本是一組測試工具執(zhí)行的指令集合，也是計(jì)算機(jī)程序的一種形式。腳本可以通過錄制測試的操作產(chǎn)生，然后再

10、做修改，這樣可以減少腳本編程的工作量。當(dāng)然，也可以直接用腳本語言編寫腳本。腳本技術(shù)可以分為以下幾類：線性腳本是錄制手工執(zhí)行的測試用例得到的腳本。結(jié)構(gòu)化腳本類似于結(jié)構(gòu)化程序設(shè)計(jì)，具有各種邏輯結(jié)構(gòu)（順序、分支、循環(huán)），而且具有函數(shù)調(diào)用功能。共享腳本是指某個(gè)腳本可被多個(gè)測試用例使用，即腳本語言允許一個(gè)腳本調(diào)用另一個(gè)腳本。數(shù)據(jù)驅(qū)動(dòng)腳本將測試輸入存儲(chǔ)在獨(dú)立的數(shù)據(jù)文件中。關(guān)鍵字驅(qū)動(dòng)腳本是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)展。 1.4 自動(dòng)化測試工具的作用及優(yōu)勢n軟件測試自動(dòng)化通常借助測試工具進(jìn)行。測試工具可以進(jìn)行部分的測試設(shè)計(jì)、實(shí)現(xiàn)、執(zhí)行和比較的工作。部分的測試工具可以實(shí)現(xiàn)測試用例的自動(dòng)生成，但通常的工作方式為人工設(shè)計(jì)

11、測試用例，使用工具進(jìn)行用例的執(zhí)行和比較。如果采用自動(dòng)比較技術(shù)，還可以自動(dòng)完成測試用例執(zhí)行結(jié)果的判斷，從而避免人工比對存在的疏漏問題。 n自動(dòng)化測試工具的作用：（1）確定系統(tǒng)最優(yōu)的硬件配置。（2）檢查系統(tǒng)的可靠性。（3）檢查系統(tǒng)硬件和軟件的升級情況。（4）評估新產(chǎn)品。自動(dòng)化測試工具的作用及優(yōu)勢（續(xù)）n自動(dòng)化測試工具的優(yōu)勢主要體現(xiàn)在以下幾個(gè)方面：（1）記錄業(yè)務(wù)流程并生成腳本程序的能力。（2）對各種網(wǎng)絡(luò)設(shè)備（客戶機(jī)或服務(wù)器、其它網(wǎng)絡(luò)設(shè)備）的模仿能力。（3）用有限的資源生成高質(zhì)量虛擬用戶的能力。（4）對于整個(gè)軟件和硬件系統(tǒng)中各個(gè)部分的監(jiān)控能力。（5）對于測試結(jié)果的表現(xiàn)和分析能力。 1.5 自動(dòng)化測試的

12、運(yùn)用n測試用例（Test Case，測試個(gè)案）的生成n測試的執(zhí)行與控制n測試結(jié)果與標(biāo)準(zhǔn)輸出的對比n不吻合測試結(jié)果的分析處理n測試狀態(tài)的統(tǒng)計(jì)和報(bào)表的生成n自動(dòng)化測試與開發(fā)中產(chǎn)品每日構(gòu)建的配合n采用自動(dòng)化比較技術(shù) 2 軟件自動(dòng)化測試生存周期方法學(xué)自動(dòng)化測試生存自動(dòng)化測試生存周期方法學(xué)周期方法學(xué)1. 自動(dòng)化測試決定自動(dòng)化測試決定2. 測試工具獲取測試工具獲取3. 自動(dòng)化測試引入過程自動(dòng)化測試引入過程4. 測試計(jì)劃、設(shè)計(jì)與開發(fā)測試計(jì)劃、設(shè)計(jì)與開發(fā)5. 測試執(zhí)行與管理測試執(zhí)行與管理 測試評審與評估測試評審與評估圖 自動(dòng)化測試生存周期方法學(xué)結(jié)構(gòu) 軟件自動(dòng)化測試生存周期方法學(xué)（續(xù)）n采用自動(dòng)化測試方法的確認(rèn)

13、n自動(dòng)化測試工具的獲取n自動(dòng)化測試的引入階段 包括測試過程分析和測試工具的考查。n測試計(jì)劃與測試設(shè)計(jì) 包括制訂測試計(jì)劃、建立測試環(huán)境、測試設(shè)計(jì)和設(shè)計(jì)開發(fā)。n測試執(zhí)行與管理n測試活動(dòng)評審與評估 3 自動(dòng)化測試生存周期方法的應(yīng)用自動(dòng)化測試生自動(dòng)化測試生存周期方法學(xué)存周期方法學(xué)1. 自動(dòng)化測試決定自動(dòng)化測試決定2. 測試工具獲取測試工具獲取3. 自動(dòng)化測試引入過程自動(dòng)化測試引入過程4. 測試計(jì)劃、設(shè)計(jì)與開發(fā)測試計(jì)劃、設(shè)計(jì)與開發(fā)5. 測試執(zhí)行與管理測試執(zhí)行與管理 測試評審與評估測試評審與評估A. 系統(tǒng)生存周期過程評估與改進(jìn)系統(tǒng)生存周期過程評估與改進(jìn)F. 生成維護(hù)階段生成維護(hù)階段C. 小型工具先導(dǎo)小型工

14、具先導(dǎo)/原型原型D. 系統(tǒng)設(shè)計(jì)與開發(fā)階段系統(tǒng)設(shè)計(jì)與開發(fā)階段B. 業(yè)務(wù)分析與需求階段業(yè)務(wù)分析與需求階段E. 組裝與測試階段組裝與測試階段建立正確的自動(dòng)化測試目標(biāo) 目前，軟件自動(dòng)化測試還不能解決所有的測試問題，因此，需要建立正確的自動(dòng)化測試目標(biāo)。n測試計(jì)劃產(chǎn)生：主要靠測試工程師與軟件生產(chǎn)質(zhì)量保證 專家的合作，自動(dòng)化工具只能起到一定的輔助作用。n一種測試工具不完全適用于所有測試n自動(dòng)測試不一定減輕工作量n測試進(jìn)度可能不一定縮短n測試工具不一定易于使用n自動(dòng)化測試的普遍應(yīng)用存在局限n測試覆蓋率不會(huì)達(dá)到百分之百測試自動(dòng)化限制 測試自動(dòng)化可以帶來非常明顯的收益，但也有以下限制：n不能取代手工測試 n手工測

15、試比自動(dòng)測試發(fā)現(xiàn)的缺陷更多n對測試質(zhì)量的依賴性極大n測試自動(dòng)化不能提高有效性n測試自動(dòng)化可能會(huì)制約軟件開發(fā)。n工具本身并無想象力 另外，人工測試比測試工具更優(yōu)越的另一個(gè)方面是可以處理意外事件。雖然工具也能處理部分異常事件，但是對真正的突發(fā)事件和不能由軟件解決的問題就無能為力。測試工具存在的不足n不現(xiàn)實(shí)的期望過高n缺乏測試實(shí)踐經(jīng)驗(yàn)n期望自動(dòng)化測試工具完全能取代手工測試n期望自動(dòng)化測試發(fā)現(xiàn)新故障n安全性的誤解n測試自動(dòng)化不能提高有效性n測試工具本身不具想象力 4 軟件自動(dòng)化測試工具簡述 4.1 自動(dòng)化測試工具的特征 4.2 自動(dòng)化測試工具的分類 4.3 選擇自動(dòng)化測試工具 4.4 常用測試工具概要

16、 4.1 自動(dòng)化測試工具的特征n支持腳本化語言(Scripting Language)n對程序界面中對象的識(shí)別能力n支持函數(shù)的可重用n支持外部函數(shù)庫n抽象層將程序界面中的對象實(shí)體映射成邏輯對象n分布式測試(Distributed Test)的支持n支持?jǐn)?shù)據(jù)驅(qū)動(dòng)測試(Data-Driven Test)n錯(cuò)誤處理n調(diào)試器(Debugger)n源代碼管理n支持腳本的命令行(Command Line)方式 4.2 自動(dòng)化測試工具的分類測試工具可以從兩個(gè)不同的方面去分類。n根據(jù)測試方法不同，自動(dòng)化測試工具可以分為： 白盒測試工具、黑盒測試工具n根據(jù)測試的對象和目的，自動(dòng)化測試工具可以分為： 單元測試工具

17、、功能測試工具、負(fù)載測試工具、性能測試工具、Web測試工具、數(shù)據(jù)庫測試工具、回歸測試工具、嵌入式測試工具、頁面鏈接測試工具、測試設(shè)計(jì)與開發(fā)工具、測試執(zhí)行和評估工具、測試管理工具等白盒測試工具n白盒測試工具一般是針對被測源程序進(jìn)行的測試，測試所發(fā)現(xiàn)的故障可以定位到代碼級。根據(jù)測試工具工作原理的不同，白盒測試的自動(dòng)化工具可分為靜態(tài)測試工具和動(dòng)態(tài)測試工具。靜態(tài)測試工具是在不執(zhí)行程序的情況下，分析軟件的特性。靜態(tài)分析主要集中在需求文檔、設(shè)計(jì)文檔以及程序結(jié)構(gòu)方面。按照完成的職能不同，靜態(tài)測試工具包括以下幾種類型： (1)代碼審查 (2)一致性檢查 (3)錯(cuò)誤檢查 (4)接口分析 (5)輸入輸出規(guī)格說明分

18、析檢查 (6)數(shù)據(jù)流分析 (7)類型分析 (8)單元分析 (9)復(fù)雜度分析白盒測試工具（續(xù)）動(dòng)態(tài)測試工具是直接執(zhí)行被測程序以提供測試活動(dòng)。它需要實(shí)際運(yùn)行被測系統(tǒng)，并設(shè)置斷點(diǎn)，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測代碼，掌握斷點(diǎn)這一時(shí)刻程序運(yùn)行數(shù)據(jù)（對象屬性、變量的值等），具有功能確認(rèn)、接口測試、覆蓋率分析、性能分析等性能。動(dòng)態(tài)測試工具可以分為以下幾種類型： (1)功能確認(rèn)與接口測試 (2)覆蓋測試 (3)性能測試 (4)內(nèi)存分析 常用的動(dòng)態(tài)工具有： Compuware公司的DevPartner IBM公司的 Rational Purify黑盒測試工具n黑盒測試工具是在明確軟件產(chǎn)品應(yīng)具有的功能的條件下，完全不考慮被測程序的內(nèi)部結(jié)構(gòu)和內(nèi)部特性，通過測試來檢驗(yàn)軟件功能是否按照軟件需求規(guī)格的說明正常工作。n按照完成的職能不同，黑盒測試工具可以分為：功能測試工具用于檢測程序能否達(dá)到預(yù)期的功能要求并正常運(yùn)行。性能測試工具用于確定軟件和系統(tǒng)的性能。n常用的黑盒測試工具有： Compuware公司的QACenter IBM公司的Rational TeamTest 測試設(shè)計(jì)與開發(fā)工具n測試設(shè)計(jì)是說明被測軟件特征或特征組合的方法，并確定選