探索式測(cè)試-江政為

StoneJiangExploratoryTesting

Agenda三種測(cè)試方法介紹產(chǎn)品質(zhì)量現(xiàn)狀探索式測(cè)試局部探索式測(cè)試全局探索式測(cè)試探索式測(cè)試與基與用例的ScriptedTesting探索式測(cè)試的適用時(shí)機(jī)探索式測(cè)試的優(yōu)缺點(diǎn)總結(jié)2金句良言寫出沒有錯(cuò)誤的程序有兩種途徑，可惜只有第三種才有用。

--艾倫.佩利（AlanJ.Perlis）

用戶購買功能的同時(shí)也在忍受缺陷。

--史考特-沃茲沃思（ScottWadsworth）客戶流失是有缺陷軟件的最主要的負(fù)面效應(yīng)。

--詹姆斯.惠特克（JamesA.Whittaker）

SeeingisnotBelieving,TestingisBelieving。

--無名氏

生命不息，測(cè)試不止。

--無名氏3手工測(cè)試ManualTesting優(yōu)點(diǎn)手腦并用，設(shè)計(jì)出符合軟件設(shè)計(jì)效果的真實(shí)場(chǎng)景。復(fù)雜的業(yè)務(wù)邏輯相關(guān)的缺陷，手工測(cè)試是最理想的選擇。發(fā)揮測(cè)試人員的主觀能動(dòng)積極性。缺點(diǎn)慢，對(duì)于復(fù)雜系統(tǒng)，需要大量人力和時(shí)間成本。不能反復(fù)使用。發(fā)現(xiàn)問題有時(shí)候很難重現(xiàn)，不能移植。4自動(dòng)化測(cè)試AutomaticTesting優(yōu)點(diǎn)提高測(cè)試效率，縮短測(cè)試的時(shí)間。能及時(shí)發(fā)現(xiàn)比較極端的問題，比如程序崩潰（Crash），死機(jī)（Hang）突發(fā)異常（Exception）?？梢詧?zhí)行一些手工測(cè)試難以模擬的多用戶，多文件等比較困難或者不可能進(jìn)行的測(cè)試。缺點(diǎn)版本經(jīng)常迭代，自動(dòng)化代碼需要經(jīng)常維護(hù)。業(yè)務(wù)邏輯極強(qiáng)的缺陷往往發(fā)現(xiàn)不了。測(cè)試腳本本身有存在一些缺陷，往往導(dǎo)致新的問題。5即興測(cè)試Ad-hocTesting特點(diǎn)臨時(shí)準(zhǔn)備的，隨機(jī)性太強(qiáng)。

針對(duì)一些重要功能的重復(fù)測(cè)試。

嚴(yán)重依賴測(cè)試人員的經(jīng)驗(yàn)，需要由具有豐富測(cè)試經(jīng)驗(yàn)進(jìn)行。

一般在軟件上線前期進(jìn)行。

Ad-hoc測(cè)試應(yīng)該嚴(yán)格控制，做有計(jì)劃的測(cè)試。

6產(chǎn)品質(zhì)量現(xiàn)狀無論使用手工測(cè)試，自動(dòng)化測(cè)試，Ad-hocTesting，還是其他的測(cè)試手段，也無論自動(dòng)化程度多高，即使是全部都自動(dòng)化，上線后的產(chǎn)品中依舊存在不少缺陷（業(yè)務(wù)邏輯上的+性能+UI等等），從而有可能導(dǎo)致客戶滿意度下降，甚至客戶流失。作為專業(yè)的測(cè)試人員，我們需要從測(cè)試的角度盡可能把缺陷排除在軟件測(cè)試開發(fā)周期之外，以便減少錯(cuò)誤并提高軟件質(zhì)量，持續(xù)改進(jìn)。7什么是探索式測(cè)試同時(shí)設(shè)計(jì)測(cè)試和執(zhí)行測(cè)試Scientific,Real-timeConsideration強(qiáng)調(diào)個(gè)人自由與責(zé)任的一種測(cè)試方法。測(cè)試結(jié)果、測(cè)試實(shí)例和測(cè)試文檔都會(huì)在運(yùn)行時(shí)創(chuàng)建。（截屏等）讓人腦不受各種條條框框約束，發(fā)揮智慧，把精力完全集中在發(fā)現(xiàn)缺陷和驗(yàn)證軟件功能上。探索式測(cè)試最適用于使用“敏捷開發(fā)（Agile）”的web應(yīng)用程序上。這種程序開發(fā)周期短，功能變化快。8探索式測(cè)試目的理解應(yīng)用程序工作，他的接口看起來怎樣，它實(shí)現(xiàn)了那些功能

強(qiáng)迫軟件展示其全部能力。

找到缺陷探索應(yīng)用程序各種復(fù)雜情況，發(fā)現(xiàn)潛在問題。探索性測(cè)試人員不應(yīng)該只是簡單地發(fā)現(xiàn)缺陷，而應(yīng)該有目的地降低缺陷數(shù)量。

9探索式測(cè)試之局部探索式測(cè)試當(dāng)一個(gè)測(cè)試人員面對(duì)一個(gè)網(wǎng)頁、一個(gè)對(duì)話框等，他往往需要一些很明確的建議指導(dǎo)他如何進(jìn)行處理這種狀況，問題是在需要面臨一系列這樣“小”的決定的時(shí)候，往往不知所措。針對(duì)測(cè)試人員運(yùn)行測(cè)試用例需要做出很多細(xì)微的戰(zhàn)術(shù)層面決定，局部探索式測(cè)試方法提高有效的指導(dǎo)意見。局部探索式測(cè)試試圖把制定計(jì)劃，進(jìn)行測(cè)試，重新修訂計(jì)劃等多個(gè)過程有機(jī)結(jié)合在一起，幫助測(cè)試人員合理高效完成決定，提升軟件測(cè)試效率，提高軟件質(zhì)量。10局部探索性測(cè)試測(cè)試人員各種“決定”起決于應(yīng)用程序的5個(gè)屬性用戶輸入input狀態(tài)state代碼路徑codepath用戶數(shù)據(jù)userdata執(zhí)行環(huán)境executionenvironment11局部探索性測(cè)試-用戶輸入Input用戶輸入會(huì)執(zhí)行四項(xiàng)基本任務(wù)接受輸入、產(chǎn)生輸出、存儲(chǔ)數(shù)據(jù)和進(jìn)行運(yùn)算。合法輸入和非法輸入，通常非法輸入，會(huì)有一段錯(cuò)誤處理（error-handling）。三種方式定義錯(cuò)誤處理輸入篩選器--非法輸入值擋在應(yīng)用程序之外。比如某面板只能接受正整數(shù)，比如下拉列表框功能是否實(shí)現(xiàn)，非法值不能歸類合法值，合法輸入不能歸于非法能不能繞過屏蔽器，比如鐵路訂票網(wǎng)站可以選上中下鋪，檢查輸入--通常會(huì)通過類似IF、THEN、ELSE結(jié)構(gòu)語句（或者CASE、SELECT或者查找表）來實(shí)現(xiàn)。非法產(chǎn)生錯(cuò)誤消息并中止運(yùn)行。仔細(xì)閱讀每一條錯(cuò)誤信息，從錯(cuò)誤消息中獲取導(dǎo)致應(yīng)用軟件失效的種種條件使用異常--把整個(gè)例程當(dāng)做一個(gè)整體開發(fā)，檢測(cè)每一個(gè)發(fā)生的錯(cuò)誤。如果測(cè)試發(fā)現(xiàn)空泛的信息，通常我們需要反復(fù)測(cè)試同一個(gè)函數(shù)，稍加修改剛剛使用的數(shù)據(jù)，測(cè)試軟件失效情況。12局部探索性測(cè)試-用戶輸入Input常規(guī)輸入還是非常規(guī)輸入特殊語言字符，國家化語言測(cè)試（安裝語言包和字體等）特殊平臺(tái)字符，windows設(shè)備名COM1，AUX等計(jì)算機(jī)鍵盤上的CtrlAltEsc默認(rèn)輸入還是用戶提供的輸入空白值的處理默認(rèn)值的測(cè)試，默認(rèn)值本身是否合理，默認(rèn)值關(guān)聯(lián)功能是否正確實(shí)現(xiàn)。比如默認(rèn)顯示過去1到18月數(shù)據(jù)，打印是否也是同樣的數(shù)據(jù)。。使用輸出來指導(dǎo)輸入選擇明確自己希望軟件產(chǎn)生的預(yù)期結(jié)果，然后選擇哪些輸入會(huì)引發(fā)相應(yīng)的輸出，在測(cè)試中使用這些值。觀察輸出結(jié)果，在選擇新的輸入和輸出。在CC2中我們要經(jīng)常使用mofidy來判斷系統(tǒng)功能實(shí)現(xiàn)的完整性。13局部探索性測(cè)試-狀態(tài)（State）軟件接受到輸入，內(nèi)部存儲(chǔ)后，軟件狀態(tài)會(huì)發(fā)生改變。

狀態(tài)可以是臨時(shí)的temporary，程序終止，狀態(tài)被忘卻了。比如導(dǎo)入結(jié)構(gòu)錯(cuò)誤的文件。

狀態(tài)也可以長期保存（Persistent），存儲(chǔ)在數(shù)據(jù)庫里或者某一個(gè)文件內(nèi)，程序?qū)磉\(yùn)行的時(shí)候可以存取這個(gè)值。

輸入和狀態(tài)之間的關(guān)系相當(dāng)關(guān)鍵，是測(cè)試的一個(gè)難點(diǎn)。使用狀態(tài)信息來幫助尋找相關(guān)的輸入，相關(guān)聯(lián)的組合放在一起測(cè)試，以確保所有重要的情況和變化都有被測(cè)試到。例如折扣卷不能用于打折的商品。

使用狀態(tài)信息來辨識(shí)重要的輸入序列。當(dāng)輸入一個(gè)導(dǎo)致狀態(tài)信息被更新時(shí)，多次使用相同的輸入會(huì)導(dǎo)致一連串的變化。比如連續(xù)打印局部探索性測(cè)試-代碼路徑程序會(huì)根據(jù)代碼規(guī)定的邏輯一行又一行的執(zhí)行下去測(cè)試人員需要知道程序里可能有哪些分支，理解哪些輸入會(huì)導(dǎo)致軟件走這一個(gè)分支而不是另一條。循環(huán)語句導(dǎo)致代碼路徑的總數(shù)變得無窮大，通常循環(huán)條件的取值跟用戶輸入相關(guān)。比如用戶網(wǎng)購，用戶決定終止向購物車添加新的商品，當(dāng)前代碼離開購物的循環(huán)，進(jìn)入結(jié)賬的代碼。15局部探索性測(cè)試-用戶數(shù)據(jù)（UserData）模擬軟件真實(shí)用戶的數(shù)據(jù)出乎意料的困難真實(shí)用戶數(shù)據(jù)庫中數(shù)據(jù)都是不斷更新，常年累月積累下來的。測(cè)試在有限的時(shí)間內(nèi)制造大量的數(shù)據(jù)。真實(shí)用戶的數(shù)據(jù)可能還包含測(cè)試人員不了解的關(guān)系和結(jié)構(gòu)，有些數(shù)據(jù)在測(cè)試環(huán)境正常，換到真實(shí)用戶數(shù)據(jù)，軟件就會(huì)失效。測(cè)試人員同樣要關(guān)注PII(Personalidentifiableinformation)，謹(jǐn)慎處理真實(shí)用戶的敏感數(shù)據(jù)。16局部探索性測(cè)試-執(zhí)行環(huán)境（ExecutionEnvironment）環(huán)境本身就是一種輸入，同樣的測(cè)試用例在PC1上很好，換一臺(tái)PC就沒法正常運(yùn)行。測(cè)試人員在產(chǎn)品發(fā)布之前必須盡量嘗試各種各樣的測(cè)試環(huán)境。CC2目前有瀏覽器和OS兼容性測(cè)試。有部分韓文，中國字符，日文的打印支持。17探索式測(cè)試之全局探索式測(cè)試法針對(duì)測(cè)試人員編制測(cè)試計(jì)劃和測(cè)試用例設(shè)計(jì)需要考慮的哪些廣泛性的戰(zhàn)略性的問題，全局探索式測(cè)試方法將提供一些指導(dǎo)建議。

探索式測(cè)試人員在實(shí)際開始測(cè)試之前，需要建立起一個(gè)全局目標(biāo)，用于指導(dǎo)測(cè)試過程。惠特克Whittaker引進(jìn)了旅游類比法，提出“漫游測(cè)試法”。18全局探索式測(cè)試法19ScriptedTestVSExploratoryTesting手工測(cè)試和自動(dòng)化測(cè)試都是基于TestCase來展開的從測(cè)試用例的角度來看ScriptedTest和ExploratoryTesting20STET測(cè)試與測(cè)試用例的關(guān)系測(cè)試用例在之前就設(shè)計(jì)和記錄好，過后再測(cè)試執(zhí)行或被其他測(cè)試人員執(zhí)行測(cè)試設(shè)計(jì)和執(zhí)行時(shí)在同一時(shí)間完成，而且他們不是必須記錄下來，但也有可能與測(cè)試執(zhí)行的關(guān)系可以控制測(cè)試執(zhí)行可以提升測(cè)試設(shè)計(jì)過程的交互性就像做個(gè)已準(zhǔn)備好的演講，由之前想好的想法引導(dǎo)著就像一個(gè)對(duì)話，是自動(dòng)向?qū)У奶剿魇綔y(cè)試的適用時(shí)機(jī)當(dāng)測(cè)試者是新手，可以一邊訓(xùn)練一邊測(cè)試（要安排明確的計(jì)劃）需要快速的對(duì)程序進(jìn)行評(píng)估在傳統(tǒng)的測(cè)試腳本（TestScript）中發(fā)現(xiàn)新的問題需要快速驗(yàn)證當(dāng)有需要去確認(rèn)另一位測(cè)試者的工作狀況當(dāng)團(tuán)隊(duì)內(nèi)有熟悉相關(guān)領(lǐng)域知識(shí)（DomainKnowledge）的測(cè)試者當(dāng)需要做煙霧測(cè)試當(dāng)程序設(shè)計(jì)完后并沒有預(yù)先規(guī)劃并準(zhǔn)備好測(cè)試腳本當(dāng)專案使用敏捷軟件開發(fā)專案很復(fù)雜并且難以了解當(dāng)測(cè)試者并沒有權(quán)限去創(chuàng)建測(cè)試案例當(dāng)想要針對(duì)某個(gè)程序錯(cuò)誤進(jìn)行深入調(diào)查當(dāng)專案尚未穩(wěn)定到可以執(zhí)行腳本測(cè)試（ScriptTest）當(dāng)想要擴(kuò)大腳本測(cè)試的多樣性時(shí)21探索式測(cè)試的優(yōu)點(diǎn)鼓勵(lì)測(cè)試人員的創(chuàng)造性。增加機(jī)會(huì)找到新的、未知的難以發(fā)現(xiàn)的缺陷。允許測(cè)試者花較多的時(shí)間去測(cè)試感興趣的或復(fù)雜的用例。可較快速的對(duì)受測(cè)的系統(tǒng)做出快速的評(píng)量。可讓你知道系統(tǒng)是否容易使用?？勺兺ǖ模袕椥缘摹Ｋ饶_本測(cè)試有趣，因?yàn)樗粫?huì)一成不變。我們不用花很多時(shí)間在編寫那些簡單和繁瑣的測(cè)試用例。它可以促使測(cè)試人員快速的學(xué)習(xí)一個(gè)產(chǎn)品。它可以檢查其他測(cè)試人員的測(cè)試工作。22探索式測(cè)試的局限不容易被協(xié)調(diào)及調(diào)整。無法對(duì)系統(tǒng)作全面性的測(cè)試。提供有限的測(cè)試可信度。非常的依靠測(cè)試者的領(lǐng)域知識(shí)（domainknowledge）以及技術(shù)。無法