軟件測試-朱少民.ppt

軟件測試 教學(xué)要點 思考和分享 朱少民 軟件測試 課程的思考 如何定位軟件測試課程 更完整地認(rèn)識軟件測試 有哪些新方法和技術(shù) 如何規(guī)劃 組織實驗課 如何提高該課程的學(xué)習(xí)興趣 其它教學(xué)對策 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 軟件測試的位置 軟件測試的位置 覆蓋軟件開發(fā)全過程 測試 開發(fā)的同步關(guān)系 軟件測試的地位 軟件研發(fā)隊伍中主要有開發(fā)人員和測試人員 而項目經(jīng)理 軟件配置等方面人員很少 2 11 11 21 10 QA DEV 軟件測試概念的演化 1979年 GlenfordMyers的 軟件測試藝術(shù) 的定義 測試是為發(fā)現(xiàn)錯誤而執(zhí)行的一個程序或者系統(tǒng)的過程 1983年 BillHetzel在 軟件測試完全指南 中指出 測試是以評價一個程序或者系統(tǒng)屬性為目標(biāo)的任何一種活動 測試是對軟件質(zhì)量的度量 Rick和Stefan在 系統(tǒng)的軟件測試 一書中對軟件測試的定義 測試是為了度量和提高被測軟件的質(zhì)量 對測試軟件進行工程設(shè)計 實施和維護的整個生命周期過程 狹義觀點vs 廣義觀點 狹義觀點G J Myers所給出了測試定義 程序測試是為了發(fā)現(xiàn)錯誤而執(zhí)行程序的過程 瀑布模型廣義觀點將測試延伸到需求評審 設(shè)計審查活動中去 由靜態(tài)測試和動態(tài)測試構(gòu)成一個全過程的 完整的軟件測試 辯證觀點 驗證軟件是 工作的 以正向思維 針對軟件系統(tǒng)的所有功能點 逐個驗證其正確性 證明軟件是 不工作的 以反向思維方式 不斷思考開發(fā)人員理解的誤區(qū) 不良的習(xí)慣 程序代碼的邊界 無效數(shù)據(jù)的輸入以及系統(tǒng)的弱點 試圖破壞系統(tǒng) 摧毀系統(tǒng) 目標(biāo)就是發(fā)現(xiàn)系統(tǒng)中各種各樣的問題 軟件測試的其它觀點 風(fēng)險觀點 軟件測試是對軟件系統(tǒng)中潛在的各種風(fēng)險進行評估的活經(jīng)濟學(xué)觀點 一個好的測試用例是在于它能發(fā)現(xiàn)至今未發(fā)現(xiàn)的錯誤 缺陷發(fā)現(xiàn)得越早 所造成得代價就越低 這就是從經(jīng)濟學(xué)的觀點來說明測試越早越好 標(biāo)準(zhǔn)觀點 軟件測試就是 驗證 Verification 和 有效性確認(rèn) Validation 活動構(gòu)成的整體 即軟件測試 V V 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 軟件測試的關(guān)鍵字 缺陷 指導(dǎo) 軟件 測試 階段 管理 思想 質(zhì)量 用例 方法 目標(biāo) 源泉 確定 尋求 設(shè)計 發(fā)現(xiàn) 實施 清除 軟件測試的全景圖 質(zhì)量 高質(zhì)量的軟件 應(yīng)該是相對的無產(chǎn)品缺陷 BugFree 或只有極少量的缺陷 滿足客戶需求的 是可維護的 而且它能夠準(zhǔn)時交給用戶 其費用是在預(yù)算內(nèi)的 但是 有關(guān)質(zhì)量的好壞最終評價依賴于用戶的反饋 產(chǎn)品質(zhì)量 過程質(zhì)量 軟件產(chǎn)品質(zhì)量的需求 功能性需求PRD MRD UIMock up FunctionalSpec也可稱為可說明性非功能性需求性能 安全性 可用性 兼容性 可靠性 易用性 可達(dá)性 Accessibility 等 測試目標(biāo) 質(zhì)量需求 可靠性測試可用性測試兼容性測試安裝測試恢復(fù)測試安全性測試性能測試功能測試國際化測試本地化測試 SaaS的非功能性測試 性能要求 系統(tǒng)響應(yīng)能力 可用性 7x24不間斷服務(wù)可伸縮性 系統(tǒng)容量擴充能力 使系統(tǒng)可以支持來自擴大用戶群體的額外負(fù)載 安全性要求 確定可能潛在的安全威脅并找到處理策略 可維護性要求 對部署系統(tǒng)進行維護的難易程度 可維護性與可用性之間關(guān)系密切 故障轉(zhuǎn)移 數(shù)據(jù)庫A 故障轉(zhuǎn)移 負(fù)載平衡器 Web服務(wù)器A 應(yīng)用服務(wù)器A 數(shù)據(jù)庫B Web服務(wù)器B 應(yīng)用服務(wù)器B 故障轉(zhuǎn)移 數(shù)據(jù)庫A 故障轉(zhuǎn)移 負(fù)載平衡器 Web服務(wù)器A 應(yīng)用服務(wù)器A 數(shù)據(jù)庫B Web服務(wù)器B 應(yīng)用服務(wù)器B X X 性能測試 壓力測試與負(fù)載測試 系統(tǒng)性能的改善是測試 調(diào)整 再測試 再調(diào)整 一個持續(xù)改進的過程 性能調(diào)優(yōu)性能調(diào)優(yōu)需要借助負(fù)載測試方法的幫助負(fù)載測試和性能測試有較多相似之處 例如 測試方法比較接近 都關(guān)注系統(tǒng)的性能 而且多數(shù)情況下使用相同的測試工具負(fù)載測試可以看作是性能測試所采用的一種技術(shù)壓力測試可以被看作是負(fù)載測試的一種 即高負(fù)載下的負(fù)載測試容量測試也采用負(fù)載測試技術(shù)來實現(xiàn) 辨別 負(fù)載測試過程 確定所要模擬的角色及其對應(yīng)的關(guān)鍵業(yè)務(wù)操作路徑 確定輸入 輸出參數(shù) 制定負(fù)載測試方案 準(zhǔn)備測試環(huán)境 并完成相應(yīng)的測試腳本的開發(fā) 設(shè)計具體的測試場景 如負(fù)載水平 加載方式等 執(zhí)行測試 監(jiān)控輸出參數(shù) 如數(shù)據(jù)吞吐量 響應(yīng)時間 資源占有率等 對測試結(jié)果進行分析 結(jié)果不滿意 需要調(diào)整測試場景 進入下一個循環(huán) 性能測試 性能指標(biāo)關(guān)鍵業(yè)務(wù)負(fù)載模式最大負(fù)載量測試環(huán)境結(jié)果分析 場景設(shè)置 啟動 Rampup 持續(xù)期間 Duration 結(jié)束 Rampdown 在性能測試執(zhí)行前 以什么樣方式啟動負(fù)載方式 如何持續(xù)進行負(fù)載測試直至負(fù)載測試結(jié)束 這個過程的負(fù)載大小和方式 負(fù)載啟動和結(jié)束以及各種檢查點 驗證點等設(shè)計 被稱為場景設(shè)置 遞增恒值動態(tài)隊列 負(fù)載測試執(zhí)行 大量的虛擬用戶要運行在多個客戶端 并由控制器管理 代理 agent 驅(qū)動負(fù)載測試的執(zhí)行 需要針對不同維度的變化進行 包括時間維 負(fù)載維和系統(tǒng)維監(jiān)控 詳細(xì)的記錄和適當(dāng)?shù)姆治鍪鞘种匾?時間維 嘗試觀察系統(tǒng)在一段較長時間上的行為變化負(fù)載維 嘗試在系統(tǒng)上改變負(fù)載來進行對比分析系統(tǒng)維 負(fù)載測試也可以針系統(tǒng)的不同組件 不同配置等進行 負(fù)載測試執(zhí)行環(huán)境 結(jié)果分析 要善于捕捉被監(jiān)控的數(shù)據(jù)曲線發(fā)生突變的地方 拐點 安全性測試 跨站點腳本 cross sitescripting XSS 攻擊SQL注入式漏洞緩沖區(qū)溢出不安全的數(shù)據(jù)存儲或傳遞不安全的配置管理有問題的訪問控制 權(quán)限分配有問題口令設(shè)置不嚴(yán) 包括長度 構(gòu)成和更新頻率暴露的端口或入口 軟件安全性測試就是檢驗系統(tǒng)權(quán)限設(shè)置有效性 防范非法入侵的能力 數(shù)據(jù)備份和恢復(fù)能力等 設(shè)法找出上述各種安全性漏洞 Hot 測試方法 單因素 多因素 確定等價類的示例 在規(guī)定了輸入數(shù)據(jù)的一組值 假定n個 并且程序要對每一個輸入值分別處理的情況下 可確立n個有效等價類和一個無效等價類 個人月收入稅率x10160045 邊界值 全選 只選一個 一個都不選 邊界值實例 字符編輯域 DefaultEmptyBlankNullZeroNone 測試用例 測試執(zhí)行測試數(shù)據(jù)測試環(huán)境測試套件測試腳本測試工具手工測試自動化測試 重點 如何設(shè)計測試用例 需求 測試用例 方法 測試用例設(shè)計 全面理解功能特性客戶需求導(dǎo)向的思維方式白盒方法和黑盒方法用例工作流圖 數(shù)據(jù)流圖 UMLcharts負(fù)面測試 測試用例框架的構(gòu)成 更有效 有序地組織測試 測試套件 測試計劃 手工測試 發(fā)現(xiàn)缺陷率高容易實施創(chuàng)造性 靈活性覆蓋率量化困難重復(fù)測試效率低不一致性 可靠性低依賴人力資源 高效率 速度 高復(fù)用性覆蓋率容易度量準(zhǔn)確 可靠不知疲勞激勵團隊士氣機械 難以發(fā)現(xiàn)缺陷一次性投入大 手工測試vs 自動測試 兩者相互補充 在系統(tǒng)功能邏輯測試 驗收測試 適用性測試 涉及交互性測試時 多采用手工測試方法 單元測試 集成測試 系統(tǒng)負(fù)載或性能 可靠性測試等比較適合采用TA 對那種不穩(wěn)定 開發(fā)周期短或一次性的軟件等不適合TA工具本身缺乏想象力和創(chuàng)造性 自動測試只能發(fā)現(xiàn)15 的缺陷 而手工測試可以發(fā)現(xiàn)85 的缺陷 缺陷 缺陷報告缺陷生命周期缺陷跟蹤趨勢分析分布分析缺陷清除率質(zhì)量評估缺陷預(yù)防 缺陷生命周期 創(chuàng)建 激活狀態(tài) SendemailtoDEV 是否清楚 可再現(xiàn) 已處理狀態(tài) 已修正狀態(tài) SendemailtoQA 不能再現(xiàn)缺少信息 缺陷評審 關(guān)閉狀態(tài) 延期 增強設(shè)計 無法解決 需要處理 驗證是否通過 Unittest codereviewCheckinCVS No No 下一個版本 Yes Yes 實例 OpenabugDevchecksmail ReviewbugDuplicatethebugDebugCheckoutcodeFixbugCodeReviewUnittest CheckincodeBuildapackageUploadpackageInstallation configurationVerifyfixedbugsChangebugstatustoclose 14Steps start end 測試思想 質(zhì)量文化客戶需求質(zhì)量保證測試現(xiàn)實測試原則測試驅(qū)動成熟度模型 測試現(xiàn)實和原則 測試現(xiàn)實是從事測試活動所面對的客觀條件或限制 諸如 測試覆蓋程度能否達(dá)到100 以及人員 設(shè)備 時間等限制 軟件測試原則是測試過程中所時時應(yīng)該注意與遵循的觀念或指導(dǎo)性意見 統(tǒng)馭測試方法 是重中之重 例如 站在用戶角度 全面測試 盡早 盡可能多的發(fā)現(xiàn)軟件缺陷 測試管理 測試策略測試風(fēng)險資源進度測試計劃實驗室測試團隊測試覆蓋測試報告與模板 測試計劃的內(nèi)容 確認(rèn)測試目標(biāo) 范圍和需求識別測試風(fēng)險 制訂相應(yīng)的測試策略對測試任務(wù)和工作量進行估算確定所需的時間和資源進度安排和資源分派 包括團隊角色 責(zé)任和培訓(xùn)測試階段劃分 包括階段性任務(wù)和成果跟蹤和控制機制 核心 首先確立測試范圍 優(yōu)先級最高的需求功能新功能和改動較大的舊功能運用有效的測試技術(shù)去提高測試效果經(jīng)常容易出現(xiàn)問題部分的功能一些經(jīng)常被用戶使用的功能和配置 測試策略 問題或風(fēng)險在哪里 影響因素已有的測試方法等軟件測試策略的確定體現(xiàn)在測試計劃 軟件測試策略在一定的軟件測試標(biāo)準(zhǔn) 測試規(guī)范的指導(dǎo)下 依據(jù)測試項目的特定環(huán)境約束而規(guī)定的軟件測試的原則 方式 方法的集合 制定測試策略 全面細(xì)致地了解產(chǎn)品的項目信息分析各個因素對產(chǎn)品的影響確定測試范圍 等級和測試重點使用盡可能少的有效測試用例 發(fā)現(xiàn)盡可能多的缺陷測試既不能失敗 不足 也不能過度 而是尋求一個最佳平衡點 測試風(fēng)險 需求變更 測試人員 環(huán)境 技術(shù) 工具 廣度 深度風(fēng)險評估與控制尋找緩解風(fēng)險的策略體現(xiàn)在測試計劃中在測試過程中進行監(jiān)控和處理 測試風(fēng)險是不可避免的 測試總是有風(fēng)險的 因此對系統(tǒng)中潛在的各種風(fēng)險進行評估分析與管理是必不可少的活動 問題 測試階段有哪兩種劃分 測試階段 需求審查設(shè)計審查單元測試集成測試系統(tǒng)測試驗收測試 測試回歸測試冒煙測試 軟件測試全過程 2 軟件測試全過程 3 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 開源的功能測試工具 Selenium http seleniumhq org AutoIT 開源性能測試工具 JMeter http jakarta apache org jmeter Siege http www joedog org JoeDog Siege 是一個開源的Web壓力測試和評測工具 OpenSTA 可以模擬大量的虛擬用戶來完成性能測試 并通過scr pt來完成豐富的自定義設(shè)置 詳見http portal opensta org index php DBMonster是一個生成隨機數(shù)據(jù) 用來測試SQL數(shù)據(jù)庫的壓力測試工具 詳見http dbmonster kernelpanic pl LoadSim 網(wǎng)絡(luò)應(yīng)用程序的負(fù)載模擬器 更多的性能測試工具 可訪問http www opensourcetesting org performance php JMeter 開源的安全性測試工具 Burpsuite是一個可以用于攻擊Web應(yīng)用程序的集成平臺Nikto是開源的Web服務(wù)器掃描程序 Parosproxy是基于Java的web代理程序 可以評估Web應(yīng)用程序的漏洞 TamperIE是一個小巧的XSS漏洞檢測輔助工具Tripwire是一款最為常用的開放源碼的完整性檢查工具Wapiti由Python編寫的 直接對網(wǎng)頁進行掃描WebScarab分析HTTP HTTPS進行通信的應(yīng)用程序Whisker是使用LibWhisker的掃描程序 適合于HTTP測試Wikto可以檢查Web服務(wù)器中的漏洞 和Nikto比較接近 網(wǎng)絡(luò)監(jiān)控工具Nessus Ethereal Wireshark Snort Switzerland和Netcat 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 敏捷測試 agiletest 64 基于模型的測試 65 被測系統(tǒng)可以通過模型來描述模型包括開始狀態(tài) 轉(zhuǎn)換和結(jié)束狀態(tài)擴展有限狀態(tài)機方法 EFSM MSSpecExplorer 模糊 FuzzTest 測試 針對測試系統(tǒng)的隨機數(shù)據(jù)輸入數(shù)據(jù)驅(qū)動或事件驅(qū)動適用于安全性的測試 66 云測試 Cloudtest 分布式 可伸縮系統(tǒng)大數(shù)據(jù)量 大用戶量虛擬技術(shù)并行算法實時服務(wù) 67 軟件測試發(fā)展趨勢 全程軟件測試 伴隨著整個軟件開發(fā)生命周期全程自動化測試 測試原來可以是這樣的全程缺陷預(yù)防 測試工作已經(jīng)不是那么重要 主題 軟件測試及其定位全景圖開源測試工具新方法和新技術(shù)實驗課教學(xué)對策 實驗內(nèi)容 Web功能測試客戶端軟件功能測試Web安全性測試Web服務(wù)器性能測試應(yīng)用服務(wù)器的性能測試 70 盡量采用開源的測試工具 實驗安排 分組實驗指導(dǎo)工具介紹 演示和講解功能測試工具 性能測試工