性能測試管理

1、性能測試管理性能測試管理培訓教程培訓教程課題內(nèi)容：性能測試管理課題內(nèi)容：性能測試管理 主講人：曾祥鵬主講人：曾祥鵬大綱大綱n第一章：性能測試啟動n第二章：性能測試建模n第三章：性能測試計劃n第四章：性能測試準備n第五章：性能測試執(zhí)行n第六章：性能測試分析第一章第一章 性能測試啟動性能測試啟動n第一節(jié)：技術(shù)調(diào)研n第二節(jié)：準入評審n第三節(jié)：測試啟動技術(shù)調(diào)研技術(shù)調(diào)研n在系統(tǒng)代碼開發(fā)完成之后和功能測試完成之前n測試組織派專人采用現(xiàn)場或非現(xiàn)場的方式n調(diào)研以下內(nèi)容被測系統(tǒng)的技術(shù)實現(xiàn)與其它系統(tǒng)接口關(guān)系及其技術(shù)實現(xiàn)本系統(tǒng)測試數(shù)據(jù)與相關(guān)系統(tǒng)測試數(shù)據(jù)的關(guān)系n目的：初步確定測試技術(shù)方案及相關(guān)的測試數(shù)據(jù)準備方案技術(shù)調(diào)

2、研技術(shù)調(diào)研-實例實例nXXX系統(tǒng)技術(shù)架構(gòu)WebSphere + S1 + DB2Browser Base Client使用EAI/ECTIP/UDI作為外部系統(tǒng)接口技術(shù)調(diào)研技術(shù)調(diào)研-實例實例n初步測試技術(shù)方案使用LoadRunner作為壓力測試工具使用Web/HTTP協(xié)議開發(fā)測試腳本使用Spotlight for DB2監(jiān)控數(shù)據(jù)庫使用Diagnostic for J2EE監(jiān)控應(yīng)用服務(wù)使用Server Monitor監(jiān)控操作系統(tǒng)資源EAI/ECTIP實時交易需要開發(fā)相關(guān)擋板程序n初步測試數(shù)據(jù)準備方案UDI需事先準備全量數(shù)據(jù)準入評審準入評審n在性能測試正式啟動之前，需要對兩個方面進行評審被測系統(tǒng)是

3、否符合準入標準實施性能測試的可行性和必要性n目的：考察被測系統(tǒng)是否具備性能測試的條件。不符合測試條件的系統(tǒng)會導致測試難以實施，或者測試結(jié)果嚴重失真勉強測試會使測試工作失去意義，浪費大量的時間、人力和軟硬件資源。測試啟動測試啟動n確定測試的負責人和組織結(jié)構(gòu)。n明確測試的總體目標和范圍n確認測試所需資源的情況n測試主管單位要下發(fā)相關(guān)調(diào)查表，獲取業(yè)務(wù)方或開發(fā)方對性能測試的需求信息：典型交易列表性能測試需求性能指標測試環(huán)境數(shù)據(jù)量要求第二章第二章 性能測試建模性能測試建模 n第一節(jié)：為什么需要建模n第二節(jié)：性能測試模型的兩種形式n第三節(jié)：用戶行為模型n第四節(jié)：系統(tǒng)業(yè)務(wù)模型n第五節(jié)：性能測試模型的工具實現(xiàn)

4、為什么需要建模為什么需要建模n真實模擬實際系統(tǒng)運行狀況n所有性能測試工作都以此模型作為依據(jù) n合理控制項目周期并發(fā)量與每秒交易量并發(fā)量與每秒交易量(TPS)的聯(lián)系的聯(lián)系n性能測試誤區(qū)并發(fā)量越大系統(tǒng)壓力越大n并發(fā)量與每秒交易量的聯(lián)系并發(fā)量用于考察系統(tǒng)的用戶支撐能力每秒交易量才是衡量大多數(shù)系統(tǒng)的真實壓力的正確指標隨著并發(fā)量的增加TPS并不是線性增長的性能測試模型的兩種形式性能測試模型的兩種形式n用戶行為模型描述高峰時期用戶行為特點(瞬時模型)優(yōu)點：對與大多數(shù)性能測試工具而言實現(xiàn)簡單缺點：用戶行為較難統(tǒng)計分析n系統(tǒng)業(yè)務(wù)模型描述高峰時期系統(tǒng)業(yè)務(wù)特點(時段模型)優(yōu)點：相對于用戶行為模型而言較容易獲得缺點

5、：設(shè)置復雜，需要較高的工具技能建立性能測試模型建立性能測試模型-用戶行為模型用戶行為模型n用戶行為模型高峰日高峰時段高峰時段用戶行為統(tǒng)計建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務(wù)模型系統(tǒng)業(yè)務(wù)模型n系統(tǒng)業(yè)務(wù)模型高峰月高峰日高峰時段高峰時段業(yè)務(wù)統(tǒng)計建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務(wù)模型系統(tǒng)業(yè)務(wù)模型月份月份業(yè)務(wù)量業(yè)務(wù)量122043222123322143422122520342619873716543837643929832102421211209821221098建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務(wù)模型系統(tǒng)業(yè)務(wù)模型日期日期業(yè)務(wù)量業(yè)務(wù)量日期日期業(yè)務(wù)量業(yè)務(wù)量111211713452103

6、718167831023191786498720154351543211231610222210947126723987810982489991376251022101675261034111324271213121099281112131256291345141098301274151021311012161121建立性能測試模型建立性能測試模型-系統(tǒng)業(yè)務(wù)模型系統(tǒng)業(yè)務(wù)模型時間交易量0511203040526237438649971021211324122431321114167151431612217901811197209215223234業(yè)務(wù)名稱業(yè)務(wù)名稱自定義搜索分類搜索新建帳戶新建訂單

7、更新訂單業(yè)務(wù)量業(yè)務(wù)量12210120729業(yè)務(wù)配比業(yè)務(wù)配比37.65%31.17%6.17%22.22%2.78%性能測試模型的工具實現(xiàn)性能測試模型的工具實現(xiàn)n用戶行為模型的工具實現(xiàn)模型建立困難，實現(xiàn)容易。n系統(tǒng)業(yè)務(wù)模型的工具實現(xiàn)主流模型，詳細討論。系統(tǒng)業(yè)務(wù)模型的工具實現(xiàn)系統(tǒng)業(yè)務(wù)模型的工具實現(xiàn)n用戶支撐能力測試/用戶體驗測試調(diào)研用戶使用方式，確定Think Time基準測試確定各交易基準執(zhí)行時間調(diào)整Interval時間風險n系統(tǒng)處理能力測試調(diào)研系統(tǒng)處理量需求基準測試確定各交易基準執(zhí)行時間調(diào)整Interval時間風險第三章第三章 性能測試計劃性能測試計劃 n第一節(jié)：測試計劃n第二節(jié)：關(guān)鍵文檔n第

8、三節(jié)：風險評估測試計劃測試計劃n測試經(jīng)理根據(jù)測試啟動階段得到的測試模型編寫測試方案和測試計劃n用于指導整個測試實施過程 關(guān)鍵文檔關(guān)鍵文檔n性能測試方案n性能測試計劃n典型交易列表n性能測試需求表性能測試方案關(guān)鍵點性能測試方案關(guān)鍵點n測試目的（清晰明確，沒有歧義）。n測試范圍（交易列表，路徑圖等）。n性能指標（要可測量，量化指標最好給出具體數(shù)值，無法定量的給出說明）。n數(shù)據(jù)量 （給出具體數(shù)值和參考依據(jù)，無法定量的給出說明）。n測試環(huán)境（分為網(wǎng)絡(luò)、硬件、軟件和拓撲圖）。n測試工具和監(jiān)控工具及其相關(guān)環(huán)境。n風險控制（風險描述、嚴重程度、規(guī)避辦法、負責人等明確清晰）n測試策略（符合項目實際情況，具有可

9、執(zhí)行性）n擋板（根據(jù)情況可裁減）n時間戳（根據(jù)情況可裁減）n角色分工（無遺漏，職責描述清楚）n測試執(zhí)行過程等（符合項目實際情況，沒有遺漏，具備可執(zhí)行性）性能測試計劃關(guān)鍵點性能測試計劃關(guān)鍵點n階段任務(wù)描述（階段，子階段劃分清晰；階段關(guān)聯(lián)關(guān)系明確；里程碑定義準確）n時間安排（滿足項目預期周期要求，具有彈性）n文檔定義（各階段輸入輸出文檔定義清晰）n所需資源（人力資源，資金資源等符合項目要求）典型交易列表關(guān)鍵點典型交易列表關(guān)鍵點n典型交易選取合理（符合關(guān)鍵業(yè)務(wù)，操作頻繁，業(yè)務(wù)量大，覆蓋所有測試需求路徑，對性能影響大的原則）n相關(guān)交易碼準確（配置管理最新版本）n業(yè)務(wù)約束和邏輯約束明確給出，無遺漏和錯誤

10、n典型交易數(shù)量選取合適，能滿足并發(fā)分配需求（例如，不能選50個交易，要求測30個并發(fā)）n具備可測試性（能事先手工驗證）測試環(huán)境需求表關(guān)鍵點測試環(huán)境需求表關(guān)鍵點n符合項目實際測試需求情況n各項資源需求填寫準確，無遺漏，錯誤或歧義n具備可實現(xiàn)性風險評估風險評估n可能影響測試過程的因素n可能影響測試結(jié)果的因素n規(guī)避方法實例實例nXXX項目性能測試方案nXXX項目性能測試計劃nXXX項目典型交易列表nXXX項目環(huán)境需求表第四章第四章 性能測試準備性能測試準備n第一節(jié)：測試環(huán)境準備n第二節(jié)：壓力發(fā)生環(huán)境準備 n第三節(jié)：測試腳本準備及其預驗證 n第四節(jié)：測試數(shù)據(jù)準備 n第五節(jié)：測試工具和監(jiān)控工具準備 n第

11、六節(jié)：測試場景設(shè)計n第七節(jié)：擋板和時間戳 n第八節(jié)：執(zhí)行確認測試準備測試準備n測試主管單位根據(jù)測試方案和計劃中所列工作項進行，確保測試可以執(zhí)行。包括以下工作：，包括被測應(yīng)用的主機和應(yīng)用環(huán)境的申請、部署，壓力發(fā)生環(huán)境準備，監(jiān)控系統(tǒng)準備和網(wǎng)絡(luò)環(huán)境申請和部署，提供符合測試需求可使用的測試環(huán)境，包括被測應(yīng)用系統(tǒng)、壓力發(fā)生系統(tǒng)、監(jiān)控系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)的配置，根據(jù)業(yè)務(wù)模型確定典型交易列表和場景。對于無法采用壓力發(fā)生工具直接發(fā)起交易的性能測試，需要設(shè)計開發(fā)壓力傳遞系統(tǒng)，將交易壓力正確、有效地加載至被測系統(tǒng)，包括測試腳本的開發(fā)，包括基礎(chǔ)數(shù)據(jù)的獲得、數(shù)據(jù)量評估和基礎(chǔ)數(shù)據(jù)改造。，根據(jù)腳本參數(shù)化字段，從基礎(chǔ)數(shù)據(jù)中抽取有

12、效的、正確的交易發(fā)起數(shù)據(jù)。包括獲得抽取規(guī)則、抽取執(zhí)行和數(shù)據(jù)驗證，保證所有數(shù)據(jù)可以通過腳本正確執(zhí)行。，保證參數(shù)化的測試腳本與基礎(chǔ)數(shù)據(jù)結(jié)合能夠在測試執(zhí)行環(huán)境下正確運行。對于測試方案中確定需要通過時間戳系統(tǒng)記錄交易在某個交易路徑上的相應(yīng)時間的情況，需要開發(fā)針對性的時間戳程序和相應(yīng)的時間戳日志分析程序。包括擋板程序的設(shè)計、開發(fā)、部署和調(diào)試。另一方面，需要為擋板準備返回報文 測試環(huán)境準備測試環(huán)境準備n參測項目組：提供測試環(huán)境需求信息被測系統(tǒng)的部署和配置n測試主管單位：明確測試所需環(huán)境協(xié)調(diào)各參測項目組和環(huán)境組完成環(huán)境準備工作壓力發(fā)生環(huán)境準備壓力發(fā)生環(huán)境準備 n參測項目組：提供環(huán)境配置信息（例如，jdk的版

13、本、加密/解密程序版本、路徑） n測試主管單位：明確軟硬件環(huán)境需求協(xié)調(diào)相關(guān)方面完成壓力發(fā)生環(huán)境的軟硬件條件準備測試腳本準備及其預驗證測試腳本準備及其預驗證 n參測項目組：提供腳本錄制時所需數(shù)據(jù)解決錄制過程中出現(xiàn)的系統(tǒng)問題。 n測試主管單位：錄制腳本并調(diào)試，確保腳本能在測試環(huán)境中正確運行。n腳本是否能夠真實模擬實際操作Think TimeTransaction參數(shù)化集合點關(guān)聯(lián)檢查點Run time Settingsn腳本是否存在并發(fā)問題2X2驗證測試數(shù)據(jù)準備測試數(shù)據(jù)準備 n參測項目組：明確數(shù)據(jù)量要求提供參數(shù)化數(shù)據(jù)提取腳本配合性能測試組生成基礎(chǔ)數(shù)據(jù)和測試數(shù)據(jù)進行數(shù)據(jù)備份和恢復等支持。保持測試過程基

14、準一致-數(shù)據(jù)恢復策略 n測試主管單位：明確腳本執(zhí)行所需參數(shù)化字段和數(shù)據(jù)量協(xié)調(diào)各參測項目組完成數(shù)據(jù)準備工作確認數(shù)據(jù)可用性。測試工具和監(jiān)控工具準備測試工具和監(jiān)控工具準備 n參測項目組：提供測試工具的需求信息。 n測試主管單位：明確測試所需監(jiān)控工具和測試環(huán)境協(xié)調(diào)各參測項目組完成測試工具準備工作。nJ2EE深層診斷工具nDatabase診斷工具n網(wǎng)絡(luò)診斷工具n服務(wù)器監(jiān)視工具測試場景設(shè)計測試場景設(shè)計n依據(jù)性能測試模型設(shè)計場景n場景真實性場景調(diào)度（運行參數(shù)）負載均衡IP欺騙n執(zhí)行策略（下一章討論）擋板和時間戳擋板和時間戳 n參測項目組：提供擋板和時間戳腳本和說明。 n測試主管單位：提供擋板和時間戳需求。執(zhí)

15、行確認執(zhí)行確認 n由性能測試小組中的測試工程師完成以下執(zhí)行前確認工作：用例和場景確認測試環(huán)境確認測試數(shù)據(jù)確認測試腳本確認測試工具和監(jiān)控工具確認擋板和時間戳的確認實例實例nXXX項目測試計劃第五章第五章 性能測試執(zhí)行性能測試執(zhí)行 n第一節(jié)：基準測試n第二節(jié)：單交易負載測試n第三節(jié)：混合場景測試n第四節(jié)：性能表現(xiàn)測試n第五節(jié)：穩(wěn)定性測試n第六節(jié)：測試執(zhí)行過程中的關(guān)鍵點n第七節(jié)：診斷與調(diào)優(yōu)測試執(zhí)行測試執(zhí)行n測試執(zhí)行階段主要包括以下工作項：獲得各個典型交易在無壓力條件下性能表現(xiàn)：獲得各個典型交易在負載條件下的性能表現(xiàn)：按照場景序列一次獲得各場景負載條件下的性能表現(xiàn)：根據(jù)已知的目標負載壓力，獲得被測系統(tǒng)

16、的性能表現(xiàn)：通過長時間、較大壓力的負載運行，獲得被測系統(tǒng)的穩(wěn)定性表現(xiàn)基準測試基準測試n測試環(huán)境確認之后，對業(yè)務(wù)模型中涉及的每種業(yè)務(wù)做基準測試n目的是檢查業(yè)務(wù)本身是否存在性能缺陷n同時為將來的混合場景性能測試性能分析提供參考依據(jù)n測試方法：測試方法：編寫測試客戶端向應(yīng)用服務(wù)器發(fā)送業(yè)務(wù)請求并接收返回結(jié)果的腳本在系統(tǒng)無壓力情況下重復100次，每次迭代間等待1秒取業(yè)務(wù)的平均響應(yīng)時間作為衡量指標。單交易負載測試單交易負載測試n單交易負載測試是逐一對業(yè)務(wù)模型中的業(yè)務(wù)或個別重要交易進行單交易多并發(fā)測試n目的是考察系統(tǒng)交易編碼是否存在性能隱患n測試方法：測試方法：編寫測試客戶端向應(yīng)用服務(wù)器發(fā)送業(yè)務(wù)請求并接收返

17、回結(jié)果的腳本使用20%系統(tǒng)標準并發(fā)量進行測試?；旌蠄鼍皽y試混合場景測試n混合負載測試是按照業(yè)務(wù)模型的約定在一定量的并發(fā)情況下測試以下指標：業(yè)務(wù)的平均交易響應(yīng)時間應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器的資源使用情況、交易正確率等通過性能測試，可以模擬實際生產(chǎn)環(huán)境中在業(yè)務(wù)處理高峰期系統(tǒng)的壓力情況，得到此時的系統(tǒng)性能表現(xiàn)數(shù)據(jù)，為系統(tǒng)的實際上線運行提供可靠的參考。n測試方法：測試方法：按照業(yè)務(wù)模型比例設(shè)置測試場景。逐步增加并發(fā)量記錄每次測試環(huán)境參數(shù)：包括數(shù)據(jù)庫配置參數(shù)，應(yīng)用系統(tǒng)配置參數(shù)。收集系統(tǒng)性能變化曲線。 性能表現(xiàn)測試性能表現(xiàn)測試n性能測試是按照業(yè)務(wù)模型的約定在一定量的并發(fā)情況下測試以下指標：業(yè)務(wù)的平均交易響應(yīng)

18、時間應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器的資源使用情況、交易正確率等通過性能測試，可以模擬實際生產(chǎn)環(huán)境中在業(yè)務(wù)處理高峰期系統(tǒng)的壓力情況，得到此時的系統(tǒng)性能表現(xiàn)數(shù)據(jù)，為系統(tǒng)的實際上線運行提供可靠的參考。n測試方法：測試方法：按照業(yè)務(wù)模型比例設(shè)置測試場景約定并發(fā)量記錄測試環(huán)境參數(shù)：包括數(shù)據(jù)庫配置參數(shù)，應(yīng)用系統(tǒng)配置參數(shù)。收集系統(tǒng)性能參數(shù)。 穩(wěn)定性測試穩(wěn)定性測試n穩(wěn)定性測試的重點是測試系統(tǒng)日常業(yè)務(wù)高峰期壓力下運行的穩(wěn)定性。n測試方法：測試方法：采用性能表現(xiàn)測試的腳本及場景設(shè)置選取固定運行時間為24小時(根據(jù)系統(tǒng)特點定)記錄交易平均響應(yīng)時間、交易正確率，應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器CPU利用率、內(nèi)存使用情況等參數(shù)考察應(yīng)

19、用服務(wù)器、數(shù)據(jù)庫服務(wù)器是否出現(xiàn)宕機、交易正確率小于95等情況。測試執(zhí)行過程中的關(guān)鍵點測試執(zhí)行過程中的關(guān)鍵點n執(zhí)行記錄n結(jié)果搜集n數(shù)據(jù)恢復n環(huán)境清理診斷與調(diào)優(yōu)診斷與調(diào)優(yōu)n分析系統(tǒng)性能瓶頸n優(yōu)化系統(tǒng)性能n解決過程中出現(xiàn)的問題開發(fā)專家測試專家應(yīng)用服務(wù)器專家數(shù)據(jù)庫專家操作系統(tǒng)專家網(wǎng)絡(luò)專家存儲專家第六章第六章 性能測試分析性能測試分析 性能測試分析n結(jié)合有關(guān)工具生成的數(shù)據(jù)報告和測試日志n對測試的結(jié)果進行分析總結(jié)n對項目上線、調(diào)優(yōu)方案、系統(tǒng)性能驗證等提供參考依據(jù)。n測試報告的重點在于對測試結(jié)果的分析例如測試到的業(yè)務(wù)響應(yīng)時間是否滿足預期要求？服務(wù)器資源使用率是否在預期范圍內(nèi)？對于發(fā)現(xiàn)并發(fā)問題的業(yè)務(wù)，需要分析

20、是由于何種原因造成了并發(fā)問題，為系統(tǒng)調(diào)整提供合理依據(jù)。性能測試參數(shù)經(jīng)驗值建議n命名用戶數(shù) 命名用戶數(shù)是指在應(yīng)用系統(tǒng)中注冊的所有系統(tǒng)用戶。該用戶數(shù)取決于系統(tǒng)應(yīng)用范圍和業(yè)務(wù)范圍，可以通過統(tǒng)計應(yīng)用系統(tǒng)數(shù)據(jù)庫中用戶登記表獲取。對于類似網(wǎng)站瀏覽式應(yīng)用一般通過類似系統(tǒng)的類比估算獲得。n在線用戶數(shù) 在線用戶數(shù)是指同時登錄應(yīng)用系統(tǒng)的用戶數(shù)量該數(shù)量可通過檢查系統(tǒng)應(yīng)用與數(shù)據(jù)庫連接獲得在線用戶數(shù)量取決于系統(tǒng)命名用戶數(shù)。對于已投產(chǎn)系統(tǒng)，該數(shù)量一般通過系統(tǒng)跟蹤監(jiān)控獲取新投產(chǎn)系統(tǒng)通過經(jīng)驗值進行估算。性能測試參數(shù)經(jīng)驗值建議n并發(fā)用戶數(shù) 并發(fā)用戶數(shù)是指在系統(tǒng)運行期間同一時刻進行業(yè)務(wù)操作的用戶數(shù)量。該用戶取決于用戶操作習慣、業(yè)務(wù)操作間隔和單筆交易的響應(yīng)時間。在性能測試中通過對Thinktime、interval等參數(shù)的設(shè)置測算。使用頻度較低的應(yīng)用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的5%左右使用頻度較高的應(yīng)用系統(tǒng)并發(fā)用戶數(shù)一般為在線用戶數(shù)的10%左右。n交易 交易分為業(yè)務(wù)層面和技術(shù)層面兩種定義。業(yè)務(wù)層面交易是指完成一次完整的業(yè)務(wù)操作，例如進行一次取款、查詢操作。技術(shù)層面的交易是指進行一次應(yīng)用程序至應(yīng)用程序、或者應(yīng)用程序至數(shù)據(jù)庫的系統(tǒng)操作。一般的一筆業(yè)務(wù)交易由多筆技術(shù)交易組成，根據(jù)業(yè)務(wù)交易的復雜度和系統(tǒng)應(yīng)用架構(gòu)的不同，其比例大致為1：2-