性能測試流程規(guī)范

1、目錄1 前言21.1 文檔目的21.2 適用對象22 性能測試目的23 性能測試所處的位置及相關人員33.1 性能測試所處的位置及其基本流程33.2 性能測試工作內容43.3 性能測試涉及的人員角色54 性能測試實施規(guī)范54.1 確定性能測試需求54.1.1 分析應用系統(tǒng)，剝離出需測試的性能點54.1.2 分析需求點制定單元測試用例64.1.3 性能測試需求評審64.1.4 性能測試需求歸檔64.2 性能測試具體實施規(guī)范64.2.1 性能測試起始時間64.2.2 制定和編寫性能測試計劃、方案以及測試用例74.2.3 測試環(huán)境搭建74.2.4 驗證測試環(huán)境84.2.5 編寫測試用例腳本84.2.

2、6 調試測試用例腳本84.2.7 預測試94.2.8 正式測試94.2.9 測試數據分析94.2.10 調整系統(tǒng)環(huán)境和修改程序104.2.11 回歸測試104.2.12 測試評估報告104.2.13 測試分析報告105 測試腳本和測試用例管理116 性能測試歸檔管理117 性能測試工作總結118 附錄：錯誤！未定義書簽。、/、，1刖百1.1.2 文檔目的本文檔的目的在于明確性能測試流程規(guī)范，以便于相關人員的使用，保證性能測試腳本的可用性和可維護性，提高測試工作的自動化程度，增加測試的可靠性、重用性和客觀性。1.2.2 適用對象本文檔適用于部門內測試組成員、項目相關人員、QA及高級經理閱讀。2性

3、能測試目的性能測試到底能做些什么，能解決哪些問題呢？系統(tǒng)開發(fā)人員，維護人員及測試人員在工作中都可能遇到如下的問題.硬件選型，我們的系統(tǒng)快上線了，我們應該購置什么樣硬件配置的電腦作為服務器呢？.我們的系統(tǒng)剛上線，正處在試運行階段，用戶要求提供符合當初提出性能要求的報告才能驗收通過，我們該如何做？.我們的系統(tǒng)已經運行了一段時間，為了保證系統(tǒng)在運行過程中一直能夠提供給用戶良好的體驗（良好的性能），我們該怎么辦？.明年這個系統(tǒng)的用戶數將會大幅度增加，到時我們的系統(tǒng)是否還能支持這么多的用戶訪問，是否通過調整軟件可以實現，是增加硬件還是軟件，哪種方式最有效？.我們的系統(tǒng)存在問題，達不到預期的性能要求，這是

4、什么原因引起的，我們應該進行怎樣的調整？.在測試或者系統(tǒng)試點試運行階段我們的系統(tǒng)一直表現得很好，但產品正式上線后，在用戶實際環(huán)境下，總是會出現這樣那樣莫名其妙的問題，例如系統(tǒng)運行一段時間后變慢，某些應用自動退出，出現應用掛死現象，導致用戶對我們的產品不滿意，這些問題是否能避免，提早發(fā)現？.系統(tǒng)即將上線，應該如何部署效果會更好呢？并發(fā)性能測試的目的注要體現在三個方面：以真實的業(yè)務為依據，選擇有代表性的、關鍵的業(yè)務操作設計測試案例，以評價系統(tǒng)的當前性能；當擴展應用程序的功能或者新的應用程序將要被部署時，負載測試會幫助確定系統(tǒng)是否還能夠處理期望的用戶負載，以預測系統(tǒng)的未來性能；通過模擬成百上千個用戶

5、，重復執(zhí)行和運行測試，可以確認性能瓶頸并優(yōu)化和調整應用，目的在于尋找到瓶頸問題。3性能測試所處的位置及相關人員性能測試所處的位置及其基本流程F面就性能測試的基本流程給予圖示說明：性能測試的具體流程:結束性能測試工作內容軟件需求分析階段：分析軟件需求，提取出待實現的功能點，此時根據需求功能點選取必要的性能測試點，并組織起有效的測試用例。軟件單元測試階段：單元測試在軟件開發(fā)周期貫穿，針對已經開發(fā)的功能做單元測試，保證組件功能可正常使用，此階段功能測試占主要的測試比例，性能測試部分主要是了解、分析業(yè)務結構及進行數據準備。軟件系統(tǒng)集成測試階段：軟件的功能已經基本實現，此時可以針對穩(wěn)定的功能點在公司內部

6、部署并實施小規(guī)模的性能測試。軟件升級及維護階段：維護期占整個軟件的使用時間，由于日益變更的需求讓我們的程序不斷升級，為了降低升級過程中出現對已有軟件功能的影響。性能測試通常采用2個必要步驟：a）補丁升級測試，在數據結構變更處加上時間點，檢驗每個操作的時間效率是否可接受，并為用戶升級程序提供一個參考時間。b）補丁升級成功后，對系統(tǒng)改動功能點做性能測試，并驗證一些常規(guī)功能的效率是否受到升級影響，最后提供升級后系統(tǒng)的性能測試評估報告。歷次性能測試數據歸檔對歷次的性能測試進行歸檔處理，為預測軟件未來的發(fā)展狀況提供必要的數據基礎。性能測試涉及的人員角色軟件測試工程師業(yè)務系統(tǒng)開發(fā)工程師系統(tǒng)工程師負責整個性

7、能測試的計劃及方案編寫、腳本編寫、實施測試、測試數據分析、獲取測試結果、編寫測試報告，保證性能測試工作的順利完成。提供完整的測試用例，測試環(huán)境的自測，根據性能測試結果跟蹤、解決程序問題。負責測試環(huán)境操作系統(tǒng)、網絡環(huán)境以及儲存設備的系統(tǒng)調優(yōu)和監(jiān)控。數據庫工程師負責數據庫系統(tǒng)的調優(yōu)和監(jiān)控。4性能測試實施規(guī)范確定性能測試需求分析應用系統(tǒng)，剝離出需測試的性能點工作內容：性能測試人員，系統(tǒng)開發(fā)人員，客戶從不同的角度提出性能測試點。性能測試人員主要關注功能測試期反映的測試點；系統(tǒng)開發(fā)人員著重從程序角度出發(fā)考慮，分析哪些點可能存在性能問題；客戶主要從業(yè)務角度出發(fā)發(fā)，抽取使用頻率較高，較重要的業(yè)務功能作為測試

8、點。參與人員：測試負責人，系統(tǒng)開發(fā)人員，客戶確認要素：1、并發(fā)用戶數2、預期系統(tǒng)響應時間3、生產環(huán)境基礎數據量4、測試環(huán)境硬件配置信息5、性能測試功能點確認，及各個業(yè)務功能的所占比例6、分析被測試系統(tǒng)的框架及軟件環(huán)境工作時間：視需求規(guī)模而定。分析需求點制定單元測試用例工作內容：根據需測試點擬寫測試用例，形成文檔參與人員：項目經理文檔名稱：FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc初稿工作時間：視需求規(guī)模而定。性能測試需求評審工作內容：對FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc進行三方評審，確定最終的性能測試需求。參與人員：測試組負責人，項目負責人，

9、客戶工作時間：1-2天工作人日性能測試需求歸檔工作內容：根據測試方案、需求文檔、設計文檔，進行實際測試性能點調研。參與人員：測試負責人文檔名稱：FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc»文檔要素：1、測試環(huán)境軟件及硬件信息2、測試需求功能點對應具體測試用例，包括測試功能點的具體步驟，為下一階段腳本錄制提供參考3、測試環(huán)境基礎數據量工作時間：1-2天工作人日性能測試具體實施規(guī)范為了便于性能測試管理，有必要建立起一套關于性能測試的規(guī)范，具體實施步驟如下：性能測試起始時間性能測試至少是在功能測試進入凍結期時開始進行，但是性能測試的用例確定可以在功能測試期進行；另外，

10、在性能測試起始階段應對性能測試試點單位進行聯機用戶和用戶操作模塊比例的數據調研，并且在項目性能測試開始前一個星期性能測試負責人發(fā)出性能測試準備狀況反饋表.xls»,由項目組填寫反饋。前提條件：項目組在提交功能測試申請的同時提交性能測試申請以及FI-項目組編碼-TEST-性能測試需求YYYYMMDD.doc»,明確寫清楚系統(tǒng)測試要點、業(yè)務功能操作步驟，以及測試環(huán)境。同時項目組反饋的性能測試準備狀況反饋表.xls»,確定符合測試標準。工作內容：A、熟悉功能流程，編寫簡單腳本典型業(yè)務操作測試用例：車險DAA投保單簽單（復核，轉保單）、車險DAA保單查t®、車險

11、DAA保單補錄、車險DAA保單查詢、車險DAAffi改查詢、車險DAA!賠報案查詢、車險雙核、綜合險QZA&保單簽單（復核-轉保單）、綜合險QZA&保單查詢、綜合險QZA保單補錄、綜合險QZA保單查詢、綜合險QZAft匕改查詢、綜合險QZAS賠報案查詢、綜合險雙核等B、新增的功能點和有較大改動的功能點的性能測試用例分析及評估C、調研試點單位聯機用戶和系統(tǒng)操作模塊的比例數參與人員：軟件性能測試工程師、軟件功能測試工程師和業(yè)務系統(tǒng)開發(fā)工程師工作時間：57個工作人日制定和編寫性能測試計劃、方案以及測試用例工作內容：根據項目組提供的測試申請內容以及FI-項目組編碼-TEST-性能測試需

12、求YYYYMMDD.doc»,制定和編寫性能測試計劃、方案以及測試用例。在測試計劃中需明確測試的內容、軟硬件當前性能及具體人員及時間的安排，測試方案中詳細描寫具體功能測試步驟及性能測試點的功能概況及涉及的數據結構，測試用例中為具體的測試數據。參與人員：軟件性能測試工程師、項目負責人工作時間：4個工作人日（不考慮在功能測試階段進行用例確定的時間）測試環(huán)境搭建環(huán)境搭建工作主要由項目組來完成。工作內容：原則：測試環(huán)境應盡量與用戶正式環(huán)境保持一致。由于每次測試均需要搭建，項目組可以考慮在本地和客戶方保留固定的壓力測試環(huán)境。業(yè)務數據以客戶正式生產的備份數據為基礎，搭建完成后需要對測試環(huán)境進行驗

13、證a）硬件條件基本保持一致保證測試軟件的前后臺主機配置、儲存系統(tǒng)配置和網絡保持一致。b）軟件配置基本保持一致保證數據庫服務器的配置參數和中間件配置參數保持一致。c）業(yè)務數據規(guī)模保持一致d）軟件版本和測試版本保持一致升級程序測試目標：在搭建測試環(huán)境的同時，進行業(yè)務升級程序測試，完成所有升級手冊中的步驟，特別注意數據結構變更、數據轉數的效率問題，制定升級測試報告（包括升級問題和建議解決辦法）。參與人員：軟件開發(fā)工程師、系統(tǒng)工程師、數據庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日驗證測試環(huán)境工作內容：性能測試負責人根據項目組提交性能測試準備狀況反饋表.xls»反饋情況及項目組搭建的測試

14、環(huán)境情況，驗證其是否符合性能測試的條件，以確定是否按期進行性能測試。該階段需要考慮以下幾點：a）軟件是否處于一個比較穩(wěn)定的狀態(tài)b）被測功能點是否正常、穩(wěn)定，且不再進行大的調整。c）軟件部署方式和實際生產環(huán)境是否一致（包括應用服務器，數據庫服務器以及操作系統(tǒng)的調優(yōu)工作）。d）性能測試環(huán)境是否有其他不相關應用程序干擾？若無法避免則應保證測試時停止測試無關應用運行。e）性能測試環(huán)境硬件是否與實際生產環(huán)境一致？（若不一致請在備注中分別列出測試環(huán)境及生產環(huán)境硬件配置信息）f）性能測試環(huán)境的數據規(guī)模是否與生產環(huán)境一致？對于測試環(huán)境的數據有兩種方式解決，1）項目組從地市公司導庫到測試環(huán)境；2）給測試組預留數

15、據準備時間進行數據準備。建議采取第一種方式，數據更加真實而且節(jié)約時間。參與人員：軟件性能測試工程師、軟件開發(fā)工程師編寫測試用例腳本測試用例腳本根據測試用例的具體內容，利用測試工具或通過測試人員進行編寫0工作內容：按照性能測試腳本開發(fā)規(guī)范根據測試用例編寫測試腳本參與人員：軟件性能測試工程師工作時間：視提交性能測試點而定調試測試用例腳本工作內容：在測試環(huán)境上，使用編寫完成的腳本進行腳本調試，主要工作內容是對腳本進行參數化，及關聯腳本。參與人員：軟件性能測試工程師、軟件開發(fā)工程師工作時間：視提交性能測試點而定預測試工作內容：在測試環(huán)境中，根據測試方案（例如是測試單個用例還是測試綜合用例）縮小測試并發(fā)

16、用戶進行預測試，目的是檢驗測試是否能正常進行。參與人員：軟件性能測試工程師工作時間：2個工作人日正式測試工作內容：在客戶現場測試環(huán)境下，根據測試方案進行正式測試。一般在正式測試時應該暫停與測試環(huán)境無關的系統(tǒng)及服務，性能測試的環(huán)境應單獨運行，盡量避免與其他軟件同時使用。采集測試時系統(tǒng)性能數據。注意包括如下指標：1）主機硬件指標：CPU、內存占用率和磁盤I/O。2）數據庫服務器指標：會話數、buffer命中率、checkpoint時間以及vp數等。同時采集SQL,查看SQL是否建立索引。3）中間件指標：服務隊列。網絡指標：網絡流量、響應時間。4）業(yè)務系統(tǒng)事務指標：典型事務的響應時間。例如保單保存所

17、消耗的時間。參與人員：軟件性能測試工程師、軟件開發(fā)工程師、系統(tǒng)工程師、數據庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日測試數據分析工作內容：提交FI-項目組編碼-TEST-問題記錄.xls，主要內容包括系統(tǒng)中存在的性能問題。參與人員：軟件性能測試工程師工作時間：12個工作人日調整系統(tǒng)環(huán)境和修改程序工作內容：協(xié)調開發(fā)人員查找可能引起性能問題的程序效率點，并修改程序。協(xié)調系統(tǒng)工程師、數據庫工程師和中間件系統(tǒng)工程師調整系統(tǒng)參數。參與人員：軟件開發(fā)工程師、系統(tǒng)工程師、數據庫工程師和中間件系統(tǒng)工程師工作時間：4-6個工作人日4.2.11回歸測試工作內容：針對已經修改的效率點進行復測，檢驗其效率是否提高。參與人員：軟件性能測試工程師、軟件開發(fā)工程師、系統(tǒng)工程師、數據庫工程師和中間件系統(tǒng)工程師工作時間：4個工作人日4.2.12測試評估報告工作內容：針對性能測試獲取的數據和回歸的情況，對當前版本編寫FI-項目組編碼-TEST-性能測試評估報告YYYYMMDD.doc»,參與人員：測試負責人工作時間：12個工作人日4.2.13測試分析報告工作內容：根據測試評估報告的信息進行問題分析參與人員：項目負責人工作時間：12個工作人日5測試腳本和測試