XXX門戶網(wǎng)站性能測試報告.doc

XXX門戶網(wǎng)站性能測試報告 目錄第一章概述4第二章測試活動42.1測試用具42.2測試范圍42.3測試目標(biāo)52.4測試方法52.4.1基準(zhǔn)測試52.4.2并發(fā)測試62.4.3穩(wěn)定性測試62.5性能指標(biāo)62.6性能測試流程6第三章性能測試環(huán)境73.1服務(wù)器環(huán)境73.2客戶端環(huán)境83.3網(wǎng)絡(luò)結(jié)構(gòu)9第四章測試方案94.1基準(zhǔn)測試94.2并發(fā)測試114.3穩(wěn)定性測試13第五章測試結(jié)果描述145.1性能測試觀察指標(biāo)145.2性能測試通過指標(biāo)15用戶體驗性能155.3測試結(jié)果15第六章測試報告系統(tǒng)測試公范圍：基準(zhǔn)測試階段，并發(fā)測試階段， 穩(wěn)定性測試，浪涌式測試。156.1基準(zhǔn)測試性能分析166.2并發(fā)測試性能分析216.3穩(wěn)定性性能測試分析24摘要本文檔主要描述XXXX門戶網(wǎng)站檢索和頁面瀏覽性能測試中的測試內(nèi)容、測試方法、測試策略等。修改歷史日期版本作者修改內(nèi)容評審號更改請求號2016-01-141.0測試組新建。性能測試2016-01-141.0測試組修改性能測試回歸2016-01-141.0測試組更新注釋：評審號為評審記錄表的編號。更改請求號為文檔更改控制工具自動生成的編號。第一章 概述由于當(dāng)前對系統(tǒng)要接受業(yè)務(wù)量的沖擊，面臨的系統(tǒng)穩(wěn)定、成熟性方面的壓力。系統(tǒng)的性能問題必將成為焦點問題，海量數(shù)據(jù)量的“沖擊”，系統(tǒng)能穩(wěn)定在什么樣的性能水平，面臨業(yè)務(wù)增加時，系統(tǒng)抗壓如何等這些問題需要通過一個較為真實的性能模擬測試來給出答案，通過測試和分析為系統(tǒng)性能的提升提供一些重要參考數(shù)據(jù)，以供后期系統(tǒng)在軟硬件方面的改善和完善。本性能測試報告即是基于上述考慮，參考當(dāng)前的一些性能測試方法而編寫的，用以指導(dǎo)即將進行的該系統(tǒng)性能測試。第二章 測試活動2.1測試用具本次性能測試主要采用HP公司的Loadrunner11作為性能測試工具。Load runner主要提供了3個性能測試組件：Virtual User Generator, Controller,Analysis。l 使用Virtual User Generator修改和優(yōu)化腳本。l 使用Controller進行管理，控制并發(fā)的模擬并發(fā)數(shù)，記錄測試結(jié)果。l 使用Analysis進行統(tǒng)計和分析結(jié)果。2.2測試范圍此次性能測試實施是對xxxxxx門戶網(wǎng)站系統(tǒng)性能進行測試評估的過程，我們將依據(jù)系統(tǒng)將來的實際運行現(xiàn)狀，結(jié)合系統(tǒng)的設(shè)計目標(biāo)和業(yè)務(wù)特點，遵循著發(fā)生頻率高、對系統(tǒng)或數(shù)據(jù)庫性能影響大、關(guān)鍵和核心業(yè)務(wù)等原則選取需要進行測試的業(yè)務(wù)，模擬最終用戶的操作行為，構(gòu)建一個與生產(chǎn)環(huán)境相近的壓力場景，對系統(tǒng)實施壓力測試，以此評判系統(tǒng)的實際性能表現(xiàn)。根據(jù)與相關(guān)設(shè)計，開發(fā)人員的溝通和交流，本次測試主要就是針對大量用戶在使用XXX門戶網(wǎng)站進行信息查詢，而選取的典型事務(wù)就是用戶使用檢索進行關(guān)鍵字搜索以及界面瀏覽和反饋回搜索結(jié)果，這是用戶使用最頻繁，反應(yīng)最多的地方，也是本系統(tǒng)當(dāng)前以及以后業(yè)務(wù)的一個重要壓力點所在。所以本次測試只選取檢索業(yè)務(wù)的性能情況和界面瀏覽進行記錄和分析。2.3測試目標(biāo)本次測試是針對XXXX網(wǎng)站檢索和頁面瀏覽在迎接大業(yè)務(wù)量的壓力下而進行的，主要需要獲得如下的測試指標(biāo)。1、系統(tǒng)的穩(wěn)定負(fù)載能力：即在正常的響應(yīng)時間中，系統(tǒng)能夠支持的最多的客戶端的數(shù)量，例如：找到用戶可容忍的基本響應(yīng)時間為5秒時，系統(tǒng)的支持用戶數(shù)。2、系統(tǒng)的極限負(fù)載能力：即在某個較長的響應(yīng)時間，客戶主觀上已無法容忍的情況下，系統(tǒng)能夠支持的最多的客戶端的數(shù)量。3、系統(tǒng)的無故障運行時間：即在得出系統(tǒng)的最合理的響應(yīng)時間和支持響應(yīng)的客戶端數(shù)量該前提下，無故障運行時間，暫定8-12小時。2.4測試方法總體方法：使用美科利公司（Mercury）的性能測試軟件Load Runner，對現(xiàn)行的系統(tǒng)檢索，頁面預(yù)覽進行腳本錄制、測試回放、逐步加壓和跟蹤記錄。測試過程中，由Load Runner的管理平臺調(diào)用各臺測試前臺，發(fā)起檢索查詢請求，并跟蹤記錄服務(wù)器端的運行情況和返回給客戶端的運行結(jié)果。此次性能測試在http:/www.xxxxxx進行，環(huán)境在服務(wù)器軟件、硬件上與生產(chǎn)環(huán)境保持一致，數(shù)據(jù)庫結(jié)構(gòu)和真實環(huán)境數(shù)據(jù)庫結(jié)構(gòu)一致，只是在網(wǎng)絡(luò)帶寬上有一定的區(qū)別，實際外網(wǎng)帶寬會有所不足。本次將進行基準(zhǔn)測試，并發(fā)數(shù)測試，穩(wěn)定性測試3種類型測試，并對主要測試指標(biāo)進行記錄和分析。2.4.1基準(zhǔn)測試基準(zhǔn)測試在系統(tǒng)無壓力（外界環(huán)境，服務(wù)器無額外服務(wù)運行，無額外監(jiān)控進程運行）的情況下，取得各項事務(wù)和業(yè)務(wù)的系統(tǒng)并發(fā)用戶數(shù)和平均響應(yīng)時間作為分析衡量標(biāo)準(zhǔn)，用于初步診斷系統(tǒng)是否存在性能瓶頸。2.4.2并發(fā)測試沒有明確的系統(tǒng)性能指標(biāo)前提下，用Load runner模擬多用戶同時向服務(wù)器發(fā)起交易請求，運行過程中每個用戶沒有思考時間（Think Time）的情況下持續(xù)提交交易請求，向系統(tǒng)施加壓力。2.4.3穩(wěn)定性測試重點測試支付系統(tǒng)在業(yè)務(wù)高峰期壓力下運行的穩(wěn)定性。2.5性能指標(biāo)在本次性能測試，由于沒有具體和明確的性能指標(biāo)，所以各類測試指標(biāo)包括測試中應(yīng)該達(dá)到的某些性能指標(biāo)和相關(guān)服務(wù)器的性能指標(biāo)，都應(yīng)該受到以下三個基本條件的約束。 業(yè)務(wù)執(zhí)行的平均響應(yīng)時間（期望值：= 5s） CPU利用率小于75% 內(nèi)存Paging rate狀態(tài)未持續(xù)處于高位運行2.6性能測試流程通過自動化測試工具模擬最終用戶向服務(wù)器發(fā)起業(yè)務(wù)請求，進行性能測試。通過測試工具對測試過程中系統(tǒng)各點進行監(jiān)控，每一次測試結(jié)束后工具自動生成結(jié)果報告供分析使用。2.7測試術(shù)語1) 系統(tǒng)的響應(yīng)時間：即在各種負(fù)載壓力情況下，系統(tǒng)的響應(yīng)時間，也就是從客戶端交易發(fā)起，到服務(wù)器端交易應(yīng)答返回所需要的時間，包括網(wǎng)絡(luò)傳輸時間和服務(wù)器處理時間。2) 應(yīng)用系統(tǒng)的吞吐量：即應(yīng)用系統(tǒng)在單位時間內(nèi)完成的交易量，也就是在單位時間內(nèi)，應(yīng)用系統(tǒng)針對不同的負(fù)載壓力，所能完成的交易數(shù)量。3) 應(yīng)用系統(tǒng)的負(fù)載能力：即系統(tǒng)所能容忍的最大用戶數(shù)量，也就是在正常的響應(yīng)時間中，系統(tǒng)能夠支持的最多的客戶端的數(shù)量。4) 縮略語：Vuser，Transaction，TPSVuser虛擬用戶Virtual user,模擬真實業(yè)務(wù)邏輯步驟的虛擬用戶,虛擬用戶模擬的操作步驟都被記錄在虛擬用戶腳本里。Vuser 腳本用于描述 Vuser 在場景中執(zhí)行的操作。Transaction事務(wù) 事務(wù)是性能測試腳本的一個重要特性。要度量服務(wù)器的性能,需要定義事務(wù),每個事務(wù)都包含事務(wù)開始和事務(wù)結(jié)束標(biāo)記。事務(wù)用來衡量腳本中一行代碼或多行代碼的執(zhí)行所耗費的時間.可以將事務(wù)開始放置在腳本中某行或者多行代碼的前面,將事務(wù)結(jié)束放置在該行或者多行代碼的后面,在該腳本的虛擬用戶運行時,這個事務(wù)將衡量該行或者多行代碼的執(zhí)行花費了多長時間。TPS每秒事務(wù)數(shù)(Transaction Per Second) 每秒鐘系統(tǒng)能夠處理的交易或事務(wù)的數(shù)量,它是衡量系統(tǒng)處理能力的重要指標(biāo)。TPS 是 Load Runner 中重要的性能參數(shù)指標(biāo)。第三章 性能測試環(huán)境3.1服務(wù)器環(huán)境數(shù)據(jù)庫服務(wù)器：服務(wù)器型號：IBMCPU： 8核Intel(R) Xeon(R) CPU E5-2650 v2 2.60GHz內(nèi)存：32GB系統(tǒng)盤：云磁盤數(shù)據(jù)盤：云磁盤 操作系統(tǒng)： 應(yīng)用軟件：3.2客戶端環(huán)境資源描述數(shù)量Load runner 11主要性能測試工具1Office 2007用于記錄測試數(shù)據(jù)2Windows XP SP3,Windows7測試客戶端系統(tǒng)1IE10，F(xiàn)irefox及其組件測試客戶端應(yīng)用軟件1PC測試計算機23.3網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)拓?fù)浜徒Y(jié)構(gòu)圖如下：第四章 測試方案本次性能測試主要模擬測試的事務(wù)：用戶信息瀏覽檢索用戶提交查詢關(guān)鍵字?jǐn)?shù)據(jù)到后臺，系統(tǒng)收到查詢請求并檢索、返回結(jié)果數(shù)據(jù)；l 性能測試觀察指標(biāo)：Bs結(jié)構(gòu)程序一般會關(guān)注的通用指標(biāo)如下：Web服務(wù)器指標(biāo)指標(biāo)：* Avg Rps: 平均每秒鐘響應(yīng)次數(shù)=總請求時間 / 秒數(shù)；* Successful Rounds：成功的請求；* Failed Rounds ：失敗的請求；* Successful Hits ：成功的點擊次數(shù)；* Failed Hits ：失敗的點擊次數(shù)；* Hits Per Second ：每秒點擊次數(shù)；* Successful Hits Per Second ：每秒成功的點擊次數(shù)；* Failed Hits Per Second ：每秒失敗的點擊次數(shù)；* Attempted Connections ：嘗試鏈接數(shù)；l 執(zhí)行每個場景時記錄以下相應(yīng)的數(shù)據(jù)： 業(yè)務(wù)執(zhí)行的平均響應(yīng)時間 每秒事務(wù)數(shù) 運行的并發(fā)用戶數(shù)目 網(wǎng)絡(luò)吞吐量4.1基準(zhǔn)測試場景：（歷史數(shù)據(jù)有1000條以上）1. 使用Load runner模擬50用戶請求交易，每個用戶沒有時間間隔（Think Time）的情況下反復(fù)提交交易并返回結(jié)果，直到全部執(zhí)行退出系統(tǒng)。記錄平均事務(wù)響應(yīng)時間，每秒事務(wù)數(shù)，吞吐量。2. 記并發(fā)數(shù)改為100，同時加壓，同時結(jié)束壓力，重復(fù)上述測試步驟。3. 并發(fā)數(shù)改為200，重復(fù)上述測試步驟。4. 當(dāng)響應(yīng)時間大于期望時間，或者服務(wù)器指標(biāo)超過預(yù)訂設(shè)置時將停止測試。備注：以上測試均進行3次，來保證測試結(jié)果的有效性和準(zhǔn)確性。4.2并發(fā)測試場景：（歷史數(shù)據(jù)有1000條以上）1. 使用Loadrunner模擬50用戶請求交易，每個用戶沒有時間間隔（ThinkTime）的情況下反復(fù)提交交易并返回結(jié)果，持續(xù)時間分別為10分鐘， 15分鐘，20分鐘，記錄平均事務(wù)響應(yīng)時間，每秒事務(wù)數(shù)，吞吐量。2. 記并發(fā)數(shù)改為100重復(fù)上述測試步驟。3. 并發(fā)數(shù)改為200，重復(fù)上述測試步驟。4. 當(dāng)響應(yīng)時間大于期望時間，或者服務(wù)器指標(biāo)超過預(yù)期設(shè)置時將停止測試。備注：以上測試均進行3次，來保證測試結(jié)果的有效性和準(zhǔn)確性。3次執(zhí)行時間分別為10分鐘，15分鐘，20分鐘。4.3穩(wěn)定性測試測試方法：采用業(yè)務(wù)中合理、適度的用戶使用場景，對系統(tǒng)進行時間為8-12 小時的穩(wěn)定性測試。記錄每次服務(wù)的平均響應(yīng)時間，交易的正確率，考察服務(wù)器是否宕機，交易正確率小于95%等情況。穩(wěn)定性測試的用例如下：場景：（歷史數(shù)據(jù)有1000條以上）1. 使用Loadrunner模擬200個并發(fā)用戶請求交易，每個用戶有一定時間間隔（ThinkTime）1秒的情況下反復(fù)點擊頁面和信息檢索并返回結(jié)果，持續(xù)執(zhí)行8-12小時（2016-1-14-20:30-2016-1-15-8:30）共計69688）每秒5次以上的點擊和檢索，記錄平均事務(wù)響應(yīng)時間，每秒事務(wù)數(shù)，吞吐量。觀察軟件的穩(wěn)定性以及各種性能指標(biāo)的劣化趨勢，要有效防止資源泄露。2. 當(dāng)服務(wù)器出現(xiàn)資源泄露或者系統(tǒng)的資源耗盡等情況，交易正確率小于95%，停止測試。第五章 測試結(jié)果描述和分析6.1基準(zhǔn)測試性能分析 設(shè)計50、100、200個用戶并發(fā)，沒有持續(xù)加壓時間，直至執(zhí)行完成。獲取系統(tǒng)的各種表現(xiàn)。50個用戶的測試信息統(tǒng)計：100個用戶的測試信息統(tǒng)計：200個用戶的測試信息統(tǒng)計：1、 事務(wù)平均響應(yīng)時間序號單項事務(wù)用戶數(shù)響應(yīng)時間（s）備注50100200總流程時間5.6435.7778.59450個用戶的響應(yīng)時間：100個用戶的響應(yīng)時間：200個用戶的響應(yīng)時間：從以上圖中可以看出，服務(wù)器在50，100個并發(fā)的情況下所有事務(wù)都保持在5s左右，但稍微高于5s，應(yīng)該有一定的上升空間。最大的問題在于并發(fā)數(shù)200后，處理時間已經(jīng)在5s以上，達(dá)到8s。建議：優(yōu)化請求響應(yīng)模塊以及檢索應(yīng)用模塊，減少響應(yīng)時間。2、 TPS （事務(wù)數(shù)/秒）50個用戶的每秒事務(wù)數(shù)：100個用戶的每秒事務(wù)數(shù)：200個用戶的每秒事務(wù)數(shù)：從以上每個圖中看到TPS達(dá)到峰值1后開始有下降的趨勢，基本上均在1個事物以下，這個數(shù)據(jù)并不理想，我們服務(wù)器的性能還沒有充分發(fā)揮，現(xiàn)有硬件條件下還可以在單位時間內(nèi)處理更多的事務(wù)數(shù)，建議在下一階段進行優(yōu)化提升?；蛘呤蔷W(wǎng)絡(luò)不佳的情況導(dǎo)致該情況的出現(xiàn)。3、 吞吐量并發(fā)數(shù)Total Throughput (bytes)Average Throughput(bytes/second)50128,707,404347,858100257,386,009993,768200514,838,2262,394,59650個用戶的吞吐量：100個用戶的吞吐量：200個用戶的吞吐量： 從圖中可以看出總吞吐量隨著用戶的增加成正比的，數(shù)據(jù)交換正常。但是，在對網(wǎng)絡(luò)帶寬，系統(tǒng)架構(gòu)，硬件資源的合理分配后應(yīng)該能發(fā)揮系統(tǒng)的更大處理能力。 6.2并發(fā)測試性能分析設(shè)計50、100、200個用戶并發(fā)，分別持續(xù)10分鐘，15分鐘，20分鐘，獲取系統(tǒng)的各種表現(xiàn)。50個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）：100個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）：200個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）：1、 平均事務(wù)響應(yīng)時間測試用例響應(yīng)時間(單位：秒)并發(fā)50持續(xù)5分鐘14.009并發(fā)50持續(xù)10分鐘15.31并發(fā)50持續(xù)15分鐘11.178并發(fā)100持續(xù)5分鐘16.318并發(fā)100持續(xù)10分鐘14.143并發(fā)100持續(xù)15分鐘15.675并發(fā)200持續(xù)5分鐘24.859并發(fā)200持續(xù)10分鐘24.997并發(fā)200持續(xù)15分鐘26.34950個并發(fā)（以10分鐘為例）：100個并發(fā)（以10分鐘為例）：200個并發(fā)（以10分鐘為例）：從圖中看出，并發(fā)用戶數(shù)同時進行5分鐘，響應(yīng)時間就已經(jīng)在10s以上了，隨著并發(fā)用戶數(shù)和持續(xù)時間的增加，響應(yīng)時間變得越來越長，當(dāng)200個并發(fā)的時候已經(jīng)超過20秒，已經(jīng)相對較慢，但是這只是實驗室理論測試數(shù)據(jù)，在實際生產(chǎn)環(huán)境中過高的并發(fā)數(shù)和過長的持續(xù)壓力時間這種極端情況很少。但是并發(fā)持續(xù)了5分鐘這種情況下，我們的響應(yīng)時間還是應(yīng)該可以控制在5秒以內(nèi)，使我們系統(tǒng)在較大的業(yè)務(wù)量的情況下可以提供較為滿意的用戶體驗。導(dǎo)致這樣的一種情況主要來自于網(wǎng)絡(luò)不佳造成（該問題并不是由于服務(wù)器端的網(wǎng)絡(luò)不良，而是來自用戶端的網(wǎng)絡(luò)不佳導(dǎo)致）2、 TPS（事務(wù)數(shù)/秒）（以10分鐘為例）測試用例TPS并發(fā)50持續(xù)10分鐘3.086并發(fā)100持續(xù)10分鐘6.260并發(fā)200持續(xù)10分鐘7.18450個并發(fā)（以10分鐘為例）：100個并發(fā)（以10分鐘為例）：200個并發(fā)（以10分鐘為例）： TPS數(shù)值并不理想，它反映了服務(wù)器處理能力一般，沒有充分發(fā)揮應(yīng)用服務(wù)器的事務(wù)處理能力。建議：在下一個階段需要優(yōu)化。但是這個原因可能是由于網(wǎng)絡(luò)帶寬、前置接入系統(tǒng)處理能力較小，比如：連接數(shù)有所限制，所以最后到達(dá)核心應(yīng)用服務(wù)器事務(wù)數(shù)較小，連鎖導(dǎo)致最終事務(wù)處理能力上不去。3、 吞吐量（以10分鐘為例）測試用例Total Throughput (bytes)Average Throughput (bytes/second)并發(fā)50持續(xù)10分鐘3,628,897,7475,416,265并發(fā)100持續(xù)10分鐘7,096,275,50910,008,851并發(fā)200持續(xù)10分鐘8,262,379,06911,120,29550個并發(fā)（以