性能測試筆記

1、2749555640123456789性能測試筆記1. 什么是性能測試軟件的功能：對一個軟件基本功能能夠?qū)崿F(xiàn)，比如：銀行卡能夠正常轉(zhuǎn)賬成功（用戶數(shù)=1）軟件的性能：要求軟件性能更好，一般關(guān)注多用戶的使用情況，軟件的響應(yīng)時間。響應(yīng)時間例子：登錄一個軟件，點擊“登錄”按鈕時，多久能夠顯示成功登錄的頁面。性能問題:1 每秒平均瀏覽量：2200次/秒瀏覽量（PV， Page View）：即頁面訪問量或點擊量，用戶每次刷新即被計算一次購票申請：20萬張/秒以上自身設(shè)計瀏覽量100萬次/小時 à瀏覽量280次/秒2. 響應(yīng)時間的358原則：3秒之內(nèi)，客戶比較滿意5秒之內(nèi)，客戶可以接受8秒之內(nèi)，客

2、戶可以忍受大于8秒，無法忍受3. 一般進(jìn)行性能測試之前，要對系統(tǒng)尤其是數(shù)據(jù)庫進(jìn)行備份負(fù)載測試是一種 正常 的測試（在正常測試的指標(biāo)下測出最大的負(fù)載量）指標(biāo)或者某種資源達(dá)到某種指標(biāo)，比如響應(yīng)時間達(dá)到多少，比如CPU負(fù)載100%等壓力測試和負(fù)載測試二者的區(qū)別：負(fù)載測試強(qiáng)調(diào)系統(tǒng)在正常工作情況下的性能指標(biāo)壓力測試的目的是發(fā)現(xiàn)在什么條件下系統(tǒng)的性能變得不可接受，發(fā)現(xiàn)應(yīng)用程序性能下降的拐點影響系統(tǒng)性能的主要因素（1） 硬件： CPU,內(nèi)存，硬盤，網(wǎng)卡及其他網(wǎng)絡(luò)設(shè)備【最好解決】（2） 操作系統(tǒng)（3） 網(wǎng)絡(luò)（4） 中間件（又叫應(yīng)用服務(wù)器），web服務(wù)器（5） 數(shù)據(jù)庫服務(wù)器（6） 客戶端（7） 變成語言，程序?qū)?/p>

3、現(xiàn)方式，算法【最難解決】客戶端=è服務(wù)端（Web服務(wù)器）=è應(yīng)用服務(wù)器=è數(shù)據(jù)庫服務(wù)器性能測試主要關(guān)心兩個部分：web服務(wù)器和應(yīng)用服務(wù)器。客戶端向服務(wù)器發(fā)送請求服務(wù)器端向客戶端返回應(yīng)答（響應(yīng)response）性能測試的常用術(shù)語：并發(fā)（Concurrency）：所有用戶在同一時刻（一個時間點，可以精確到毫秒級）做同一件事情或操作，一般針對同一類型的業(yè)務(wù)例如：在信用卡審批業(yè)務(wù)中，一定數(shù)目的用戶在同一時刻對已經(jīng)完成的審批業(yè)務(wù)進(jìn)行提交做并發(fā)的測試就稱為“并發(fā)測試”?！景l(fā)測試不包含睡眠時間】在線（OnLine）：多用戶在一段時間內(nèi)對系統(tǒng)執(zhí)行操作【包含睡眠時間】并發(fā)測試與在線

4、測試對系統(tǒng)的壓力不同，一般來講并發(fā)測試的壓力和在線測試的壓力的比值是10:1 。例如：200用戶并發(fā)測試相當(dāng)于2000用戶在線測試。并發(fā)測試一定是多用戶。請求響應(yīng)時間指從客戶端發(fā)送一個請求開始計時，到客戶端接到從服務(wù)器端返回的響應(yīng)結(jié)果計時結(jié)束。在一些工具中，請求響應(yīng)時間通常被稱為TTLB 即“Time to Last Byte”，意思是從開始發(fā)送第一個請求開始，到客戶端收到最后一個字節(jié)的響應(yīng)為止所耗費的時間。請求響應(yīng)時間的單位一般為“秒”或者“毫秒”再復(fù)雜的響應(yīng)時間都可以分為3段：請求的響應(yīng)時間=客戶端的響應(yīng)時間+網(wǎng)絡(luò)的響應(yīng)時間+服務(wù)器的響應(yīng)時間一般測試放在內(nèi)網(wǎng)里，帶寬，網(wǎng)絡(luò)不會成為瓶頸。只用

5、分析客戶端的響應(yīng)問題和服務(wù)器的響應(yīng)問題。一般客戶端的響應(yīng)很少有問題，一般只分析服務(wù)器響應(yīng)問題即可。事務(wù)響應(yīng)時間：用戶完成某個具體事務(wù)（如跨行取款事務(wù)）所需要的時間。事務(wù)可能包含多個請求。比如點擊“登錄”按鈕，到登錄進(jìn)頁面。事務(wù)的響應(yīng)時間和請求響應(yīng)時間的區(qū)別？一個事務(wù)包含一個或多個請求（一般，一個請求指的是一個http請求）。點擊率：每秒鐘用戶向web服務(wù)器提交的http請求數(shù)。-點擊率越大，對服務(wù)器的壓力也越大-注意：點擊不是指鼠標(biāo)的一次“單擊”操作。因為在一次“單擊”操作中，客戶端可能向服務(wù)器發(fā)出多個HTTP請求（比如跳轉(zhuǎn)頁面需要更新展示圖片等）。點擊量的計算：假如單擊“登錄”按鈕，請求一個

6、頁面登錄后的歡迎頁面中包含3個圖片，則每個圖片都需要重新發(fā)送一個http請求，所以，單擊鼠標(biāo)一次產(chǎn)生的http請求總數(shù)為4=1（登錄請求）+3（圖片請求）點擊率=點擊量/時間吞吐量：用戶在任意給定一秒從服務(wù)器端獲得的全部數(shù)據(jù)量，單位是字節(jié)吞吐量/傳輸時間=吞吐率吞吐率很重要，反應(yīng)了服務(wù)器的處理速度和性能，也是衡量網(wǎng)絡(luò)性能的重要指標(biāo)。TPS（事務(wù)數(shù)/秒）在性能測試過程中，要監(jiān)控服務(wù)器系統(tǒng)的各項資源情況，比如：CPU，內(nèi)存，磁盤及網(wǎng)絡(luò)等情況。吞吐率和點擊率的區(qū)別：吞吐率：指服務(wù)器每秒處理的數(shù)據(jù)量。反應(yīng)了服務(wù)器的處理能力，吞吐率越大，服務(wù)器處理能力越強(qiáng)。點擊率：客戶端每秒向服務(wù)器發(fā)送請求的數(shù)量。反應(yīng)

7、了服務(wù)器的壓力，點擊率越大，服務(wù)器的壓力越大吞吐率受點擊率影響，也受服務(wù)器性能的限制。完美的吞吐率是：在帶寬充足的情況下，吞吐率隨著點擊率的增加而增加。資源利用率指對不同的資源系統(tǒng)的使用程度，包括web服務(wù)器，操作系統(tǒng)，數(shù)據(jù)庫服務(wù)器，網(wǎng)絡(luò)，硬件，是測試和分析瓶頸的主要參數(shù)-如：服務(wù)器cpu利用率，磁盤利用率等它是分析系統(tǒng)性能指標(biāo)進(jìn)而改善性能的主要依據(jù)，因此是web性能測試工作的重點。性能測試的策略（即方法）：重點測試方法：基準(zhǔn)測試，并發(fā)測試，綜合場景測試，疲勞強(qiáng)度測試，極限測試，遞增測試基準(zhǔn)測試：一般做的是單用戶測試（Benchmark Testing）-指測試環(huán)境確定以后，對業(yè)務(wù)模型中涉及的

8、重要業(yè)務(wù)做單獨的測試。-目的是獲取單用戶執(zhí)行時的各項性能指標(biāo)，為多用戶并發(fā)和綜合場景等性能測試分析提供參考依據(jù)。并發(fā)測試：就是多用戶的并發(fā)測試某個測試點。并發(fā)測試對系統(tǒng)要求比較嚴(yán)格，因為要模擬一個瞬間壓力。并且要忽略系統(tǒng)的睡眠時間（思考時間）。遞增測試：A）指每隔一定時間段（如5秒，10秒）加載不同數(shù)目的虛擬用戶執(zhí)行測試點操作，對測試點進(jìn)行遞增用戶壓力加載測試。原因：所有用戶（5000）共同登陸可能會導(dǎo)致系統(tǒng)壓力過大，進(jìn)而影響到后面關(guān)心的測試點（buy）的性能，導(dǎo)致關(guān)心的測試點結(jié)果不準(zhǔn)確，所以采取遞增，分散一下前面的壓力，使系統(tǒng)關(guān)心的測試點能夠正常的測試。（這里是遞增著登陸）B）測試一個測試點

9、（如：購票），先測試單用戶，再測試20用戶，40用戶等情況，有利于分析，也稱為遞增測試。（這里是遞增著全套測試）綜合場景測試【重難點】：通過對系統(tǒng)結(jié)構(gòu)和功能的分析，對用戶的分布和使用頻率的分析，來構(gòu)造系統(tǒng)綜合場景的測試模型，模擬不同用戶執(zhí)行不同操作。如10%的用戶執(zhí)行瀏覽首頁，50%的用戶執(zhí)行查詢訂單，40%的用戶執(zhí)行訂購機(jī)票，最大限度地模擬系統(tǒng)的真實場景，使用戶預(yù)知系統(tǒng)投入使用后的性能水平。沒特別指明的話，一般都是指在線的。Login不適合放在綜合場景中運行。綜合場景：號稱能最真實的模擬實際的生產(chǎn)環(huán)境。如測試時間為50分鐘，則綜合場景中的每個腳本都是在循環(huán)執(zhí)行。所以綜合場景中不宜加入logi

10、n測試點，因為不能真實模擬實際的生產(chǎn)環(huán)境。疲勞強(qiáng)度測試：是一種特殊的強(qiáng)度測試（壓力測試）。指在一定的壓力下（如：相同的用戶數(shù)）長時間（疲勞）對系統(tǒng)進(jìn)行測試，并監(jiān)控服務(wù)器的各項資源情況。如：7x24小時,24小時（如移動電信銀行的服務(wù)器）。測試其服務(wù)器的穩(wěn)定性：指長時間的運行過程中，系統(tǒng)的各項資源及時間等指標(biāo)表現(xiàn)是否正常。內(nèi)存泄露：系統(tǒng)的服務(wù)器內(nèi)存都被占用，而沒有釋放。導(dǎo)致系統(tǒng)沒有可用內(nèi)存。內(nèi)存泄露測試：通過LR監(jiān)控時查看具體的幾項指標(biāo)，或者通過其它的專門內(nèi)存泄露檢測工具測試。數(shù)據(jù)容量測試：查看系統(tǒng)服務(wù)器能否實現(xiàn)大數(shù)量下使用情況，系統(tǒng)的各項資源表現(xiàn)情況。如：200G，或者3個T。極限測試：也叫“

11、摸高測試”，測試系統(tǒng)的極限，如系統(tǒng)最大能承受的用戶數(shù)，吞吐量等。虛擬用戶：Virtual Users控制臺：Controller分析工具：AnalysisLoadRunner的三大組件：虛擬用戶腳本生成器（Virtual User Generator）-Creat/Edit Scripts【Generator：生成器】壓力調(diào)度控制臺（Controller）-Run Load Tests壓力結(jié)果分析器（Analysis）-Analyze Test ResultsQTP（功能自動化的工具）和LR（性能測試工具）的區(qū)別：QTP關(guān)心的是功能方面，LR關(guān)心的是性能方面。QTP關(guān)心界面的控件屬性（對象，對

12、象的屬性，屬性值等）等，LR關(guān)心的是客戶端和服務(wù)器之間往來的數(shù)據(jù)包。LR的工作原理：錄制時，LR記錄客戶端和服務(wù)器二者之間的所有對話（數(shù)據(jù)包），形成腳本，回放時，LR模擬真實的客戶端，向服務(wù)器發(fā)送請求。并驗證服務(wù)器的響應(yīng)。LR是怎么記錄下數(shù)據(jù)包的：（1）基于局域網(wǎng)的廣播原理。【這種用的很少】（2）基于一種嗅探原理sniffer。【目前在用的方式】虛擬用戶腳本生成器：是用來生成腳本的LR的常用術(shù)語：虛擬用戶（Virtual User 【簡稱VU】）：在場景中，loadRUnner用VU代替實際用戶。Vuser模擬實際用戶執(zhí)行操作。一個場景可以包含幾十，幾百甚至幾千個Vuser。（每個虛擬用戶是一

13、個進(jìn)程或者線程，一般用的是線程）Vuser腳本（Virtual User Script）：用于描述VU在場景中執(zhí)行的操作。（記錄的客戶端發(fā)送的請求。）事物（Transaction）：為度量服務(wù)器的性能，需要定義事務(wù)。事務(wù)表示要度量的最終用戶業(yè)務(wù)流程或操作。為何要定義事務(wù)：因為腳本中將關(guān)心的操作（如購票）定義為一個事務(wù)，則結(jié)果報告中（analysis）就會返回事務(wù)的響應(yīng)時間。不關(guān)心的操作就不需要定義成事務(wù)。場景（Scenario）：場景是一種文件，用于根據(jù)性能要求定義在每一個測試回話運行期間發(fā)生的事件。模擬真實環(huán)境中，用戶運行的情況?！緦⒛_本放到控制臺去運行（包括設(shè)置各種參數(shù)）】綜合場景：將不同

14、的腳本，至少3個放到控制臺去共同運行一段時間。具體定義見PPT。測試注意：-設(shè)置IE（清楚瀏覽器緩存）：進(jìn)入工具èInternet選項è常規(guī)è設(shè)置è每次訪問此頁面時檢查-LR中修改參數(shù)：進(jìn)入ControllerèRunèTime SettingèTnternet Protocol èProxy，選擇No Proxy。Jojo /bean LR基本測試流程：制定性能測試計劃（部分）è創(chuàng)建測試腳本è編譯，運行測試腳本【VUG】è創(chuàng)建場景è運行，監(jiān)控場景，收集數(shù)據(jù)【Con 控制臺】

15、è生成測試報告，分析測試結(jié)果【analysis】 最好用英文命名小技巧：彈出結(jié)果日志文件Transaction 事務(wù)將一個操作設(shè)置成事務(wù)的目的：獲取操作的響應(yīng)時間（在analysis報告里）在帶寬充足的情況下，完美的吞吐率應(yīng)該隨著點擊率的升高而升高。反過來，當(dāng)服務(wù)器壓力過大服務(wù)器處理能力不足時，吞吐率會隨著點擊率的增高而保持恒定或者降低，那么點擊率也會受到相應(yīng)影響而變慢。即吞吐率和點擊率是相互影響的。腳本生成器可以模擬1個用戶，多用戶一定要用控制臺來實現(xiàn)。（控制臺就是來生成管理多用戶的。）基準(zhǔn)測試是單用戶測試，可用腳本生成器（生成的調(diào)試結(jié)果是沒有響應(yīng)時間的），但是也還是需要控制臺。因

16、為結(jié)果要寫到報告里。（結(jié)果生成器analysis得出單用戶測試的結(jié)果，比如響應(yīng)時間等等）疲勞測試和綜合場景測試的區(qū)別就是時間的長短，疲勞測試運行的時間會長一些。只要業(yè)務(wù)邏輯不變（操作不變），則不需要重新調(diào)試腳本，回歸測試中可以直接利用原來腳本。調(diào)試腳本時請頻繁保存副本，因為LR回退鍵效果不是很好。腳本必須現(xiàn)在腳本生成器進(jìn)行運行，執(zhí)行通過è將腳本放入控制臺，在控制臺執(zhí)行完畢后è生成結(jié)果報告總的吞吐率 服務(wù)水平等級協(xié)議報告中事務(wù)響應(yīng)時間的標(biāo)準(zhǔn)方差值：越趨近于0，說明系統(tǒng)越穩(wěn)定（每一項事務(wù)的響應(yīng)時間非常相似）90percent：表示90%的事務(wù)都可以在該響應(yīng)時間內(nèi)完成。代表一個大

17、多數(shù)情況。HTTP狀態(tài)碼：200表示成功4XX表示客戶端的失敗5XX表示服務(wù)器的失敗當(dāng)場景設(shè)定的duration時間結(jié)束時，所有的虛擬用戶需要運行完當(dāng)前的transaction以及action再結(jié)束?；鶞?zhǔn)測試執(zhí)行方法單用戶執(zhí)行腳本操作1分鐘單用戶執(zhí)行腳本操作5次B/S腳本必須要有登陸，有退出（否則假退出其實鏈接還沒斷開，會影響測試結(jié)果）Replay log：腳本執(zhí)行日志Recording log：錄制時的日志Generation log：所有客戶端和服務(wù)器二者之間的對話快捷鍵：ctrl+G Go to Line 跳到某一行跳到對應(yīng)的日志基準(zhǔn)測試：單用戶測試。3.4 1.7 1.8 1.6為了規(guī)

18、避第一次測試的不準(zhǔn)確性，則有兩種測試方法：（1） 設(shè)置循環(huán)5次（N次）Run-time Setting循環(huán)5次，或者持續(xù)運行1分鐘。（取平均值）Run logic：循環(huán)次數(shù)-設(shè)置為5Pacing：兩次循環(huán)之間的步長值（時間間隔）-隨機(jī)值2-4秒Think time：ignore（忽略思考時間），因為對結(jié)果沒什么影響Pacing：步長值，為了更真實的模擬環(huán)境（斷開連接，釋放資源），一般選隨機(jī)值基準(zhǔn)測試單用戶對服務(wù)器壓力不大，一般可以ignore think time。監(jiān)控資源：監(jiān)控服務(wù)器的資源客戶端的資源：自己隨時把握一下，不要成為測試的瓶頸即可。（2）持續(xù)運行1分鐘當(dāng)duration和run_time setting中循環(huán)（run logic）都有值的話，duration的優(yōu)先級比較高【二者循環(huán)的位置都為action】Run logic：循環(huán)次數(shù)-設(shè)置為1Pacing：步長值，為了更真實的模擬環(huán)境（斷開連接，釋放資源），一般選隨機(jī)值基準(zhǔn)測試單用戶對服務(wù)器壓力不大，一般可以ignore th