性能測(cè)試規(guī)范

1、性能測(cè)試規(guī)范神州數(shù)碼系統(tǒng)集成服務(wù)有限公司2018年 10月1 概述1.1 編寫目的 .1.2 適用范圍 .2 性能測(cè)試指標(biāo) 2.1 響應(yīng)時(shí)間 . 定義 . 測(cè)試方法 .分析評(píng)估 .2.1.12.1.22.1.322 TPS ( QPS、并發(fā)用戶數(shù).2.2.12.2.2定義 . 測(cè)試方法 . 分析評(píng)估 .2.2.32.3 請(qǐng)求成功率 . 定義 . 測(cè)試方法 .分析評(píng)估 .2.3.1目錄2.3.22.3.32.4 CPU 使用率、內(nèi)存使用率、 IO WAIT2.4.12.4.2定義 . 測(cè)試方法 . 分析評(píng)估 .99102.4.32.5 GC2.6 進(jìn)程級(jí)別的資源占用 .1111111 概述1.1

2、 編寫目的本文檔在對(duì)性能指標(biāo)的概念、測(cè)試及分析方法、評(píng)判標(biāo)準(zhǔn)以及工具的使用進(jìn)行說明，旨在指導(dǎo)性能測(cè)試工程師更好的理解各個(gè)性能指標(biāo)，并對(duì)系統(tǒng)的性能質(zhì)量做出準(zhǔn)確的評(píng)價(jià)和分析。1.2 適用范圍本規(guī)范適用范圍：性能測(cè)試、性能調(diào)優(yōu)和性能驗(yàn)收活動(dòng)。2 性能測(cè)試指標(biāo)2.1 響應(yīng)時(shí)間2.1.1 定義響應(yīng)時(shí)間通常是指客戶發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過程所耗費(fèi)的時(shí)間，通常被定義TTLB( Time to Laster Byte )，代表從發(fā)起一個(gè)請(qǐng)求開始，到客戶端收到響應(yīng)的最后一個(gè)字節(jié)所耗費(fèi)的時(shí)間。響應(yīng)時(shí)間根據(jù)所耗費(fèi)的時(shí)間段可以做細(xì)致的拆解，我們可以把它拆解為三部分， 系統(tǒng)處呈現(xiàn)時(shí)間不止于瀏覽器有關(guān)，和網(wǎng)絡(luò)的時(shí)延、

3、帶寬有關(guān)系。理時(shí)間、數(shù)據(jù)傳輸時(shí)間、呈現(xiàn)時(shí)間(Web頁面特有，接口類請(qǐng)求無呈現(xiàn)時(shí)間)，每個(gè)部分的時(shí)間消耗影響的因素有所不同。呈現(xiàn)時(shí)間：主要是瀏覽器對(duì)接收到的數(shù)據(jù)渲染展示的過程， 和操作系統(tǒng)、電腦的硬件配置也有關(guān)系。數(shù)據(jù)傳輸時(shí)間： 請(qǐng)求、 響應(yīng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸消耗的時(shí)間，系統(tǒng)處理時(shí)間： 系統(tǒng)接收到請(qǐng)求后， 對(duì)請(qǐng)求處理， 并將結(jié)果返回的時(shí)間，和系統(tǒng)服務(wù)器 的軟硬件配置有關(guān)系。2.1.2 測(cè)試方法、測(cè)試前提1) 前提一：性能測(cè)試中響應(yīng)時(shí)間的測(cè)試，需要保持一個(gè)穩(wěn)定的網(wǎng)絡(luò)環(huán)境。不建議在辦公網(wǎng)絡(luò)中搭建 “施壓設(shè)備” ,不穩(wěn)定的辦公網(wǎng)絡(luò)環(huán)境會(huì)影響對(duì)測(cè)試結(jié)果的評(píng)判。建議在以下兩種環(huán)境下測(cè)試：施壓設(shè)備與被測(cè)系統(tǒng)在

4、同一局域網(wǎng)中, 更能夠排除網(wǎng)絡(luò)情況對(duì)響應(yīng)時(shí)間的影響, 能夠更準(zhǔn)確的衡量“系統(tǒng)處理時(shí)間”。施壓設(shè)備和被測(cè)系統(tǒng)在不同的機(jī)房環(huán)境中通過公網(wǎng)測(cè)試，這種場(chǎng)景更能準(zhǔn)確的模擬并評(píng)估系統(tǒng)在生產(chǎn)環(huán)境中的表現(xiàn)。測(cè)試工程師可以根據(jù)測(cè)試的目的，選擇后兩種環(huán)境進(jìn)行測(cè)試。2) 前提二：確定一定的并發(fā)量來測(cè)試響應(yīng)時(shí)間最優(yōu)并發(fā)用戶場(chǎng)景、最高并發(fā)用戶場(chǎng)景兩種場(chǎng)景測(cè)試, 響應(yīng)時(shí)間的表現(xiàn)是不同的, 最高并發(fā)場(chǎng)景的響應(yīng)時(shí)間將會(huì)比最優(yōu)并發(fā)的響應(yīng)時(shí)間大得多，測(cè)試前我們需要確定我們測(cè)試的場(chǎng)景是最優(yōu)并發(fā)還是最高并發(fā)。二、測(cè)試步驟1)找到最高的吞吐量 (TPS) 。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)(如：小于100ms),然后進(jìn)行基準(zhǔn)測(cè)試，通過虛擬

5、并發(fā)用戶數(shù)為 1 的方式測(cè)試，記錄測(cè)試的TPS響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較, 若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間, 那么則說明系統(tǒng)有問題無法滿足標(biāo)準(zhǔn), 若該 響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間,則繼續(xù)下面的測(cè)試。通過壓力測(cè)試找到最大的吞吐量： 在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下, 找到系統(tǒng)最大的 吞吐量(TPS，該狀況下響應(yīng)時(shí)間滿足要求、吞吐量最大，可確定為“最佳并發(fā)70%)。用戶數(shù)”。 方法是按照一定的步長, 不斷增加虛擬并發(fā)用戶數(shù),直至響應(yīng)時(shí)間超過限制、吞吐量不在增長、任意節(jié)點(diǎn)資源使用率超過要求(如：2)負(fù)載測(cè)試：保持最大吞吐量,執(zhí)行負(fù)載測(cè)試,持續(xù)30分鐘，記錄測(cè)試TPS響應(yīng)時(shí)間測(cè)試結(jié)果。3)穩(wěn)定性測(cè)試：保持最大吞

6、吐量,執(zhí)行穩(wěn)定性測(cè)試,持續(xù)3*24小時(shí)，記錄測(cè)試 TPS響應(yīng)時(shí)間。三、測(cè)試對(duì)象的分類1） 接口接口類響應(yīng)時(shí)間只包含數(shù)據(jù)傳輸時(shí)間、 系統(tǒng)處理時(shí)間， 不包含呈現(xiàn)時(shí)間， Apache Jmeter支持該類響應(yīng)時(shí)間的統(tǒng)計(jì)，共有min、 max、 avg 三種統(tǒng)計(jì)結(jié)果，分別代表最小、最大、平均 值，其他的性能測(cè)試工具均有對(duì)接口類響應(yīng)時(shí)間的精確統(tǒng)計(jì)。2) Web頁面有3種方法可以統(tǒng)計(jì) Web頁面的響應(yīng)時(shí)間: 瀏覽器抓包工具統(tǒng)計(jì)頁面響應(yīng)時(shí)間 錄屏軟件抓取屏幕計(jì)算響應(yīng)時(shí)間 JS打點(diǎn)統(tǒng)計(jì)頁面響應(yīng)時(shí)間。注意:目前還無法通過大量并發(fā)訪問的采樣統(tǒng)計(jì)頁面的響應(yīng)時(shí)間，在通過瀏覽器測(cè)試Web頁面響應(yīng)時(shí)間時(shí)，要確保通過Jme

7、ter對(duì)系統(tǒng)相對(duì)應(yīng)接口保持一定壓力的并發(fā)用戶訪問通常在最優(yōu)并發(fā)下測(cè)試）。2.1.3 分析評(píng)估一、Web頁面響應(yīng)時(shí)間分析遵循 258原則在互聯(lián)網(wǎng)上對(duì)于用戶響應(yīng)時(shí)間有一個(gè)普遍的標(biāo)準(zhǔn)（ 2/5/8 原則），一般認(rèn)為響應(yīng)時(shí)間超 過 5s 是系統(tǒng)是需要優(yōu)化，如果超過 8s 是不可接受的。2s 之內(nèi)響應(yīng)被認(rèn)為非常有吸引力的用戶體驗(yàn)。5s 之內(nèi)響應(yīng)被認(rèn)為比較不錯(cuò)的用戶體驗(yàn)。8s 之內(nèi)響應(yīng)被認(rèn)為非常糟糕的用戶體驗(yàn)。超過 8s 沒有響應(yīng)，用戶通常認(rèn)為請(qǐng)求失敗。需要特殊說明的一點(diǎn)， 對(duì)于用戶來說， 響應(yīng)時(shí)間是否被接受帶有一定的主觀色彩， 例如 一個(gè)系統(tǒng)報(bào)表的功能， 每個(gè)月才會(huì)有用戶使用一次， 那么每次花費(fèi) 1個(gè)小

8、時(shí)， 用戶是可以接 受的，但是一個(gè)常用的登錄按鈕提交 1 分鐘后才返回登錄成功， 我們也難以接受。 因此響應(yīng)時(shí)間的“長”和“短”并沒有絕對(duì)的定義，合理的響應(yīng)時(shí)間取決于用戶實(shí)際需求，而不能依 據(jù)測(cè)試人員的設(shè)想或者標(biāo)準(zhǔn)的硬性規(guī)定。二、Web頁面響應(yīng)時(shí)間分析評(píng)估時(shí)需要考慮有無瀏覽器緩存的兩種情況Web頁面響應(yīng)時(shí)間測(cè)試，要分為瀏覽器有緩存和無緩存的兩種情況（無緩存的情況由于資源的下載響應(yīng)時(shí)間會(huì)稍長） ，一般通過有瀏覽器緩存的場(chǎng)景的結(jié)果表現(xiàn)來評(píng)估響應(yīng)時(shí)間對(duì) 用戶體驗(yàn)的影響。三、接口類響應(yīng)時(shí)間，參考系統(tǒng)需求規(guī)格定義評(píng)估最優(yōu)并發(fā)情況下，性能測(cè)試結(jié)果平均響應(yīng)時(shí)間不得高于系統(tǒng)需求規(guī)格定義。建議：需求規(guī)格的定義，

9、單接口響應(yīng)時(shí)間應(yīng)小于100ms。響應(yīng)時(shí)間的標(biāo)準(zhǔn)一般定義：99.9%響應(yīng)時(shí)間必須在100ms以下（非平均值，99.9%取樣響應(yīng)時(shí)間均在100ms以下）或者平均響應(yīng)時(shí)間在 100ms以下，目前工具只能統(tǒng)計(jì)平均響應(yīng)時(shí)間指標(biāo)。四、響應(yīng)時(shí)間與歷史版本比較當(dāng)前系統(tǒng)實(shí)測(cè)響應(yīng)時(shí)間的指標(biāo)不得高于歷史版本的實(shí)測(cè)結(jié)果。注意： 兩者的測(cè)試結(jié)果的比較， 一定是在相同條件下測(cè)試的結(jié)果 （環(huán)境對(duì)性能的影響較大）五、參考同類系統(tǒng)功能的響應(yīng)時(shí)間對(duì)于新開發(fā)的系統(tǒng)， 在沒有生產(chǎn)環(huán)境數(shù)據(jù)、 歷史版本參考的情況下， 可參考其他類似系 統(tǒng)的響應(yīng)時(shí)間的實(shí)測(cè)結(jié)果，對(duì)比本系統(tǒng)實(shí)測(cè)的結(jié)果，經(jīng)過產(chǎn)品經(jīng)理、開發(fā)、運(yùn)營運(yùn)維共同評(píng) 審確定該系統(tǒng)的性能需

10、求標(biāo)準(zhǔn)，并按照達(dá)成一致的需求標(biāo)準(zhǔn)進(jìn)行評(píng)估。2.2 TPS （ QPS ）、并發(fā)用戶數(shù)2.2.1 定義TPS每秒事務(wù)數(shù)，指系統(tǒng)每秒能夠處理的事務(wù)數(shù)量（一個(gè)事務(wù)可能是有多個(gè)請(qǐng)求組成）。request 請(qǐng)求）數(shù)量。QPS每秒查詢率，只系統(tǒng)每秒能夠處理的查詢（通常指一個(gè)并發(fā)用戶數(shù) ：在同一時(shí)刻（任一時(shí)刻）與服務(wù)器進(jìn)行交互（服務(wù)器正在處理）的在線用 戶的數(shù)量。 對(duì)于并發(fā)用戶數(shù)避免兩種錯(cuò)誤的理解， 一種錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系 統(tǒng)注冊(cè)用戶數(shù)，還有一個(gè)錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)在線用戶數(shù)。2.2.2 測(cè)試方法1)找到穩(wěn)定運(yùn)行的最高的吞吐量 （TPS）。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)（如：小于1

11、00ms）,然后進(jìn)行基準(zhǔn)測(cè)試，通過虛擬并發(fā)用戶數(shù)為1的方式測(cè)試，記錄測(cè)試的 TPS響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較， 若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間， 那么則說明系統(tǒng)有問題無法滿足標(biāo)準(zhǔn)， 若該 響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間，則繼續(xù)下面的測(cè)試。通過壓力測(cè)試找到最大的吞吐量： 在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下， 找到系統(tǒng)最大的 吞吐量（TPS，該狀況下響應(yīng)時(shí)間滿足要求、吞吐量最大，可確定為“最佳并發(fā)70%）。用戶數(shù)”。 方法是按照一定的步長， 不斷增加虛擬并發(fā)用戶數(shù)，直至響應(yīng)時(shí)間超過限制、吞吐量不在增長、任意節(jié)點(diǎn)資源使用率超過要求（如：2)負(fù)載測(cè)試：保持最大吞吐量，執(zhí)行負(fù)載測(cè)試，持續(xù)30 分鐘，記錄測(cè)試 TPS響應(yīng)

12、時(shí)間測(cè)試結(jié)果。3)穩(wěn)定性測(cè)試：保持“最佳并發(fā)用戶數(shù)”，執(zhí)行穩(wěn)定性測(cè)試，持續(xù)3*24 小時(shí)，記錄測(cè)試TPS響應(yīng)時(shí)間。4)在成功率 100%的限制下（不考慮響應(yīng)時(shí)間長短）找到系統(tǒng)的極限值。不斷增加并發(fā)用戶數(shù)，能夠持續(xù)運(yùn)行 30 分鐘不出錯(cuò)誤的并發(fā)量即為系統(tǒng)的極限值。2.2.3 分析評(píng)估、 最大吞吐量和系統(tǒng)資源使用的分析在明確響應(yīng)時(shí)間要求的限制下，壓力測(cè)試過程中， 找到最大吞吐量的拐點(diǎn)時(shí)， 分析系統(tǒng) 資源（CPU內(nèi)存）的使用率，若使用率過低，則繼續(xù)加大并發(fā)用戶量，若系統(tǒng)的所有節(jié)點(diǎn) 的任一資源均無法達(dá)到 70%使用率，說明系統(tǒng)存在系統(tǒng)類、軟件類問題和瓶頸，需要調(diào)優(yōu)。二、 TPS 與需求規(guī)格定義（生產(chǎn)環(huán)

13、境負(fù)載）比較1） 需求規(guī)格說明書中有明確的標(biāo)準(zhǔn)定義將吞吐量的實(shí)測(cè)結(jié)果和需求規(guī)格定義 （生產(chǎn)環(huán)境負(fù)載） 比較， 若大于需求規(guī)格定義則為 通過。一般最大吞吐量對(duì)應(yīng)生產(chǎn)環(huán)境的平均負(fù)載， 系統(tǒng)極限值僅用來應(yīng)對(duì)生產(chǎn)環(huán)境的突發(fā)高 峰。2） 需求規(guī)格說明書中無明確的標(biāo)準(zhǔn)定義若需求規(guī)格說明書中沒有關(guān)于性能指標(biāo)的明確定義， 在性能測(cè)試方案設(shè)計(jì)階段性能測(cè)試 工程師應(yīng)推動(dòng)測(cè)試、開發(fā)、產(chǎn)品經(jīng)理和運(yùn)維運(yùn)營一起，明確相關(guān)性能指標(biāo)。性能指標(biāo)可參考生產(chǎn)環(huán)境交易量統(tǒng)計(jì)數(shù)據(jù)來評(píng)估， 評(píng)估結(jié)果一般應(yīng)略高于當(dāng)前生產(chǎn)環(huán)境 的負(fù)載（預(yù)留半年到一年訪問量增長的余量）。若新開發(fā)產(chǎn)品， 無生產(chǎn)環(huán)境度量數(shù)據(jù)， 可參考同類產(chǎn)品、 本產(chǎn)品運(yùn)營推廣計(jì)

14、劃來評(píng)估本 產(chǎn)品的性能指標(biāo)，性能指標(biāo)確認(rèn)的結(jié)果可通過提單結(jié)論歸檔。TPS曲線、響應(yīng)時(shí)間曲三、負(fù)載測(cè)試、穩(wěn)定性測(cè)試采樣分析在負(fù)載測(cè)試、穩(wěn)定性測(cè)試過程中，保持最高吞吐量情況下壓測(cè)， 線應(yīng)該是趨于穩(wěn)定的，如出現(xiàn)大的波動(dòng)（驟升或驟降），則視為異常的拐點(diǎn)（問題），需要 進(jìn)行問題定位。2.3 請(qǐng)求成功率2.3.1 定義顧名思義， 請(qǐng)求成功率代表所有請(qǐng)求中， 成功接收到響應(yīng)的請(qǐng)求所占的比例。 系統(tǒng)的吞 吐量和請(qǐng)求成功率是掛鉤的。2.3.2 測(cè)試方法請(qǐng)求成功率是響應(yīng)時(shí)間、TPS等指標(biāo)的前提，在成功率滿足大于99.9%的前提下，響應(yīng)時(shí)間、TPS滿足預(yù)期。成功率的測(cè)試方法，可參考2.1、2.2章節(jié)中關(guān)于響應(yīng)時(shí)間、

15、TPS的測(cè)試方法。99.9%。2.3.3 分析評(píng)估標(biāo)準(zhǔn)要求：負(fù)載測(cè)試、穩(wěn)定性測(cè)試，請(qǐng)求成功率要求大于2.4 CPU 使用率、內(nèi)存使用率、IO WAIT2.4.1 定義一、 CPU 使用率：CPU時(shí)間的百分比，共分為以下幾個(gè)維度，我們通常認(rèn)為的CPU使用率是US （用戶態(tài)）+sy （系統(tǒng)態(tài)）使用的 CPU百分比之和。Us：用戶態(tài)使用的 cpU 時(shí)間百分比Sy：系統(tǒng)態(tài)使用的 cpU 時(shí)間百分比Ni：Id ：空閑的 cpU 時(shí)間百分比用做 nice 加權(quán)的進(jìn)程分配的用戶態(tài) cpU 時(shí)間百分比Wa：Hi：硬中斷消耗時(shí)間百分比Si：軟中斷消耗時(shí)間百分比cpU 等待 IO 完成時(shí)間百分比，指通常我們講的

16、IO WAIT二、內(nèi)存使用率內(nèi)存使用率通常是指已使用的內(nèi)存在總體內(nèi)存中所占的比例。Total ：內(nèi)存總數(shù)Used:已使用內(nèi)存數(shù)Free ：空閑的內(nèi)存數(shù)Shared :多個(gè)進(jìn)程共享的內(nèi)存總額，查詢結(jié)果總是0Buffers : Buffer Cache 磁盤緩存的大小Cached: cached Page Cache 磁盤緩存的大小可用內(nèi)存 =free+buffer+cached所以計(jì)算內(nèi)存使用率公式為:內(nèi)存使用率 =(total-free-buffer-cached)/total * 100%2.4.2 測(cè)試方法1通過Nmor采集記錄（可以同時(shí)監(jiān)控 CPU內(nèi)存、IO等各種豐富的性能資源指標(biāo)），可

17、以持續(xù)記錄測(cè)試過程每個(gè)時(shí)間點(diǎn)的資源使用情況，對(duì)于多核系統(tǒng)，也可以分別監(jiān)控每個(gè)CPU的使用情況?？赏ㄟ^ Nmon采集的資源使用曲線、結(jié)合系統(tǒng)的性能表現(xiàn)，初步完成系統(tǒng)的評(píng)估（判斷是否存在問題）。2、通過 Linux 命令來進(jìn)行系統(tǒng)問題的詳細(xì)分析（補(bǔ)充中）。top :查看進(jìn)程活動(dòng)狀態(tài)以及一些系統(tǒng)狀況，沒辦法記錄所有時(shí)間點(diǎn)的資源使用情況，好處是可以查看到進(jìn)程級(jí)別的資源使用。vmstat :查看系統(tǒng)狀態(tài)、硬件和系統(tǒng)信息等，通過vmstat 查詢，查詢整體的 CPU使用情況，同時(shí)也可以查詢進(jìn)程、內(nèi)存、交換頁面、IO 的情況。iostat :查看 CPU 負(fù)載，硬盤狀況sar（ 同類的 tsar 阿里開源工具） :綜合類工具，比較全面的查看系統(tǒng)狀況的工具，如文件的讀寫情況、系統(tǒng)調(diào)用的使用情況、磁盤I/O、CPU效率、內(nèi)存使用狀況、進(jìn)程活動(dòng)及 IPC 有關(guān)的活動(dòng)。cpu 的情況mpstat :多核CPU的可以通過該命令查看某個(gè)netstat :查看網(wǎng)路情況tcpdumptcptrace ：抓取網(wǎng)絡(luò)數(shù)據(jù)包和分析網(wǎng)絡(luò)數(shù)據(jù)包工具等多個(gè)信息dstat ：綜合工具，綜合了 vmstat, iostat, ifstat, netstat ps：進(jìn)程查詢工具CPU、2.4.3 分析評(píng)估1、通過比較“最大吞吐量”和“系統(tǒng)資源使用率”之間的關(guān)系進(jìn)行分析，系統(tǒng)必須在內(nèi)存資