性能測試進(jìn)階2-方案篇

收集系統(tǒng)信息明確性能測試目標(biāo)設(shè)計場景選擇關(guān)鍵的應(yīng)用場景確定關(guān)鍵場景的使用路徑區(qū)別每種用戶的數(shù)據(jù)和不同點確定不同場景的相對分布指標(biāo)性能測試方案制定Operational

ViewDeployment

ViewPersistent

Data

View1收集系統(tǒng)信息系統(tǒng)說明文檔設(shè)計文檔例如，MRD、概要設(shè)計、詳細(xì)設(shè)計等其他技術(shù)細(xì)節(jié)參與角色PM、RD、OP、DBA等信息來源View

ItemsChecklist硬件部署網(wǎng)絡(luò)狀況·終端用戶與web服務(wù)器的網(wǎng)絡(luò)連接·web/應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器的網(wǎng)絡(luò)連接-多臺web服務(wù)器跨機(jī)房的部署(南北分流)web/app/database服務(wù)器的配置·processors·disk·memory·RAID條件·memory

utilization·key

processes

resource

utilization·processor

utilization·network

utilization·server

status架構(gòu)主要組件間的接口·有proxy

cache·主從資源使用的可接受標(biāo)準(zhǔn)·processorsserver

log是否可用·web

server·負(fù)載均衡·數(shù)據(jù)傳輸方式·memory

·disk·app

server

·database

server業(yè)務(wù)與負(fù)載負(fù)載變化規(guī)律業(yè)務(wù)特點與負(fù)載變化的規(guī)律·峰值

·較高·業(yè)務(wù)的類型·系統(tǒng)登錄的用戶數(shù)·較低·每秒業(yè)務(wù)量

·系統(tǒng)總用戶量·業(yè)務(wù)可接受的平均、最大、90%響應(yīng)時間·是否有

任務(wù)產(chǎn)生額外負(fù)載

·是否存在外部依賴(依賴外部模塊響應(yīng)時間)數(shù)據(jù)現(xiàn)狀與增長預(yù)期當(dāng)前數(shù)據(jù)分析·數(shù)據(jù)大小

·數(shù)據(jù)組織方式(·每個業(yè)務(wù)對應(yīng)的主要數(shù)據(jù)庫對象(·系統(tǒng)中最大的幾張表大小是多少-physical

-logical)-可能是一張表或一組表

)·數(shù)據(jù)歸檔和整理的頻率數(shù)據(jù)量增長預(yù)期·未來一段時間的數(shù)據(jù)增長預(yù)期Checklist示例2

明確性能測試目標(biāo)Application

response

timeHow

long

does

it

taketocomplete

a

taskConfiguration

SizingWhich

configuration

providesthe

best

performance

level?AcceptanceIs

the

system

stable

enough

togointo

production?RegressionDoes

the

new

version

of

thesoftware

adversely

affectresponse

time?Reliability–

How

stable

is

the

systemunder

a

heavywork

load?Capacity

planningAt

what

pointdoesdegradation

in

performanceoccur?Bottleneck

identificationWhat

is

the

cause

ofdegradation

in

performance?Product

evaluation–

What

is

the

best

server

for100

users?基于expectations, ation,

observation,

log

files,

以及其他可以用的數(shù)據(jù)（例如正式上線前的試用期數(shù)據(jù)）建立真實的負(fù)載模型基礎(chǔ)：并發(fā)用戶和 用戶的區(qū)別識別每類用戶的典型應(yīng)用場景了解建立真實負(fù)載模型的常用指標(biāo)將用戶使用場景和用戶數(shù)據(jù)視為一個整體考慮

指標(biāo)的重點3

設(shè)計性能場景設(shè)計并發(fā)量/ 用戶數(shù)的依據(jù)有明確規(guī)定的，采用規(guī)定的并發(fā)量采用類似系統(tǒng)的并發(fā)量作為參考使用經(jīng)驗值進(jìn)行估算系統(tǒng)中可用同時

人數(shù)的15%作為并發(fā)量的參考值并發(fā)量/用戶數(shù)明確指定了性能目標(biāo)的場景例如，某功能在xx人并發(fā) 的情況下響應(yīng)時間不大于1s每類用戶典型的應(yīng)用場景典型、頻繁、用戶量大Business-critical場景出現(xiàn)性能問題將造成較大的經(jīng)濟(jì)損失，如下單Performance-intensive場景技術(shù) （RD）關(guān)注的場景架構(gòu)相關(guān)、算法相關(guān)等業(yè)務(wù)

（PM）關(guān)注的場景合同規(guī)定的應(yīng)用場景對委托開發(fā)或第 測試選擇關(guān)鍵場景確定關(guān)鍵 路徑的方法識別有明顯性能影響并且組成一個或多個關(guān)鍵應(yīng)用場景的 路徑根據(jù)設(shè)計文檔和用戶手冊進(jìn)行識別自己熟悉相關(guān)功能關(guān)鍵路徑用戶使用方法用戶所占比例路徑分析無論關(guān)鍵的應(yīng)用場景和路徑多么精確，如果沒有考慮到和用戶相關(guān)的數(shù)據(jù)以及用戶間的差別，那也是不精確的。例如：客戶關(guān)系管理系統(tǒng)中，銷售總監(jiān)和一線的經(jīng)理可以使用相同的報表功能。但是能夠查看的數(shù)據(jù)范圍，差別很大。那么性能差別將是非常巨大的。用戶數(shù)據(jù)考慮要素用戶的數(shù)據(jù)權(quán)限如，擁有不同數(shù)據(jù)權(quán)限的用戶其操作的數(shù)據(jù)量不同用戶的規(guī)模不同功能對于的用戶群規(guī)模不同，其對系統(tǒng)的壓力也不同。用戶的使用如，think

timeTips：從系統(tǒng)日志中分析用戶行為和數(shù)據(jù)是一個很好的方法用戶數(shù)據(jù)分析通過對 日志和業(yè)務(wù)日志的分析，可以很好的協(xié)助我們建立真實的工作負(fù)載模型PageviewspersecondUsersessionspersecondSessiondurationPage

request

distributionInteractionspeedUserabandonment建立真實負(fù)載模型的指標(biāo)明確關(guān)鍵的路徑明確用戶及規(guī)模明確用戶數(shù)據(jù)明確關(guān)鍵場景的相對分布明確測試方法并發(fā)量/

用戶數(shù)持續(xù)時長常規(guī)

指標(biāo)重點關(guān)注的

指標(biāo)實現(xiàn)場景模型在理解測試需求、系統(tǒng)架構(gòu)的基礎(chǔ)上，確定重點的性能指標(biāo)。應(yīng)用程序級統(tǒng)計數(shù)據(jù)Webserver與application

server數(shù)據(jù)庫服務(wù)器提示：結(jié)合業(yè)務(wù)特征，預(yù)期性能表現(xiàn)，與實際 數(shù)據(jù)進(jìn)行對比。任何不合理的現(xiàn)象要給出解釋指標(biāo)Response

timeHits/secondThroughputConnectionsLoadrunner的統(tǒng)計數(shù)據(jù)每個組件的性能熱點的重點多層架構(gòu)的性能指標(biāo)描述CPUSys:

系統(tǒng)處于

態(tài)的時間Us：系統(tǒng)處于非

態(tài)的時間Io

wait：由于等待IO而處于空閑的時間Idle：空閑CPU時間IOBi:磁盤讀速率(KB)Bo:磁盤寫速率(KB)MemoryFree:空閑內(nèi)存

Swap：使用的虛擬內(nèi)存Buff：用作buffer的內(nèi)存Cache：用作cache的內(nèi)存SystemIn:每秒中斷數(shù)（包括時鐘）Cs:上下文切換率SwapSi:從磁盤讀入內(nèi)存的大小So:從內(nèi)存寫入磁盤的大小工欲善其事必先利其器Linux服務(wù)器性能Apache/tomcat應(yīng)用服務(wù)器JVM狀態(tài)線程池吞吐量數(shù)據(jù)庫服務(wù)器緩存線程池日志（慢查詢）臨時表磁盤IO應(yīng)用服務(wù)器示例(1)數(shù)據(jù)庫狀態(tài)示例(2)明確性能需求明確系統(tǒng)架構(gòu)明確環(huán)境部署明確系統(tǒng)測試方法、測試場景設(shè)計明確性能 的重點明確可能存在的風(fēng)險測試計劃性能測試方案要素Discussion“單元測試”與綜合測試關(guān)鍵業(yè)務(wù)的測試目標(biāo)業(yè)務(wù)的響應(yīng)時間該業(yè)務(wù)支持的并發(fā)量該業(yè)務(wù)的資源消耗綜合場景綜合場景的測試是web測試中必不可少的，主要是模擬真實場景系統(tǒng)的性能表現(xiàn)場景的業(yè)務(wù)組成各業(yè)務(wù)的比例運行的時間Web系統(tǒng)測試實踐舉例項目背景某大公司全新的業(yè)務(wù)管理系統(tǒng)，全新上線。經(jīng)小規(guī)模試用兩周后，需評估推廣后，系統(tǒng)的壓力狀況和所需的最低軟硬件需求。案例：XX系統(tǒng)容量規(guī)劃理解系統(tǒng)架構(gòu)確定關(guān)鍵場景確定關(guān)鍵路徑測試場景設(shè)計測試方法測試方案理解系統(tǒng)的主要特點理解每個性能場景與不同組件的關(guān)系預(yù)期性能熱點，指導(dǎo)選擇可能會造 能問題的關(guān)鍵業(yè)務(wù)，并做出正確的性能特征理解系統(tǒng)架構(gòu)架構(gòu)分析系統(tǒng)進(jìn)行了讀寫分離，從庫可按需增加預(yù)計系統(tǒng)的主庫是系統(tǒng)中的主要瓶頸可接受的性能指標(biāo)：CPU

IDLE不低于30%重點關(guān)注指標(biāo)各關(guān)鍵業(yè)務(wù)的響應(yīng)時間錯誤率Web服務(wù)器穩(wěn)定性數(shù)據(jù)庫服務(wù)器（主從）系統(tǒng)資源消耗、主從延遲UC性能表現(xiàn)Memcached效率架構(gòu)分析結(jié)果錄入用戶量大使用頻繁（寫操作）數(shù)據(jù)庫表數(shù)據(jù)量大查看 詳情典型的數(shù)據(jù)庫讀操作同時滿足用戶量大、使用頻繁、數(shù)據(jù)庫表數(shù)據(jù)量大跟進(jìn)記錄錄入同

錄入跟進(jìn)記錄查詢同查看詳情XX系統(tǒng)的關(guān)鍵業(yè)務(wù)（部分）對系統(tǒng)的業(yè)務(wù)分析，主要來自于apache的和業(yè)務(wù)系統(tǒng)的 日志子系統(tǒng) 并發(fā)數(shù)統(tǒng)計子系統(tǒng)按功能點并發(fā)數(shù)統(tǒng)計日志子系統(tǒng)分時段 量統(tǒng)計每臺服務(wù)器日

量統(tǒng)計應(yīng)用服務(wù)器響應(yīng)時間統(tǒng)計系統(tǒng)業(yè)務(wù)分析量概況周量3000020000100000800007000060000500004000018152229364350576471788592991061131201271341411481551627天量量功能統(tǒng)計(Top

N)通過對功能點的的用戶行為。包括統(tǒng)計和URL分析，可以得到較為完整的功能點分布、使用

等系統(tǒng)并發(fā)量統(tǒng)計根據(jù)

日志，可以給出整體并發(fā)量和各功能點的最大并發(fā)量應(yīng)用服務(wù)器的響應(yīng)時間通過對響應(yīng)較慢的URL的分析，可能需要在測試場景中加入相應(yīng)測試用例。Web服務(wù)器負(fù)