中國電信余額管理平臺入網(wǎng)檢測性能分冊

1、中國電信股份有限公司 余額管理平臺入網(wǎng)檢測性能分冊余額管理平臺入網(wǎng)檢測性能分冊中國電信集團(tuán)公司 二八年三月前 言本測試規(guī)范描述中國電信集團(tuán)對余額平臺（abm）性能測試所需的測試環(huán)境、測試內(nèi)容、測試過程和測試結(jié)果的要求。本測試規(guī)范根據(jù)中國電信余額管理平臺技術(shù)方案制定，各項(xiàng)測試條目和測試結(jié)果以上述技術(shù)文件的要求為依據(jù)。測試內(nèi)容涵蓋了中國電信余額管理平臺的壓力測試、疲勞測試，并對測試結(jié)果的要求作了詳細(xì)的規(guī)定。本規(guī)范由中國電信集團(tuán)公司提出并歸口。本方案起草單位： 中國電信股份有限公司廣州研究院本方案主要起草人： 張新勝 周琴芳 池?zé)槼?鄧俊韜本方案解釋單位： 中國電信集團(tuán)企業(yè)信息化部目錄目錄iii1測

2、試環(huán)境41.1測試組網(wǎng)41.2測試工具要求41.2.1模擬器監(jiān)視機(jī)41.2.2主機(jī)資源監(jiān)控工具42業(yè)務(wù)模型63數(shù)據(jù)準(zhǔn)備方案73.1.1用戶數(shù)據(jù)準(zhǔn)備要求73.1.2操作日志數(shù)據(jù)準(zhǔn)備要求74性能測試用例84.1壓力測試84.1.1單業(yè)務(wù)壓力測試84.1.2組合業(yè)務(wù)壓力測試124.2疲勞測試13 15 1 測試環(huán)境1.1 測試組網(wǎng)所有設(shè)備搭建在一個受控的以太局域網(wǎng)內(nèi)，所有主機(jī)要具備百兆實(shí)際網(wǎng)絡(luò)帶寬，盤陣通過光纖與abm主機(jī)直接連接。1.2 測試工具要求測試工具的性能應(yīng)超過系統(tǒng)性能指標(biāo)。測試工具能夠?qū)崟r檢測系統(tǒng)的cpu占有率、內(nèi)存占有率、處理時延等資源利用情況。測試工具可以保存檢測到的數(shù)據(jù)并隨時查看。

3、測試工具可以模擬大量用戶的操作，以達(dá)到增加平臺負(fù)載的測試目的。1.2.1 模擬器監(jiān)視機(jī)負(fù)責(zé)監(jiān)視所有模擬器的工作狀態(tài)。滿足以下要求：1) 模擬abm向所有模擬器每15秒鐘發(fā)出一個請求；2) 記錄下所有請求的響應(yīng)時間；1.2.2 主機(jī)資源監(jiān)控工具主機(jī)資源監(jiān)控工具用于監(jiān)控被測試系統(tǒng)的主機(jī)資源狀況。以下是對資源監(jiān)控工具的基本要求：1. 可以獲取被測試系統(tǒng)宿主機(jī)的資源信息；2. 支持進(jìn)程級的監(jiān)控，即資源的消耗能定位到具體的進(jìn)程；3. 支持自定義負(fù)載，即通過一定的規(guī)則將一組進(jìn)程作為一個監(jiān)控對象，收集其對資源的占用情況；4. 能夠獲取關(guān)鍵資源的動態(tài)使用信息，如使用率、吞吐率等；關(guān)鍵資源包括但不限于：cpu、

4、io、內(nèi)存、網(wǎng)絡(luò)接口；5. 能夠獲取主機(jī)靜態(tài)信息，靜態(tài)信息包括但不限于：主機(jī)型號信息、操作系統(tǒng)版本信息、主要配置信息，如：cpu主頻、內(nèi)存大小、網(wǎng)卡及磁盤的型號和相關(guān)參數(shù)等；6. 監(jiān)控工具本身對被監(jiān)控主機(jī)的資源消耗不能超過5（任一指標(biāo)）。2 業(yè)務(wù)模型業(yè)務(wù)百分比：在線呼叫40，準(zhǔn)實(shí)時信控50%,銷帳10；其中：在線呼叫：包含開始、中間、終止請求，有中間更新的會話請求占20%準(zhǔn)實(shí)時信控：包含賬本準(zhǔn)實(shí)時扣費(fèi)銷帳：包含資料查詢、余額查詢、帳本扣費(fèi)，比例為1:1:1。3 數(shù)據(jù)準(zhǔn)備方案3.1.1 用戶數(shù)據(jù)準(zhǔn)備要求參測廠家根據(jù)評測方要求準(zhǔn)備以下數(shù)據(jù)：1. 模擬數(shù)據(jù)為600萬預(yù)付費(fèi)用戶數(shù)據(jù)、1200萬后付費(fèi)用

5、戶2. 每個模擬用戶準(zhǔn)備3個賬本。其中余額不足帳本占5，非金額帳本30。3. 上述帳本中有共享規(guī)則的帳本，?？顚Ｓ脦け竞蛦我粠け镜谋壤秊?：1：3。3.1.2 操作日志數(shù)據(jù)準(zhǔn)備要求參測廠家根據(jù)評測方要求準(zhǔn)備以下數(shù)據(jù)：系統(tǒng)在線保留15天的操作日志數(shù)據(jù)數(shù)據(jù)，大致估算的日志量每天為：后付費(fèi)用戶數(shù)30預(yù)付費(fèi)用戶數(shù)40120030600406億；15天共80億條。4 性能測試用例4.1 壓力測試4.1.1 單業(yè)務(wù)壓力測試4.1.1.1 ocs業(yè)務(wù)壓力測試測試編號abm-perf-01項(xiàng)目abm承受來自ocs業(yè)務(wù)的壓力測試測試目的測試abm系統(tǒng)針對ocs業(yè)務(wù)的最大處理能力。預(yù)置條件1. abm系統(tǒng)已經(jīng)按照

6、廠家的部署說明文檔部署妥當(dāng)（廠家應(yīng)該按最終生產(chǎn)環(huán)境的標(biāo)準(zhǔn)進(jìn)行部署，包括可能的負(fù)載均衡）； 2. 所有模擬器已經(jīng)就緒；3. abm系統(tǒng)上業(yè)務(wù)和用戶數(shù)據(jù)已經(jīng)按照“數(shù)據(jù)存儲要求”的最大數(shù)據(jù)量進(jìn)行配置；4. ocs業(yè)務(wù)模擬壓力測試腳本已經(jīng)開發(fā)完成，并且通過了預(yù)測試；5. 測試數(shù)據(jù)已經(jīng)恢復(fù)到預(yù)測試前狀態(tài)；測試過程1、 控制ocs模擬器，使得它產(chǎn)生的組合壓力符合話務(wù)模型給出的ocs業(yè)務(wù)構(gòu)成比例；2、 從m（根據(jù)測試情況屆時需要調(diào)整起始虛擬用戶數(shù)）開始，每隔15分鐘增加n個（根據(jù)測試情況屆時需要調(diào)整遞增虛擬用戶數(shù)）虛擬用戶；直至滿足任意退出條件；退出條件1. 直至系統(tǒng)的失敗率達(dá)到0.001；2. 最繁忙的一

7、個主機(jī)的cpu使用率達(dá)到80%；預(yù)期結(jié)果1. 系統(tǒng)不出現(xiàn)宕機(jī)；2. 系統(tǒng)各項(xiàng)業(yè)務(wù)最大吞吐率大于話務(wù)模型中系統(tǒng)忙時吞吐率；3. 系統(tǒng)吞吐率不出現(xiàn)隨著虛擬用戶數(shù)增加而降低的現(xiàn)象；4. 在相同的虛擬用戶數(shù)情況下，系統(tǒng)各項(xiàng)指標(biāo)基本一致；5. 響應(yīng)時間分布滿足規(guī)范要求?？疾熘笜?biāo)1. 整個測試過程系統(tǒng)是否出現(xiàn)宕機(jī)；2. 最大吞吐率；3. 響應(yīng)時間；4. 失敗率；備注1. 所有指標(biāo)的統(tǒng)計(jì)粒度是15分鐘；2. 最大吞吐率取達(dá)到退出條件之前滿足以下要求的吞吐率的峰值；a) 對ocs業(yè)務(wù)請求的響應(yīng)時間要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3.

8、失敗率統(tǒng)計(jì)一切失敗情況，如業(yè)務(wù)失敗、超時、too busy等；4. ocs業(yè)務(wù)請求失敗超時時間為1秒4.1.1.2 hb業(yè)務(wù)壓力測試測試編號abm-perf-02項(xiàng)目abm承受來自hb的壓力測試測試目的測試abm系統(tǒng)針對hb業(yè)務(wù)的最大處理能力。預(yù)置條件1. abm系統(tǒng)已經(jīng)按照廠家的部署說明文檔部署妥當(dāng)（廠家應(yīng)該按最終生產(chǎn)環(huán)境的標(biāo)準(zhǔn)進(jìn)行部署，包括可能的負(fù)載均衡）； 2. 所有模擬器已經(jīng)就緒；3. abm系統(tǒng)上業(yè)務(wù)和用戶數(shù)據(jù)已經(jīng)按照“數(shù)據(jù)存儲要求”的最大數(shù)據(jù)量進(jìn)行配置；4. hb業(yè)務(wù)模擬壓力測試腳本已經(jīng)開發(fā)完成，并且通過了預(yù)測試；5. 測試數(shù)據(jù)已經(jīng)恢復(fù)到預(yù)測試前狀態(tài)；測試過程1. 控制hb模擬器，

9、使得它產(chǎn)生的組合壓力符合話務(wù)模型給出的hb業(yè)務(wù)構(gòu)成比例；2. 從m（根據(jù)測試情況屆時需要調(diào)整起始虛擬用戶數(shù)）開始，每隔15分鐘增加n個（根據(jù)測試情況屆時需要調(diào)整遞增虛擬用戶數(shù)）虛擬用戶；直至滿足任意退出條件；退出條件1. 直至系統(tǒng)的失敗率達(dá)到0.001；2. 最繁忙的一個主機(jī)的cpu使用率達(dá)到80%；預(yù)期結(jié)果1. 系統(tǒng)不出現(xiàn)宕機(jī)；2. 系統(tǒng)各項(xiàng)業(yè)務(wù)最大吞吐率大于話務(wù)模型中系統(tǒng)忙時吞吐率；3. 系統(tǒng)吞吐率不出現(xiàn)隨著虛擬用戶數(shù)增加而降低的現(xiàn)象；4. 在相同的虛擬用戶數(shù)情況下，系統(tǒng)各項(xiàng)指標(biāo)基本一致；5. 響應(yīng)時間分布滿足規(guī)范要求 。考察指標(biāo)1) 整個測試過程系統(tǒng)是否出現(xiàn)宕機(jī)；2) 最大吞吐率；3)

10、響應(yīng)時間；4) 失敗率；備注1) 所有指標(biāo)的統(tǒng)計(jì)粒度是15分鐘；2) 最大吞吐率取達(dá)到退出條件之前滿足以下要求的吞吐率的峰值；a) 對hb準(zhǔn)實(shí)時信控業(yè)務(wù)請求的響應(yīng)時間要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3) 失敗率統(tǒng)計(jì)一切失敗情況，如業(yè)務(wù)失敗、超時、too busy等4) hb銷帳中的余額查詢請求失敗超時時間為2秒，hb其它業(yè)務(wù)請求失敗超時時間為1秒4.1.1.3 銷帳業(yè)務(wù)壓力測試測試編號abm-perf-03項(xiàng)目abm承受來自hb銷帳業(yè)務(wù)的壓力測試測試目的測試abm系統(tǒng)針對hb銷帳業(yè)務(wù)的最大處理能力。預(yù)置條件1. abm

11、系統(tǒng)已經(jīng)按照廠家的部署說明文檔部署妥當(dāng)（廠家應(yīng)該按最終生產(chǎn)環(huán)境的標(biāo)準(zhǔn)進(jìn)行部署，包括可能的負(fù)載均衡）； 2. 所有模擬器已經(jīng)就緒；3. abm系統(tǒng)上業(yè)務(wù)和用戶數(shù)據(jù)已經(jīng)按照“數(shù)據(jù)存儲要求”的最大數(shù)據(jù)量進(jìn)行配置；4. hb銷帳業(yè)務(wù)模擬壓力測試腳本已經(jīng)開發(fā)完成，并且通過了預(yù)測試；5. 測試數(shù)據(jù)已經(jīng)恢復(fù)到預(yù)測試前狀態(tài)；測試過程1. 控制hb銷帳業(yè)務(wù)模擬器，使得它產(chǎn)生的壓力符合話務(wù)模型給出的hb銷帳業(yè)務(wù)構(gòu)成比例；2. 從m（根據(jù)測試情況屆時需要調(diào)整起始虛擬用戶數(shù)）開始，每隔15分鐘增加n個（根據(jù)測試情況屆時需要調(diào)整遞增虛擬用戶數(shù)）虛擬用戶；直至滿足任意退出條件；退出條件1. 直至系統(tǒng)的失敗率達(dá)到0.001

12、；2. 最繁忙的一個主機(jī)的cpu使用率達(dá)到80%；預(yù)期結(jié)果1. 系統(tǒng)不出現(xiàn)宕機(jī)；2. 系統(tǒng)各項(xiàng)業(yè)務(wù)最大吞吐率大于話務(wù)模型中系統(tǒng)忙時吞吐率；3. 系統(tǒng)吞吐率不出現(xiàn)隨著虛擬用戶數(shù)增加而降低的現(xiàn)象；4. 在相同的虛擬用戶數(shù)情況下，系統(tǒng)各項(xiàng)指標(biāo)基本一致；考察指標(biāo)1. 整個測試過程系統(tǒng)是否出現(xiàn)宕機(jī)；2. 最大吞吐率；3. 響應(yīng)時間；4. 失敗率；備注1. 所有指標(biāo)的統(tǒng)計(jì)粒度是15分鐘；2. 最大吞吐率取達(dá)到退出條件之前的吞吐率的峰值；3. 失敗率統(tǒng)計(jì)一切失敗情況，如業(yè)務(wù)失敗、超時、too busy等；4. hb銷帳中的余額扣費(fèi)業(yè)務(wù)請求失敗超時時間為500ms，hb其它業(yè)務(wù)請求失敗超時時間為1秒4.1.2

13、 組合業(yè)務(wù)壓力測試測試編號abm-perf-04項(xiàng)目abm承受來自ocs、hb的壓力測試測試目的測試abm系統(tǒng)針對ocs、hb業(yè)務(wù)的最大處理能力。預(yù)置條件1. abm系統(tǒng)已經(jīng)按照廠家的部署說明文檔部署妥當(dāng)（廠家應(yīng)該按最終生產(chǎn)環(huán)境的標(biāo)準(zhǔn)進(jìn)行部署，包括可能的負(fù)載均衡）； 2. 所有模擬器已經(jīng)就緒；3. abm系統(tǒng)上業(yè)務(wù)和用戶數(shù)據(jù)已經(jīng)按照“數(shù)據(jù)存儲要求”的最大數(shù)據(jù)量進(jìn)行配置；4. ocs、hb業(yè)務(wù)模擬壓力測試腳本已經(jīng)開發(fā)完成，并且通過了預(yù)測試；5. 測試數(shù)據(jù)已經(jīng)恢復(fù)到預(yù)測試前狀態(tài)；測試過程1. 控制ocs模擬器，使得它產(chǎn)生的組合壓力符合話務(wù)模型給出的ocs業(yè)務(wù)、hb業(yè)務(wù)構(gòu)成比例；2. 從m（根據(jù)測試

14、情況屆時需要調(diào)整起始虛擬用戶數(shù)）開始，每隔15分鐘增加n個（根據(jù)測試情況屆時需要調(diào)整遞增虛擬用戶數(shù)）虛擬用戶；直至滿足任意退出條件；退出條件1. 直至系統(tǒng)的失敗率達(dá)到0.001；2. 最繁忙的一個主機(jī)的cpu使用率達(dá)到80%；預(yù)期結(jié)果1. 系統(tǒng)不出現(xiàn)宕機(jī)；2. 系統(tǒng)各項(xiàng)業(yè)務(wù)最大吞吐率大于話務(wù)模型中系統(tǒng)忙時吞吐率；3. 系統(tǒng)吞吐率不出現(xiàn)隨著虛擬用戶數(shù)增加而降低的現(xiàn)象；4. 在相同的虛擬用戶數(shù)情況下，系統(tǒng)各項(xiàng)指標(biāo)基本一致；5. 響應(yīng)時間分布滿足規(guī)范要求 ?？疾熘笜?biāo)1. 整個測試過程系統(tǒng)是否出現(xiàn)宕機(jī)；2. 最大吞吐率；3. 響應(yīng)時間；4. 失敗率；備注1. 所有指標(biāo)的統(tǒng)計(jì)粒度是15分鐘；2. 最大吞

15、吐率取達(dá)到退出條件之前滿足以下要求的吞吐率的峰值；i. 對ocs業(yè)務(wù)請求的響應(yīng)時間要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 msii. 對hb準(zhǔn)實(shí)時信控業(yè)務(wù)請求的響應(yīng)時間要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3. 失敗率統(tǒng)計(jì)一切失敗情況，如業(yè)務(wù)失敗、超時、too busy等；4. ocs業(yè)務(wù)請求失敗超時時間為1秒5. hb銷帳中的余額查詢請求失敗超時時間為2秒，hb其它業(yè)務(wù)請求失敗超時時間為1秒4.2 疲勞測試測試內(nèi)容：選取最常用的操作和流程，通過專門的性能測試工

16、具模擬大量用戶操作使得平臺系統(tǒng)達(dá)到一定負(fù)載強(qiáng)度，進(jìn)行長時間性能測試。測試結(jié)果可以體現(xiàn)系統(tǒng)是否有資源累積導(dǎo)致性能下降，并驗(yàn)證平臺系統(tǒng)運(yùn)行穩(wěn)定度和故障率。測試編號abm-perf-05項(xiàng)目abm前臺業(yè)務(wù)的疲勞測試測試目的測試abm系統(tǒng)長時間處理前臺業(yè)務(wù)過程中的健壯性。預(yù)置條件1. abm系統(tǒng)已經(jīng)按照廠家的部署說明文檔部署妥當(dāng)（廠家應(yīng)該按最終生產(chǎn)環(huán)境的標(biāo)準(zhǔn)進(jìn)行部署，包括可能的負(fù)載均衡）； 2. 所有模擬器已經(jīng)就緒；3. abm系統(tǒng)上業(yè)務(wù)和用戶數(shù)據(jù)已經(jīng)按照“數(shù)據(jù)存儲要求”的最大數(shù)據(jù)量進(jìn)行配置；4. 前臺業(yè)務(wù)模擬壓力，包括來自ocs、hb系統(tǒng)的壓力，測試腳本已經(jīng)開發(fā)完成，并且通過了前臺業(yè)務(wù)組合場景的預(yù)測試；5. 測試數(shù)據(jù)已經(jīng)恢復(fù)預(yù)測試前狀態(tài)。測試過程1. 同時控制ocs模擬器、hb模擬器，使得它們產(chǎn)生的組合壓力符合話務(wù)模型給出的前臺業(yè)務(wù)構(gòu)成比例，同時使得它們產(chǎn)生的吞吐率達(dá)到系統(tǒng)最大吞吐率的80%；2. 持續(xù)上述壓力16個小時；1. 預(yù)期結(jié)果2. 系統(tǒng)不出現(xiàn)宕機(jī)；3. 系統(tǒng)各項(xiàng)指標(biāo)基本保持一致，不隨時間發(fā)生明顯的變化；4. 失敗率不超過0.001%；5. 對ocs業(yè)務(wù)請求的響應(yīng)時間滿足：a) 95% 100 msb) 98% 200 msc) 99.9% 300 msd) 99.999% 1000 ms6. 對hb準(zhǔn)實(shí)時信控業(yè)務(wù)