電信人口大數(shù)據(jù)項(xiàng)目測(cè)試報(bào)告

電信人口大數(shù)據(jù)項(xiàng)目測(cè)試報(bào)告XX科技股份有限公司編制

目錄1. 系統(tǒng)功能測(cè)試概述 31.1. 測(cè)試方法和步驟 31.2. 測(cè)試部署及環(huán)境 41.2.1. 測(cè)試數(shù)據(jù)準(zhǔn)備 41.2.2. 測(cè)試結(jié)果測(cè)試數(shù)據(jù) 42. 性能測(cè)試報(bào)告 72.1. 測(cè)試目標(biāo) 72.2. 測(cè)試內(nèi)容 72.3. 測(cè)試環(huán)境 72.4. 測(cè)試過(guò)程和結(jié)果 10

系統(tǒng)功能測(cè)試概述系統(tǒng)測(cè)試為了監(jiān)測(cè)系統(tǒng)開(kāi)發(fā)完成之后的功能指標(biāo)、性能指標(biāo)、以及系統(tǒng)缺陷檢驗(yàn)它是否有不符合系統(tǒng)說(shuō)明書(shū)的地方。這種測(cè)試可以發(fā)現(xiàn)系統(tǒng)分析和設(shè)計(jì)中的錯(cuò)誤。如安全測(cè)試是測(cè)試安全措施是否完善，能不能保證系統(tǒng)不受非法侵入。再例如，壓力測(cè)試是測(cè)試系統(tǒng)在正常數(shù)據(jù)量以及超負(fù)荷量(如多個(gè)電信人口數(shù)據(jù)同時(shí)存取)等情況下是否還能正常地工作。測(cè)試方法和步驟表1電信人口記錄測(cè)試方法表測(cè)試項(xiàng)編號(hào)X001測(cè)試項(xiàng)名稱電信人口記錄查詢測(cè)試方法和步驟序號(hào)測(cè)試操作預(yù)期結(jié)果備注01輸入記錄名查詢展示與電信人口相關(guān)的電信人口信息表2電信人口詳情測(cè)試方法表測(cè)試項(xiàng)編號(hào)X002測(cè)試項(xiàng)名稱電信人口詳情測(cè)試方法和步驟序號(hào)測(cè)試操作預(yù)期結(jié)果備注01點(diǎn)擊電信人口詳情展示與電信人口相關(guān)的統(tǒng)計(jì)分析數(shù)據(jù)測(cè)試部署及環(huán)境測(cè)試數(shù)據(jù)準(zhǔn)備XX電信人口數(shù)據(jù)電信人口記錄數(shù)據(jù)測(cè)試結(jié)果測(cè)試數(shù)據(jù)表6電信人口記錄測(cè)試結(jié)果表測(cè)試項(xiàng)編號(hào)X001測(cè)試項(xiàng)名稱電信人口記錄查詢測(cè)試時(shí)間2020-09-23測(cè)試人員XXX測(cè)試地點(diǎn)測(cè)試方法和步驟序號(hào)測(cè)試操作預(yù)期結(jié)果實(shí)際結(jié)果備注01輸入記錄名查詢展示與電信人口相關(guān)的電信人口信息頁(yè)面顯示與電信人口相關(guān)的電信人口報(bào)表測(cè)試人員（簽字）：XXX表7電信人口詳情測(cè)試結(jié)果表測(cè)試項(xiàng)編號(hào)X002測(cè)試項(xiàng)名稱電信人口詳情測(cè)試時(shí)間2020-09-23測(cè)試人員XXX測(cè)試地點(diǎn)測(cè)試方法和步驟序號(hào)測(cè)試操作預(yù)期結(jié)果實(shí)際結(jié)果備注01點(diǎn)擊電信人口詳情展示與電信人口相關(guān)的統(tǒng)計(jì)分析數(shù)據(jù)展示與電信人口相關(guān)的統(tǒng)計(jì)分析數(shù)據(jù)測(cè)試人員（簽字）：XXX性能測(cè)試報(bào)告測(cè)試目標(biāo)以電信人口大數(shù)據(jù)系統(tǒng)為例，日均訪問(wèn)記錄數(shù)近萬(wàn)條，每月數(shù)據(jù)量近1TB，移動(dòng)互聯(lián)網(wǎng)電信人口快速增加，智能終端迅速普及、戶均流量顯著增長(zhǎng)，記錄數(shù)據(jù)將進(jìn)一步猛增，每6個(gè)月，流量翻一番，如此大的數(shù)據(jù)量已經(jīng)超越了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)可管理的容量上限，關(guān)系型數(shù)據(jù)庫(kù)上對(duì)大規(guī)模數(shù)據(jù)進(jìn)行操作會(huì)造成系統(tǒng)性能嚴(yán)重下降。通過(guò)本測(cè)試，驗(yàn)證電信人口大數(shù)據(jù)平臺(tái)，是否可以有效解決數(shù)據(jù)采集、加載、存儲(chǔ)、查詢、分析等問(wèn)題。測(cè)試內(nèi)容1）存儲(chǔ)節(jié)點(diǎn)數(shù)和存儲(chǔ)量驗(yàn)證；2）并發(fā)加載數(shù)據(jù)的效率驗(yàn)證；3）分別選取簡(jiǎn)單查詢（電信人口數(shù)據(jù)查詢），單表統(tǒng)計(jì)（電信人口詳細(xì)信息查詢），大表關(guān)聯(lián)統(tǒng)計(jì)（統(tǒng)計(jì)指定星級(jí)電信人口的電信人口記錄）三個(gè)應(yīng)用場(chǎng)景驗(yàn)證產(chǎn)品性能。測(cè)試環(huán)境軟硬件環(huán)境配置如下：表11服務(wù)器配置服務(wù)器推薦配置及說(shuō)明節(jié)點(diǎn)數(shù)量5臺(tái)服務(wù)器CPU兩路6核處理器2*E5-2620內(nèi)存64GBECCDDR3硬盤(pán)2個(gè)600G的SAS硬盤(pán)，15000RPM，RAID1，作為系統(tǒng)盤(pán)12個(gè)2TB的SATA硬盤(pán)，7200RPM，不做RAID1網(wǎng)絡(luò)雙電口萬(wàn)兆（10Gbps）以太網(wǎng)卡部署環(huán)境如下：表12集群配置PC服務(wù)器5臺(tái)NameNode節(jié)點(diǎn)2臺(tái)DataNode節(jié)點(diǎn)5臺(tái)Zookeeper節(jié)點(diǎn)3臺(tái)集群監(jiān)控節(jié)點(diǎn)1臺(tái)入庫(kù)服務(wù)節(jié)點(diǎn)5臺(tái)Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)1臺(tái)網(wǎng)絡(luò)拓?fù)淝闆r如下：圖1拓?fù)浣Y(jié)構(gòu)圖測(cè)試過(guò)程和結(jié)果1）現(xiàn)有HDFS集群已被占用10.5TB，3個(gè)副本，壓縮率在1/3左右，因此實(shí)際HBase表數(shù)據(jù)也已經(jīng)有3.5TB左右。目前數(shù)據(jù)存放6個(gè)月，每天導(dǎo)入日志數(shù)據(jù)在21GB左右，每月導(dǎo)入新增日志數(shù)據(jù)量為630GB，近一個(gè)月為常用熱數(shù)據(jù)，數(shù)據(jù)量增長(zhǎng)較快。2）并發(fā)加載數(shù)據(jù)的效率電信人口大數(shù)據(jù)集群每秒平均達(dá)到150萬(wàn)記錄/秒，峰值時(shí)達(dá)到500萬(wàn)/秒，集群導(dǎo)入性能沒(méi)有問(wèn)題。3）支持并發(fā)查詢數(shù)目：遠(yuǎn)高于1000請(qǐng)求/秒記錄查詢速度：不高于1秒（含電信人口訪問(wèn)查詢頁(yè)面的時(shí)間）場(chǎng)景一：電信人口數(shù)據(jù)查詢表13XX電信人口記錄表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)TB_OUTFLOW31144測(cè)試語(yǔ)句SELECT*FROMTB_OUTFLOWWHERENAME=?;場(chǎng)景說(shuō)明使用程序查詢指定姓名的電信人口記錄SQL性能并發(fā):5000單SQL平均執(zhí)行時(shí)間:12msAPI性能并發(fā)：>30W單SQL平均執(zhí)行時(shí)間：3ms場(chǎng)景二：電信人口詳細(xì)信息查詢：表14電信人口詳細(xì)信息表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)TB_EDUCATION33346測(cè)試語(yǔ)句SELECTED_GRADE,COUNT(ED_GRADE)FROMTB_EDUCATIONGROUPBYED_GRADE;場(chǎng)景說(shuō)明統(tǒng)計(jì)電信人口表里各星級(jí)電信人口數(shù)量SQL性能并發(fā):2000單SQL平均執(zhí)行時(shí)間:130msAPI性能并發(fā)：>10W單SQL平均執(zhí)行時(shí)間：90ms場(chǎng)景三：關(guān)聯(lián)統(tǒng)計(jì)相關(guān)測(cè)試，統(tǒng)計(jì)指定星級(jí)電信人口的電信人口記錄數(shù)表15記錄表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)TB_OCCUPATION，TB_PLACE31144,33346測(cè)試語(yǔ)句SELECTCOUNT(*)FROMTB_PLACET1,TB_OCCUPATIONT2WHEREO