廣告大數(shù)據(jù)分析項(xiàng)目測試報(bào)告

廣告大數(shù)據(jù)分析系統(tǒng)項(xiàng)目測試報(bào)告XX科技股份有限公司編制

目錄一、系統(tǒng)功能測試概述 31.測試方法和步驟 32.測試部署及環(huán)境 3二、性能測試報(bào)告 41.測試目標(biāo) 42.測試內(nèi)容 53.測試環(huán)境 54.測試過程和結(jié)果 7

一、系統(tǒng)功能測試概述系統(tǒng)測試為了監(jiān)測系統(tǒng)開發(fā)完成之后的功能指標(biāo)、性能指標(biāo)、以及系統(tǒng)缺陷檢驗(yàn)它是否有不符合系統(tǒng)說明書的地方。這種測試可以發(fā)現(xiàn)系統(tǒng)分析和設(shè)計(jì)中的錯(cuò)誤。如安全測試是測試安全措施是否完善，能不能保證系統(tǒng)不受非法侵入。再例如，壓力測試是測試系統(tǒng)在正常數(shù)據(jù)量以及超負(fù)荷量(如多類型廣告數(shù)據(jù)查詢)等情況下是否還能正常地工作。1.測試方法和步驟表1多類型廣告數(shù)據(jù)記錄測試方法表測試項(xiàng)編號(hào)X001測試項(xiàng)名稱各類型廣告數(shù)量查詢測試方法和步驟序號(hào)測試操作預(yù)期結(jié)果備注01輸入廣告類型展示該類型下所有的廣告數(shù)量表2各類型廣告受眾人群性別比測試方法表測試項(xiàng)編號(hào)X002測試項(xiàng)名稱各類型廣告受眾人群性別比查詢測試方法和步驟序號(hào)測試操作預(yù)期結(jié)果備注01輸入廣告類型展示各類型廣告受眾人群性別比2.測試部署及環(huán)境2.1測試數(shù)據(jù)準(zhǔn)備各類型廣告數(shù)量數(shù)據(jù)各類型廣告受眾人群性別比數(shù)據(jù)2.2測試結(jié)果測試數(shù)據(jù)表6各類型廣告數(shù)量數(shù)據(jù)測試結(jié)果表測試項(xiàng)編號(hào)X001測試項(xiàng)名稱各類型廣告數(shù)量查詢測試時(shí)間2020-09-23測試人員XXX測試地點(diǎn)測試方法和步驟序號(hào)測試操作預(yù)期結(jié)果實(shí)際結(jié)果備注01輸入廣告類型展示該類型的廣告數(shù)量頁面顯示該類型的廣告數(shù)量測試人員（簽字）：XXX表7各類型廣告受眾人群性別比測試結(jié)果表測試項(xiàng)編號(hào)X002測試項(xiàng)名稱各類型廣告受眾人群性別比測試時(shí)間2020-09-23測試人員XXX測試地點(diǎn)測試方法和步驟序號(hào)測試操作預(yù)期結(jié)果實(shí)際結(jié)果備注01輸入廣告類型展示各類型廣告受眾人群的性別比統(tǒng)計(jì)分析數(shù)據(jù)展示類型廣告受眾人群的性別比統(tǒng)計(jì)分析數(shù)據(jù)測試人員（簽字）：XXX二、性能測試報(bào)告1.測試目標(biāo)以廣告大數(shù)據(jù)分析系統(tǒng)為例，日均訪問記錄數(shù)近萬條，每月數(shù)據(jù)量近1TB，移動(dòng)互聯(lián)網(wǎng)、5G網(wǎng)絡(luò)的出現(xiàn)，智能終端迅速普及、戶均流量顯著增長，記錄數(shù)據(jù)將進(jìn)一步猛增，每6個(gè)月，流量翻一番，如此大的數(shù)據(jù)量已經(jīng)超越了傳統(tǒng)關(guān)系型數(shù)據(jù)庫可管理的容量上限，關(guān)系型數(shù)據(jù)庫上對大規(guī)模數(shù)據(jù)進(jìn)行操作會(huì)造成系統(tǒng)性能嚴(yán)重下降。通過本測試，驗(yàn)證廣告大數(shù)據(jù)分析系統(tǒng)，是否可以有效解決數(shù)據(jù)采集、加載、存儲(chǔ)、查詢、分析等問題。2.測試內(nèi)容1）存儲(chǔ)節(jié)點(diǎn)數(shù)和存儲(chǔ)量驗(yàn)證；2）并發(fā)加載數(shù)據(jù)的效率驗(yàn)證；3）分別選取簡單查詢（客流量男女比例），單表統(tǒng)計(jì)（會(huì)員數(shù)據(jù)查詢），大表關(guān)聯(lián)統(tǒng)計(jì)（統(tǒng)計(jì)指定某行業(yè)商品銷售數(shù)量）三個(gè)應(yīng)用場景驗(yàn)證產(chǎn)品性能。3.測試環(huán)境軟硬件環(huán)境配置如下：表11服務(wù)器配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量5臺(tái)服務(wù)器CPU兩路6核處理器2*E5-2620內(nèi)存64GBECCDDR3硬盤2個(gè)600G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤12個(gè)2TB的SATA硬盤，7200RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡部署環(huán)境如下：表12集群配置PC服務(wù)器5臺(tái)NameNode節(jié)點(diǎn)2臺(tái)DataNode節(jié)點(diǎn)5臺(tái)Zookeeper節(jié)點(diǎn)3臺(tái)集群監(jiān)控節(jié)點(diǎn)1臺(tái)入庫服務(wù)節(jié)點(diǎn)5臺(tái)Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)1臺(tái)網(wǎng)絡(luò)拓?fù)淝闆r如下：圖1拓?fù)浣Y(jié)構(gòu)圖4.測試過程和結(jié)果1）現(xiàn)有HDFS集群已被占用10.5TB，3個(gè)副本，壓縮率在1/3左右，因此實(shí)際HBase表數(shù)據(jù)也已經(jīng)有3.5TB左右。目前數(shù)據(jù)存放6個(gè)月，每天導(dǎo)入日志數(shù)據(jù)在21GB左右，每月導(dǎo)入新增日志數(shù)據(jù)量為630GB，近一個(gè)月為常用熱數(shù)據(jù)，數(shù)據(jù)量增長較快。2）并發(fā)加載數(shù)據(jù)的效率購物中心數(shù)據(jù)分析集群每秒平均達(dá)到150萬記錄/秒，峰值時(shí)達(dá)到500萬/秒，集群導(dǎo)入性能沒有問題。3）支持并發(fā)查詢數(shù)目：遠(yuǎn)高于1000請求/秒上網(wǎng)記錄查詢速度：不高于1秒（含客流量男女比例查詢頁面的時(shí)間）場景一：客流量男女比例數(shù)據(jù)查詢表13廣告類型數(shù)量記錄表測試相關(guān)表數(shù)據(jù)量表名條數(shù)tb_advertisements_number31144測試語句SELECT*FROMDATAWHERENAME=?;場景說明使用程序查詢指定類型的廣告數(shù)量記錄SQL性能并發(fā):5000單SQL平均執(zhí)行時(shí)間:12msAPI性能并發(fā)：>30W單SQL平均執(zhí)行時(shí)間：3ms場景二：各類型廣告受眾人群性別比數(shù)據(jù)查詢：表14各類型廣告受眾人群性別比表測試相關(guān)表數(shù)據(jù)量表名條數(shù)tb_audience_gender33346測試語句SELECTVIP_GRADE,COUNT(VIP_GRADE)FROMtb_audience