電信大數(shù)據(jù)平臺核心處理系統(tǒng)測試方案啟動會發(fā)布版

目錄范 規(guī)范性引用文 術(shù)語及縮略目錄范 規(guī)范性引用文 術(shù)語及縮略 總體概 測試綜 測試原 測試方 測試環(huán) 環(huán)境準(zhǔn) 測試內(nèi) 5.4測試安 附 6.1組件部署列 前言前言范范規(guī)范性引規(guī)范性引用文術(shù)語及縮略Hadoop是一個Apache術(shù)語及縮略Hadoop是一個Apache基金會所開力進(jìn)行高速運算和存儲。Hadoop實現(xiàn)Hadoop的框架最核心的設(shè)計就是HDFSMapReduce源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個樣，HBASEHadoop之上提供了類似于Bigtable的能力。HBASE是Apache的Hadoop項目的子項目。據(jù)庫另一個不同的是HBASE基于 HDFS被設(shè)計成適合運行在通用硬件是很明顯的。HDFS是一個高度容錯性HDFS能提供高吞吐量的數(shù)據(jù)訪問，非POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最A(yù)pacheNutch搜索引擎項目的基礎(chǔ)架構(gòu)而開發(fā)的。HDFS是ApacheHadoopCoreHive是建立Hadoop上的數(shù)據(jù)倉庫在Hadoop中的大規(guī)模數(shù)據(jù)的機制。Hive定義了簡單的類SQL查詢語HQLSQL的熟悉MapReduce開發(fā)者的開發(fā)自定義的Mapper和Reducer來處理內(nèi)建的Mapper和Reducer無法完成Kafka是一種高吞吐量的分布式發(fā)布像Hadoop的一樣的日志數(shù)據(jù)和離線Kafka是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機是為了通過集群機來提供實時的消費。RedisANSIC語言供多種語言的API201031520135月開始，RedisPivotalMapReduce是一種編程模型，用于大系統(tǒng)上。當(dāng)前的軟件實現(xiàn)是指定一個Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用并行框的分的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是為分布式應(yīng)用提供一致性服務(wù)的軟總體概4.1測試4.2測試總體概4.1測試4.2測試4.3測試紀(jì)律管測試環(huán)境須與正常生產(chǎn)和開發(fā)環(huán)境隔離（包括網(wǎng)絡(luò)隔離4.3測試紀(jì)律管測試環(huán)境須與正常生產(chǎn)和開發(fā)環(huán)境隔離（包括網(wǎng)絡(luò)隔離4.4測試方測試環(huán)環(huán)境準(zhǔn)5.2.1硬件測試方測試環(huán)環(huán)境準(zhǔn)5.2.1硬件環(huán)服務(wù)器配置如下：16C192GB浪潮SA5212M45.2.2軟件環(huán)5.2.3測試數(shù)序組版123sparkspark5.2.2軟件環(huán)5.2.3測試數(shù)序組版123sparkspark序系統(tǒng)組版16.72344.4.75Python2.6.6678Serv-U5.2.4數(shù)據(jù)范5.2.4.1數(shù)據(jù)存儲目5.2.4數(shù)據(jù)范5.2.4.1數(shù)據(jù)存儲目5.2.4.25.3測試序場景分業(yè)務(wù)場業(yè)務(wù)場景描備移動用戶月末有效到統(tǒng)計分析移動用戶通話行為特征及群體分統(tǒng)計中國電信移動用戶通信行為特征及用（按付費模式）5.3.1功能測寬帶產(chǎn)品月末有效計5.3.1功能測寬帶產(chǎn)品月末有效計55.3.1.1移動業(yè)務(wù)發(fā) 除易通卡用戶5.3.1.1移動業(yè)務(wù)發(fā) 除易通卡用戶省份編碼|產(chǎn)品實例ID示例停且停機時間到統(tǒng)計賬期的時間在90天內(nèi)（含90天）或當(dāng)月拆機用戶，剔除當(dāng)月新5.非單產(chǎn)品用戶（在同一產(chǎn)權(quán)客戶下，有在用的移動產(chǎn)品、寬帶產(chǎn)品成員5.3.1.2移動業(yè)務(wù)行為統(tǒng)計分析5.3.1.2移動業(yè)務(wù)行為統(tǒng)計分析用戶數(shù)分布、每一個特征的用戶群體分布（按付費模式時間長次數(shù)多時間長次數(shù)少時間短次數(shù)多時間短次數(shù)少801|2.1.2|后付費產(chǎn)品實例5.3.1.3寬帶業(yè)（用戶5.3.1.3寬帶業(yè)（用戶示例網(wǎng)不足3個月按實際在網(wǎng)月份數(shù)取平均）例失效時間大于統(tǒng)計賬期5.3.1.4互聯(lián)網(wǎng)分5.3.1.4.1指定APP訪問分5.3.1.4互聯(lián)網(wǎng)分5.3.1.4.1指定APP訪問分示例《明細(xì)清單》:輸出統(tǒng)計期訪問該5個APP的用戶清單：省份編碼|示例5、統(tǒng)計的5個APP為 'A019000005'微信'A020000019'UC瀏覽器'A009000307'百度地圖'A003000094'手機淘'A019000001'5.3.1.5實時業(yè)5.3.1.5.155.3.1.5實時業(yè)5.3.1.5.155（105）5.3.2性能測5.3.2.15.3.2性能測5.3.2.15.3.2.2實時處理場5.3.2.2實時處理場5.4測試具體如下一、測試準(zhǔn)備階段（2周Day1召開測試啟動會，貫徹測試紀(jì)律，發(fā)布5.4測試具體如下一、測試準(zhǔn)備階段（2周Day1召開測試啟動會，貫徹測試紀(jì)律，發(fā)布測試規(guī)范和接口數(shù)據(jù)規(guī)范，并進(jìn)行答疑限二、進(jìn)場調(diào)試階段（5天1）軟硬件環(huán)境確認(rèn)，抽取服務(wù)器集群（8臺服務(wù)器場負(fù)責(zé)人（有簽字確認(rèn)權(quán)，廠商出示授權(quán)書案（3天場負(fù)責(zé)人（有簽字確認(rèn)權(quán)，廠商出示授權(quán)書案（3天52個文件，1（ID附6.1組件部署列序系系統(tǒng)軟集群組編譯環(huán)資源配1Metastore2histor