大數(shù)據(jù)離線計算性能POC測試報告 (2).docxVIP

1、大數(shù)據(jù)離線計算POC性能測試報告第一章概述1.1編寫目的本測試報告為spark離線計算hbase性能測試報告，目的在于總結(jié)及分析性能測試結(jié)果。1.2背景中心適配器的Hbase中存儲著海量的電子健康檔案數(shù)據(jù)，當(dāng)數(shù)據(jù)量達(dá)到一定程度時，對離線計算時的效率產(chǎn)生影響，因此計劃使用不同數(shù)據(jù)量測試Spark的離線計算時間，便于對系統(tǒng)環(huán)境進(jìn)行正確的分析以及評價。第二章測試環(huán)境2.1測試網(wǎng)組MapReduce.HBase,zookeeperHadoopHDFS.Spark,amuriCPU8核.L6G內(nèi)存、600Gfflfi.centOS741083121CPU8核、16G內(nèi)存、600G硬點、centOS741

2、083122CPU8核.16G內(nèi)CPU8核、L6G內(nèi)存、600G硬亂centOS741083124序.600GSS.centOS741083L23CPU曝、16G內(nèi)序、600G®fi.centOS7410831242.2軟件配置類別名稱說明操作系統(tǒng)Centos7.4操作系統(tǒng)版本Ambari2.6.0大數(shù)據(jù)安裝平臺Hadoop2.6.3分布式系統(tǒng)基礎(chǔ)框架Spark2.2.0分布式離線計算框架Mariadb10.2.8計算結(jié)果存儲數(shù)據(jù)庫2.3硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤說明1ambari服務(wù)器18核16G600G2Hbase節(jié)點38核16G600G3Spark節(jié)點38核16G6

3、00G與HBASE使用相同服務(wù)器第三章測試用例和結(jié)果2.1測試內(nèi)容測試方案采用spark的多線程模型方案，在提交任務(wù)時，參數(shù)化配置源表、線程數(shù)、進(jìn)程數(shù)。在任務(wù)提交到y(tǒng)arn集群后，由yarn集群的集群管理器統(tǒng)一分配資源。任務(wù)完成后，在yarn集群監(jiān)控頁面獲取任務(wù)執(zhí)行時間，記錄并對比不同配置下，任務(wù)所消耗的時間。本測試目標(biāo)主要由以下幾點：1. 統(tǒng)計離線計算1000萬數(shù)據(jù)量在分配不同服務(wù)器資源下的性能。2. 對比不同服務(wù)器資源下，計算相同數(shù)據(jù)量的數(shù)據(jù)所花費的時間。3. 對比在分配相同服務(wù)器資源的前提下，離線計算不同數(shù)據(jù)量所花費的時間。概念說明1. Executor:并發(fā)執(zhí)行的任務(wù)進(jìn)程數(shù)。2. Ex

4、ecutorCore:單個進(jìn)程下同時執(zhí)行的線程數(shù)。3. ExecutorMemory:單個進(jìn)程分配的內(nèi)存空間大小。2.2測試結(jié)果集群配置Executor:1Executor:3Executor:3ExecutorMemory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6數(shù)據(jù)量14W14W14W第一次88s57s59s第二次58s66s69s第三次82s61s56s平均lml6sImOlsImOls集群配置Executor:1Executor:3Executor:3ExecutorMe

5、mory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6數(shù)據(jù)量187W187W187W第一次267s123s107s第二次220s128s137s第三次259s183s169s平均4m08s2m242ml7集群配置Executor:1Executor:3Executor:3ExecutorMemory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6數(shù)據(jù)量1000W1000W1000W第一次9m44s3ml2s4m2s第二次8m40s4m49s3m42s第三次8m42s4m50s3m37s平均9m02s4ml73m47第四章測試結(jié)論3.1測試結(jié)論1. 在相同數(shù)據(jù)量下，分配的服務(wù)器資源越多，計算時間越少。2. 在大數(shù)據(jù)量下，分配更多的服務(wù)器資源，能有效減少計算時間。3. 在分配的資源足夠的條件下，分配更多的服務(wù)器資源并不會顯著減少計算時間。4. 浙江省衛(wèi)生廳每天上傳