最新大數(shù)據(jù)測試方法和工具梳理(修訂版)

1、大數(shù)據(jù)測試方法和工具梳理1 什么是大數(shù)據(jù) 大數(shù)據(jù)是一個(gè)大的數(shù)據(jù)集合,通過傳統(tǒng)的計(jì)算技術(shù)無法進(jìn)行處理。這些數(shù)據(jù)集的測試需要使用各種工具、技術(shù)和框架進(jìn)行處理。大數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲(chǔ)、檢索、分析,而且它在數(shù)量、多樣性、速度方法都很出色。2 大數(shù)據(jù)測試類型測試大數(shù)據(jù)應(yīng)用程序更多的是驗(yàn)證其數(shù)據(jù)處理,而不是測試軟件產(chǎn)品的個(gè)別效用。當(dāng)涉及到大數(shù)據(jù)測試時(shí),性能和效用測試是關(guān)鍵。在大數(shù)據(jù)測試中,QA工程師使用集群和其他組件來驗(yàn)證對(duì)TB級(jí)數(shù)據(jù)的成功處理。因?yàn)樘幚矸浅？?所以它需要高水平的測試技能。處理可以是三種類型：批量、實(shí)時(shí)、交互。與此同時(shí),數(shù)據(jù)質(zhì)量也是大數(shù)據(jù)測試的一個(gè)重要因素。在測試應(yīng)用程序之前,有必要檢查

2、數(shù)據(jù)的質(zhì)量,并將其視為數(shù)據(jù)庫測試的一部分。它涉及檢查各種字段,如一致性,準(zhǔn)確性,重復(fù),一致性,有效性,數(shù)據(jù)完整性等。3 大數(shù)據(jù)測試實(shí)現(xiàn)被分成三個(gè)步3.1 步驟1：數(shù)據(jù)分段驗(yàn)證大數(shù)據(jù)測試的第一步,也稱為pre-Hadoop階段涉及過程驗(yàn)證。 來自各種來源（如RDBMS,博客,社交媒體等）的數(shù)據(jù)應(yīng)進(jìn)行驗(yàn)證,以確保正確的數(shù)據(jù)被拉入系統(tǒng) 將源數(shù)據(jù)與推送到Hadoop系統(tǒng)中的數(shù)據(jù)進(jìn)行比較,以確保它們匹配 驗(yàn)證正確的數(shù)據(jù)被提取并加載到正確的HDFS位置該階段可以使用工具Talend或Datameer,進(jìn)行數(shù)據(jù)階段驗(yàn)證。3.2 步驟2：“MapReduce”驗(yàn)證大數(shù)據(jù)測試的第二步是MapReduce的驗(yàn)證。

3、在這個(gè)階段,測試者在每個(gè)節(jié)點(diǎn)上進(jìn)行業(yè)務(wù)邏輯驗(yàn)證,然后在運(yùn)行多個(gè)節(jié)點(diǎn)后驗(yàn)證它們,確保如下操作的正確性： Map Reduce進(jìn)程正常工作 在數(shù)據(jù)上實(shí)現(xiàn)數(shù)據(jù)聚合或隔離規(guī)則 生成鍵值對(duì) 在Map Reduce進(jìn)程后驗(yàn)證數(shù)據(jù)3.3 步驟3：輸出驗(yàn)證階段大數(shù)據(jù)測試的最后或第三階段是輸出驗(yàn)證過程。生成輸出數(shù)據(jù)文件,同時(shí)把文件移到一個(gè)EDW（Enterprise Data Warehouse:企業(yè)數(shù)據(jù)倉庫）中或著把文件移動(dòng)到任何其他基于需求的系統(tǒng)中。在第三階段的活動(dòng)包括： 檢查轉(zhuǎn)換(Transformation)規(guī)則被正確應(yīng)用 檢查數(shù)據(jù)完整性和成功的數(shù)據(jù)加載到目標(biāo)系統(tǒng)中 通過將目標(biāo)數(shù)據(jù)與HDFS文件系統(tǒng)數(shù)據(jù)

4、進(jìn)行比較來檢查沒有數(shù)據(jù)損壞4 架構(gòu)測試Hadoop處理非常大量的數(shù)據(jù),并且資源密集。因此,架構(gòu)測試對(duì)于確保大數(shù)據(jù)項(xiàng)目的成功至關(guān)重要。系統(tǒng)設(shè)計(jì)不當(dāng)或設(shè)計(jì)不當(dāng)可能導(dǎo)致性能下降,系統(tǒng)可能無法滿足要求。至少,性能和故障轉(zhuǎn)移測試服務(wù)應(yīng)在Hadoop環(huán)境中完成。性能測試包括測試作業(yè)完成時(shí)間,內(nèi)存利用率,數(shù)據(jù)吞吐量和類似的系統(tǒng)指標(biāo)。雖然故障轉(zhuǎn)移測試服務(wù)的動(dòng)機(jī)是驗(yàn)證數(shù)據(jù)處理在數(shù)據(jù)節(jié)點(diǎn)故障的情況下無縫地發(fā)生5 性能測試大數(shù)據(jù)的性能測試包括兩個(gè)主要方面: 數(shù)據(jù)獲取和吞吐量：在這個(gè)階段,測試人員驗(yàn)證快速系統(tǒng)如何使用來自各種數(shù)據(jù)源的數(shù)據(jù)。測試涉及識(shí)別隊(duì)列在給定時(shí)間幀中可以處理的不同消息。它還包括如何快速地將數(shù)據(jù)插入到

5、底層數(shù)據(jù)存儲(chǔ)中,例如插入到Mongo和Cassandra數(shù)據(jù)庫中。 數(shù)據(jù)處理：它涉及驗(yàn)證執(zhí)行查詢或map reduce作業(yè)的速度。它還包括底層數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)集中填充時(shí)隔離測試數(shù)據(jù)的過程。例如,在底層HDFS上運(yùn)行Map Reduce作業(yè) 子組件性能：這些系統(tǒng)由多個(gè)組件組成,必須單獨(dú)測試這些組件。例如,消息被索引和使用的速度,mapreduce作業(yè),查詢性能,搜索等。5.1 性能測試方法大數(shù)據(jù)應(yīng)用程序的性能測試涉及大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的測試,它需要一種特定的測試方法來測試這樣的大量數(shù)據(jù)。性能測試按此順序執(zhí)行1. 對(duì)要性能測試的大數(shù)據(jù)集群的進(jìn)行設(shè)置2. 識(shí)別和設(shè)計(jì)相應(yīng)的工作負(fù)載3. 準(zhǔn)備單個(gè)客

6、戶端（創(chuàng)建自定義腳本）4. 執(zhí)行測試并分析結(jié)果（如果不滿足目標(biāo),則調(diào)整組件并重新執(zhí)行）5. 最佳配置5.2 性能測試的參數(shù)要驗(yàn)證性能測試的各種參數(shù)是 數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)如何存儲(chǔ)在不同的節(jié)點(diǎn)中 提交日志：提交日志允許增長的大小 并發(fā)性：有多少線程可以執(zhí)行寫和讀操作 緩存：調(diào)整緩存設(shè)置“行緩存”和“密鑰緩存”。 超時(shí)：連接超時(shí),查詢超時(shí)等的值。 JVM參數(shù)：堆大小,GC收集算法等。 降低性能：排序,合并等 消息隊(duì)列：消息速率,大小等6 測試環(huán)境需求測試環(huán)境需求取決于要測試的應(yīng)用程序的類型。對(duì)于大數(shù)據(jù)測試,測試環(huán)境應(yīng)包括 它應(yīng)該有足夠的空間用于存儲(chǔ)和處理大量的數(shù)據(jù) 它應(yīng)該具有分布式節(jié)點(diǎn)和數(shù)據(jù)的集群 它應(yīng)

7、該具有最小的CPU和內(nèi)存利用率,以保持高性能7 大數(shù)據(jù)測試和傳統(tǒng)數(shù)據(jù)庫測試8 大數(shù)據(jù)場景中使用的工具8.1 針對(duì)大數(shù)據(jù)單個(gè)組件測試工具GridMix針對(duì)Hadoop集群的測試基準(zhǔn),它具備評(píng)測大規(guī)模數(shù)據(jù)處理系統(tǒng)所需的各個(gè)效用模塊,包括：產(chǎn)生數(shù)據(jù),生成并提交作業(yè),統(tǒng)計(jì)作業(yè)完成時(shí)間等。TeraSort針對(duì)文本數(shù)據(jù)的排序。1TB排序通常用于衡量分布式數(shù)據(jù)處理框架的數(shù)據(jù)處理能力。Terasort是hadoop中的的一個(gè)排序作業(yè),在2008年,Hadoop在1TB排序基準(zhǔn)評(píng)料中贏得第一名,耗時(shí)209秒。YCSB是Yahoo開發(fā)的一個(gè)專門用來對(duì)新一代數(shù)據(jù)庫進(jìn)行基準(zhǔn)測試的工具。全名是Yahoo! Cloud

8、Serving Benchmark。 他們開發(fā)這個(gè)工具的目的是希望有一個(gè)標(biāo)準(zhǔn)的工具用來衡量不同數(shù)據(jù)庫的性能。YCSB做了很多優(yōu)化來提高客戶端性能,例如在數(shù)據(jù)類型上用了最原始的比特?cái)?shù)組以減少數(shù)據(jù)對(duì)象本身創(chuàng)建轉(zhuǎn)換所需的時(shí)間等。Filebench 是一款文件系統(tǒng)性能的自動(dòng)化測試工具,它通過快速模擬真實(shí)應(yīng)用服務(wù)器的負(fù)載來測試文件系統(tǒng)的性能。它不僅可以仿真文件系統(tǒng)微操作（如 copyfiles, createfiles, randomread, randomwrite ）,而且可以仿真復(fù)雜的應(yīng)用程序（如 varmail, fileserver, oltp, dss, webserver, webprox

9、y ）。 Filebench 比較適合用來測試文件服務(wù)器性能,但同時(shí)也是一款負(fù)載自動(dòng)生成工具,也可用于文件系統(tǒng)的性能。8.2 綜合類測試工具,覆蓋大數(shù)據(jù)平臺(tái)多個(gè)效用組件Hibench是用來在速度方面評(píng)估不同的大數(shù)據(jù)框架的,它包括一系列的Hadoop,Spark,streaming工作負(fù)載,包括sort,wordcount,TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight and enhanced DFSIO,等。同樣也為park Streaming, Flink, Storm and Gearpump提

10、供工作負(fù)載。BigDataBench是中科院計(jì)算所提出的大數(shù)據(jù)測試工具,覆蓋了結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù),其負(fù)載模擬了搜索引擎、社交網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型。8.3 具體應(yīng)用領(lǐng)域端到端大數(shù)據(jù)測試工具BigBench是基于TPC-DS開發(fā)的端到端測試工具,面向零售業(yè)務(wù),模擬電子商務(wù)的整個(gè)流程,主要測試MapReduce和并行DBMS。9 大數(shù)據(jù)測試中的挑戰(zhàn)9.1 自動(dòng)化大數(shù)據(jù)的自動(dòng)化測試需要有技術(shù)專長的人員。此外,自動(dòng)化工具不能處理測試期間出現(xiàn)的意外問題9.2 虛擬化它是測試的必需階段之一。虛擬機(jī)延遲會(huì)在實(shí)時(shí)大數(shù)據(jù)測試中產(chǎn)生時(shí)序問題。還有在大數(shù)據(jù)中管理圖像是一個(gè)麻煩。9.3 大數(shù)據(jù)集 需要驗(yàn)證更多的數(shù)據(jù),需要做的更快 需要自動(dòng)化測試工作 需要能夠跨不同平臺(tái)進(jìn)行測試9.4 性能測試的挑戰(zhàn) 多樣化的技術(shù)：每個(gè)子組件屬于不同的技術(shù),需要獨(dú)立測試 特定工具的不可用性：沒有單個(gè)工具可以執(zhí)行端到端測試。例如,