大數(shù)據(jù)測試方法和工具梳理

大數(shù)據(jù)測試方法和工具梳理1什么是大數(shù)據(jù)

\o"Hadoop知識庫"大數(shù)據(jù)是一個大的數(shù)據(jù)集合，通過傳統(tǒng)的計(jì)算技術(shù)無法進(jìn)行處理。這些數(shù)據(jù)集的\o"軟件測試知識庫"測試需要使用各種工具、技術(shù)和框架進(jìn)行處理。大數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲、檢索、分析，而且它在數(shù)量、多樣性、速度方法都很出色。2大數(shù)據(jù)測試類型測試大數(shù)據(jù)應(yīng)用程序更多的是驗(yàn)證其數(shù)據(jù)處理，而不是測試軟件產(chǎn)品的個別功能。當(dāng)涉及到大數(shù)據(jù)測試時，性能和功能測試是關(guān)鍵。在大數(shù)據(jù)測試中，QA工程師使用集群和其他組件來驗(yàn)證對TB級數(shù)據(jù)的成功處理。因?yàn)樘幚矸浅？欤运枰咚降臏y試技能。處理可以是三種類型：批量、實(shí)時、交互。與此同時，數(shù)據(jù)質(zhì)量也是大數(shù)據(jù)測試的一個重要因素。在測試應(yīng)用程序之前，有必要檢查數(shù)據(jù)的質(zhì)量，并將其視為\o"MySQL知識庫"數(shù)據(jù)庫測試的一部分。它涉及檢查各種字段，如一致性，準(zhǔn)確性，重復(fù)，一致性，有效性，數(shù)據(jù)完整性等。3大數(shù)據(jù)測試實(shí)現(xiàn)被分成三個步3.1步驟1：數(shù)據(jù)分段驗(yàn)證大數(shù)據(jù)測試的第一步，也稱為pre-Hadoop階段涉及過程驗(yàn)證。來自各種來源（如RDBMS，博客，社交媒體等）的數(shù)據(jù)應(yīng)進(jìn)行驗(yàn)證，以確保正確的數(shù)據(jù)被拉入系統(tǒng)將源數(shù)據(jù)與推送到Hadoop系統(tǒng)中的數(shù)據(jù)進(jìn)行比較，以確保它們匹配驗(yàn)證正確的數(shù)據(jù)被提取并加載到正確的HDFS位置該階段可以使用工具Talend或Datameer，進(jìn)行數(shù)據(jù)階段驗(yàn)證。3.2步驟2：“MapReduce”驗(yàn)證大數(shù)據(jù)測試的第二步是MapReduce的驗(yàn)證。在這個階段，測試者在每個節(jié)點(diǎn)上進(jìn)行業(yè)務(wù)邏輯驗(yàn)證，然后在運(yùn)行多個節(jié)點(diǎn)后驗(yàn)證它們，確保如下操作的正確性：MapReduce進(jìn)程正常工作在數(shù)據(jù)上實(shí)現(xiàn)數(shù)據(jù)聚合或隔離規(guī)則生成鍵值對在MapReduce進(jìn)程后驗(yàn)證數(shù)據(jù)3.3步驟3：輸出驗(yàn)證階段大數(shù)據(jù)測試的最后或第三階段是輸出驗(yàn)證過程。生成輸出數(shù)據(jù)文件，同時把文件移到一個EDW（EnterpriseDataWarehouse:企業(yè)數(shù)據(jù)倉庫）中或著把文件移動到任何其他基于需求的系統(tǒng)中。在第三階段的活動包括：檢查轉(zhuǎn)換(Transformation)規(guī)則被正確應(yīng)用JVM參數(shù)：堆大小，GC收集算法等。降低性能：排序，合并等消息隊(duì)列：消息速率，大小等6測試環(huán)境需求測試環(huán)境需求取決于要測試的應(yīng)用程序的類型。對于大數(shù)據(jù)測試，測試環(huán)境應(yīng)包括它應(yīng)該有足夠的空間用于存儲和處理大量的數(shù)據(jù)它應(yīng)該具有分布式節(jié)點(diǎn)和數(shù)據(jù)的集群它應(yīng)該具有最小的CPU和內(nèi)存利用率，以保持高性能7大數(shù)據(jù)測試和傳統(tǒng)數(shù)據(jù)庫測試8大數(shù)據(jù)場景中使用的工具8.1針對大數(shù)據(jù)單個組件測試工具GridMix針對Hadoop集群的測試基準(zhǔn)，它具備評測大規(guī)模數(shù)據(jù)處理系統(tǒng)所需的各個功能模塊，包括：產(chǎn)生數(shù)據(jù)，生成并提交作業(yè)，統(tǒng)計(jì)作業(yè)完成時間等。TeraSort針對文本數(shù)據(jù)的排序。1TB排序通常用于衡量分布式數(shù)據(jù)處理框架的數(shù)據(jù)處理能力。Terasort是\o"Hadoop知識庫"hadoop中的的一個排序作業(yè)，在2008年，Hadoop在1TB排序基準(zhǔn)評估中贏得第一名，耗時209秒。YCSB是Yahoo開發(fā)的一個專門用來對新一代數(shù)據(jù)庫進(jìn)行基準(zhǔn)測試的工具。全名是Yahoo!CloudServingBenchmark。他們開發(fā)這個工具的目的是希望有一個標(biāo)準(zhǔn)的工具用來衡量不同數(shù)據(jù)庫的性能。YCSB做了很多優(yōu)化來提高客戶端性能，例如在數(shù)據(jù)類型上用了最原始的比特?cái)?shù)組以減少數(shù)據(jù)對象本身創(chuàng)建轉(zhuǎn)換所需的時間等。Filebench是一款文件系統(tǒng)性能的自動化測試工具，它通過快速模擬真實(shí)應(yīng)用服務(wù)器的負(fù)載來測試文件系統(tǒng)的性能。它不僅可以仿真文件系統(tǒng)微操作（如copyfiles，createfiles，randomread，randomwrite），而且可以仿真復(fù)雜的應(yīng)用程序（如varmail，fileserver，oltp，dss，webserver，webproxy）。Filebench比較適合用來測試文件服務(wù)器性能，但同時也是一款負(fù)載自動生成工具，也可用于文件系統(tǒng)的性能。8.2綜合類測試工具，覆蓋大數(shù)據(jù)平臺多個功能組件Hibench是用來在速度方面評估不同的大數(shù)據(jù)框架的，它包括一系列的Hadoop，Spark，streaming工作負(fù)載，包括sort，wordcount，TeraSort,Sleep,SQL,PageRank,Nutchindexing,Bayes,Kmeans,NWeightandenhancedDFSIO,等。同樣也為parkStreaming,Flink,StormandGearpump提供工作負(fù)載。BigDataBench是中科院計(jì)算所提出的大數(shù)據(jù)測試工具，覆蓋了結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，其負(fù)載模擬了搜索引擎、社交網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型。8.3具體應(yīng)用領(lǐng)域端到端大數(shù)據(jù)測試工具BigBench是基于TPC-DS開發(fā)的端到端測試工具，面向零售業(yè)務(wù)，模擬電子商務(wù)的整個流程，主要測試MapReduce和并行DBMS。9大數(shù)據(jù)測試中的挑戰(zhàn)9.1自動化大數(shù)據(jù)的自動化測試需要有技術(shù)專長的人員。此外，自動化工具不能處理測試期間出現(xiàn)的意外問題9.2虛擬化它是測試的必需階段之一。虛擬機(jī)延遲會在實(shí)時大數(shù)據(jù)測試中產(chǎn)生時序問題。還有在大數(shù)據(jù)中管理圖像是一個麻煩。9.3大數(shù)據(jù)集需要驗(yàn)證更多的數(shù)據(jù)，需要做的更快需要自動化測試工作需要能夠跨不同平臺進(jìn)行測試9.4性能測試的挑戰(zhàn)多樣化的技術(shù)：每個子組件屬于不同的技術(shù)，需要獨(dú)立測試特定工具的不可用性：沒有單個工具可以執(zhí)行端到端測試。例如，NoSQL可能不適合消息隊(duì)列測試腳本：需要高度的腳本來設(shè)計(jì)測試場景和測試用例測試環(huán)境