Hadoop發(fā)行版主流廠商對比分析

HADOOP發(fā)行版主流廠商對比分析比較項指標Cloudera華為星環(huán)說明團隊實力PMC人數(shù)6510對Hadoop重大改動具有投票權(quán)的人員。Committer人數(shù)8620有權(quán)限修改Hadoop代碼的人員。核心平臺開發(fā)人員184~150~10社區(qū)影響問題修復(fù)數(shù)1600+~1600持久化定制特性能力有無無能將定制開發(fā)的私有Hadoop代碼持久固化到Hadoop的基線版本，從而保證現(xiàn)有部署與主流技術(shù)的一致兼容，避免被Hadoop開源社區(qū)發(fā)展所淘汰。貢獻開發(fā)的Hadoop組件2300產(chǎn)品進化路線圖有無無Cloudera有完整的產(chǎn)品孵化機制（實驗室、孵化器）、長遠的產(chǎn)品路線圖?；趯adoop技術(shù)的深入了解和廣泛應(yīng)用，Cloudera有經(jīng)驗知道現(xiàn)有技術(shù)的局限，并有能力開發(fā)出新的武器，且積極與社區(qū)共享，如Kudu、RecordService等。而其他廠家對Hadoop認識不足對未來發(fā)展無法預(yù)見，只能抄襲和拷貝。開放可控核心代碼開源是否否保證代碼安全可控，防止被廠家技術(shù)鎖定；用戶能對代碼進行安全檢查和審計，杜絕缺陷以及后門代碼。開源軟件包—進制兼容是是否保證程序包與開源版本—進制兼容，用戶現(xiàn)有代碼無需重新編譯，用戶或第三方可以自主打patch提供補丁修復(fù)和功能增強，防止被廠家技術(shù)鎖定。

生態(tài)兼容與SAS主流數(shù)據(jù)分析工具雙向認證是否否與Tableu/Qlikview等主流BI工具雙向認證是否否與Dell/IBM/HP/Huawei/浪潮等主流服務(wù)器雙向認證是否（僅與華為服務(wù)器認證）否數(shù)據(jù)安全多服務(wù)細粒度安全控制有無無支持HBase、Hive、HDFS等多個組件對于數(shù)據(jù)基于文件、行、列等細粒度的安全訪問控制。平臺級統(tǒng)一安全管理方案有無無Cloudera對于Sentry安全管理的深度集成，能在平臺級別將所有上層服務(wù)組件的訪問控制統(tǒng)一管理，保證任何組件的安全訪問機制的有效性（不會被其他訪問路徑繞過）以及一致性（不同組件對于相同數(shù)據(jù)的安全視圖不受訪問路徑不同的影響）。操作審計有無無Cloudera使用plugin方式對于所有服務(wù)組件訪問管理路徑添加了操作審計功能，能自動記錄Hadoop上所有用戶行為。而其他廠商無此實力，只能在應(yīng)用層實現(xiàn)有限的操作審計，極易被真正需要審計的操作所繞過。數(shù)據(jù)自動系統(tǒng)脫敏有無*無在數(shù)據(jù)輸入和讀取時，平臺內(nèi)部能自動辨別并進行數(shù)據(jù)脫敏，保證底層數(shù)據(jù)存儲以及上層數(shù)據(jù)讀取結(jié)果的脫敏過程被繞過。（華為只能做到應(yīng)用層脫敏，自開發(fā)應(yīng)用不能受到控制。）

Kerberos配置向?qū)Ъ凹捎袩o無Kerberos的配置極其繁瑣，對于大型系統(tǒng)多用戶多業(yè)務(wù)場景，手工管理Kerberos兒乎不可能。Cloudera提供了可視化向?qū)б约白詣雍蠖税踩渲?，方便安全配置以及管理，Hadoop管理人員無需底層Kerberos經(jīng)驗。組件功能自研OLAP數(shù)據(jù)庫有有無有自主開發(fā)掌握核心技術(shù)的OLAP數(shù)據(jù)庫。自研存儲引擎有無無Cloudera有自主開發(fā)掌握核心技術(shù)的存儲引擎組件HDFS以及Kudu等。其他廠商只是拷貝，無核心技術(shù)支持。平臺級全文檢索有部分部分Cloudera能提供跨HBase、HDFS、Hive等存儲結(jié)構(gòu)的數(shù)據(jù)以及兀數(shù)據(jù)全文檢索方案。其他廠商只能通過集成第三方技術(shù)為某一兩個組件提供全文檢索，且無法檢索元數(shù)據(jù)。數(shù)據(jù)溯源有部分無（華為只支持通過其自有ETL工具設(shè)計的任務(wù)之間的數(shù)據(jù)溯源。）集群運維無中斷自動升級有無無按100節(jié)點集群計算，升級通常需要兩三天的施工周期，期間集群服務(wù)無保障，極大影□向在線系統(tǒng)整體可用性。此功能能不中斷當前集群的數(shù)據(jù)和服務(wù)，無需客戶端程序修改或重啟，后臺靜默完成Hadoop版本升級。多版本快速切換有無無傳統(tǒng)集群只能部署一個版本，如果遇到升級后一段時間才發(fā)現(xiàn)兼容性等問題，或在當前版本發(fā)現(xiàn)嚴重問題等，需要Hadoop版本回滾或更改將極其困難，且風險很大。多版本部署僅需要重啟一次服務(wù)的時間，通常在分鐘級別，就能實現(xiàn)不同版本的切換，更加保證了集群運行的可靠性。配置智能檢測及報警有無無能主動發(fā)現(xiàn)配置問題并提供建議。

自動化集群規(guī)劃及參數(shù)適配有無*無*Cloudera能通過集群規(guī)模、硬件配置、服務(wù)組件等信息，智能適配Hadoop部署，包括服務(wù)器角色規(guī)劃、Hadoop參數(shù)、內(nèi)存使用、并發(fā)控制等等，無需用戶手工干預(yù)。而其他廠家只能有限的基于規(guī)則（如平分內(nèi)存）的配置。主動周期性服務(wù)功能性測試有無無Cloudera的金絲雀服務(wù)（Canary）能主動地周期性進行服務(wù)功能性測試，可以在嚴重故障發(fā)生前發(fā)現(xiàn)問題并預(yù)警。集群診斷及數(shù)據(jù)包收集有無無模版化集群節(jié)點配置有無無配置版本控制及回滾有無無Hadoop監(jiān)控指標+100,000~3000~5000Cloudera提供了眾多的Hadoop監(jiān)控指標且按照集群級、服務(wù)級、用戶級、節(jié)點級以及任務(wù)級5級分別收集展現(xiàn)。統(tǒng)一日志管理有無無Cloudera能將集群內(nèi)所有節(jié)點所有服務(wù)任意時間段的日志在同一個界面中展現(xiàn)并支持全文搜索，極大方便了分布式多節(jié)點關(guān)聯(lián)性故障的調(diào)研。將故障調(diào)查效率提高9倍，平均排障時間從4.5小時縮短到半小時。自助定制監(jiān)控圖表有無無服務(wù)培訓主動支持有無無能隨時主動進行集群分析和診斷，在客戶出現(xiàn)集群故障之刖發(fā)現(xiàn)潛在配置問題和安全隱患，保證集群平穩(wěn)運行。全球最佳實踐知識庫共享有無無重大bugl小時報告有無無對于社區(qū)或廠家發(fā)現(xiàn)的重大Hadoop缺陷，能在一小時內(nèi)將通知客戶，降低客戶集群數(shù)據(jù)丟失風險，減少被利用漏洞惡意