課程一：運用Hadoop分布式架構補充傳統(tǒng)架構迎戰(zhàn)大數(shù)據(jù)70

運用Hadoop分布式架構補充傳統(tǒng)架構(IOE)迎戰(zhàn)大數(shù)據(jù)童小軍2013年3月提綱Hadoop補補充傳統(tǒng)統(tǒng)架構應應對大數(shù)數(shù)據(jù)Hadoop云云計算架架構解析析Hadoop應應用案案例和云云平臺EasyHadoop,RedHadoop介紹紹Hadoop是是什么??RedHadoop海海量數(shù)據(jù)據(jù)處理操操作系統(tǒng)統(tǒng)存儲+計計算(HDFS+MapReduce)數(shù)據(jù)倉庫庫(Hive))數(shù)據(jù)庫((Hbase))批處理((Pig)搜索(Solr)挖掘算法法(Mahout)BSP模模型(Hama)分布式鎖鎖(Zoomkeeper))大規(guī)模搜搜索(Nutch)SqoopFlume處理框架架->分分布式OS->>生態(tài)系系統(tǒng)更多Hadoop在在云計算算的位置置私有云公有云混合云InfrastructureasaService以服務的的形式提提供虛擬擬硬件資資源，如如虛擬主主機/存存儲/網(wǎng)網(wǎng)絡等資資源。用戶無需需購買服服務器、、網(wǎng)絡設設備、存存儲設備備，只需需通過互互聯(lián)網(wǎng)租租賃即可可搭建自自己的應應用系統(tǒng)統(tǒng)典型應用用：AmazonWebService((AWS)PlatformasaService提供應用用服務引引擎，如如互聯(lián)網(wǎng)網(wǎng)應用編編程接口口/運行行平臺等等。用戶基于于該應用用服務引引擎，可可以構建建該類應應用。典型應用用：GoogleAppEngine,,F,MicrosoftAzure服務平平臺SoftwareasaService用戶通過過Internet((如瀏瀏覽器))來使用用軟件。。用戶不不必購買買軟件，，只需按按需租用用軟件典型應用用：GoogleDoc,,S,OracleCRMOnDemand,OfficeLiveWorkspace面向外部部用戶需需求，通通過開放放網(wǎng)絡提提供云計計算服務務IDC，，GoogleApp，Saleforce在線線CRM大型企業(yè)業(yè)按照云云計算的的架構搭搭建平臺臺，面向向企業(yè)內(nèi)內(nèi)部需求求提供云云計算服服務企業(yè)內(nèi)部部數(shù)據(jù)中中心等兼顧以上上兩種情情況的云云計算服服務AmazonWebServer等既既為企業(yè)業(yè)內(nèi)部又又為外部部用戶提提供云計計算服務務按提供的的服務類類型按云服務務的對象象IAASPAASSAASIAAS分布存儲儲分布計算算云計算核核心技術術有兩極極3200臺主機機傳統(tǒng)架構構(IOE)和和云計算算(虛擬擬化)的的主要瓶瓶頸服務器服務器服務器VPSVPSVPSVPSVPSVPS存儲陣列列數(shù)據(jù)移動動EMC存存儲OracleIBM磁盤IO瓶頸帶寬瓶頸頸計算瓶頸頸傳統(tǒng)架構構(IOE)和和云計算算(虛擬擬化)的的主要瓶瓶頸服務器服務器服務器VPSVPSVPSVPSVPSVPS存儲陣列列數(shù)據(jù)移動動EMC存存儲OracleIBM磁盤IO瓶頸帶寬瓶頸頸計算瓶頸頸cpucpucpu基于共享享存儲和和高性能能計算的的架構。。IO能力力和機器器數(shù)量成成非正比比計算能力力和機器器數(shù)量成成正比傳統(tǒng)架構構(IOE)和和云計算算(虛擬擬化)的的主要瓶瓶頸數(shù)據(jù)移動動磁盤IO瓶頸帶寬瓶頸頸計算瓶頸頸服務器存儲cpu移動計算算而非移移動數(shù)據(jù)據(jù),化整整為零((128m),,分片處處理；本地化計計算,并并行IO,降低低網(wǎng)絡通通信服務器存儲cpu服務器存儲cpu服務器存儲cpu服務器存儲cpu服務器存儲cpu交換機HDFSMAPReduceIO能力力和機器器數(shù)量成成正比計算能力力和機器器數(shù)量成成正比Hadoop補補充IOE存儲儲架構應應對大數(shù)數(shù)據(jù)Hbase使用Hadoop補充充傳統(tǒng)架架構(IOE))HiveHadoop處處于群雄雄逐鹿的的春秋戰(zhàn)戰(zhàn)國時代代Apache,,Cloudera,,MapR,HotonWorks,Intel->>發(fā)行行版本IBM,,HP,,Dell,浪浪潮,曙曙光,云云創(chuàng)存儲儲->>一體機機天云系((天云趨趨勢,天天云科技技),友友友,云云創(chuàng)存儲儲->>解決方方案亞馬遜,,百度云云,騰訊訊云,移移動打云云->>云服務務為何Intel會大力力扶植Hadoop??服務務硬件體體系的混混戰(zhàn)(X86->Power)(PCServer->>小型型機)提綱Hadoop補補充傳統(tǒng)統(tǒng)架構應應對大數(shù)數(shù)據(jù)Hadoop云云計算架架構解析析Hadoop應應用案案例和云云平臺EasyHadoop,RedHadoop介紹紹Google云云計算平平臺體系系結構：：2003~2006年在多多篇學術術論文公公開后端系統(tǒng)統(tǒng)：Google數(shù)據(jù)據(jù)分析平平臺Google集集群管管理系統(tǒng)統(tǒng)存儲+計計算(HDFS+MapReduce)數(shù)據(jù)倉庫庫(Hive))數(shù)據(jù)庫((Hbase))批處理((Pig)BSP模模型(Hama)分布式鎖鎖(Zoomkeeper))Hadoop是是Google三三架馬馬車的基基礎HadoopHDFSGoogleGFS分布式文文件系統(tǒng)統(tǒng)HDFS2的模模塊NameNode計計算DataNode存存儲HadoopMapReduceGoogleMapReduce面向大規(guī)規(guī)模數(shù)據(jù)據(jù)處理的的并行編編程系統(tǒng)統(tǒng)14/32JobTrackerTaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(ReduceTask)TaskTracker(ReduceTask)用戶程序序(JobClient)中間結果果中間結果果中間結果果輸出數(shù)據(jù)據(jù)輸出數(shù)據(jù)據(jù)提交作業(yè)業(yè)任務調(diào)度度任務調(diào)度度狀態(tài)監(jiān)控控狀態(tài)監(jiān)控控Map任務從DFS/HugeTable等中讀數(shù)據(jù)分片Map任務在本地寫中間結果Reduce任務讀Map輸出的中間結果Reduce任務在DFS/HugeTable寫輸出數(shù)據(jù)MapReduce的的目標自動并行行化：開發(fā)者者不必關關心底層層并行處處理系統(tǒng)統(tǒng)的系統(tǒng)統(tǒng)自動可靠靠性處理理：開發(fā)者者不必關關心設備備、網(wǎng)絡絡的臨時時/永久久的故障障編程接口口Java語言編編程接口口、C+++語言言編程接接口(Pipes)其他語言言編程接接口(Streaming))，可以以采用Python//Ruby/Shell等用戶自定定義map函函數(shù)接收一個個輸入對對<Key,Value>，產(chǎn)生一一個中間間對<K’,,V’’>用戶自定定義reduce函函數(shù)接收一個個中間K’和對應的的V’集，合并V’集，形成一個個較小的的Value集HBaseGoogleBigTable海量結構構化數(shù)據(jù)據(jù)實時存存儲訪問問系統(tǒng)基于HDFS的的主備Master、、多個RegionSvr通通過ZK構成集集群數(shù)據(jù)按照照三級索索引組織織，三次次訪問可可以定位位數(shù)據(jù)數(shù)據(jù)寫操操作在內(nèi)內(nèi)存完成成，但是是需要對對文件實實施合并并操作提綱Hadoop補補充傳統(tǒng)統(tǒng)架構應應對大數(shù)數(shù)據(jù)Hadoop云云計算架架構解析析Hadoop應應用案案例和云云平臺EasyHadoop,RedHadoop介紹紹Hadoop//HiveCluster@aliyunUser->phpHiveAdmin-->HiveServer-->HadoopHDCluster:80Core,180GHZ,10TB4GRAM,,4Core**2.26GHz500GB啟動100個Map生生成100億數(shù)數(shù)據(jù)通過100個Map用用Perl隨隨機生生成數(shù)據(jù)據(jù)準備,1kw,,1億,,10億億,100億,,100GB數(shù)數(shù)據(jù)集通過Hive創(chuàng)創(chuàng)建測試試庫表結結構使用phpHiveadmin+HQL查查詢返回回結果SELECTidFROMTablewhereidlike'%%JA--sq%%';((模糊糊匹配查查詢出ID帶帶JA-sq的車車牌號))1億數(shù)數(shù)據(jù),并并行5Map進程,,144w/s掃描描速度,,69s返回回10億數(shù)數(shù)據(jù),并并行46Map進程程,800w//s掃掃描速度度,117s返返回100億億數(shù)據(jù),,并行453Map進進程,5400w/s掃描描速度,,3分鐘鐘返回,,基本滿滿足需求求。SELECTid,,COUNT((*)FROMTableGROUPBYid((對每個個車牌號號分組歸歸并,并并求出現(xiàn)現(xiàn)次數(shù)))1億數(shù)數(shù)據(jù),并并行5Map進程,,2Reduce進進程,104w/s處處理速速度,96s返返回10億數(shù)數(shù)據(jù),并并行46Map進程,,13Reduce進進程,230w/s處處理速速度,7分鐘返返回100億億數(shù)據(jù),,并行453Map進進程,121Reduce進進程,500w/s處處理速速度,54分鐘鐘返回。。Hadoop預預算,其其他方案案的成本本對比!!投入成本本(10TB預算))IOE((IBM+Oracle+EMC))時代((x))kw++自建Hadoop集群群(20*4w+4w)==80w+使用云主主機構建建Hadoop[20*7970=15.94w/年年]轉變轉變千萬時代代百萬時代代十幾萬時時代初創(chuàng)型公公司中型技術術型公司司政府,銀銀行,電電信年成本::1.5w/T我們還有有那些成成本壓縮縮空間??實施周期期IBM++Oracle+EMC時時代(月月)自建Hadoop集群群(1年年-半年年)[學學習和培培訓]阿里云Hadoop時時代(星星期/月月)轉變轉變季度/月月1年/半半年月/星期期個人,初初創(chuàng)公司司中型公司司政府,銀銀行,電電信月1年/半半年中型公司司政府,銀銀行,電電信維護成本本IBM++Oracle+EMC時時代((規(guī)劃,,實施,,維護,,管理,,)廠廠商專業(yè)業(yè)人員配配合[每每次按小小時收費費]自建Hadoop集群群(學習習,經(jīng)驗驗,人才才培育))Hadoop云云時代代(統(tǒng)統(tǒng)一專人人管理和和維護))轉變轉變統(tǒng)一維護護個人,初初創(chuàng)公司司廠商專業(yè)業(yè)支持自己培養(yǎng)養(yǎng)中型公司司政府,銀銀行,電電信使用開放放的技術術還是封封閉的技技術?Hadoop應應用案案例和云云平臺UserCase1(智智慧交通通)用戶:最最大城市市,交通通領域(Citytraffic)場景:車車牌記錄錄[CarLicencePlate]],100億億[10Billion]//年需求:小小時級別別->優(yōu)優(yōu)化到分分鐘級[Minute]->未來來優(yōu)化到到秒級[Seconds]查查詢IntelligentTransportationSmarterCities場景:車車輛異異常快速速識別VehicleAbnormal交通安全全問題培訓目錄錄移動,聯(lián)聯(lián)通公司司大數(shù)據(jù)據(jù)平臺云計算案案例分析析—上海海公司基基于云計計算平臺臺的移動動用戶行行為特征征分析移動用戶戶行為特特征分析析模型渠道偏好好分析客戶細分分新業(yè)務關關聯(lián)時間性能能：數(shù)據(jù)處處理性能能增加約約30倍倍，數(shù)據(jù)據(jù)挖掘性性能增加加約9倍倍,整個個應用性性能提高高約3--7倍成本優(yōu)勢勢：成本降低低6倍，，運維耗耗電相當當，占用用機房面面積更少少，更高高的處理理能力正確度：：符合商業(yè)業(yè)標準云計算案案例分析析—江蘇蘇公司基基于云計計算平臺臺的信令令監(jiān)測系系統(tǒng)基于云計計算平臺臺的信令令監(jiān)測系系統(tǒng)實驗驗基于BC-PDM的ETL進進行API級別別的二次次開發(fā)，，形成信信令信息息分析系系統(tǒng)功能包括括SMS信信令信息息分析SP提交交短信過過程分析析SP提交交短信成成功率分分析GPRS的GN接口信信令分析析GN接口口通信過過程分析析GN接口口信令過過程分析析正確性100%%，數(shù)據(jù)據(jù)查詢、、統(tǒng)計性性能提高高7-15倍，，成本降降低4倍倍數(shù)據(jù)范圍圍：一個個月數(shù)據(jù)據(jù)查詢案例例查詢：返返回以上上功能的的某個時時段結果果組合查詢詢：滿足足4個復復雜條件件的查詢詢實驗條件件單位秒聯(lián)通電信信詳單查查詢系統(tǒng)統(tǒng)業(yè)務問題題提供所有有手機用用戶的詳詳單在線線查詢系系統(tǒng)提供七大大種類信信息套餐及固固定費、、通話、、短/彩彩信、上上網(wǎng)、增增值業(yè)務務、代收收費用業(yè)務扣費費、其他他扣費高峰時期期提供千千萬并發(fā)發(fā)用戶在在線查詢詢請求已有方案案使用兩臺臺IBMP5570小型型機作為為數(shù)據(jù)庫庫服務器器使用某關關系數(shù)據(jù)據(jù)庫只存放3個月數(shù)數(shù)據(jù)最多提供供100查詢//秒查詢詢需要限制制每個用用戶每天天查詢次次數(shù)來保保證系統(tǒng)統(tǒng)穩(wěn)定服服務聯(lián)通電信信詳單查查詢系統(tǒng)統(tǒng)(續(xù)))新方案數(shù)數(shù)據(jù)規(guī)模模可容納360TB原始始數(shù)據(jù)存放半年年七大種種類詳單單數(shù)據(jù)平均每天天2TB新增數(shù)數(shù)據(jù)導入入新方案構建80臺雙路路IA服服務器集集群，安安裝英特爾Hadoop發(fā)發(fā)行版構構建分布布式數(shù)據(jù)據(jù)庫集群群共提供400TB詳單單數(shù)據(jù)存存儲容量量集群提供供每秒80萬條條詳單數(shù)數(shù)據(jù)插入入集群可以以保證每每秒2萬萬條月詳詳單查詢請求，，滿足在在線用戶戶需要成功案例例二-聯(lián)聯(lián)通電信信詳單查查詢系統(tǒng)統(tǒng)(續(xù)))阿里淘寶寶的案例例每日新增增數(shù)據(jù)20T累積數(shù)據(jù)據(jù)14P3200+服務器的的云計算算平臺每天處理理100,,000+作業(yè)任務務，包括括100++新增作業(yè)業(yè)任務每天處理理1P+數(shù)據(jù)，包包括0.5%%新增數(shù)據(jù)據(jù)總體數(shù)據(jù)據(jù)規(guī)模阿里金融融通過大大數(shù)據(jù)整整合掘金金!阿里金融融的信用用評估系系統(tǒng)會自自動分析析小微企企業(yè)的數(shù)數(shù)據(jù)，例例如企業(yè)業(yè)通過支支付寶,,淘寶進進行的支支付數(shù)據(jù)據(jù)，最終終算出信信用評估估和放貸貸額度。。截止2011年年底，阿阿里金融融對近30萬家家小微企企業(yè)進行信用用評估。。累計投投放96800家，投放貸貸款154億億，壞賬率率為交易易額的0.76%。阿里金融融的實時時業(yè)務墻阿里金融融的數(shù)據(jù)據(jù)模型任任務（局局部）每個模型型任務都都是面向向海量數(shù)數(shù)據(jù)的大大規(guī)模運運算任務務。天貓/淘淘寶雙雙十一191億億背后的開開源技術術?@dbatools::雙十十一一天天時間，，支付寶核核心數(shù)據(jù)據(jù)庫集群群處理了了41億億個事務務，執(zhí)行285億次次SQL，訪問1931億億次內(nèi)存存數(shù)據(jù)塊塊，13億個個物理讀讀，生成15TB日日志。數(shù)據(jù)應用用開發(fā)平平臺———數(shù)據(jù)工工場DataIntegrationDBsyncTTHiveHadoopMapReduceHadoopHDFSDatax報表需求求(淘數(shù)數(shù)據(jù))Hbase即席查詢詢(adhoc)數(shù)據(jù)分析析數(shù)據(jù)挖掘掘數(shù)據(jù)產(chǎn)品品淘寶數(shù)據(jù)據(jù)平臺——產(chǎn)品架架構實時計算算

底層平臺臺數(shù)據(jù)開發(fā)發(fā)平臺數(shù)據(jù)應用用成功案例例四-暴暴風影音音從最早3個試驗驗節(jié)點,,到8個個線上節(jié)節(jié)點,到到現(xiàn)在的的30個個節(jié)點。。每天處理理日志1.2T,20億行。。存儲設設計容量量200TB對外提供供產(chǎn)品品分析,,廣告分分析,用用戶分析析服務務。每天處理理任務上上千個jobs數(shù)據(jù)系統(tǒng)統(tǒng)的進化化-一代代數(shù)據(jù)系統(tǒng)統(tǒng)的進化化-二代代數(shù)據(jù)系統(tǒng)統(tǒng)的進化化-三代代Hadoop技技術其其他應用用領域電信醫(yī)療交通公安航空電力金融搜索社交游戲視頻民生核心大數(shù)據(jù)時時代需需要跨越越的巨大大障礙大數(shù)據(jù)((TB))大需求大集群((3臺))原有系統(tǒng)統(tǒng)的改造造和遷移移運維方式式轉變編程方式式轉變平臺的數(shù)數(shù)據(jù)遷移移人才的匱匱乏工具的缺缺乏廠商版本數(shù)據(jù)安全全商業(yè)模式式和模型型的轉變變大量資金金的投入入無法的看看到產(chǎn)出出大數(shù)據(jù)思思維方式式和模式式轉變海量用戶戶大規(guī)模批批量服務務(服務務1..0)決策邏輯輯數(shù)據(jù)庫用戶1邏輯1邏輯N數(shù)據(jù)集編輯人員員用戶N編輯邏輯信息生產(chǎn)產(chǎn)者信息消費費者Mysql/Oracle大數(shù)據(jù)倉倉庫海量用戶戶大規(guī)模個個性化服服務(服服務2.0))決策邏輯輯大數(shù)據(jù)庫庫用戶1邏輯1服務數(shù)據(jù)據(jù)1用戶N邏輯N服務數(shù)據(jù)據(jù)N原始數(shù)據(jù)據(jù)N挖掘邏輯輯NHiveHbaseStormHadoop原始數(shù)據(jù)據(jù)1原始數(shù)據(jù)據(jù)2信息生生產(chǎn)者//消費者者規(guī)則制定定上帝之手手本質(zhì):智智能組織織->智智能群體體實時由被動的的IT支支撐向主主動的以以數(shù)據(jù)為為核心的的IT服服務轉型型深度擁抱抱互聯(lián)網(wǎng)網(wǎng)提綱Hadoop補補充傳統(tǒng)統(tǒng)架構應應對大數(shù)數(shù)據(jù)Hadoop云云計算架架構解析析Hadoop應應用案案例和云云平臺EasyHadoop,RedHadoop介紹紹52研發(fā)難實施難管理難開源Hadoop軟件需要更友好的用戶接口和商業(yè)支持。市場需求求開源Hadoop之路路那些些難點？？為什么推推出EasyHadoop版版產(chǎn)品開源hadoop的開開發(fā)困難難之處::1.難難安裝,,部署,,配置2.難管管理,監(jiān)監(jiān)控3.難學學習,算算法開發(fā)發(fā)4.應用用少,難難使用5.找人人才難6.托管管難,管管理網(wǎng)絡絡難。EasyHadoop立志將Hadoop的[[易用性性,可用用性]做做到極極致!Hadoop類類似DOS、Linux，命命令行操操作界面化提提升Hadoop管理理1.HAProxy用作作Hive負載載均衡2.編編寫Daemon程序序用作進進程監(jiān)控控，防止止進程掛掛起3.編編寫任務務監(jiān)控腳腳本，失失敗任務務自動重重試4.編編寫集群群快速安安裝部署署軟件EasyHadoop5.編編寫Hive查查詢界面面phpHiveAdmin，做開開放數(shù)據(jù)據(jù)平臺6.監(jiān)監(jiān)控工具具Cacti，，Ganglia，Nagios一一個都不不能少。。監(jiān)控越詳詳細越好好。56Easyhadoop,RedHadoop產(chǎn)產(chǎn)品和社社區(qū)ChinaBigData社社區(qū)Easyhadoop社區(qū)RedHadoop培訓講座開源軟件件開源社區(qū)區(qū)技術出版版物聚會沙龍龍RedHadoop一一體機RedHadoopCloudRedHadoop發(fā)發(fā)行版聚合和培培養(yǎng)客客戶,用用戶,合合作伙伴伴(品牌++渠道))打造高價價值產(chǎn)品品(產(chǎn)品))舉辦大會會咨詢Hadoop核核心Apps管理理器Apps應用用程序理念:大大數(shù)據(jù)驅(qū)驅(qū)動智慧慧地球,,智慧城城市57行業(yè)解決決方案((電信,,醫(yī)療,,交通,,互聯(lián)網(wǎng)網(wǎng))Apps應用用層(AppsStore)phpHiveAdmin,,Rhadoop,EasyPig,CronHub,,ETL,ReportRedHadoop發(fā)行版方方案AppsManager管管理層層(用戶戶/權限限)核心算法法圖像,視視頻,文文本,挖挖掘Hadoop//Hbase核心存儲和計計算虛擬化系系統(tǒng)管理理/NOVA海量數(shù)據(jù)據(jù)分布式式文件系系統(tǒng)HDFSRedHadoopBigDataCloud技技術架架構搜索引擎擎開源的Linux/Windows操作系系統(tǒng)基于Xen的虛虛擬機分布式并并發(fā)控制制/Zoomkeeper結構化海海量數(shù)據(jù)據(jù)管理Hbase并行程序序MapReduce數(shù)據(jù)挖掘掘工具庫庫OS-Mahout//pig搜索引擎擎核OS-SolrCloud云計算應應用層各類新型型IT支支撐系統(tǒng)統(tǒng)搜索引擎擎郵件件系統(tǒng)等等互聯(lián)聯(lián)網(wǎng)應用用云計算服服務層數(shù)據(jù)挖掘掘：挖掘掘應用的的算法工工具數(shù)據(jù)倉庫庫：提供供海量對對象存儲儲能力搜索引擎擎：提提供基本本的搜索索引擎能能力云計算平平臺層MapReduce2+BSP：并并行程序序框架Hbase：結結構化數(shù)數(shù)據(jù)存儲儲HDFS：海量量數(shù)據(jù)的的分布式式文件系系統(tǒng)CloudFoundry：多語語言應用用部署平平臺openstrack:Swift：海量量對象存存儲系統(tǒng)統(tǒng)openstrack:NOVA::云計計算平臺臺系統(tǒng)管管理虛擬化資資源層構建在海海量同質(zhì)質(zhì)化的PC與不不可靠硬硬盤上使用開源源的openstrack++Xen提供計計算資源源的虛擬擬化運行于開開源的CentOSLinux系系統(tǒng)之上上對象存儲儲系統(tǒng)Swift并行程序序BSD++Hama+MPI數(shù)據(jù)倉庫庫/ETL/ReportOS-Hive/MRQLCloudFoundry/應用用部署廣告引擎擎存儲,搜搜索,語語音APIIOS,,Android本本地APP桌面,移移動瀏覽覽器RedHadoop國國產(chǎn)安安全Hadoop發(fā)行行版本1.優(yōu)先先解決數(shù)數(shù)據(jù)和平平臺安全全問題。。3/1//2020RedHadoop存存儲計算算一體機機交換機DataNode+JobTrackerHiveServerRedHadoop核核心節(jié)點點NameNode+JobTrackerApps管理理器Apps應用用程序DataNode+JobTrackerDataNode+JobTrackerDataNode+JobTracker產(chǎn)品特性性:集成RedHadoop正式式發(fā)行版版集成Habase數(shù)數(shù)據(jù)庫發(fā)發(fā)行版集成phpHiveAdmin,,EasyHbase工具集集具備最高高上百T存儲容容量DataNode+JobTracker4U45個磁磁盤180T存存儲==5w實現(xiàn)高性性價比集集群命名節(jié)點點(NameNode)高密度計計算高密度存存儲DataNode10TDataNode10TDataNode10TDataNode10TDataNode180TDataNode180T/data//back/集群內(nèi)遷遷移3/1//2020Easy(Red)Hadoop社社區(qū)產(chǎn)產(chǎn)品線Hive平臺化化EasyHaoop版版和Hadoop開源源版的區(qū)區(qū)別EasyHadoopappsManager[Hadoopapp安安裝管理理平臺,,解決Hadoopapps管管理問題題]集成軟件件有:-EasyHadoop發(fā)發(fā)行版[