Cloudera大數(shù)據(jù)行業(yè)應(yīng)用介紹

1、1Cloudera大數(shù)據(jù)行業(yè)應(yīng)用介紹Volume（數(shù)量）Variety （類型）Velocity（速度）= Value (價值）2BIG DATA（大數(shù)據(jù)）BIG DATA=？ HADOOP4Hadoop: 擴展性 & 靈活性 存儲 & 計算傳統(tǒng)方式Hadoop方式$30,000+ per TB昂貴而遙不可及昂貴的、專用的、“可靠的”服務(wù)器 昂貴的封閉軟件擴展困難網(wǎng)絡(luò)成為不可避免的瓶頸只能處理結(jié)構(gòu)化關(guān)系型數(shù)據(jù)很難增加新的字段和數(shù)據(jù)類型Network 數(shù)據(jù)存儲(SAN, NAS)計算(RDBMS, EDW)$300-$1,000 per TB經(jīng)濟且可以企及商業(yè)化的“不怎么可靠”的服務(wù)器 混合的開

2、源軟件可無限平行擴展網(wǎng)絡(luò)不再是瓶頸輕松攝取任何類型的數(shù)據(jù)靈活的讀取時檢查數(shù)據(jù)類型的訪問方式內(nèi)存存儲(Disk)計算(CPU) z z在傳統(tǒng)數(shù)據(jù)庫(RDBMS) 時代, 應(yīng)用創(chuàng)造新數(shù)據(jù).在Hadoop 時代,數(shù)據(jù)創(chuàng)造新的應(yīng)用.5Hadoop十年6200820092010Core Hadoop (HDFS, MR)2006HBase ZooKeeper Core HadoopHive Pig Mahout HBaseZooKeeper Core HadoopSqoop Whirr Avro Hive Pig Mahout HBaseZooKeeper Core HadoopFlume Bigtop

3、 Oozie MRUnit HCatalog Sqoop Whirr Avro HivePig Mahout HBase ZooKeepe rSpark Impala Solr Kafka Flume Bigtop Oozie MRUnit HCatalog Sqoop Whirr Avro HivePig Mahout HBase ZooKeeperCore Hadoop+YARN2011Core Hadoop+YARN2012-2014Parquet Sentry RecordServic eKudu Spark Impala Solr Kafka Flume Bigtop Oozie M

4、RUnit HCatalog Sqoop Whirr Avro HivePigMahoutHBase ZooCKoereeper Hadoop+YARNPresentCloudera是公認的Hadoop平臺的領(lǐng)導者Source: Ovum Decision Matrix: Selecting a Hadoop Platform, 2015強大的客戶基礎(chǔ)完整的數(shù)據(jù)安全和數(shù)據(jù)治理完整的合作伙伴生態(tài)環(huán)境Cloudera2008年成立于硅谷第一個企業(yè)級Hadoop產(chǎn)品提供商24x7 全球支持3/5 財富500強企業(yè)客戶全行業(yè)客戶(金融、電信、零售、能源、互聯(lián)網(wǎng)、媒體等）2200多個生態(tài)鏈合作伙伴培訓和

5、認證Hadoop生態(tài)圈最大貢獻者，Intel合作加速企業(yè)數(shù)據(jù)中心的革新Cloudera中國2014年9月成立，上海是大中華區(qū)總部，負責產(chǎn)品培訓、 專業(yè)技術(shù)服務(wù)和產(chǎn)品支持，在北京和廣州有本地支持8它 是 誰？9Cloudera和Apache開源社區(qū)Leaders Across the Hadoop EcosystemDoug Cutting:Hadoop創(chuàng)始人，前Apache基金會主席100Committer 席位覆蓋Hadoop生態(tài)圈上百萬生產(chǎn)環(huán)境部署節(jié)點，覆蓋全行業(yè)22項目由Cloudera員工創(chuàng)建15Hadoop相關(guān)的原理及架構(gòu)類書籍10完整的合作伙伴生態(tài)環(huán)境Data SystemsEnt

6、erprise Data HubProcess DiscoveModelServerSecurity and AdministrationUnlimited StorageApplicationsSystem IntegrationInfrastructureMore than 2,200partnersOperational Tools11Cloudera 企業(yè)數(shù)據(jù)中樞 CDH處理Ingest Sqoop, Flume,KafkaTransform MapReduce, Hive, Pig, Spark探索Analytic Database ImpalaSearch Solr建模Machin

7、e LearningR, Spark Mllib, Mahout服務(wù)NoSQLDatabase HBaseStreaming Spark Streaming無限制的存儲 HDFS, HBaseYARN, Cloudera Manager系統(tǒng)和數(shù)據(jù)管理 Cloudera Navigator靈活的部署模式On-Premises Appliances Engineered Systems12Public Cloud Private Cloud Hybrid Cloud統(tǒng)一的數(shù)據(jù)訪問統(tǒng)一的數(shù)據(jù)存儲統(tǒng)一的系統(tǒng)管理和安全持續(xù)的創(chuàng)新能力Cloudera ManagerFlume,SqoopSearchImp

8、alaSentryDirector,NavigatorKuduRecord Service全面的安全與管治外圍組件對集群訪問的管理與 保護技術(shù)理念: 認證網(wǎng)絡(luò)隔離數(shù)據(jù)保護數(shù)據(jù)以防未授權(quán) 的訪問與操作技術(shù)理念: 加密, 信令, 數(shù)據(jù)屏蔽訪問定義哪些用戶與應(yīng)用 程序可以操作數(shù)據(jù)技術(shù)理念: 權(quán)限 授權(quán)可見性關(guān)于數(shù)據(jù)源以及數(shù)據(jù) 使用狀況的報告技術(shù)理念: 審計數(shù)據(jù)沿襲Sentry|RhinoKerberos | AD/LDAPCloudera導航器加密和秘鑰管理13Financial ServicesTelecomHealthcare &Life SciencesMedia & TechnologyRe

9、tail & CPPublic SectorCloudera全球客戶精選14RISK第一個 PCI 認證的 Hadoop 平臺可優(yōu)化EDW并提高對金融欺詐的監(jiān) 測和防每天以PCI合規(guī)的方式安全保障10PB 數(shù)據(jù)安全信息事件管理(SIEM) 監(jiān)測對 敏感數(shù)據(jù)集的訪問，對用戶行為有 完整的審計軌跡。金融服務(wù) 數(shù)據(jù)安全性 預(yù)防金融欺詐 IT 成本減少15重新平臺化1,600個運營數(shù)據(jù)庫和系統(tǒng)業(yè)務(wù)和消費者的數(shù)據(jù)分布在幾十個不 同的客戶數(shù)據(jù)庫中一個日常的 ETL 工作 (處理10億個客 戶記錄) 以前需要24小時提高數(shù)據(jù)速率15倍(用過去1/3的時間能處理5倍的數(shù)據(jù))現(xiàn)在只需1.5小時即可完成BT現(xiàn)在可

10、以訪問最新的數(shù)據(jù)，所有客戶數(shù)據(jù)都已集中。CUSTOMER 360電信 服務(wù)改進 流程改進 IT 成本減少16零售客戶行為的360 視角集成多種不同數(shù)據(jù)來源 (點擊行為 軌跡、店內(nèi)POS、在線訂單，以及 社交媒體)理解放棄的在線購物車行為優(yōu)化運營投資，不同渠道的業(yè)務(wù)收 入關(guān)聯(lián)增加了客戶洞見，用于改進供應(yīng)鏈 計劃提高了客戶解答能力，并可預(yù)測退貨CUSTOMER 360零售 / 電商 客戶 360 改進流程 更好的客戶服務(wù) 預(yù)測性的分析17DATA-DRIVEN PRODUCTS用NetApp Filers (“Phone Home”)收集 的機器數(shù)據(jù)使預(yù)測性主動性支持成 為可能。因為數(shù)據(jù)處理提高64倍，現(xiàn)在可以滿足最嚴苛的支持SLA。處理機器產(chǎn)生的數(shù)據(jù)源于600,000多 個每周交易模式匹配查詢有助于偵測漏洞磁盤上歷史數(shù)據(jù)有助于分析產(chǎn)品問題的根源技術(shù) / 制造業(yè) 物聯(lián)網(wǎng) 產(chǎn)品改進 服務(wù)改進18RISK政府行業(yè) 恐怖行為偵測 360 視角 試驗性分析美國政府 不同的政府安全部門 & 情報部門提前偵測和防止恐怖威脅和襲擊必須識別全球互聯(lián)網(wǎng)上可疑的行為， 提供給700個商業(yè)和聯(lián)邦機構(gòu)提供實時信息、警告和指導，以防 御來自網(wǎng)絡(luò)的進攻PB級別的平臺用于網(wǎng)絡(luò)安全分析19可提前診測敗血癥進行成功的治療， 挽救生命已經(jīng)挽救了