Hadoop生態(tài)系統(tǒng)及開發(fā) 課件 第一章 大數(shù)據(jù)基礎(chǔ)概述

大數(shù)據(jù)基礎(chǔ)概述本章為大數(shù)據(jù)的基礎(chǔ)概述，主要介紹大數(shù)據(jù)概念和價值以及大數(shù)據(jù)的來源，然后介紹大數(shù)據(jù)的應(yīng)用場景、大數(shù)據(jù)時代的機遇和挑戰(zhàn)、Hadoop大數(shù)據(jù)分析平臺的概念及其生態(tài)系統(tǒng)。學(xué)完本課程后，您將能夠：掌握什么是大數(shù)據(jù)，大數(shù)據(jù)4V特征掌握大數(shù)據(jù)技術(shù)趨勢及應(yīng)用了解大數(shù)據(jù)時代帶來的機遇與挑戰(zhàn)大數(shù)據(jù)時代大數(shù)據(jù)的應(yīng)用領(lǐng)域企業(yè)所面臨的挑戰(zhàn)和機遇Hadoop及其生態(tài)系統(tǒng)簡介大數(shù)據(jù)的概念和價值什么是大數(shù)據(jù)？現(xiàn)在，人們常常將“大數(shù)據(jù)”理解為數(shù)據(jù)量龐大，形式繁雜，利用常規(guī)的軟件工具難以或無法捕獲、管理和處理的數(shù)據(jù)集。大數(shù)據(jù)的概念和價值大數(shù)據(jù)價值？細分顧客群體模擬實境提高投入回報率大數(shù)據(jù)的來源數(shù)據(jù)來源于生活的方方面面。隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，各類應(yīng)用層出不窮，引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長。大數(shù)據(jù)的來源大致可以分為一下三種：移動設(shè)備的實時記錄與跟蹤所產(chǎn)生的數(shù)據(jù)互聯(lián)網(wǎng)行業(yè)產(chǎn)生的數(shù)據(jù)傳統(tǒng)行業(yè)所產(chǎn)生的數(shù)據(jù)大數(shù)據(jù)時代大數(shù)據(jù)的應(yīng)用領(lǐng)域企業(yè)所面臨的挑戰(zhàn)和機遇Hadoop及其生態(tài)系統(tǒng)簡介大數(shù)據(jù)的應(yīng)用場景大數(shù)據(jù)可以應(yīng)用在人們生產(chǎn)和生活的方方面面。如今，很多行業(yè)開始探索大數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)時代不僅處理著海量數(shù)據(jù)，還加工、傳播、分享著數(shù)據(jù)。有關(guān)數(shù)據(jù)顯示，中國數(shù)據(jù)IT應(yīng)用投資規(guī)模較大的有五大行業(yè)，其中互聯(lián)網(wǎng)行業(yè)占比最高，其次是電信，第三為金融行業(yè)，公共安全行業(yè)和醫(yī)療業(yè)分別為第四和第五。大數(shù)據(jù)的應(yīng)用場景具體到某個行業(yè)主要包含以下六大應(yīng)用場景：金融行業(yè)醫(yī)療行業(yè)教育行業(yè)交通規(guī)劃行業(yè)公共安全行業(yè)旅游行業(yè)大數(shù)據(jù)時代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)時代的挑戰(zhàn)和機遇Hadoop及其生態(tài)系統(tǒng)簡介大數(shù)據(jù)的應(yīng)用場景面對挑戰(zhàn)，傳統(tǒng)數(shù)據(jù)處理遭遇天花板海量數(shù)據(jù)的高存儲成本流式數(shù)據(jù)處理缺失數(shù)據(jù)批量處理性能不足有限的擴展能力單一數(shù)據(jù)源數(shù)據(jù)資產(chǎn)對外增值挑戰(zhàn)一：業(yè)務(wù)部門無清晰的大數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門不了解大數(shù)據(jù)的應(yīng)用場景和價值，因此難以提出大數(shù)據(jù)的準確需求。由于業(yè)務(wù)部門需求不清晰，大數(shù)據(jù)部門又是非盈利部門，企業(yè)決策層擔心投入產(chǎn)出比不高，在搭建大數(shù)據(jù)部門時猶豫不決，甚至由于暫時沒有應(yīng)用場景，刪除了很多有價值的歷史數(shù)據(jù)。挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴重企業(yè)啟動大數(shù)據(jù)最重要的挑戰(zhàn)就是數(shù)據(jù)的碎片化。在大型企業(yè)中，不同類型的數(shù)據(jù)常常散落在不同部門，使得同一企業(yè)內(nèi)部數(shù)據(jù)無法共享，無法發(fā)揮大數(shù)據(jù)的價值。挑戰(zhàn)三：數(shù)據(jù)可用性低，質(zhì)量差很多大中型企業(yè)每天會產(chǎn)生大量的數(shù)據(jù)，但很多企業(yè)在大數(shù)據(jù)的預(yù)處理階段很不重視，導(dǎo)致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預(yù)處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類型，對數(shù)據(jù)進行清洗和去噪，以提取有效的數(shù)據(jù)等操作。Sybase的數(shù)據(jù)表明，高質(zhì)量的數(shù)據(jù)可用性提高10%，企業(yè)效益提高20%以上。挑戰(zhàn)四：數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)傳統(tǒng)的數(shù)據(jù)庫不適合處理PB級別的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)庫沒有考慮數(shù)據(jù)的多樣性，尤其對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的兼容。海量數(shù)據(jù)運維需要保證數(shù)據(jù)穩(wěn)定，支持高并發(fā)的同時減少服務(wù)器負載。挑戰(zhàn)五：數(shù)據(jù)安全問題網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段。如何保證用戶的信息安全成為大數(shù)據(jù)時代非常重要的課題。此外，大數(shù)據(jù)的不斷增加，對數(shù)據(jù)存儲的物理安全性要求會越來越高，從而對數(shù)據(jù)的多副本與容災(zāi)機制也提出更高的要求。挑戰(zhàn)六：大數(shù)據(jù)人才缺乏大數(shù)據(jù)建設(shè)的每一個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此必須培養(yǎng)和造就一支掌握大數(shù)據(jù)，懂管理，有大數(shù)據(jù)應(yīng)用經(jīng)驗的大數(shù)據(jù)建設(shè)專業(yè)隊伍。全球每年將新增數(shù)十萬個大數(shù)據(jù)相關(guān)的工作崗位，未來將會出現(xiàn)100萬以上的人才缺口。因此高校和企業(yè)共同努力去培養(yǎng)和挖掘人才。挑戰(zhàn)七：數(shù)據(jù)開放與隱私的權(quán)衡在大數(shù)據(jù)應(yīng)用日益重要的今天，數(shù)據(jù)資源的開放共享已經(jīng)成為在數(shù)據(jù)大戰(zhàn)中保持優(yōu)勢的關(guān)鍵。但是數(shù)據(jù)的開放不可避免的會侵害一些用戶的隱私。如何在推動數(shù)據(jù)全面開放，應(yīng)用和共享的同時有效地保護公民和企業(yè)隱私，逐步加強隱私立法，將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。機遇一：大數(shù)據(jù)挖掘成為商業(yè)分析的核心大數(shù)據(jù)的重心從存儲與傳輸已經(jīng)逐步過渡到數(shù)據(jù)的挖掘與應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式，既可直接為企業(yè)帶來盈利，也可以通過正反饋為企業(yè)帶來難以復(fù)制的競爭優(yōu)勢。一方面，大數(shù)據(jù)技術(shù)可以有效地幫助企業(yè)整合、挖掘、分析其所掌握的龐大數(shù)據(jù)信息，構(gòu)建系統(tǒng)化的數(shù)據(jù)體系，完善企業(yè)自身的結(jié)構(gòu)和管理機制。另一方面，伴隨消費者個性化需求的增長，大數(shù)據(jù)在各個領(lǐng)域的應(yīng)用逐步顯現(xiàn)，已經(jīng)開始并正在改變著大多數(shù)企業(yè)的發(fā)展途徑及商業(yè)模式。機遇二：大數(shù)據(jù)成為信息技術(shù)應(yīng)用的支撐點大數(shù)據(jù)處理和分析成為新一代信息技術(shù)應(yīng)用的支撐點：一方面，大數(shù)據(jù)技術(shù)可以有效地幫助企業(yè)整合、挖掘、分析其所掌握的龐大數(shù)據(jù)信息，構(gòu)建系統(tǒng)化的數(shù)據(jù)體系，完善企業(yè)自身的結(jié)構(gòu)和管理機制。移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些技術(shù)以大數(shù)據(jù)為節(jié)點，不斷匯集所產(chǎn)生的信息，并通過對不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到各種應(yīng)用中，進一步改善用戶的使用體驗，創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟價值和社會價值。因此，大數(shù)據(jù)具有催生社會變革的能量，但是釋放這種能量，需要更嚴謹?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境。機遇三：大數(shù)據(jù)成為信息產(chǎn)業(yè)持續(xù)增長的新引擎大數(shù)據(jù)的商業(yè)價值和市場需求成為推動信息產(chǎn)業(yè)持續(xù)增長的新引擎：隨著行業(yè)用戶對大數(shù)據(jù)價值認可程度的增加，市場需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會不斷涌現(xiàn)。大數(shù)據(jù)將為信息產(chǎn)業(yè)創(chuàng)建一個高增長的新市場：在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲、快速讀寫、實時分析等挑戰(zhàn)，將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計算等市場；在軟件與服務(wù)領(lǐng)域，因為大數(shù)據(jù)中蘊涵的巨大價值，帶來對數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場的空前繁榮。大數(shù)據(jù)時代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)時代的挑戰(zhàn)和機遇Hadoop及其生態(tài)系統(tǒng)簡介什么是HadoopHadoop由Apache基金會開發(fā)，、、、

的分布式系統(tǒng)基礎(chǔ)架構(gòu)或框架。開源的用于分布式計算可靠的可擴展的什么是HadoopHadoop框架核心可擴展、高容錯、高性能的分布式文件系統(tǒng)負責數(shù)據(jù)的分布式存儲和備份Map（映射）Reduce（規(guī)約）Hadoop分布式文件系統(tǒng)HDFS分布式計算框架MapReduceHadoop框架核心了解Hadoop發(fā)展歷史了解Hadoop的特點高可靠性高效性高容錯性低成本可構(gòu)建在廉價機器上高擴展性Hadoop基本框架用Java語言編寫Hadoop生態(tài)系統(tǒng)Hadoop生態(tài)系統(tǒng)中組件LOGOHadoop生態(tài)系統(tǒng)HBaseHBase是一個針對非結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問。保存的數(shù)據(jù)可以使用MapReduce進行處理。將數(shù)據(jù)存儲和并行計算很好地結(jié)合在一起。Hadoop生態(tài)系統(tǒng)HiveHive是建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。提供了一系列的工具，可存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)。定義了一種類SQL語言為HQL（HiveQueryLanguage），HQL語句在Hive的底層將被轉(zhuǎn)換為復(fù)雜的MapReduce程序，運行在Hadoop大數(shù)據(jù)平臺上。應(yīng)用場景大數(shù)據(jù)集的批處理作業(yè)，如網(wǎng)絡(luò)日志分析。Hadoop生態(tài)系統(tǒng)PigPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析框架。提供的類SQL語言為PigLatin。PigLatin語言的編譯器會將類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換成一系列經(jīng)過優(yōu)化處理的MapReduce程序進行計算。支持的數(shù)據(jù)格式非常靈活，可以自由轉(zhuǎn)化，并且在運算過程中用關(guān)系進行存儲，減少了文件的輸出。Hadoop生態(tài)系統(tǒng)應(yīng)用場景對數(shù)據(jù)存儲的要求較低，適用于非結(jié)構(gòu)化的數(shù)據(jù)集，支持復(fù)合數(shù)據(jù)類型，如Map、Tuple、Bag等；支持常見的數(shù)據(jù)操作，如篩選、排序和連接；適用于日志數(shù)據(jù)的處理。雅虎和推特均采用了Pig處理數(shù)據(jù)。Hadoop生態(tài)系統(tǒng)SqoopSqoop是一款開源的工具。主要用于在Hadoop與關(guān)系型數(shù)據(jù)庫（如MySQL、PostgreSQL等）之間傳輸數(shù)據(jù)，可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入至Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)出至關(guān)系型數(shù)據(jù)庫中。應(yīng)用場景對于結(jié)構(gòu)化數(shù)據(jù)庫，采用Sqoop進行數(shù)據(jù)傳輸是合適的，可以實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)庫中的數(shù)據(jù)并行批量入庫至HDFS進行存儲。Hadoop生態(tài)系統(tǒng)FlumeFlume是Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸系統(tǒng)。支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)?？梢詫?shù)據(jù)進行簡單處理，并傳輸至各種數(shù)據(jù)接收方。應(yīng)用場景日志文件的采集。Hadoop生態(tài)系統(tǒng)OozieOozie是基于Hadoop的調(diào)度器，編寫xml格式的文件制定調(diào)度流程，可以調(diào)度MapReduce、Pig、Hive、Shell等任務(wù)。當一個工作任務(wù)中需要調(diào)用幾個任務(wù)時，一個任務(wù)完成再啟動另一個是比較麻煩的，在這種情況下即可使用Oozie將任務(wù)串聯(lián)，通過Oozie調(diào)動整個任務(wù)進程。Hadoop生態(tài)系統(tǒng)ZooKeeperZooKeeper可解決分布式環(huán)境下的數(shù)據(jù)管理問題，如統(tǒng)一命名、狀態(tài)同步、集群管理、配置同步等。ZooKeeper的使用主要是為了保證集群各項功能正常進行，并在出現(xiàn)異常時能夠及時通知處理，保持數(shù)據(jù)一致性，是對整個集群的監(jiān)控。Hadoop生態(tài)系統(tǒng)MahoutMahout的主要目標是創(chuàng)建一些可擴展的機器學(xué)習(xí)領(lǐng)域經(jīng)典算法，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序?，F(xiàn)已包含了聚類、分類、推薦（協(xié)同過濾）和關(guān)聯(lián)規(guī)則等廣泛使用的機器學(xué)習(xí)算法。除了算法外，Mahout還包含數(shù)據(jù)輸入和輸出的工具、與其他存儲工具（如MySQL、MongoDB等）集成等支持架構(gòu)。Hadoop生態(tài)系統(tǒng)應(yīng)用場景通過提供機器學(xué)習(xí)算法包使得用戶在使用的過程中能夠直接通過調(diào)用算法包縮短編程時間，同時也減少用戶復(fù)雜的算法程序?qū)Y源的消耗。Hadoop應(yīng)用場景在線旅游移動數(shù)據(jù)目前全球范圍內(nèi)大多數(shù)在線旅游網(wǎng)站都使用了Cloudera公司提供的Hadoop發(fā)行版，Expedia作為全球最大的在線旅游公司之一也在使用Hadoop。在國內(nèi)目前比較受歡迎的一些旅游網(wǎng)站如攜程、去哪兒網(wǎng)等也采用了大數(shù)據(jù)技術(shù)存儲和計算。中國移動于2010年5月正式推出大云BigCloud1.0，集群節(jié)點達到了1024個。華為對Hadoop的HA方案及HBase領(lǐng)域也有深入研究，并已經(jīng)向業(yè)界推出了自己的基于Hadoop的大數(shù)據(jù)解決方案。Hadoop應(yīng)用場景電子商務(wù)能源開采阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎(chǔ)計算和存儲服務(wù)。Chevron公司是一家大型石油公司，該公司利用Hadoop進行數(shù)據(jù)的收集和處理，數(shù)據(jù)主要指海洋的地震數(shù)據(jù)，以便于找到油礦的位置。Hadoop應(yīng)用場景圖像處理詐騙檢測SkyboxImaging創(chuàng)業(yè)公司使用Hadoop存儲并處理圖片數(shù)據(jù)，從衛(wèi)星拍攝的高清圖像中探測地理變化。自2008年4月起，CbIR（Content-basedImageRetrieval）公司在亞馬遜的AmazonEC2上使用Hadoop構(gòu)建圖像處理環(huán)境，用于圖像產(chǎn)品推薦系統(tǒng)。一般金融服務(wù)或政府機構(gòu)會使用Hadoop存儲所有的客戶交易數(shù)據(jù)，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機構(gòu)發(fā)現(xiàn)客戶的異常活動，預(yù)防欺詐行為。國內(nèi)支付寶、微信錢包作為龐大的互聯(lián)網(wǎng)支付平臺，詐騙、黑客、病毒的防護十分重要，為了線上資金的安全，阿里巴巴和騰訊在大數(shù)據(jù)技術(shù)檢測方面的技術(shù)日臻成熟。Hadoop應(yīng)用場景IT安全醫(yī)療保健除企業(yè)IT基礎(chǔ)機構(gòu)的管理外，Hadoop還可以用于處理機器生成的數(shù)據(jù)以便識別出來自惡意軟件或網(wǎng)絡(luò)中的攻擊。國內(nèi)奇虎360安全軟件在應(yīng)用方面也使用Hadoop的HBase組件進行數(shù)據(jù)存儲，縮短異?；謴?fù)的時間。醫(yī)療行業(yè)可以使用到Hadoop，如IBMWatson技術(shù)平臺則使用Hadoop集群作為一些分析服務(wù)的基礎(chǔ)，如語義分析等高級分析技術(shù)。醫(yī)療機構(gòu)可以利用語義分析為患者提供醫(yī)護人員，并協(xié)助醫(yī)生更好地為患者進行診斷。Hadoop應(yīng)用場景搜索引擎社交平臺搜索引擎無疑會產(chǎn)生大規(guī)模的數(shù)據(jù)，在對海量數(shù)據(jù)挖掘上使用Hadoop確實能提高效率。在國外，雅虎的Hadoop應(yīng)用中包括了搜索引擎，國內(nèi)的百度和阿里巴