《基于新信息技術(shù)的Hadoop大數(shù)據(jù)技術(shù)》 課件 項目2 Hadoop技術(shù)概述

Hadoop大數(shù)據(jù)技術(shù)——Hadoop技術(shù)概述湖南軟件職業(yè)技術(shù)大學(xué)Hadoop的前世今生什么是大數(shù)據(jù)湖南軟件職業(yè)技術(shù)大學(xué)數(shù)據(jù)結(jié)構(gòu)海量存儲能力讀寫速度實時hadoophbasesparkstrom雙11電商數(shù)據(jù)大屏智慧交通高速收費站數(shù)據(jù)大屏工程建設(shè)作戰(zhàn)指揮室生產(chǎn)作業(yè)KPI指標分析什么是大數(shù)據(jù)湖南軟件職業(yè)技術(shù)大學(xué)操作系統(tǒng)hadoop數(shù)據(jù)庫硬件大數(shù)據(jù)是什么大數(shù)據(jù)的背后是硬件、數(shù)據(jù)庫、操作系統(tǒng)、Hadoop等一系列技術(shù)的綜合應(yīng)用。

大數(shù)據(jù)這三個字只是一門市場語言，不是一項專門的技術(shù)。湖南軟件職業(yè)技術(shù)大學(xué)HDFS負責(zé)大數(shù)據(jù)的存儲MapReduce負責(zé)大數(shù)據(jù)的計算YARN負責(zé)集群資源的調(diào)度

Hadoop是由一系列軟件庫組成的框架。這些軟件庫各自負責(zé)Hadoop的一部分功能，其中最主要的是HDFS、MapReduce和YARN。Hadoop是什么湖南軟件職業(yè)技術(shù)大學(xué)Hadoop項目起源湖南軟件職業(yè)技術(shù)大學(xué)《TheGoogleFileSystem》2003年《MapReduce:SimplifiedDataProcessingonLargeClusters》2004年《Bigtable:ADistributedStorageSystemforStructuredData》2006年Hadoop起源于Google的三篇著名論文：2004年左右，DougCutting開發(fā)出初始版本的Hadoop，作為Nutch項目的一部分。Hadoop發(fā)展歷程HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計算框架)HBase（NOSQL分布式數(shù)據(jù)庫）第一階段前Hadoop時代（2003-2007）三大論文、DougCutting、HadoopHBase萌芽階段湖南軟件職業(yè)技術(shù)大學(xué)Hadoop發(fā)展歷程第二階段后Hadoop時代（2008-2014）Hadoop、HBase、Hive、Pig、Sqoop等百花齊放，眼花繚亂各個組件層出不窮，相互之間的兼容性管理混亂，雖然選擇性多，但是很亂湖南軟件職業(yè)技術(shù)大學(xué)HDFS（分布式文件系統(tǒng)）MapReduce(分布式離線計算框架)HivePigMahoutHBaseZookeeperSqoopFlumeOozieHadoop發(fā)展歷程第三階段Hadoop商業(yè)發(fā)行版時代（2011-2020）商業(yè)發(fā)行版、CDH、HDP等等，云原生套件出現(xiàn)，如阿里云、華為云、騰訊云、百度云標準的發(fā)行版大行其道，提供免費版本，云原生商業(yè)版如火如荼湖南軟件職業(yè)技術(shù)大學(xué)Hadoop發(fā)展歷程第四階段國產(chǎn)化開源發(fā)行版時代（2021開始）USDP標準的發(fā)行版紛紛收費，國產(chǎn)化開源發(fā)行版勢在必行湖南軟件職業(yè)技術(shù)大學(xué)Hadoop名字起源湖南軟件職業(yè)技術(shù)大學(xué)

Hadoop這個名字不是一個縮寫，而是一個虛構(gòu)的名字。該項目的創(chuàng)建者，DougCutting解釋Hadoop的得名：“這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手?！泵秩〉暮秒S意啊，大象玩具湖南軟件職業(yè)技術(shù)大學(xué)Hadoop生態(tài)系統(tǒng)簡介20092019hadoop版本迭代Hadoop版本迭代20072014湖南軟件職業(yè)技術(shù)大學(xué)Hadoop生態(tài)系統(tǒng)湖南軟件職業(yè)技術(shù)大學(xué)生態(tài)圈湖南軟件職業(yè)技術(shù)大學(xué)Hadoop的優(yōu)勢及應(yīng)用場景方便彈性簡單Hadoop可以運行在一般商業(yè)服務(wù)器構(gòu)成的大型集群上，或者是亞馬遜彈性計算云(AmazonEC2)/阿里云等云計算服務(wù)上。Hadoop可以通過增加節(jié)點方式來線性地擴展集群規(guī)模，以便處理更大的數(shù)據(jù)集。同時，在集群負載下降時，也可以減少節(jié)點以提高資源使用效率。Hadoop允許用戶快速編寫出高效的分布式計算程序。Hadoop的優(yōu)勢湖南軟件職業(yè)技術(shù)大學(xué)健壯Hadoop在設(shè)計之初，就將故障檢測和自動恢復(fù)作為一個設(shè)計目標，它可以從容處理通用計算平臺上出現(xiàn)硬件失效的情況。Cloudera運營總監(jiān)稱，美國有70%的智能手機數(shù)據(jù)服務(wù)背后都是由Hadoop來支撐的，也就是說包括數(shù)據(jù)的存儲以及無線運營商的數(shù)據(jù)處理等，都是在利用Hadoop技術(shù)。Hadoop在這一領(lǐng)域應(yīng)用非常廣泛，eBay就是最大的實踐者之一。國內(nèi)的電商平臺在Hadoop技術(shù)儲備上也非常雄厚。目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版，其中SearchBI網(wǎng)站曾經(jīng)報導(dǎo)過的Expedia也在其中。這個領(lǐng)域普通用戶接觸得比較少，一般只有金融服務(wù)或者政府機構(gòu)會用到。利用Hadoop來存儲所有的客戶交易數(shù)據(jù)，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機構(gòu)發(fā)現(xiàn)客戶的異?；顒?，預(yù)防欺詐行為。電在詐移動數(shù)據(jù)在線旅游詐騙檢測電子商務(wù)移Hadoop的應(yīng)用領(lǐng)域醫(yī)療行業(yè)也會用到Hadoop，像IBM的Watson就會使用Hadoop集群作為其服務(wù)的基礎(chǔ)，包括語義分析等高級分析技術(shù)。醫(yī)療機構(gòu)可以利用語義分析為患者提供醫(yī)護人員，并協(xié)助醫(yī)生更好地為患者進行診斷。美國Chevron公司是全美