HADOOP大數(shù)據(jù)重要功能

HADOOP大數(shù)據(jù)重要功能2Hadoop有很多種功能，本節(jié)課我們重點(diǎn)講解核心的兩個(gè)功能。3Volume(大量)Value(價(jià)值)大數(shù)據(jù)特點(diǎn)Value(價(jià)值)Value(價(jià)值)大數(shù)據(jù)與云計(jì)算：大數(shù)據(jù)與云計(jì)算是相輔相成的大數(shù)據(jù)根植與云計(jì)算4大數(shù)據(jù)并不是單獨(dú)指hadoop技術(shù)有很多方式可以實(shí)現(xiàn)大數(shù)據(jù)技術(shù)5Hadoop是大數(shù)據(jù)實(shí)現(xiàn)的一種方式，有很多公司有屬于自己的大數(shù)據(jù)實(shí)現(xiàn)方式，比如谷歌的mapreduce,HDFS分布式存儲(chǔ)系統(tǒng)和他的分布式計(jì)算系統(tǒng)。6亞馬遜的有自己的大數(shù)據(jù)技術(shù)和管理后臺(tái)。還有國(guó)內(nèi)的阿里百度等公司都有自己實(shí)現(xiàn)的hadoop,我們之所以學(xué)hadoop,是因?yàn)閔adoop最為廣泛的使用。7亞馬遜的有自己的大數(shù)據(jù)技術(shù)和管理后臺(tái)。還有國(guó)內(nèi)的阿里百度等公司都有自己實(shí)現(xiàn)的hadoop,我們之所以學(xué)hadoop,是因?yàn)閔adoop最為廣泛的使用。8一、分布式存儲(chǔ)（hdfs）hadoop分布式文件系統(tǒng)二、分布式計(jì)算YARN(Mapreduce)分布式計(jì)算框架.hadoop2.0之后，分布式計(jì)算框架采用的是YARN為框架，YARN也可以說是Mapreduce的第二個(gè)版本。9通俗的講，我們都會(huì)使用的計(jì)算機(jī)，而計(jì)算機(jī)都有操作系統(tǒng)，我們大都使用Windows操作系統(tǒng)，我們知道Windows操作系統(tǒng)只安裝在一臺(tái)計(jì)算機(jī)上，而hadoop是安裝在多臺(tái)計(jì)算機(jī)上的操作系統(tǒng),多臺(tái)計(jì)算機(jī)可以是幾臺(tái)、幾百臺(tái)、幾干臺(tái)。10首先，有個(gè)namenode主節(jié)點(diǎn)，namenode管理了所有的從節(jié)點(diǎn)，datanode是從節(jié)點(diǎn)，本圖上有五個(gè)DataNode從節(jié)點(diǎn)，DataNode節(jié)點(diǎn)也可以有十個(gè)、--百個(gè)、一萬個(gè)甚至更多。11當(dāng)我們往大數(shù)據(jù)平臺(tái)存數(shù)據(jù)的時(shí)候,它就會(huì)幫我們自動(dòng)的分布在多個(gè)DataNode節(jié)點(diǎn)上，那么這個(gè)時(shí)候，它的存儲(chǔ)效率是非常高的，速度也會(huì)比較快。HDFS就是用來起這些作用。12YARN生態(tài)系統(tǒng)131415Hadoop就像是安裝在多臺(tái)機(jī)器上的windows操作系統(tǒng)，我們需要使用哪個(gè)功能，我們就去安裝哪個(gè)服務(wù)。我們學(xué)習(xí)的HDFS和YARN都是為.上面的高級(jí)應(yīng)用作為基礎(chǔ)，hadoop本身只提供了HDFS和YARN兩個(gè)基礎(chǔ)，在基礎(chǔ)之.上還有好多高級(jí)軟件。16我們繼續(xù)講YARN,YARN是分布式計(jì)算框架，它其實(shí)是Mapreduce的升級(jí)版，它不僅支持Mapreduce,它還支持好多HBase、Spark等等。17那他是如何進(jìn)行計(jì)算的呢?他是把一-個(gè)Job分成兩個(gè)部分,一部分是Map部分，一部分是Reduc部分，在map部分處理我們每一個(gè)數(shù)據(jù)的分片，我們會(huì)把一個(gè)大文件分成若18干片，然后每一個(gè)map處理一部分，處理完之后，再把結(jié)果合并起來，合并之后把結(jié)果輸出。為什么這么做呢?當(dāng)我們的數(shù)據(jù)特別大的時(shí)候,把數(shù)據(jù)分布給多臺(tái)主機(jī)進(jìn)行處理。這就是Mapreduce的工作。19到這里我們基本學(xué)習(xí)了Hadoop的主要功能。我們可以認(rèn)為hadoop是運(yùn)行在多臺(tái)機(jī)器.上的操作系統(tǒng)，像我們?nèi)粘Ｊ褂玫膚indows系統(tǒng)一樣，它提供了兩個(gè)框架,20分布式存儲(chǔ)和分布式計(jì)算，在使用框架的時(shí)候我們通常不直接使用，我們?cè)诳蚣苤习惭b應(yīng)用軟件來使用我們的大數(shù)據(jù)功能。21另外一個(gè)項(xiàng)目正在悄悄進(jìn)行，,那就是阿里云團(tuán)隊(duì)自主研發(fā)的ODPS系統(tǒng)，都由阿里自己完成，在統(tǒng)一、安全、可管理、能開放方