Hadoop-大數(shù)據(jù)文檔資料

Hadoop技術(shù)2017薛喬毓1.

2.

3.

4.Hadoop架構(gòu)HDFS通信原理HDFS

APIMR

WordCount目錄CONCENTS01Hadoop架構(gòu)大數(shù)據(jù)時代大數(shù)據(jù)時代來源Hadoop作為Apache基金會資助的開源項目，由DougCutting帶領(lǐng)的團(tuán)隊進(jìn)行開發(fā)，基于Lucene和Nutch等開源項目，實現(xiàn)了Google的GFS和Hadoop能夠穩(wěn)定運(yùn)行在20個節(jié)點(diǎn)的集群；2006年1月，DougCutting加入雅虎公司，同年2月ApacheHadoop項目正式支持HDFS和MapReduce的獨(dú)立開發(fā)。同時，新興公司Cloudera為Hadoop提供了商業(yè)支持，幫助企業(yè)實現(xiàn)標(biāo)準(zhǔn)化安裝，并志愿貢獻(xiàn)社區(qū)。

揭開面紗主要組成：分布式文件系統(tǒng)HDFS和MapReduce計算框架作者：Doung

CuttingHadoop是一個開源的、可靠的、可擴(kuò)展的分布式并行計算框架語言：Java、支持多種編程語言、如Python、C++等生態(tài)圈特點(diǎn)Hadoop主要在多節(jié)點(diǎn)集群環(huán)境下以數(shù)據(jù)存儲為基礎(chǔ)最大限度兼容結(jié)構(gòu)化數(shù)據(jù)格式以數(shù)據(jù)處理為目的其數(shù)據(jù)操作技術(shù)多樣化

Hadoop構(gòu)成分布式存儲系統(tǒng)HDFS（Hadoop

Distributed

File

System）高可靠性高擴(kuò)展性高吞吐性資源管理系統(tǒng)Yarn（Yet

Another

Resource

Nogitator）負(fù)責(zé)集群資源的統(tǒng)一管理和調(diào)度分布式計算框架MapReduce高可靠性高可靠性高可靠性

HDFS

YARN

Map

ReduceMap：對一些獨(dú)立元素組成的列表的每一個元素進(jìn)行指定的操作，可以高度并行Reduce：對一個列表的元素進(jìn)行合并一個簡單的MapReduce程序只需要指定Map()、Reduce()、輸入和輸出，剩下的事由框架幫你搞定內(nèi)核構(gòu)成MapReduce（分布式離線計算框架）HDFS（分布式文件系統(tǒng)）YARN（集群資源管理系統(tǒng)）部署模式單機(jī)模式：只有一個JVM進(jìn)程，沒有分布式，通常用于調(diào)試偽分布式模式：只有一臺機(jī)器，每個Hadoop守護(hù)進(jìn)程都是一個獨(dú)立的JVM進(jìn)程完全分布式模式：運(yùn)行于多臺機(jī)器上，真實環(huán)境02通信機(jī)制HDFS架構(gòu)圖術(shù)語NameNode主節(jié)點(diǎn)，存儲文件的元如文件名，文件目錄結(jié)構(gòu)，文件屬性（生成時間，副本數(shù)，文件權(quán)限）以及每個文件的塊列表和塊所在的DataNode等。DataNode分布式文件系統(tǒng)中的每一個文件，都被切分成若干個數(shù)據(jù)塊，每一個數(shù)據(jù)塊都被存儲在不同的服務(wù)器上，此服務(wù)器稱之為數(shù)據(jù)服務(wù)器。SecondaryNameNode用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，每隔一段時間獲取HDFS元數(shù)據(jù)的快照。Block每個文件都會被切分成若干個塊(默認(rèn)128MB)每一塊都有連續(xù)的一段文件內(nèi)容，是存儲的基本單位。HDFS讀文件HDFS寫文件Secondary

NameNodeHDFS架構(gòu)圖03HDFS

APIHDFS

Shell調(diào)用文件系統(tǒng)Shell命令使用bin/hdfsdfs的形式查看根目錄：hdfsdfs–ls/創(chuàng)建文件：hdfsdfs–touchz/文件名刪除文件：hdfsdfs–rm/文件名上傳文件：hdfsdfs–put/localPath／查看文件：hdfsdfs–cat/文件名追加文件內(nèi)容：hdfsdfs–appendToFile/localPath/文件名管理命令：hdfsdfsadmin查看集群的命令：hdfsdfsadmin-report04WordCountMORETHANTEMPLATEClickheretoaddyoutothecenterofthenarrativeThoughtClickheretoaddyoutothecenterofthenarrativethoughtClickheretoaddyoutothecenterofthenarrativethoughtMORETHANTEMPLATEClickheretoaddyoutothecenterofthenarrativeThoughtClickheretoaddyoutothecenterofthenarrativethoughtClickheretoaddyoutothecenterofthenarrativethoughtMORETHANTEMPLATEClickheretoaddyoutothecenterofthenarrativeThoughtClickheretoaddyoutothecenterofthenarrativethoughtClickheretoaddyoutothecenterofthenarrativethought輸入標(biāo)題KEYWORDKEYWORDKEYWORDKEYWORD

MORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethought

MORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethought

MORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethought

MORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethought輸入標(biāo)題MORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethoughtMORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethoughtMORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethoughtMORETHANTEMPLATEClickheretoaddyoutotheCenterofthenarrativethoughtMORETHANT