《云計(jì)算之HDFS》課件

主要內(nèi)容Hadoop項(xiàng)目簡(jiǎn)介HDFS體系結(jié)構(gòu)HDFS關(guān)鍵運(yùn)行機(jī)制HadoopVS.Google（分布式文件系統(tǒng)）HadoopAPIHadoop環(huán)境搭建1精選ppt主要內(nèi)容Hadoop項(xiàng)目簡(jiǎn)介1精選pptHadoop項(xiàng)目簡(jiǎn)介吃水不忘挖井人DougCutting簡(jiǎn)介：Lucene（開(kāi)源的全文檢索包人）、Nutch（開(kāi)源搜索引擎）、hadoop創(chuàng)始人。曾經(jīng)在是雅虎搜索工程師，后面加入Cloudera,發(fā)展hadoop的企業(yè)級(jí)應(yīng)用。一位盜火者，把高深的搜索引擎技術(shù)帶給普通大眾。2精選pptHadoop項(xiàng)目簡(jiǎn)介吃水不忘挖井人DougCutting簡(jiǎn)Hadoop項(xiàng)目簡(jiǎn)介Apache的解決方案Google云計(jì)算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

3精選pptHadoop項(xiàng)目簡(jiǎn)介Apache的解決方案Google云計(jì)算HDFS為了做到可靠性（reliability）創(chuàng)建了多份數(shù)據(jù)塊（datablocks）的復(fù)制（replicas），并將它們放置在服務(wù)器群的計(jì)算節(jié)點(diǎn)中（computenodes），MapReduce就可以在它們所在的節(jié)點(diǎn)上處理這些數(shù)據(jù)了。Hadoop項(xiàng)目簡(jiǎn)介4精選pptHDFS為了做到可靠性（reliability）創(chuàng)建了多份數(shù)

HDFS體系結(jié)構(gòu)

NameNodeMasterDataNodeChunksever5精選ppt

HDFS體系結(jié)構(gòu)

NameNodeMaster5精選p一個(gè)名字節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)復(fù)制（冗余機(jī)制）

--存放的位置（機(jī)架感知策略）故障檢測(cè)--數(shù)據(jù)節(jié)點(diǎn)心跳包（檢測(cè)是否宕機(jī)）塊報(bào)告（安全模式下檢測(cè)）數(shù)據(jù)完整性檢測(cè)（校驗(yàn)和比較）--名字節(jié)點(diǎn)（日志文件，鏡像文件）空間回收機(jī)制

HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可靠性的措施6精選ppt一個(gè)名字節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)HDFS關(guān)鍵運(yùn)行機(jī)制

--保障可靠HDFS關(guān)鍵運(yùn)行機(jī)制

--寫(xiě)文件流程客戶端緩存流水線復(fù)制并發(fā)寫(xiě)控制流程：1.客戶端把數(shù)據(jù)緩存到本地臨時(shí)文件夾2.臨時(shí)文件夾數(shù)據(jù)超過(guò)64M，客戶端聯(lián)系NameNode，NameNode分配DataNode，DataNode依照客戶端的位置被排列成一個(gè)有著最近物理距離和最小的序列3.與序列的第一個(gè)數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請(qǐng)求頭，然后等待回應(yīng)，依次下傳，客戶端得到回包，流水線建立成功，4.正式發(fā)送數(shù)據(jù)，以4K為大小傳送7精選pptHDFS關(guān)鍵運(yùn)行機(jī)制

--寫(xiě)文件流程客戶端緩存7精選pptHDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNode,得到所有數(shù)據(jù)塊信息，以及數(shù)據(jù)塊對(duì)應(yīng)的所有數(shù)據(jù)服務(wù)器的位置信息嘗試從某個(gè)數(shù)據(jù)塊對(duì)應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個(gè)，進(jìn)行連接（選取算法未加入相對(duì)位置的考慮）數(shù)據(jù)被一個(gè)包一個(gè)包發(fā)送回客戶端，等到整個(gè)數(shù)據(jù)塊的數(shù)據(jù)都被讀取完了，就會(huì)斷開(kāi)此鏈接，嘗試連接下一個(gè)數(shù)據(jù)塊對(duì)應(yīng)的數(shù)據(jù)服務(wù)器，整個(gè)流程，依次如此反復(fù)，直到所有想讀的都讀取完了為止8精選pptHDFS關(guān)鍵運(yùn)行機(jī)制

--讀文件流程客戶端聯(lián)系NameNodHDFSVS.GFS總體架構(gòu)的比較數(shù)據(jù)結(jié)構(gòu)化管理組件：Hbase→BigTable并行計(jì)算模型：MapReduce→MapReduce分布式文件系統(tǒng)：HDFS→GFSHadoop缺少分布式鎖服務(wù)ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云計(jì)算應(yīng)用Google云計(jì)算應(yīng)用9精選pptHDFSVS.GFS總體架構(gòu)的比較HBaseMapRedHDFSVS.GFSHDFS與GFS比較中心服務(wù)器模式的差異GFS：多臺(tái)物理服務(wù)器，選擇一臺(tái)對(duì)外服務(wù)，損壞時(shí)可選擇另外一臺(tái)提供服務(wù)HDFS：?jiǎn)我恢行姆?wù)器模式，存在單點(diǎn)故障原因：Hadoop缺少分布式鎖服務(wù)10精選pptHDFSVS.GFSHDFS與GFS比較10精選pptHDFSVS.GFSHDFS與GFS比較子服務(wù)器管理模式差異GFS：ChunkServer在Chubby中獲取獨(dú)占鎖表示其生存狀態(tài)，Master通過(guò)輪詢這些獨(dú)占鎖獲知ChunkServer的生存狀態(tài)HDFS：DataNode通過(guò)心跳的方式告知NameNode其生存狀態(tài)GFS中，Master損壞時(shí)，替補(bǔ)服務(wù)器可以快速獲知ChunkServer的狀態(tài)HDFS中，NameNode損壞后，NameNode恢復(fù)時(shí)需要花費(fèi)一段時(shí)間獲知DataNode的狀態(tài)在添加數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)時(shí)，GFS的伸縮性較HDFS要好原因：Hadoop缺乏分布式鎖服務(wù)11精選pptHDFSVS.GFSHDFS與GFS比較11精選pptHDFSVS.GFSHDFS與GFS比較HDFS具備安全模式獲知數(shù)據(jù)塊副本狀態(tài)，若副本不足，則拷貝副本至安全數(shù)目（如3個(gè)）GFS不具備安全模式副本損壞處理：API讀取副本失敗時(shí)，Master負(fù)責(zé)發(fā)起拷貝任務(wù)12精選pptHDFSVS.GFSHDFS與GFS比較12精選pptHDFSVS.GFSHDFS與GFS比較HDFS具備空間回收機(jī)制文件刪除時(shí)，僅刪除目錄結(jié)構(gòu)實(shí)際數(shù)據(jù)的刪除在等待一段時(shí)間后實(shí)施優(yōu)點(diǎn)：便于恢復(fù)文件13精選pptHDFSVS.GFSHDFS與GFS比較13精選pptHDFS

API簡(jiǎn)單的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上傳本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocalFile(srcPath,dstPath);

hdfs.create(pathpath)

創(chuàng)建HDFS文件 1.Configurationconfig=newConfiguration();

2.FileSystemhdfs=FileSystem.get(config);

3.Pathpath=newPath(fileName);

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);14精選pptHDFSAPI簡(jiǎn)單的HDFSAPI：14精選pptHDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 刪除指定HDFS文件hdfs.exists(Pathpath) 檢查指定路徑是否存在

15精選pptHDFSAPI15精選pptHDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)勢(shì)硬盤(pán)使用壽命傳統(tǒng)存儲(chǔ)：硬盤(pán)每天24小時(shí)不停的讀寫(xiě)，造成壽命銳減。HDFS存儲(chǔ)：多硬盤(pán)并行工作，負(fù)載均衡保證不會(huì)過(guò)度使用硬盤(pán)16精選pptHDFS--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)勢(shì)海量數(shù)據(jù)存儲(chǔ)傳統(tǒng)存儲(chǔ)：海量視頻存儲(chǔ)對(duì)硬盤(pán)要求過(guò)高，不能動(dòng)態(tài)增加硬盤(pán)容量，擴(kuò)展容量方便HDFS存儲(chǔ)：可以動(dòng)態(tài)增加容量，容量抽象為沒(méi)有上限，流式存儲(chǔ)很適合視頻數(shù)據(jù)。17精選pptHDFS--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)勢(shì)海量數(shù)據(jù)分析傳統(tǒng)存儲(chǔ)：從海量視頻數(shù)據(jù)存儲(chǔ)中分析數(shù)據(jù)基本無(wú)法實(shí)現(xiàn)。HDFS存儲(chǔ)：和hadoop另外的MapReduce分布式計(jì)算架構(gòu)配合，可以進(jìn)行海量視頻數(shù)據(jù)的分析。18精選pptHDFS--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)相對(duì)傳統(tǒng)存儲(chǔ)的優(yōu)HDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)的缺點(diǎn)實(shí)際存儲(chǔ)數(shù)據(jù)比應(yīng)存數(shù)據(jù)多傳統(tǒng)存儲(chǔ)：一份數(shù)據(jù)只需要存儲(chǔ)一份。HDFS存儲(chǔ)：一份數(shù)據(jù)需要至少兩份的存儲(chǔ)才能保證容錯(cuò)設(shè)計(jì)，造成實(shí)際存儲(chǔ)大小比應(yīng)該存儲(chǔ)大小大2倍以上19精選pptHDFS--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)的缺點(diǎn)19精選pHDFS

--安防行業(yè)的應(yīng)用前景HDFS存儲(chǔ)