云計(jì)算基礎(chǔ)知識(shí)doc資料

云計(jì)算是對(duì)（D）技術(shù)的發(fā)展與運(yùn)用A.并行計(jì)算B網(wǎng)格計(jì)算C分布式計(jì)算D三個(gè)選項(xiàng)都是2.IBM在2007年11月退出了“改進(jìn)游戲規(guī)則”的（A）計(jì)算平臺(tái)，為客戶帶來(lái)即買(mǎi)即用的云計(jì)算平臺(tái)。A.藍(lán)云B.藍(lán)天C.ARUZED.EC23.微軟于2008年10月推出云計(jì)算操作系統(tǒng)是（C）A.GoogleAppEngineB.藍(lán)云C.AzureD.EC22008年，（A）先后在無(wú)錫和北京成立了兩個(gè)云計(jì)算中心A.IBMB.GoogleC.AmazonD.微軟5.將平臺(tái)作為服務(wù)的云計(jì)算服務(wù)種類是（B）A.IaaSB.PaaSC.SaaSD三個(gè)選項(xiàng)都不是將基礎(chǔ)設(shè)施作為服務(wù)的云計(jì)算服務(wù)種類是（A）A.IaaSB.PaaSC.SaaSD.三個(gè)選項(xiàng)都不是7.IaaS計(jì)算實(shí)現(xiàn)體系中，系統(tǒng)管理模塊的核心功能是（A）A.負(fù)載均衡B監(jiān)察節(jié)點(diǎn)的運(yùn)行狀態(tài)C應(yīng)用APID.節(jié)點(diǎn)環(huán)境配置云計(jì)算系統(tǒng)構(gòu)造的（C）負(fù)責(zé)資源管理、任務(wù)管理用戶管理和安全管理等工作云計(jì)算依照服務(wù)種類大體可分為以下類（A、B、C）以下不屬于Google云計(jì)算平臺(tái)技術(shù)架構(gòu)的是（D）A.并行數(shù)據(jù)辦理MapReduceB.分布式鎖ChubbyC.構(gòu)造化數(shù)據(jù)表BigTable

D.彈性云計(jì)算

EC2在當(dāng)前GFS集群中，每個(gè)集群包括（B）個(gè)儲(chǔ)藏節(jié)點(diǎn)A.幾百個(gè)B.幾千個(gè)C.幾十個(gè)D.幾十萬(wàn)個(gè)12.以下選項(xiàng)中，哪條不是

GFS

選擇在用戶態(tài)下實(shí)現(xiàn)的原因（

D）A.調(diào)試簡(jiǎn)單

B.不影響數(shù)據(jù)塊服務(wù)器的牢固性

C.降低實(shí)現(xiàn)難度，提升通用性

D.簡(jiǎn)單擴(kuò)展13.GFS

中主服務(wù)器節(jié)點(diǎn)儲(chǔ)藏的元數(shù)據(jù)包括這些信息（

BCD

）A.文件副本的地址信息

B.命名空間

C.Chunk

與文件名的照射

D.Chunk

副本的地址信息14.法是（

單一主服務(wù)器（MasterABCD）

）解決性能瓶頸的方A.減少其在數(shù)據(jù)儲(chǔ)藏中的參加程度

B.不適用

Master

讀取數(shù)據(jù)C.客戶端緩存元數(shù)據(jù)

D.采用大尺寸的數(shù)據(jù)塊（B）是Google提出的用于辦理海量數(shù)據(jù)的并行編程模式和大規(guī)模數(shù)據(jù)集的并行運(yùn)算的軟件架構(gòu)。A.GFSB.MapReduceC.ChubbyD.BitTableMapreduce適用于（D）A.任意應(yīng)用程序B.任意可在windowsservet2008上運(yùn)行的程序C.可以串行辦理的應(yīng)用程序D.可以并行辦理的應(yīng)用程序17.MapReduce平時(shí)把輸入文件依照（C）MB來(lái)劃分A.16B32C64D12818.與傳統(tǒng)的分布式程序設(shè)計(jì)對(duì)照，Mapreduce封裝了（ABCD）等細(xì)節(jié)，還供給了一個(gè)簡(jiǎn)單而富強(qiáng)的接口。A.并行辦理B.容錯(cuò)辦理C.當(dāng)?shù)鼗?jì)算D.負(fù)載均衡佃.（D）是Google的分布式數(shù)據(jù)儲(chǔ)藏于管理系統(tǒng)A.GFSB.MapReduceC.ChubbyD.Bigtable20.在Bigtable中，（A）主要用來(lái)儲(chǔ)藏子表數(shù)據(jù)以及一些日志文件A.GFSB.ChubbyC.SSTableD.MapReduce21.GoogleAPPEngine使用的數(shù)據(jù)庫(kù)是（C）A.改進(jìn)的SQLServerB.OrackC.DatestoreD.亞馬遜的SimpleDB22.GoogleAPPEngine當(dāng)前支持的編程語(yǔ)言有（AD）A.Python語(yǔ)言B.C++語(yǔ)言C.匯編語(yǔ)言D.JAVA語(yǔ)言23.亞馬遜AWS采用（A）虛假化技術(shù)A.未使用B.Hyper-VC.VmwareD.Xen亞馬遜將地域分為（AC）A地理地域B不可以用地域C可用地域D隔斷地域下面選項(xiàng)屬于Amazon供給的云計(jì)算服務(wù)是（ABC）A.彈性云計(jì)算EC2B簡(jiǎn)單儲(chǔ)藏服務(wù)S3c簡(jiǎn)單隊(duì)列服務(wù)SQSD.Net服務(wù)不屬于彈性計(jì)算云EC2包括的IP地址的是（C）A.公共27.在

IP地址B.私有IP地址C.地道IP地址D.彈性IP地址EC2的安全與容錯(cuò)體系中，一個(gè)用戶當(dāng)前最多可以創(chuàng)辦

（B

）安全組。A.50B.100C.150D.20028.EC2

常用的

API

包括以下哪些種類的操作

（ABCD

）A.AMIB.

安全組

C實(shí)例

D彈性IP地址S3的基本儲(chǔ)藏單元是（B）A.服務(wù)B.對(duì)象C.卷D.組30.S3采用的特地安全措施是（AB）A.身份認(rèn)證B.接見(jiàn)控制列表C防火墻D防木馬病毒技術(shù)在云計(jì)算系統(tǒng)中，供給“云端”服務(wù)模式是（D）企業(yè)的云計(jì)算服務(wù)平臺(tái)。A.IBMB.GOOGLEC.AmaxonD.微軟32.以下四種云計(jì)算方案中，服務(wù)間的耦合度最高的是

（C）A.亞馬遜AWSB.微軟AZUREC.GoogleAPPEngineD.IBM33.云格可以完成的服務(wù)有（ABCD）

的“藍(lán)云”A.數(shù)據(jù)辦理服務(wù)

B.格辦理服務(wù)C.高性能計(jì)算服務(wù)

D.協(xié)作服務(wù)亞馬遜AWS供給的云計(jì)算服務(wù)種類是（D）A.IaaSB.PaaSC.SaaSD.

三個(gè)選項(xiàng)都是35.Google文件系統(tǒng)將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為（A.客戶端B.主服務(wù)器C.數(shù)據(jù)塊服務(wù)器

ABC）的角色D.監(jiān)測(cè)服務(wù)器Google文件系統(tǒng)擁有（ABD）特點(diǎn)A.采用中心服務(wù)器模式

B不緩存數(shù)據(jù)

C.采用邊緣服務(wù)器模式

D在用戶態(tài)下實(shí)現(xiàn)37.Google

不緩存數(shù)據(jù)的原因是

（ABCD

）A.OFS

的文件操作大部門(mén)是流式讀寫(xiě)；

B.保護(hù)緩存與實(shí)質(zhì)數(shù)據(jù)之間的一致性太復(fù)雜C.不存在大量的重復(fù)讀寫(xiě)D.數(shù)據(jù)塊服務(wù)器上的數(shù)據(jù)存取使用當(dāng)?shù)匚募到y(tǒng)38.從研究現(xiàn)狀上看，下面不屬于云計(jì)算特點(diǎn)的是（C）A.超大規(guī)?；疍.高可靠性

B.虛假化

C.私有與網(wǎng)絡(luò)計(jì)算對(duì)照，不屬于云計(jì)算特點(diǎn)的是（

B）A.資源高度共享

B.適合緊耦合科學(xué)計(jì)算

C.支持虛假機(jī)

D.適用于商業(yè)領(lǐng)域一，填空題（30分）云計(jì)算是以公開(kāi)的標(biāo)準(zhǔn)和服務(wù)為基礎(chǔ)，以安全、迅速、便利的數(shù)據(jù)儲(chǔ)藏和網(wǎng)絡(luò)計(jì)算服務(wù)，讓互聯(lián)網(wǎng)這片

互聯(lián)網(wǎng)為中心，供給"云"成為每一個(gè)網(wǎng)民的數(shù)據(jù)中心和計(jì)算中心。對(duì)供給者而言，云計(jì)算可以三種部署模式，

即公有云

、私有云

和混雜云。當(dāng)前，幾乎所有的有名IT供給商、互聯(lián)網(wǎng)供給商，甚至電信運(yùn)營(yíng)商都在向云計(jì)算進(jìn)軍，都的云服務(wù)。但概括起來(lái)，當(dāng)前云供給者可以分為三大類，即SaaS和IaaS供給商。

在供給相關(guān)供給商、PaaS5.云計(jì)算（CloudComputing）:一種利用大規(guī)模低成本運(yùn)算單元經(jīng)過(guò)IP網(wǎng)絡(luò)連接，以供給各種計(jì)算和儲(chǔ)藏服務(wù)的IT技術(shù)。二，選擇題（可多項(xiàng)選擇）（50分）1云計(jì)算的特點(diǎn)？（ABCDE）A.大規(guī)模B.圓滑擴(kuò)展C資源共享D.動(dòng)向分配E.跨地域2.寶德儲(chǔ)藏云解決方案價(jià)值有哪些？（ABCD）A.海量小文件的高效管理B.PB級(jí)的儲(chǔ)藏空間和線行擴(kuò)展能力C.可動(dòng)向提升的性能D.數(shù)據(jù)高可靠性3?當(dāng)前，采用開(kāi)源的虛假化產(chǎn)品組建虛假化平臺(tái)，成立基于硬件的虛假化層，可以采用BCD）A.XenB.VMwareC.Hyper-vD.Citrix4?在云計(jì)算中，虛假層主要包括（ABC）A.服務(wù)器虛假化B.儲(chǔ)藏虛假化C.網(wǎng)絡(luò)虛假化D.桌面虛假化7.將來(lái)云計(jì)算服務(wù)面向那些客戶？（ABCDE）A.個(gè)人B.企業(yè)C.政府D.教育E.研究所8.云安全主要的考慮的要點(diǎn)技術(shù)有哪些？（ABC）A.數(shù)據(jù)安全B.應(yīng)用安全C.虛假化安全服務(wù)器安全由于云計(jì)算分為laaS、PaaS和SaaS三各種類，不同樣的廠家又供給了不同樣的解決方案，當(dāng)前還沒(méi)有一個(gè)一致的技術(shù)系統(tǒng)構(gòu)造，對(duì)讀者認(rèn)識(shí)云計(jì)算的原理組成了阻擋。為此，本文綜合不同樣廠家的方案，構(gòu)造了一個(gè)供商討的云計(jì)算系統(tǒng)構(gòu)造。這個(gè)系統(tǒng)構(gòu)造如圖3所示，它概括了不同樣解決方案的主要特點(diǎn)，每一種方案或許只實(shí)現(xiàn)了其中部分功能，或許也還有部分相對(duì)用戶骨理嶽號(hào)管理用戶環(huán)境配置J用戶龍互骨理］使用計(jì)鱉1任務(wù)調(diào)換任務(wù)抉療映憾部罟和野理］生“曾理1故次要功能還沒(méi)有概括進(jìn)來(lái)。

［rSOA成立屋廣安眼務(wù)接口（畛注冊(cè)全腮務(wù)杳找I管」.J理枉務(wù)管理軽務(wù)王作酒呂________管理中問(wèn)料安全麗卅.細(xì)晉理計(jì)算資源油存鶴資諫池網(wǎng)絡(luò)資源池V圖3云計(jì)算技術(shù)系統(tǒng)構(gòu)造云計(jì)算技術(shù)系統(tǒng)構(gòu)造分為4層：物理資源層、資源池層、管理中間件層和SOA成立層，如圖3所示。物理資源層包括計(jì)算機(jī)、儲(chǔ)藏器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等；資源池層是將大量同樣類型的資源組成同構(gòu)或湊近同構(gòu)的資源池，如計(jì)算資源池、數(shù)據(jù)資源池等。成立資源池更多是物理資源的集成和管理工作，比方研究在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)服務(wù)器、解決散熱和故障節(jié)點(diǎn)代替的問(wèn)題并降低能耗；管理中間件負(fù)責(zé)對(duì)云計(jì)算的資源進(jìn)行管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)換，使資源可以高效、安全地為應(yīng)用供給服務(wù)；SOA成立層將云計(jì)算能力封裝成標(biāo)準(zhǔn)的WebServices服務(wù)，并納入到SOA系統(tǒng)進(jìn)行管理和使用，包括服務(wù)注冊(cè)、查找、接見(jiàn)和成立服務(wù)工作流等。管理中間件和資源池層是云計(jì)算技術(shù)的最要點(diǎn)部分，云計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)的故障并試圖恢復(fù)或障蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象（Image）的部署和管理、任務(wù)調(diào)換、任務(wù)執(zhí)行、任務(wù)生命期管理等等；用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可以少的環(huán)節(jié)，包括供給用戶交互接口、管理和鑒別用戶身份、創(chuàng)辦用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等；安全管理保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、接見(jiàn)授權(quán)、綜合防范和安全審計(jì)等?；谏鲜鱿到y(tǒng)構(gòu)造，本文以IaaS云計(jì)算為例，簡(jiǎn)述云計(jì)算的實(shí)現(xiàn)體系，如圖4所示。用戶交互接口向應(yīng)用以WebServices方式供給接見(jiàn)接口，獲取用戶需求。服務(wù)目錄是用戶可以接見(jiàn)的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)察統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)察節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)。執(zhí)行過(guò)程其實(shí)不復(fù)雜：用戶交互接口贊同用戶從目錄中采用并調(diào)用一個(gè)服務(wù)。該央求傳達(dá)給系統(tǒng)管理模塊后，它將為用戶分配適合的資源，爾后調(diào)用配置工具來(lái)為用戶準(zhǔn)備運(yùn)行環(huán)境。HadoopHDFS特點(diǎn)簡(jiǎn)介一、設(shè)計(jì)思想1硬件無(wú)效是“常態(tài)事件“，而非“有時(shí)勢(shì)件”。HDFS可能是有上千的機(jī)器組成（文檔中描述的Yahoo!—個(gè)Hadoop集群有4096個(gè)節(jié)點(diǎn)），任何一個(gè)組件都有可能素來(lái)無(wú)效，所以數(shù)據(jù)的健r物理竊瀝計(jì)「」軟件1L壯性錯(cuò)誤檢測(cè)和迅速、自動(dòng)的恢復(fù)是HDFS的核心架構(gòu)目標(biāo)。2、流式數(shù)據(jù)接見(jiàn)。運(yùn)行在HDFS上的應(yīng)用和一般的應(yīng)用不同樣，需要流式接見(jiàn)它們的數(shù)據(jù)集。HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批辦理，而不是用戶交互辦理。比之?dāng)?shù)據(jù)接見(jiàn)的低延緩問(wèn)題，更要點(diǎn)的在于數(shù)據(jù)并發(fā)接見(jiàn)的高吞吐量。POSIX標(biāo)準(zhǔn)設(shè)置的很多硬性拘束對(duì)HDFS用系統(tǒng)不是必需的。為了提升數(shù)據(jù)的吞吐量，在一些要點(diǎn)方面對(duì)POSIX的語(yǔ)義做了一些修

應(yīng)改。3、

HDFS

應(yīng)用對(duì)文件要求的是

write-one-read-many

接見(jiàn)模型。一個(gè)文件經(jīng)過(guò)創(chuàng)辦、寫(xiě)，

關(guān)閉此后就不需要改變。這一假設(shè)簡(jiǎn)化了數(shù)據(jù)一致性問(wèn)題，使高吞吐量的數(shù)據(jù)接見(jiàn)成為可能。典型的如MapReduce框架，或許一個(gè)webcrawler應(yīng)用都很適合這個(gè)模型。4、搬動(dòng)計(jì)算的代價(jià)比之搬動(dòng)數(shù)據(jù)的代價(jià)低。一個(gè)應(yīng)用央求的計(jì)算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達(dá)到海量級(jí)其他時(shí)候更是這樣。將計(jì)算搬動(dòng)到數(shù)據(jù)周邊，比之將數(shù)據(jù)搬動(dòng)到應(yīng)用所在顯然更好，HDFS供給給應(yīng)用這樣的接口。5、在異構(gòu)的軟硬件平臺(tái)間的可移植性。二、Namenode和Datanode的劃分一個(gè)HDFS集群有一個(gè)Namenode和必然數(shù)量的Datanode組成。Namenode是一其中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對(duì)文件的接見(jiàn)。Datanode在集群中會(huì)有多個(gè)，一般是一個(gè)節(jié)點(diǎn)存在一個(gè)，負(fù)責(zé)管理其自己節(jié)點(diǎn)上它們附帶的儲(chǔ)藏。在內(nèi)部，一個(gè)大文件其分成一個(gè)或多個(gè)block，這些block儲(chǔ)藏在Datanode會(huì)集里。Namenode執(zhí)行文件系統(tǒng)的namespace相關(guān)操作，比方打開(kāi)、關(guān)閉、重命名文件和目錄，同時(shí)決定了block到詳細(xì)Datanode節(jié)點(diǎn)的照射。Datanode在Namenode的指揮下進(jìn)行block的創(chuàng)辦、刪除和復(fù)制。單一節(jié)點(diǎn)的Namenode大大簡(jiǎn)化了系統(tǒng)的架構(gòu)。Namenode負(fù)責(zé)保留和管理所有的HDFS元數(shù)據(jù)，所以在央求Namenode獲取文件的地址后就不需要經(jīng)過(guò)Namenode參加而直接從Datanode進(jìn)行。為了提升Namenode的性能，所有文件的namespace數(shù)據(jù)都在內(nèi)存中保護(hù)，所以就天生計(jì)在了由于內(nèi)存大小的限制以致一個(gè)HDFS集群的供給服務(wù)的文件數(shù)量的上限。依照當(dāng)前的文檔，一個(gè)元數(shù)據(jù)（一個(gè)HDFS文件塊兒）占用200Bytes，若是是頁(yè)面抓取的小文件，那么32GB內(nèi)存能承載1.5億左右的文件儲(chǔ)藏（有待精確詳細(xì)測(cè)試）。三、文件系統(tǒng)操作和

namespace

的關(guān)系HDFS支持傳統(tǒng)的層次型文件組織，與大多數(shù)其他文件系統(tǒng)近似，用戶可以創(chuàng)辦目錄，并在此間創(chuàng)辦、刪除、搬動(dòng)和重命名文件。HDFS不支持userquotas和接見(jiàn)權(quán)限，也不支持鏈接（link），但是當(dāng)前的架構(gòu)其實(shí)不消除實(shí)現(xiàn)這些特點(diǎn)。Namenode保護(hù)文件系統(tǒng)的namespace，任何對(duì)文件系統(tǒng)namespace和文件屬性的更正都將被Namenode記錄下來(lái)。應(yīng)用可以設(shè)置HDFS保留的文件的副本數(shù)量，文件副本的數(shù)量稱為文件的replication因子，這個(gè)信息也是由

Namenode

保留。四、數(shù)據(jù)復(fù)制被設(shè)計(jì)成在一個(gè)大集群中可以跨機(jī)器地可靠地儲(chǔ)藏海量的文件。除了最后一個(gè)block，所有的block都是同樣的大小。文件的所有

它將每個(gè)文件儲(chǔ)藏成序列，block為了容錯(cuò)都會(huì)被復(fù)制。每個(gè)文件的

block

大小和

replication

因子都是可配置的。

Replication因子可以在文件創(chuàng)辦的時(shí)候配置，

今后也可以改變。

HDFS

中的文件是

write-one

，并且嚴(yán)格要求在任何時(shí)候只有一個(gè)

writer

。

Namenode

全權(quán)管理

block

的復(fù)制，它周期性地從集群中的每個(gè)

Datanode

接收心跳包和一個(gè)

Blockreport

。心跳包的接收表示該

Datanode

節(jié)點(diǎn)正常工作，而

Blockreport

包括了該

Datanode

上所有的

block

組成的列表。1、副本的存放，副本的存放是HDFS可靠性和性能的要點(diǎn)。弘大的HDFS實(shí)例一般運(yùn)行在多個(gè)機(jī)架的計(jì)算機(jī)形成的集群上，不同樣機(jī)架間的兩臺(tái)機(jī)器的通訊需要經(jīng)過(guò)交換機(jī)，顯然平時(shí)情況下，同一個(gè)機(jī)架內(nèi)的兩個(gè)節(jié)點(diǎn)間的帶寬會(huì)比不同樣機(jī)架間的兩臺(tái)機(jī)器的帶寬大。在大多數(shù)情況下，replication因子是3,HDFS的存放策略是將一個(gè)副本存放在當(dāng)?shù)貦C(jī)架上的節(jié)點(diǎn)，一個(gè)副本放在同一機(jī)架上的另一個(gè)節(jié)點(diǎn)，最后一個(gè)副本放在不同樣機(jī)架上的一個(gè)節(jié)點(diǎn)。機(jī)架的錯(cuò)誤遠(yuǎn)遠(yuǎn)比節(jié)點(diǎn)的錯(cuò)誤少，這個(gè)策略不會(huì)影響到數(shù)據(jù)的可靠性和有效性。三分之一的副本在一個(gè)節(jié)點(diǎn)上，三分之二在一個(gè)機(jī)架上，其他保留在剩下的機(jī)架中，這一策略改進(jìn)了寫(xiě)的性能。2、畐環(huán)的選擇，為了降低整體的帶寬耗資和讀延時(shí)，HDFS會(huì)盡量讓reader讀近來(lái)的副本。若是在reader的同一個(gè)機(jī)架上有一個(gè)副本，那么就讀該副本。若是一個(gè)HDFS集群超越多個(gè)數(shù)據(jù)中心，那么reader也將第一試一試讀當(dāng)?shù)財(cái)?shù)據(jù)中心的副本。3、SafeModeNamenode啟動(dòng)后會(huì)進(jìn)入一個(gè)稱為SafeMode的特別狀態(tài)，處在這個(gè)狀態(tài)的Namenode是不會(huì)進(jìn)行數(shù)據(jù)塊的復(fù)制的。Namenode從所有的Datanode接收心跳包和Blockreport。Blockreport包括了某個(gè)Datanode所有的數(shù)據(jù)塊列表。每個(gè)block都有指定的最小數(shù)量的副本。當(dāng)Namenode僉測(cè)確認(rèn)某個(gè)Datanode的數(shù)據(jù)塊副本的最小數(shù)量，那么該Datanode就會(huì)被認(rèn)為是安全的；若是必然百分比（這個(gè)參數(shù)可配置）的數(shù)據(jù)塊檢測(cè)確認(rèn)是安全的，那么Namenode將退出SafeMode狀態(tài)，接下來(lái)它會(huì)確定還有哪些數(shù)據(jù)塊的副本沒(méi)有達(dá)到指定數(shù)量，并將這些block復(fù)制到其他Datanode。五、文件系統(tǒng)元數(shù)據(jù)的長(zhǎng)遠(yuǎn)化Namenode儲(chǔ)藏HDFS的元數(shù)據(jù)。關(guān)于任何對(duì)文件元數(shù)據(jù)產(chǎn)生更正的操作，Namenode都使用一個(gè)稱為Editlog的事務(wù)日志記錄下來(lái)。比方，在HDFS中創(chuàng)辦一個(gè)文件，Namenode就會(huì)在Editlog中插入一條記錄來(lái)表示；同樣，更正文件的replication因子也將往Editlog插入一條記錄。Namenode在當(dāng)?shù)豋S的文件系統(tǒng)中儲(chǔ)藏這個(gè)Editlog。整個(gè)文件系統(tǒng)的namespace,包括block到文件的照射、文件的屬性，都儲(chǔ)藏在稱為FsImage的文件中，這個(gè)文件也是放在Namenode所在系統(tǒng)的文件系統(tǒng)上。Namenode在內(nèi)存中保留著整個(gè)文件系統(tǒng)namespace和文件設(shè)計(jì)得很緊湊，一般為200Bytes的內(nèi)存占用，所以一個(gè)帶有文件和目錄。當(dāng)Namenode啟動(dòng)時(shí)，它從硬盤(pán)中讀取Editlog

Blockmap的映像。這個(gè)要點(diǎn)的元數(shù)據(jù)4G內(nèi)存的Namenode足夠支撐海量的和FsImage,將所有Editlog中的事務(wù)作用（apply）在內(nèi)存中的FsImage，并將這個(gè)新版本的，F(xiàn)sImage從內(nèi)存中flush到硬盤(pán)上爾后再truncate這個(gè)舊的Editlog,由于這個(gè)舊的Editlog的事務(wù)都已經(jīng)作用在FsImage上了。這個(gè)過(guò)程稱為checkpoint。在當(dāng)前實(shí)現(xiàn)中，checkpoint只發(fā)生在Namenode啟動(dòng)時(shí)，在不久的將來(lái)我們將實(shí)現(xiàn)支持周期性的checkpoint。Datanode其實(shí)不知道關(guān)于文件的任何東西，除了將文件中的數(shù)據(jù)保留在當(dāng)?shù)氐奈募到y(tǒng)上。它把每個(gè)HDFS數(shù)據(jù)塊儲(chǔ)藏在當(dāng)?shù)匚募到y(tǒng)上隔斷的文件中。Datanode其實(shí)不在同一個(gè)目錄創(chuàng)辦所有的文件，相反，它用啟示式地方法來(lái)確定每個(gè)目錄的最正確文件數(shù)量，并且在適合的時(shí)候創(chuàng)辦子目錄。在同一個(gè)目錄創(chuàng)辦所有的文件不是最優(yōu)的選擇，由于當(dāng)?shù)匚募到y(tǒng)可能無(wú)法高效地在單一目錄中支持大量的文件。當(dāng)一個(gè)Datanode啟動(dòng)時(shí)，它掃描當(dāng)?shù)匚募到y(tǒng)，對(duì)這些當(dāng)?shù)匚募a(chǎn)生相應(yīng)的一個(gè)所有HDFS數(shù)據(jù)塊的列表，爾后發(fā)送報(bào)告到Namenode這個(gè)報(bào)告就是Blockreport。六、通訊協(xié)議所有的

HDFS

通訊協(xié)議都是成立在

TCP/IP

協(xié)議上?？蛻舳私?jīng)過(guò)一個(gè)可配置的端口連接到Namenode

經(jīng)過(guò)

ClientProtocol

與

Namenode

交互。而

Datanode

是使用

DatanodeProtocol

與Namenode

交互。從

ClientProtocol

和

Datanodeprotocol

抽象出一個(gè)遠(yuǎn)程調(diào)用

（RPC）,

在設(shè)計(jì)上，Namenode

不會(huì)主動(dòng)倡導(dǎo)

RPC

而是是響應(yīng)來(lái)自客戶端和

Datanode

的

RPC

青求。七、強(qiáng)壯性HDFS的主要目標(biāo)就是實(shí)現(xiàn)在失敗情況下的數(shù)據(jù)儲(chǔ)藏可靠性。常有的三種失?。篺ailures,Datanodefailures禾口網(wǎng)絡(luò)切割（networkpartitions）。1硬盤(pán)數(shù)據(jù)錯(cuò)誤、心跳檢測(cè)和重新復(fù)制每個(gè)Datanode節(jié)點(diǎn)都向Namenode

Namenode周期性地發(fā)送心跳包。

網(wǎng)絡(luò)切割可能以致一部分

Datanode跟Namenode失去聯(lián)系。標(biāo)記為dead，不會(huì)將新的node的死亡可能引起一些

Namenode經(jīng)過(guò)心跳包的缺失檢測(cè)到這一情況，并將這些DatanodeIO央求發(fā)給它們。存放在deadDatanode上的任何數(shù)據(jù)將不再有效。Datablock的副本數(shù)量低于指定值，Namenode不斷地追蹤需要復(fù)制的

block

，在任何需要的情況下啟動(dòng)復(fù)制。在以下情況可能需要重新復(fù)制：某個(gè)Datanode節(jié)點(diǎn)無(wú)效，某個(gè)副本遇到損壞，Datanode上的硬盤(pán)錯(cuò)誤，或許文件的replication因子增大。2、集群均衡HDFS支持?jǐn)?shù)據(jù)的均衡計(jì)劃，若是某個(gè)Datanode節(jié)點(diǎn)上的悠閑空間低于特定的臨界點(diǎn)，那么就會(huì)啟動(dòng)一個(gè)計(jì)劃自動(dòng)地將數(shù)據(jù)從一個(gè)Datanode搬移到悠閑的Datanode。當(dāng)對(duì)某個(gè)文件的央求突然增加，那么也可能啟動(dòng)一個(gè)計(jì)劃創(chuàng)辦該文件新的副本，并分布到集群中以滿足應(yīng)用的要求。這些均衡計(jì)劃當(dāng)前還沒(méi)有實(shí)現(xiàn)。3、數(shù)據(jù)完滿性從某個(gè)Datanode獲取的數(shù)據(jù)塊有可能是損壞的，這個(gè)損壞可能是由于Datanode的儲(chǔ)藏設(shè)施錯(cuò)誤、網(wǎng)絡(luò)錯(cuò)誤或許軟件bug造成的。HDFS客戶端軟件實(shí)現(xiàn)了HDFS文件內(nèi)容的校驗(yàn)和。當(dāng)某個(gè)客戶端創(chuàng)辦一個(gè)新的HDFS文件，會(huì)計(jì)算這個(gè)文件每個(gè)block的校驗(yàn)和，并作為一個(gè)單獨(dú)的隱蔽文件保留這些校驗(yàn)和在同一個(gè)HDFSnamespace下。當(dāng)客戶端檢索文件內(nèi)容，它會(huì)確認(rèn)從Datanode獲取的數(shù)據(jù)跟相應(yīng)的校驗(yàn)和文件中的校驗(yàn)和可否般配，若是不般配，客戶端可以選擇從其他Datanode獲取該block的副本。4、元數(shù)據(jù)磁盤(pán)錯(cuò)誤FsImage和Editlog是HDFS的核心數(shù)據(jù)構(gòu)造。這些文件若是損壞了，整個(gè)HDFS實(shí)例都將失效。所以，Namenode可以配置成支持保護(hù)多個(gè)FsImage和Editlog的拷貝。任何對(duì)FsImage或許Editlog的更正，都將同步到它們的副本上。這個(gè)同步操作可能會(huì)降低Namenode每秒能支持辦理的namespace事務(wù)。這個(gè)代價(jià)是可以接受的，由于HDFS是數(shù)據(jù)密集的，而非元數(shù)據(jù)密集。當(dāng)Namenode重啟的時(shí)候，它總是采用近來(lái)的一致的FsImage和Editlog使用。Namenode在HDFS是單點(diǎn)存在，若是Namenode所在的機(jī)器錯(cuò)誤，手工的干預(yù)是必定的。目前，在另一臺(tái)機(jī)器上重啟因故障而停止服務(wù)的Namenode這個(gè)功能還沒(méi)實(shí)現(xiàn)。八、數(shù)據(jù)組織數(shù)據(jù)塊兼容HDFS勺應(yīng)用都是辦理大數(shù)據(jù)會(huì)集的。這些應(yīng)用都是寫(xiě)數(shù)據(jù)一次，讀倒是一次到多次，并且讀的速度要滿足流式讀。所以，文件總是依照64MB

HDFS支持文件的write-onee64M切分成chunk,每個(gè)chunk

,read-many儲(chǔ)藏于不同樣的

。一個(gè)典型的blockDatanode上。

大小是2、數(shù)據(jù)產(chǎn)生步驟某個(gè)客戶端創(chuàng)辦文件的央求其實(shí)并沒(méi)有立刻發(fā)給

Namenode

事實(shí)上，

HDFS

客戶端會(huì)將文件數(shù)據(jù)緩存到當(dāng)?shù)氐囊粋€(gè)臨時(shí)文件。

應(yīng)用的寫(xiě)被透明地重定向到這個(gè)臨時(shí)文件。

當(dāng)這個(gè)臨時(shí)文件累積的數(shù)據(jù)高出一個(gè)

block

的大?。J(rèn)

64M

）,

客戶端才會(huì)聯(lián)系

NamenodeNamenode

將文件名插入文件系統(tǒng)的層次構(gòu)造中，并且分配一個(gè)數(shù)據(jù)塊給它，爾后返回

Datanode

的表記符和目標(biāo)數(shù)據(jù)塊給客戶端?？蛻舳藢?dāng)?shù)嘏R時(shí)文件

flush

到指定的

Datanode

上。當(dāng)文件關(guān)閉時(shí)，在臨時(shí)文件中節(jié)余的沒(méi)有

flush

的數(shù)據(jù)也會(huì)傳輸?shù)街付ǖ?/p>

Datanode

，爾后客戶端告訴

Namenode

文件已經(jīng)關(guān)閉。此時(shí)

Namenode

才將文件創(chuàng)辦操作提交到長(zhǎng)遠(yuǎn)儲(chǔ)藏。若是Namenode在文件關(guān)閉前掛了，該文件將扔掉。上述方法是