云計算基礎(chǔ)知識整理

1、1. 云計算是對（  D  ）技術(shù)的發(fā)展與運用 A. 并行計算  B網(wǎng)格計算  C分布式計算   D三個選項都是 2. IBM在2007年11月退出了“改進游戲規(guī)則”的 （ A  ）計算平臺，為客戶帶來即買即用的云計算平臺。  A. 藍(lán)云   B. 藍(lán)天  C.   ARUZE 

2、  D. EC2 3. 微軟于2008年10月推出云計算操作系統(tǒng)是（ C  ） A. Google App Engine        B. 藍(lán)云    C. Azure       D. EC2 4. 2008年，（  

3、;A  ）先后在無錫和北京建立了兩個云計算中心 A. IBM  B. Google   C. Amazon  D. 微軟 5. 將平臺作為服務(wù)的云計算服務(wù)類型是（  B ） A. IaaS   B.PaaS  C.SaaS  D.三個選項都不是6. 將基礎(chǔ)設(shè)施作為服務(wù)的云計算服務(wù)類型是（ A

4、0; ） A. IaaS  B.PaaS  C.SaaS  D.三個選項都不是 7. IaaS計算實現(xiàn)機制中，系統(tǒng)管理模塊的核心功能是（ A  ） A. 負(fù)載均衡  B 監(jiān)視節(jié)點的運行狀態(tài)  C應(yīng)用API  D. 節(jié)點環(huán)境配置 8. 云計算體系結(jié)構(gòu)的（ C ）負(fù)責(zé)資源管理、任務(wù)管理用戶管理和安全管理等工作 A

5、.物理資源層   B. 資源池層   C. 管理中間件層   D. SOA構(gòu)建層 9. 云計算按照服務(wù)類型大致可分為以下類（ A、B、C  ） A.IaaS    B.  PaaS     C. SaaS     D.效用計算 10.

6、60;下列不屬于Google云計算平臺技術(shù)架構(gòu)的是（ D  ） A. 并行數(shù)據(jù)處理MapReduce             B.分布式鎖Chubby C. 結(jié)構(gòu)化數(shù)據(jù)表BigTable                D.彈性云計算EC2&

7、#160;11. 在目前GFS集群中，每個集群包含（ B  ）個存儲節(jié)點  A.幾百個     B. 幾千個   C.幾十個   D.幾十萬個 12. 下列選項中，哪條不是GFS選擇在用戶態(tài)下實現(xiàn)的原因（ D ） A.調(diào)試簡單    B.不影響數(shù)據(jù)塊服務(wù)器的穩(wěn)定性  C. 降低實現(xiàn)難度，提高通用性  

8、; D. 容易擴展 13. GFS中主服務(wù)器節(jié)點存儲的元數(shù)據(jù)包含這些信息（ BCD  ） A.文件副本的位置信息   B.命名空間  C. Chunk與文件名的映射   D. Chunk副本的位置信息 14. 單一主服務(wù)器（Master）解決性能瓶頸的方法是（ ABCD  ） A.減少其在數(shù)據(jù)存儲中的參與程度     

9、 B. 不適用Master讀取數(shù)據(jù) C.客戶端緩存元數(shù)據(jù)                D. 采用大尺寸的數(shù)據(jù)塊 15. （ B  ）是Google提出的用于處理海量數(shù)據(jù)的并行編程模式和大規(guī)模數(shù)據(jù)集的并行運算的軟件架構(gòu)。  A.  GFS       

10、;B.MapReduce     C.Chubby    D.BitTable 16. Mapreduce適用于 （  D  ） A. 任意應(yīng)用程序   B. 任意可在windows servet2008上運行的程序 C.可以串行處理的應(yīng)用程序     D. 可以并行處理的應(yīng)用程序 17.

11、 MapReduce通常把輸入文件按照（ C  ）MB來劃分  A. 16     B32      C64    D128 18. 與傳統(tǒng)的分布式程序設(shè)計相比，Mapreduce封裝了  （  ABCD  ）等細(xì)節(jié)，還提供了一個簡單而強大的接口。 A. 并行處理  &

12、#160;B. 容錯處理   C. 本地化計算  D. 負(fù)載均衡 19. （ D  ）是Google的分布式數(shù)據(jù)存儲于管理系統(tǒng) A. GFS     B. MapReduce    C. Chubby   D.Bigtable 20. 在Bigtable中，（ A ）主

13、要用來存儲子表數(shù)據(jù)以及一些日志文件 A. GFS      B. Chubby         C.SSTable     D.MapReduce 21. Google APP Engine使用的數(shù)據(jù)庫是 （ C ） A. 改進的SQLServer B. Or

14、ack  C. Date store  D. 亞馬遜的SimpleDB 22. Google APP Engine目前支持的編程語言有 （  AD  ） A. Python語言  B. C+語言  C. 匯編語言  D. JAVA語言 23. 亞馬遜AWS采用 （ A  ）虛擬化技術(shù)

15、60; A. 未使用  B. Hyper-V  C. Vmware   D. Xen 24. 亞馬遜將區(qū)域分為（ AC  ） A地理區(qū)域   B不可用區(qū)域   C可用區(qū)域   D隔離區(qū)域 25. 下面選項屬于Amazon提供的云計算服務(wù)是（ ABC ） A. 彈性云計算EC2 &

16、#160;  B簡單存儲服務(wù)S3 c簡單隊列服務(wù)SQS        D.Net服務(wù) 26. 不屬于彈性計算云EC2包含的IP地址的是（ C ） A. 公共IP地址  B. 私有IP地址   C.隧道IP地址    D. 彈性IP地址 27. 在EC2的安全與容錯機制中，一個用戶目前最多可以創(chuàng)建&#

17、160;（ B ）安全組。 A. 50  B. 100  C. 150   D. 200 28. EC2常用的API包含下列哪些類型的操作（ ABCD  ） A.AMI   B. 安全組     C實例   D彈性IP地址 29. S3的基本存儲單元是（

18、60;B ）  A.服務(wù)      B.對象        C.卷      D. 組 30. S3采用的專門安全措施是（ AB  ） A.身份認(rèn)證    B.訪問控制列表  C防火墻    D防木馬病毒技術(shù)&

19、#160;31. 在云計算系統(tǒng)中，提供“云端”服務(wù)模式是（ D  ） 公司的云計算服務(wù)平臺。 A. IBM    B.  GOOGLE   C.   Amaxon  D. 微軟 32. 下列四種云計算方案中，服務(wù)間的耦合度最高的是 （ C  ） A. 亞馬遜AWS  B.

20、0;微軟AZURE  C. Google APP Engine   D. IBM的“藍(lán)云” 33. 云格可以完成的服務(wù)有 （ ABCD  ） A. 數(shù)據(jù)處理服務(wù)  B. 格處理服務(wù)  C. 高性能計算服務(wù)  D. 協(xié)作服務(wù) 34. 亞馬遜AWS提供的云計算服務(wù)類型是（ D  ） 

21、A. IaaS   B.PaaS  C.SaaS  D.三個選項都是 35. Google文件系統(tǒng)將整個系統(tǒng)的節(jié)點分為（ ABC  ）的角色 A.客戶端   B.主服務(wù)器      C.數(shù)據(jù)塊服務(wù)器       D.監(jiān)測服務(wù)器 36. Google文件系統(tǒng)具有（ ABD

22、  ）特點 A.采用中心服務(wù)器模式          B不緩存數(shù)據(jù) C.采用邊緣服務(wù)器模式           D在用戶態(tài)下實現(xiàn) 37. Google不緩存數(shù)據(jù)的原因是 （ ABCD  ） A. OFS的文件操作大部門是流式讀寫； B. 維護緩存與實

23、際數(shù)據(jù)之間的一致性太復(fù)雜 C. 不存在大量的重復(fù)讀寫 D. 數(shù)據(jù)塊服務(wù)器上的數(shù)據(jù)存取使用本地文件系統(tǒng) 38.從研究現(xiàn)狀上看，下面不屬于云計算特點的是（ C  ） A. 超大規(guī)模   B. 虛擬化   C.私有化   D. 高可靠性 39.與網(wǎng)絡(luò)計算相比，不屬于云計算特征的是（ B  ） A.資源高度共享  B.適合緊耦

24、合科學(xué)計算  C. 支持虛擬機  D. 適用于商業(yè)領(lǐng)域 一，填空題 （30分）云計算是以 公開 的標(biāo)準(zhǔn)和 服務(wù) 為基礎(chǔ)，以 互聯(lián)網(wǎng) 為中心，提供安全、快速、便捷的數(shù)據(jù)存儲和網(wǎng)絡(luò)計算服務(wù)，讓互聯(lián)網(wǎng)這片"云"成為每一個網(wǎng)民的數(shù)據(jù)中心和計算中心。對提供者而言，云計算可以三種部署模式，即 公有云 、 私有云 和混合云 。當(dāng)前，幾乎所有的知名IT 提供商、互聯(lián)網(wǎng)提供商，甚至電信運營商都在向云計算進軍，都在提供相關(guān)的云服務(wù)。但歸納起來，當(dāng)前云提供者可以分為三大類，即 SaaS提供商、PaaS 和IaaS 提供商。5.

25、 云計算（Cloud Computing）：一種利用 大規(guī)模低成本 運算單元通過IP網(wǎng)絡(luò)連接，以提供各種計算和存儲服務(wù)的IT技術(shù)。二，選擇題 (可多選)（50分）1云計算的特點？( ABCDE)A大規(guī)模 B. 平滑擴展C資源共享 D. 動態(tài)分配 E. 跨地域2寶德存儲云解決方案價值有哪些？( ABCD ) A. 海量小文件的高效管理 B. PB級的存儲空間和線行擴展能力 C. 可動態(tài)提升的性能 D. 數(shù)據(jù)高可靠性3.目前，選用開源的虛擬化產(chǎn)品組建虛擬化平臺，構(gòu)建基于硬件的虛擬化層，可以選用（ BCD ）A .Xen B.VMware C. Hyper-v D. Citrix4在云計算中，虛擬層

26、主要包括（ ABC ）A.服務(wù)器虛擬化 B.存儲虛擬化C.網(wǎng)絡(luò)虛擬化 D.桌面虛擬化7.未來云計算服務(wù)面向那些客戶？（ ABCDE ）A.個人 B.企業(yè)C.政府 D.教育E.研究所8.云安全主要的考慮的關(guān)鍵技術(shù)有哪些？（ ABC ）A.數(shù)據(jù)安全 B.應(yīng)用安全 C.虛擬化安全 D.服務(wù)器安全 由于云計算分為IaaS、PaaS和SaaS三種類型，不同的廠家又提供了不同的解決方案，目前還沒有一個統(tǒng)一的技術(shù)體系結(jié)構(gòu)，對讀者了解云計算的原理構(gòu)成了障礙。為此，本文綜合不同廠家的方案，構(gòu)造了一個供商榷的云計算體系結(jié)構(gòu)。這個體系結(jié)構(gòu)如圖3所示，它概括了不同解決方案的主要特征，每一種方案或許只實現(xiàn)了其中部分功能

27、，或許也還有部分相對次要功能尚未概括進來。圖3 云計算技術(shù)體系結(jié)構(gòu)云計算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層，如圖3所示。物理資源層包括計算機、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等；資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個服務(wù)器、解決散熱和故障節(jié)點替換的問題并降低能耗；管理中間件負(fù)責(zé)對云計算的資源進行管理，并對眾多應(yīng)用任務(wù)進行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)；SOA構(gòu)建層將云計算能力封裝成標(biāo)準(zhǔn)的Web Services服

28、務(wù)，并納入到SOA體系進行管理和使用，包括服務(wù)注冊、查找、訪問和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。云計算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。資源管理負(fù)責(zé)均衡地使用云資源節(jié)點，檢測節(jié)點的故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進行監(jiān)視統(tǒng)計；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；用戶管理是實現(xiàn)云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進行計費等

29、；安全管理保障云計算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護和安全審計等。基于上述體系結(jié)構(gòu)，本文以IaaS云計算為例，簡述云計算的實現(xiàn)機制，如圖4所示。用戶交互接口向應(yīng)用以Web Services方式提供訪問接口，獲取用戶需求。服務(wù)目錄是用戶可以訪問的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點上準(zhǔn)備任務(wù)運行環(huán)境。監(jiān)視統(tǒng)計模塊負(fù)責(zé)監(jiān)視節(jié)點的運行狀態(tài)，并完成用戶使用節(jié)點情況的統(tǒng)計。執(zhí)行過程并不復(fù)雜：用戶交互接口允許用戶從目錄中選取并調(diào)用一個服務(wù)。該請求傳遞給系統(tǒng)管理模塊后，它將為用戶分配恰當(dāng)?shù)馁Y源，然后調(diào)用配置工具來為用戶準(zhǔn)備運行環(huán)境。H

30、adoop HDFS特性簡介 一、設(shè)計思想1、硬件失效是“常態(tài)事件“，而非“偶然事件”。HDFS可能是有上千的機器組成（文檔中描述的Yahoo!一個Hadoop集群有4096個節(jié)點），任何一個組件都有可能一直失效，因此數(shù)據(jù)的健壯性錯誤檢測和快速、自動的恢復(fù)是HDFS的核心架構(gòu)目標(biāo)。2、 流式數(shù)據(jù)訪問。運行在HDFS上的應(yīng)用和普通的應(yīng)用不同，需要流式訪問它們的數(shù)據(jù)集。HDFS的設(shè)計中更多的考慮到了數(shù)據(jù)批處理，而不是用戶交互處理。比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)并發(fā)訪問的高吞吐量。POSIX標(biāo)準(zhǔn)設(shè)置的很多硬性約束對HDFS應(yīng)用系統(tǒng)不是必需的。為了提高數(shù)據(jù)的吞吐量，在一些關(guān)鍵方面對 POS

31、IX的語義做了一些修改。3、 HDFS應(yīng)用對文件要求的是write-one-read-many訪問模型。一個文件經(jīng)過創(chuàng)建、寫，關(guān)閉之后就不需要改變。這一假設(shè)簡化了數(shù)據(jù)一致性問題，使高吞吐量的數(shù)據(jù)訪問成為可能。典型的如MapReduce框架，或者一個web crawler應(yīng)用都很適合這個模型。4、移動計算的代價比之移動數(shù)據(jù)的代價低。一個應(yīng)用請求的計算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達(dá)到海量級別的時候更是如此。將計算移動到數(shù)據(jù)附近，比之將數(shù)據(jù)移動到應(yīng)用所在顯然更好，HDFS提供給應(yīng)用這樣的接口。5、在異構(gòu)的軟硬件平臺間的可移植性。二、Namenode和Datanode的劃分一個HDFS集群有

32、一個Namenode和一定數(shù)目的Datanode組成。Namenode是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對文件的訪問。Datanode在集群中會有多個，一般是一個節(jié)點存在一個，負(fù)責(zé)管理其自身節(jié)點上它們附帶的存儲。在內(nèi)部，一個大文件其分成一個或多個block，這些block存儲在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace相關(guān)操作，例如打開、關(guān)閉、重命名文件和目錄，同時決定了block到具體Datanode節(jié)點的映射。Datanode在Namenode的指揮下進行block的創(chuàng)建、刪除和復(fù)制。單一節(jié)點的Namenode大大簡化了系統(tǒng)的架構(gòu)。

33、Namenode負(fù)責(zé)保管和管理所有的HDFS元數(shù)據(jù)，因而在請求Namenode得到文件的位置后就不需要通過Namenode參與而直接從Datanode進行。為了提高Namenode的性能，所有文件的namespace數(shù)據(jù)都在內(nèi)存中維護，所以就天生存在了由于內(nèi)存大小的限制導(dǎo)致一個HDFS集群的提供服務(wù)的文件數(shù)量的上限。根據(jù)目前的文檔，一個元數(shù)據(jù)（一個HDFS文件塊兒）占用200Bytes，如果是頁面抓取的小文件，那么32GB內(nèi)存能承載1.5億左右的文件存儲（有待精確詳細(xì)測試）。三、文件系統(tǒng)操作和namespace的關(guān)系HDFS支持傳統(tǒng)的層次型文件組織，與大多數(shù)其他文件系統(tǒng)類似，用戶可以創(chuàng)建目錄，

34、并在其間創(chuàng)建、刪除、移動和重命名文件。HDFS不支持user quotas和訪問權(quán)限，也不支持鏈接（link)，不過當(dāng)前的架構(gòu)并不排除實現(xiàn)這些特性。Namenode維護文件系統(tǒng)的namespace，任何對文件系統(tǒng)namespace和文件屬性的修改都將被Namenode記錄下來。應(yīng)用可以設(shè)置HDFS保存的文件的副本數(shù)目，文件副本的數(shù)目稱為文件的 replication因子，這個信息也是由Namenode保存。四、數(shù)據(jù)復(fù)制HDFS被設(shè)計成在一個大集群中可以跨機器地可靠地存儲海量的文件。它將每個文件存儲成block序列，除了最后一個block，所有的block都是同樣的大小。文件的所有block為了

35、容錯都會被復(fù)制。每個文件的block大小和replication因子都是可配置的。Replication因子可以在文件創(chuàng)建的時候配置，以后也可以改變。HDFS中的文件是write-one，并且嚴(yán)格要求在任何時候只有一個writer。Namenode全權(quán)管理block的復(fù)制，它周期性地從集群中的每個Datanode接收心跳包和一個Blockreport。心跳包的接收表示該Datanode節(jié)點正常工作，而Blockreport包括了該Datanode上所有的block組成的列表。1、副本的存放，副本的存放是HDFS可靠性和性能的關(guān)鍵。龐大的HDFS實例一般運行在多個機架的計算機形成的集群上，不同機

36、架間的兩臺機器的通訊需要通過交換機，顯然通常情況下，同一個機架內(nèi)的兩個節(jié)點間的帶寬會比不同機架間的兩臺機器的帶寬大。在大多數(shù)情況下，replication因子是3，HDFS的存放策略是將一個副本存放在本地機架上的節(jié)點，一個副本放在同一機架上的另一個節(jié)點，最后一個副本放在不同機架上的一個節(jié)點。機架的錯誤遠(yuǎn)遠(yuǎn)比節(jié)點的錯誤少，這個策略不會影響到數(shù)據(jù)的可靠性和有效性。三分之一的副本在一個節(jié)點上，三分之二在一個機架上，其他保存在剩下的機架中，這一策略改進了寫的性能。2、副本的選擇，為了降低整體的帶寬消耗和讀延時，HDFS會盡量讓reader讀最近的副本。如果在reader的同一個機架上有一個副本，那么就

37、讀該副本。如果一個HDFS集群跨越多個數(shù)據(jù)中心，那么reader也將首先嘗試讀本地數(shù)據(jù)中心的副本。3、SafeModeNamenode啟動后會進入一個稱為SafeMode的特殊狀態(tài)，處在這個狀態(tài)的Namenode是不會進行數(shù)據(jù)塊的復(fù)制的。Namenode從所有的 Datanode接收心跳包和Blockreport。Blockreport包括了某個Datanode所有的數(shù)據(jù)塊列表。每個block都有指定的最小數(shù)目的副本。當(dāng)Namenode檢測確認(rèn)某個Datanode的數(shù)據(jù)塊副本的最小數(shù)目，那么該Datanode就會被認(rèn)為是安全的；如果一定百分比（這個參數(shù)可配置）的數(shù)據(jù)塊檢測確認(rèn)是安全的，那么Na

38、menode將退出SafeMode狀態(tài)，接下來它會確定還有哪些數(shù)據(jù)塊的副本沒有達(dá)到指定數(shù)目，并將這些block復(fù)制到其他Datanode。五、文件系統(tǒng)元數(shù)據(jù)的持久化Namenode存儲HDFS的元數(shù)據(jù)。對于任何對文件元數(shù)據(jù)產(chǎn)生修改的操作，Namenode都使用一個稱為Editlog的事務(wù)日志記錄下來。例如，在HDFS中創(chuàng)建一個文件，Namenode就會在Editlog中插入一條記錄來表示；同樣，修改文件的replication因子也將往 Editlog插入一條記錄。Namenode在本地OS的文件系統(tǒng)中存儲這個Editlog。整個文件系統(tǒng)的namespace，包括block到文件的映射、文件的

39、屬性，都存儲在稱為FsImage的文件中，這個文件也是放在Namenode所在系統(tǒng)的文件系統(tǒng)上。Namenode在內(nèi)存中保存著整個文件系統(tǒng)namespace和文件Blockmap的映像。這個關(guān)鍵的元數(shù)據(jù)設(shè)計得很緊湊，一般為200Bytes的內(nèi)存占用，因而一個帶有4G內(nèi)存的 Namenode足夠支撐海量的文件和目錄。當(dāng)Namenode啟動時，它從硬盤中讀取Editlog和FsImage，將所有Editlog中的事務(wù)作用（apply)在內(nèi)存中的FsImage ，并將這個新版本的FsImage從內(nèi)存中flush到硬盤上,然后再truncate這個舊的Editlog，因為這個舊的Editlog的事務(wù)都

40、已經(jīng)作用在FsImage上了。這個過程稱為checkpoint。在當(dāng)前實現(xiàn)中，checkpoint只發(fā)生在Namenode啟動時，在不久的將來我們將實現(xiàn)支持周期性的checkpoint。Datanode并不知道關(guān)于文件的任何東西，除了將文件中的數(shù)據(jù)保存在本地的文件系統(tǒng)上。它把每個HDFS數(shù)據(jù)塊存儲在本地文件系統(tǒng)上隔離的文件中。 Datanode并不在同一個目錄創(chuàng)建所有的文件，相反，它用啟發(fā)式地方法來確定每個目錄的最佳文件數(shù)目，并且在適當(dāng)?shù)臅r候創(chuàng)建子目錄。在同一個目錄創(chuàng)建所有的文件不是最優(yōu)的選擇，因為本地文件系統(tǒng)可能無法高效地在單一目錄中支持大量的文件。當(dāng)一個Datanode啟動時，它掃描本地文

41、件系統(tǒng)，對這些本地文件產(chǎn)生相應(yīng)的一個所有HDFS數(shù)據(jù)塊的列表，然后發(fā)送報告到Namenode，這個報告就是Blockreport。六、通訊協(xié)議所有的HDFS通訊協(xié)議都是構(gòu)建在TCP/IP協(xié)議上?？蛻舳送ㄟ^一個可配置的端口連接到Namenode，通過ClientProtocol與 Namenode交互。而Datanode是使用DatanodeProtocol與Namenode交互。從ClientProtocol和 Datanodeprotocol抽象出一個遠(yuǎn)程調(diào)用(RPC），在設(shè)計上，Namenode不會主動發(fā)起RPC，而是是響應(yīng)來自客戶端和 Datanode 的RPC請求。七、健壯性HDFS的

42、主要目標(biāo)就是實現(xiàn)在失敗情況下的數(shù)據(jù)存儲可靠性。常見的三種失?。篘amenode failures, Datanode failures和網(wǎng)絡(luò)分割（network partitions)。1、硬盤數(shù)據(jù)錯誤、心跳檢測和重新復(fù)制每個Datanode節(jié)點都向Namenode周期性地發(fā)送心跳包。網(wǎng)絡(luò)切割可能導(dǎo)致一部分Datanode跟Namenode失去聯(lián)系。 Namenode通過心跳包的缺失檢測到這一情況，并將這些Datanode標(biāo)記為dead，不會將新的IO請求發(fā)給它們。寄存在dead Datanode上的任何數(shù)據(jù)將不再有效。Datanode的死亡可能引起一些block的副本數(shù)目低于指定值，Name

43、node不斷地跟蹤需要復(fù)制的 block，在任何需要的情況下啟動復(fù)制。在下列情況可能需要重新復(fù)制：某個Datanode節(jié)點失效，某個副本遭到損壞，Datanode上的硬盤錯誤，或者文件的replication因子增大。2、集群均衡HDFS支持?jǐn)?shù)據(jù)的均衡計劃，如果某個Datanode節(jié)點上的空閑空間低于特定的臨界點，那么就會啟動一個計劃自動地將數(shù)據(jù)從一個Datanode搬移到空閑的Datanode。當(dāng)對某個文件的請求突然增加，那么也可能啟動一個計劃創(chuàng)建該文件新的副本，并分布到集群中以滿足應(yīng)用的要求。這些均衡計劃目前還沒有實現(xiàn)。3、數(shù)據(jù)完整性從某個Datanode獲取的數(shù)據(jù)塊有可能是損壞的，這個損

44、壞可能是由于Datanode的存儲設(shè)備錯誤、網(wǎng)絡(luò)錯誤或者軟件bug造成的。HDFS客戶端軟件實現(xiàn)了HDFS文件內(nèi)容的校驗和。當(dāng)某個客戶端創(chuàng)建一個新的HDFS文件，會計算這個文件每個block的校驗和，并作為一個單獨的隱藏文件保存這些校驗和在同一個HDFS namespace下。當(dāng)客戶端檢索文件內(nèi)容，它會確認(rèn)從Datanode獲取的數(shù)據(jù)跟相應(yīng)的校驗和文件中的校驗和是否匹配，如果不匹配，客戶端可以選擇從其他Datanode獲取該block的副本。4、元數(shù)據(jù)磁盤錯誤FsImage和Editlog是HDFS的核心數(shù)據(jù)結(jié)構(gòu)。這些文件如果損壞了，整個HDFS實例都將失效。因而，Namenode可以配置成支持維護多個FsImage和Editlog的拷貝。任何對FsImage或者Editlog的修改，都將同步到它們的副本上。這個同步操作可能會降低 Namenode每秒能支持處理的namespace事務(wù)。這個代價是可以接受的，因為HDFS是數(shù)據(jù)密集的，而非元數(shù)據(jù)密集。當(dāng)Namenode重啟的時候，它總是選取最近的一致的FsImage和Editlog使用。Namenode在HDFS是單點存在，如果Namenode所在的機器錯誤，手工的干預(yù)是必須的。目前，在另一臺機器上重啟因故障而停止服務(wù)的Namenode這個功能還沒實現(xiàn)。八、數(shù)據(jù)組織1、數(shù)據(jù)塊兼容HDFS的應(yīng)用都是處理大數(shù)據(jù)集合的