云計算基礎知識整理

云計算是對〔D〕技術的進展與運用并行計算B網(wǎng)格計算C分布式計算D三個選項都是IBM在2007年11月退出了“改進玩耍規(guī)章”的〔A〕計算平臺，為客戶帶來即買即用的云計算平臺。A.藍云B.藍天C. ARUZE D.EC2200810月推出云計算操作系統(tǒng)是〔C〕GoogleAppEngine B.藍云C.Azure D.EC22008〔A〕先后在無錫和北京建立了兩個云計算中心IBMB.Google C.AmazonD.微軟將平臺作為效勞的云計算效勞類型是〔B〕A.IaaS B.PaaSC.SaaSD.三個選項都不是將根底設施作為效勞的云計算效勞類型是〔A〕IaaSB.PaaSC.SaaSD.三個選項都不是IaaS計算實現(xiàn)機制中，系統(tǒng)治理模塊的核心功能是〔A〕負載均衡B監(jiān)視節(jié)點的運行狀態(tài)C應用APID.節(jié)點環(huán)境配置云計算體系構造的〔C〕負責資源治理、任務治理用戶治理和安全治理等工作A.物理資源層B.資源池層C.治理中間件層D.SOA構建層云計算依據(jù)效勞類型大致可分為以下類〔A、B、C〕IaaS B.PaaS C.SaaS D.效用計算以下不屬于Google云計算平臺技術架構的是〔D〕并行數(shù)據(jù)處理MapReduce B.分布式鎖ChubbyC. 結構化數(shù)據(jù)表BigTable D.EC2在目前GFS集群中，每個集群包含〔B〕個存儲節(jié)點幾百個 B.幾千個C.幾十個D.幾十萬個以下選項中，哪條不是GFS選擇在用戶態(tài)下實現(xiàn)的緣由〔D〕A.調(diào)試簡潔B.不影響數(shù)據(jù)塊效勞器的穩(wěn)定性C.D.簡潔擴展GFS中主效勞器節(jié)點存儲的元數(shù)據(jù)包含這些信息〔BCD〕A.文件副本的位置信息B.命名空間C.Chunk與文件名的映射D.Chunk副本的位置信息單一主效勞器〔Master〕解決性能瓶頸的方法是〔ABCD〕A.削減其在數(shù)據(jù)存儲中的參與程度B.不適用Master讀取數(shù)據(jù)C.客戶端緩存元數(shù)據(jù)D.承受大尺寸的數(shù)據(jù)塊〔B〕是Google提出的用于處理海量數(shù)據(jù)的并行編程模式和大規(guī)模數(shù)據(jù)集的并行運算的軟件架構。A.GFS B.MapReduce C.Chubby D.BitTableMapreduce適用于〔D〕A.任意應用程序B.任意可在windowsservet2008上運行的程序C.可以串行處理的應用程序 D.可以并行處理的應用程序MapReduce通常把輸入文件依據(jù)〔C〕MB來劃分A.16 B32 C64 D128與傳統(tǒng)的分布式程序設計相比，Mapreduce封裝了〔ABCD〕等細節(jié)，還供給了一個簡潔而強大的接口。A.并行處理B.容錯處理C.本地化計算D.負載均衡〔D〕是Google的分布式數(shù)據(jù)存儲于治理系統(tǒng)A.GFS B.MapReduce C.Chubby D.Bigtable在Bigtable 中，〔A〕主要用來存儲子表數(shù)據(jù)以及一些日志文件A.GFS B.Chubby C.SSTable D.MapReduceGoogleAPPEngine使用的數(shù)據(jù)庫是〔C〕A.改進的SQLServerB.Orack C.Datestore D.亞馬遜的SimpleDBGoogleAPPEngine目前支持的編程語言有〔AD〕A.Python語言B.C++語言C.匯編語言D.JAVA語言亞馬遜AWS承受〔A〕虛擬化技術A.未使用B.Hyper-VC.Vmware D.Xen亞馬遜將區(qū)域分為〔AC〕A地理區(qū)域B不行用區(qū)域C可用區(qū)域D隔離區(qū)域下面選項屬于Amazon供給的云計算效勞是〔ABC〕A.彈性云計算EC2 B簡潔存儲效勞S3c簡潔隊列效勞SQS D.Net效勞不屬于彈性計算云EC2包含的IP地址的是〔C〕A.IP地址B.私有IP地址C.IP地址D.IP地址在EC2的安全與容錯機制中，一個用戶目前最多可以創(chuàng)立〔B〕安全組。A.50B.100C.150 D.200EC2常用的API包含以下哪些類型的操〔ABCD〕A.AMI B.安全組 C實例D彈性IP地址S3的根本存儲單元是〔B〕 A.效勞 B.對象 C.卷 D.組S3承受的特地安全措施是〔AB〕A.身份認證B.訪問掌握列表C防火墻D防木馬病毒技術在云計算系統(tǒng)中，供給“云端”效勞模式是〔D〕A.IBM B.GOOGLE C. AmaxonD.微軟以下四種云計算方案中，效勞間的耦合度最高的是〔C〕A.亞馬遜AWSB.微軟AZUREC.GoogleAPPEngine D.IBM的“藍云”云格可以完成的效勞有〔ABCD〕A.數(shù)據(jù)處理效勞B.格處理效勞C.高性能計算效勞D.協(xié)作效勞亞馬遜AWS供給的云計算效勞類型是〔D〕A.IaaS B.PaaSC.SaaSD.三個選項都是Google文件系統(tǒng)將整個系統(tǒng)的節(jié)點分為〔ABC〕的角色A.客戶端B.主效勞器 C.數(shù)據(jù)塊效勞器 D.監(jiān)測效勞器Google文件系統(tǒng)具有〔ABD〕特點A.承受中心效勞器模式 B不緩存數(shù)據(jù)C.承受邊緣效勞器模式 D在用戶態(tài)下實現(xiàn)Google不緩存數(shù)據(jù)的緣由是〔ABCD〕A.OFSB.維護緩存與實際數(shù)據(jù)之間的全都性太簡單C.D.數(shù)據(jù)塊效勞器上的數(shù)據(jù)存取使用本地文件系統(tǒng)從爭論現(xiàn)狀上看，下面不屬于云計算特點的是〔C〕A.超大規(guī)模B.虛擬化C.私有化D.高牢靠性與網(wǎng)絡計算相比，不屬于云計算特征的是〔B〕A.資源高度共享B.適合緊耦合科學計算C.支持虛擬機D.適用于商業(yè)領域一，填空題〔30分〕云計算是以公開的標準和效勞為根底，以互聯(lián)網(wǎng)為中心，供給“云“成為每一個網(wǎng)民的數(shù)據(jù)中心和計算中心。對供給者而言云計算可以三種部署模式即 公有云 、私有云 和混合云。當前，幾乎全部的知名IT供給商、互聯(lián)網(wǎng)供給商，甚至電信運營商都在向云計算進軍，都在供給相關的云效勞。但歸納起來，當前云供給者可以分為三大類，即SaaS供給商、PaaS和IaaS供給商。5. 云計算CloudComputin：一種利用 大規(guī)模低本錢 運算單元通過IP網(wǎng)絡連接，以供給各種計算和存儲效勞的IT技術。二，選擇題(可多項選擇)〔50分〕云計算的特點？(ABCDE)A．大規(guī)模B.平滑擴展C資源共享D.動態(tài)安排E.跨地域?qū)毜麓鎯υ平鉀Q方案價值有哪些？(ABCD ) A.海量小文件的高效治理B.PB級的存儲空間和線行擴展力量 C.可動態(tài)提升的性能 D.數(shù)據(jù)高牢靠性目前，選用開源的虛擬化產(chǎn)品組建虛擬化平臺，構建基于硬件的虛擬化層，可以選用〔BCD 〕A.Xen B.VMwareC.Hyper-v D.Citrix4．在云計算中，虛擬層主要包括〔ABC〕A.效勞器虛擬化B.存儲虛擬化C.網(wǎng)絡虛擬化D.桌面虛擬化將來云計算效勞面對那些客戶？〔ABCDE〕A.個人B.企業(yè)C.政府D.教育E.爭論所云安全主要的考慮的關鍵技術有哪些？〔ABC〕A.數(shù)據(jù)安全B.應用安全C.虛擬化安D.效勞器安全IaaS、PaaSSaaS三種類型，不同的廠家又供給了不同的解決方案，目3次要功能尚未概括進來。圖3 云計算技術體系構造4層：物理資源層、資源池層、治理中間件層和SOA構建層，如圖3所示。物理資源層包括計算機、存儲器、網(wǎng)絡設施、數(shù)據(jù)庫和軟件等；資源池層是將大量一樣多是物理資源的集成和治理工作，例如爭論在一個標準集裝箱的空間如何裝下2000個效勞器治理，并對眾多應用任務進展調(diào)度，使資源能夠高效、安全地為應用供給效勞；SOA構建層將云計算力量封裝成標準的WebServices效勞，并納入到SOA體系進展治理和使用，包鍵局部，SOA構建層的功能更多依靠外部設施供給。視統(tǒng)計；任務治理負責執(zhí)行用戶或應用提交的任務，包括完成用戶任務映象(Image)的部署授權、綜合防護和安全審計等。基于上述體系構造，本文以IaaS云計算為例，簡述云計算的實現(xiàn)機制，如圖4所示。用戶交互接口向應用以WebServices工具來為用戶預備運行環(huán)境。HadoopHDFS特性簡介一、設計思想1HDFS可能是有上千的機器組成〔文檔中描述的YahooHadoop4096〕，任何一個組件都有可能始終失效，因此數(shù)據(jù)的強健性錯誤檢測和快速、自動的恢復是HDFS2HDFSHDFS的設計中更多的考慮到了數(shù)據(jù)批處理，而不是用戶交互處理。比之數(shù)據(jù)訪問的低延遲問題，更關鍵的在于數(shù)據(jù)并發(fā)訪問的高吞吐量。POSIX標準設置的很多硬性約束對HDFS應用系統(tǒng)不是必需的。為了提高數(shù)據(jù)的吞吐量，在一些關鍵方面對POSIX的語義做了一些修改。3、HDFS應用對文件要求的是write-one-read-many典型的如MapReducewebcrawler4、移動計算的代價比之移動數(shù)據(jù)的代價低。一個應用懇求的計算，離它操作的數(shù)據(jù)越近就到應用所在明顯更好，HDFS5、在異構的軟硬件平臺間的可移植性。二、NamenodeDatanodeHDFS集群有一個Namenode和肯定數(shù)目的DatanodeNamenodenamespaceDatanode在集群中會有多個，一般是一個節(jié)點存在一個，負責治理其自身節(jié)點上它們附帶的存儲。在內(nèi)部，一個大文件其分成一個或多個block，這些block存儲在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace打算了block到具體DatanodeDatanodeNamenode的指揮下進展block的創(chuàng)立、刪除和復制。單一節(jié)點的NamenodeNamenode負責保管和治理全部的HDFSNamenodeNamenode參與而直接從Datanode進展。為了提高Namenode的性能，全部文件的namespace數(shù)據(jù)都在內(nèi)存中維護，所以就天生存在了由于內(nèi)存大小的限制導致一個HDFS依據(jù)目前的文檔，一個元數(shù)據(jù)〔一個HDFS文件塊兒〕占用200Bytes，假設是頁面抓取的小32GB1.5〔有待準確具體測試〕。namespaceHDFS支持傳統(tǒng)的層次型文件組織，與大多數(shù)其他文件系統(tǒng)類似，用戶可以創(chuàng)立名目，并在其間創(chuàng)立、刪除、移動和重命名文件。HDFS不支持userquotas接〔linkNamenode維護文件系統(tǒng)的namespace，任何對文件系統(tǒng)namespaceNamenodeHDFS保存的文件的副本數(shù)目，文件副本的數(shù)目稱為文件的replicationNamenode四、數(shù)據(jù)復制HDFS被設計成在一個大集群中可以跨機器地牢靠地存儲海量的文件。它將每個文件存儲成block序列，除了最終一個block，全部的block都是同樣的大小。文件的全部block容錯都會被復制。每個文件的block大小和replication因子都是可配置的。ReplicationHDFS中的文件是write-one，并且嚴格要求在任何時候只有一個writer。Namenode全權治理block的復制，它周期性地從集群中的每個Datanode接收心跳包和一個BlockreportDatanode工作，而BlockreportDatanodeblock1、副本的存放，副本的存放是HDFS牢靠性和性能的關鍵。浩大的HDFS實例一般運行在多下，同一個機架內(nèi)的兩個節(jié)點間的帶寬會比不同機架間的兩臺機器的帶寬大。在大多數(shù)狀況下，replication3，HDFS的性能。2、副本的選擇，為了降低整體的帶寬消耗和讀延時，HDFS會盡量讓reader假設在readerHDFS數(shù)據(jù)中心，那么reader3、SafeModeNamenode啟動后會進入一個稱為SafeMode的特別狀態(tài)，處在這個狀態(tài)的Namenode數(shù)據(jù)塊的復制的。NamenodeDatanodeBlockreport。Blockreport包括了某個Datanode全部的數(shù)據(jù)塊列表。每個block都有指定的最小數(shù)目的副本。當Namenode檢測確認某個DatanodeDatanode〔這個參數(shù)可配置〕Namenode將退出SafeModeblockDatanode。五、文件系統(tǒng)元數(shù)據(jù)的長久化NamenodeHDFSNamenode個稱為EditlogHDFSNamenodeEditlogreplication因子也將往EditlogNamenode在本地OS的文件系統(tǒng)中存儲這個Editlognamespace，blockFsImageNamenodeNamenode在內(nèi)存中保存著整個文件系統(tǒng)namespace和文件Blockmap數(shù)據(jù)設計得很緊湊，一般為200Bytes4G內(nèi)存的Namenode支撐海量的文件和名目。當NamenodeEditlogFsImage，將全部Editlog〔apply)在內(nèi)存中的FsImage，并將這個版本的FsImageflush到硬盤上,然后再truncate這個舊的EditlogEditlog已經(jīng)作用在FsImage上了。這個過程稱為checkpoint。在當前實現(xiàn)中，checkpoint只發(fā)生Namenodecheckpoint。Datanode并不知道關于文件的任何東西，除了將文件中的數(shù)據(jù)保存在本地的文件系統(tǒng)上。它把每個HDFSDatanode法高效地在單一名目中支持大量的文件。當一個Datanode啟動時，它掃描本地文件系統(tǒng)，對這些本地文件產(chǎn)生相應的一個全部HDFS數(shù)據(jù)塊的列表，然后發(fā)送報告到Namenode，這個報告就是Blockreport。六、通訊協(xié)議全部的HDFSTCP/IPNamenodeClientProtocolNamenodeDatanode是使用DatanodeProtocolNamenode交互。從ClientProtocol和Datanodeprotocol(RPC〕，在設計上，Namenode不會主動發(fā)起RPC，而是是響應來自客戶端和Datanode的RPC七、強健性HDFS的主要目標就是實現(xiàn)在失敗狀況下的數(shù)據(jù)存儲牢靠性。常見的三種失敗：Namenodefailures,Datanodefailures〔networkpartitions)。1、硬盤數(shù)據(jù)錯誤、心跳檢測和重復制每個Datanode節(jié)點都向Namenode周期性地發(fā)送心跳包DatanodeNamenode失去聯(lián)系。NamenodeDatanode標記為dead，不會將的IO懇求發(fā)給它們。存放在deadDatanode效。Datanode的死亡可能引起一些blockNamenode要復制的block，在任何需要的狀況下啟動復制。在以下狀況可能需要重復制：某個DatanodeDatanodereplication因子增大。2、集群均衡HDFS支持數(shù)據(jù)的均衡打算，假設某個Datanode節(jié)點上的空閑空間低于特定的臨界點，那么就會啟動一個打算自動地將數(shù)據(jù)從一個Datanode搬移到空閑的Datanode的要求。這些均衡打算目前還沒有實現(xiàn)。3、數(shù)據(jù)完整性從某個DatanodeDatanode錯誤、網(wǎng)絡錯誤或者軟件bugHDFS客戶端軟件實現(xiàn)了HDFS某個客戶端創(chuàng)立一個的HDFS文件，會計算這個文件每個block的校驗和，并作為一個單獨的隱蔽文件保存這些校驗和在同一個HDFSnamespace確認從Datanode獵取的數(shù)據(jù)跟相應的校驗和文件中的校驗和是否匹配，假設不匹配，客戶端可以選擇從其他Datanodeblock4、元數(shù)據(jù)磁盤錯誤FsImage和EditlogHDFSHDFSNamenodeFsImage和EditlogFsImage或者EditlogNamenode能支持處理的namespace事務。這個代價是可以承受的，由于HDFS是數(shù)據(jù)密集的，而非元數(shù)據(jù)密集。當NamenodeFsImageEditlogNamenodeHDFS是單點存在，假設Namenode前，在另一臺機器上重啟因故障而停頓效勞的Namenode八、數(shù)據(jù)組織1、數(shù)據(jù)塊兼容HDFS的應用都是處理大數(shù)據(jù)集合的。這些應用都是寫數(shù)據(jù)一次，讀卻是一次到屢次，并且讀的速度要滿足流式讀。HDFS支持文件的write-once，read-many。一個典型的block64MB64M切分成chunk，每個chunk存儲于不同的Datanode上。2、數(shù)據(jù)產(chǎn)生步驟某個客戶端創(chuàng)立文件的懇求其實并沒有馬上發(fā)給Namenode，事實上，HDFS客戶端會將文件件累積的數(shù)據(jù)超過一個block〔默認64M)，客戶端才會聯(lián)系Namenode。Namenode將文件名插入文件系統(tǒng)的層次構造中，并且安排一個數(shù)據(jù)塊給它，然后返回Datanode