云計(jì)算與大數(shù)據(jù)技術(shù)課后習(xí)題(共7頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上第一章 云計(jì)算與大數(shù)據(jù)基礎(chǔ)1.在信息產(chǎn)業(yè)的發(fā)展歷程中。硬件驅(qū)動力，網(wǎng)絡(luò)驅(qū)動力，作為兩個重要的內(nèi)在動力在不同的時期起著重要的作用25西摩 克雷超級計(jì)算機(jī)之父約翰 麥克錫云計(jì)算之父蒂姆 伯納斯 李萬維網(wǎng)發(fā)明人 第一個網(wǎng)頁開發(fā)者吉姆 格雷大數(shù)據(jù)之父6 MapReduce思想來源LISP語言7.按照資源封裝層次，云計(jì)算分為 Iaas paas saas三種8. 教材P2 1.1.210. 教材P8 1.2.211. 教材P10 1.2.3第二章 云計(jì)算與大數(shù)據(jù)相關(guān)技術(shù)1.一致性hash算法原理：哈希算法是一種從稀疏值到緊密值范圍的映射方法，在存儲和計(jì)算定位時可以被看做是一種路

2、由算法。通過這種路與哦算法文件塊能被唯一的定位到一個節(jié)點(diǎn)的位置。傳統(tǒng)的hash算法容錯性和擴(kuò)展性都不好，無法有效的適應(yīng)面向數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)的動態(tài)變化。意思就是當(dāng)集群需要增加節(jié)點(diǎn)，傳統(tǒng)的hash算法不容易檢測到新增加的節(jié)點(diǎn)，此為擴(kuò)展性不好，而一致性hash算法增加一個節(jié)點(diǎn)只會影響增加的這個節(jié)點(diǎn)到前一個節(jié)點(diǎn)之間的數(shù)據(jù)。容錯性就是如果不幸一個機(jī)器C宕機(jī)了,那么機(jī)器B和C之間的數(shù)據(jù)都會被D執(zhí)行，那么受影響的數(shù)據(jù)只是機(jī)器B和C之間的數(shù)據(jù)。當(dāng)然，容錯性和擴(kuò)展性對于節(jié)點(diǎn)數(shù)較多的集群是比較有意義的，對于節(jié)點(diǎn)較少的集群似乎這兩個特性并沒有什么誘惑力。一致性hash的實(shí)際目的就是解決節(jié)點(diǎn)頻繁變化時的任務(wù)分配問題，一致

3、性hash將整個hash值空間組織成一個虛擬圓環(huán)，我們這里假設(shè)某hash函數(shù)H值空間為0(232-1),即32位無符號整形。下面簡述一下一致性hash的原理：這是一致性hash的整個值空間0(232-1)下一步將各個服務(wù)器使用Hash進(jìn)行一個哈希，具體可以選擇服務(wù)器的ip或主機(jī)名作為關(guān)鍵字進(jìn)行哈希，這樣每臺機(jī)器就能確定其在哈希環(huán)上的位置，假設(shè)使用四臺機(jī)器進(jìn)行hash：將數(shù)據(jù)key使用相同的函數(shù)Hash計(jì)算出哈希值，并確定此數(shù)據(jù)在環(huán)上的位置，從此位置沿環(huán)順時針“行走”，第一臺遇到的服務(wù)器就是其應(yīng)該定位到的服務(wù)器。例如我們有Object A、Object B、Object C、Object D四個

4、數(shù)據(jù)對象，經(jīng)過哈希計(jì)算后，在環(huán)空間上的位置如下：根據(jù)一致性哈希算法，數(shù)據(jù)A會被定為到Node A上，B被定為到Node B上，C被定為到Node C上，D被定為到Node D上下面我們看看當(dāng)集群機(jī)器比較少的情況例如系統(tǒng)中只有兩臺服務(wù)器，其環(huán)分布如下，此時必然造成大量數(shù)據(jù)集中到Node A上，而只有極少量會定位到Node B上。為了解決這種數(shù)據(jù)傾斜問題，一致性哈希算法引入了虛擬節(jié)點(diǎn)機(jī)制，即對每一個服務(wù)節(jié)點(diǎn)計(jì)算多個哈希，每個計(jì)算結(jié)果位置都放置一個此服務(wù)節(jié)點(diǎn)，稱為虛擬節(jié)點(diǎn)。具體做法可以在服務(wù)器ip或主機(jī)名的后面增加編號來實(shí)現(xiàn)。例如上面的情況，可以為每臺服務(wù)器計(jì)算三個虛擬節(jié)點(diǎn)，于是可以分別計(jì)算 “No

5、de A#1”、“Node A#2”、“Node A#3”、“Node B#1”、“Node B#2”、“Node B#3”的哈希值，于是形成六個虛擬節(jié)點(diǎn)：同時數(shù)據(jù)定位算法不變，只是多了一步虛擬節(jié)點(diǎn)到實(shí)際節(jié)點(diǎn)的映射，例如定位到“Node A#1”、“Node A#2”、“Node A#3”三個虛擬節(jié)點(diǎn)的數(shù)據(jù)均定位到Node A上。這樣就解決了服務(wù)節(jié)點(diǎn)少時數(shù)據(jù)傾斜的問題。在實(shí)際應(yīng)用中，通常將虛擬節(jié)點(diǎn)數(shù)設(shè)置為32甚至更大，因此即使很少的服務(wù)節(jié)點(diǎn)也能做到相對均勻的數(shù)據(jù)分布。2.科學(xué)研究的四個范式：觀測實(shí)驗(yàn)、理論、計(jì)算仿真、數(shù)據(jù)3.物聯(lián)網(wǎng)產(chǎn)業(yè)鏈分為：標(biāo)識，感知，處理，信息傳送4.非關(guān)系型數(shù)據(jù)庫分為：(

6、1) Column-Oriented面向檢索的列式存儲，其存儲結(jié)構(gòu)為列式結(jié)構(gòu) 如：Google的big table，apache的hbase(2) Key-Value面向高性能的并發(fā)讀/寫的緩存存儲，結(jié)構(gòu)類似于Hash表(hash算法真的要好好學(xué)，用的地方太多了，性能的確也是最高的)，每個key分別對應(yīng)一個value，這種數(shù)據(jù)庫適合用來作為緩存系統(tǒng)使用，比如：MemcacheDB，Berkeley DB，redis，flare(3) Document-Oriented面向海量數(shù)據(jù)訪問的文檔存儲，這類存儲類似key-value形式，只是value主要以JSON或者XML等格式進(jìn)行存儲，比如:mo

7、ngoDB,CouchDB第三章 虛擬化技術(shù)1.Popek和Goldberg 指出：虛擬機(jī)具有 同一性，高效性，可控性2.虛擬化技術(shù)從計(jì)算機(jī)體系結(jié)構(gòu)層次上可分為以下5類： 指令集架構(gòu)級虛擬化，硬件抽象層虛擬化，操作系統(tǒng)層虛擬化，編程語言上的虛擬化，庫函數(shù)虛擬化3.常用的虛擬化軟件系統(tǒng)有 VirtualBox ，VMware Workstation ，KVM4.系統(tǒng)虛擬化具有 硬件無關(guān)性，隔離性，多實(shí)例，特權(quán)功能等優(yōu)點(diǎn)。5.系統(tǒng)虛擬化可分為 服務(wù)器虛擬化 桌面虛擬化 網(wǎng)絡(luò)虛擬化6.服務(wù)器虛擬化按照虛擬化的部分可分為 CPU虛擬化，內(nèi)存虛擬化，I/O虛擬化7.什么是廣義虛擬化技術(shù)：答：虛擬化技術(shù)是

8、一種邏輯簡化技術(shù)，實(shí)現(xiàn)物理層向邏輯層的變化，對物理層運(yùn)動復(fù)雜性的屏蔽，是系統(tǒng)對外運(yùn)動呈現(xiàn)出簡單的邏輯運(yùn)行狀態(tài)8虛擬化技術(shù)有哪些優(yōu)勢劣勢？優(yōu)勢：1.虛擬化技術(shù)可提高資源利用率2.提供相互隔離，高效的應(yīng)用執(zhí)行環(huán)境3.虛擬化可以簡化資源和資源管理4.虛擬化實(shí)現(xiàn)軟件和硬件的分離劣勢 1.可能會使物理計(jì)算機(jī)負(fù)載過重2.升級和維護(hù)引起的安全問題3.物理計(jì)算機(jī)的影響第四章 集群系統(tǒng)基礎(chǔ)1.云計(jì)算領(lǐng)域存在兩個主要技術(shù)路線，一個是基于集群技術(shù)的云計(jì)算資源整合技術(shù)，一個是基于虛擬機(jī)的云計(jì)算資源切分技術(shù)2.集群的設(shè)計(jì)要考慮5個關(guān)鍵的問題是 可用性 單一系統(tǒng)映像 作業(yè)管理 并行文件系統(tǒng) 高效通信3.傳統(tǒng)的集群系統(tǒng)可以

9、分為 高可用性 系統(tǒng)負(fù)載均衡 高性能 虛擬化 4類。4簡述Beowulf系統(tǒng)的主要特點(diǎn)答：1 Beowulf系統(tǒng)通常由一個管理節(jié)點(diǎn)和多個計(jì)算節(jié)點(diǎn)構(gòu)成2 Beowulf 系統(tǒng)通常用最常見的硬件設(shè)備組成3 Beowulf 系統(tǒng)同城采用哪些廉價(jià)且廣為傳播的軟件5 Lustre存儲系統(tǒng)的組成有 MDS， MDT， OSS， OST， Client6.簡述面向計(jì)算分布式系統(tǒng)，混合分布式系統(tǒng)，面向數(shù)據(jù)的分布式系統(tǒng)的實(shí)現(xiàn)機(jī)制，分析三種系統(tǒng)的區(qū)別.面向計(jì)算分布式系統(tǒng)： P59 4.6.1混合型分布式系統(tǒng)：P60 4.6.2面向數(shù)據(jù)的分布式系統(tǒng)：P61 4.6.3分析區(qū)別：P64 表4.2 3中分布式系統(tǒng)的對比

10、第五章 MPI-面向計(jì)算的高性能集群技術(shù)1，什么是MPIMPI（Message Passing Interface）消息傳遞接口。它本身不是一個具體的實(shí)現(xiàn)，而只是一種標(biāo)準(zhǔn)描述。2，MPI支持 FORTRAN77 、C 、Fortran90 、 C+ 等語言的調(diào)用，能滿足大多數(shù)科學(xué)計(jì)算的應(yīng)用需要。3，簡述MPICH并行環(huán)境建立的主要步驟。(1).配置好NFS服務(wù)，實(shí)現(xiàn)所有節(jié)點(diǎn)對主節(jié)點(diǎn)指定文件夾的共享，該文件夾為MPICH的安裝位置，數(shù)據(jù)和程序的存儲位置，這樣就可以避免在每個節(jié)點(diǎn)安裝MPICH，啟動計(jì)算時也可以避免每次向各個節(jié)點(diǎn)分發(fā)程序。(2).配置好各個節(jié)點(diǎn)間的互信，這一步就是實(shí)現(xiàn)集群內(nèi)部個節(jié)點(diǎn)

11、間無密碼訪問，因?yàn)镸PICH在計(jì)算時需要在各節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，集群內(nèi)的節(jié)點(diǎn)應(yīng)用相互信任的節(jié)點(diǎn)。(3).編譯安裝配置MPICH。4.動手配置MPI節(jié)點(diǎn)間的ssh無密碼訪問。(1)生成私鑰id_dsa和公鑰id_dsa.pub(2)將該密鑰用作認(rèn)證，進(jìn)行訪問授權(quán)。(3)將/.ssh目錄下的文件復(fù)制到所有節(jié)點(diǎn)。(4)檢查是否可以直接（不需要密碼）登錄其他節(jié)點(diǎn)。5，簡述基于蒙特卡羅思想求值的編程方法，并編寫用MPI程序。蒙特卡羅方法，又稱為隨機(jī)抽樣或統(tǒng)計(jì)試驗(yàn)方法。代碼在 Page 83 -84第六章 Hadoop-分布式大數(shù)據(jù)系統(tǒng)1.谷歌三寶：mapreduce，bigtable，gfs2.gfs的工

12、作過程: p933.HDFS分塊策略: p95第七章 HPCC-面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng)1，簡述HPCC的主要特點(diǎn)。（1） 強(qiáng)大靈活的ECL語言，顯著提升了程序員編程的效率。（2） HPCC系統(tǒng)提供的Roxie集群提供了高效的在線查詢和分析服務(wù)。（3） ECL程序首先編譯為優(yōu)化的C+，高速性能得到保證。（4） 高效的錯誤恢復(fù)和冗余備份機(jī)制。（5） 穩(wěn)定和可靠的系統(tǒng)。（6） 相對于其他平臺，在較低的系統(tǒng)消耗上實(shí)現(xiàn)了更高的性能。2，高性能計(jì)算目前可以分為兩類:一類是面向 計(jì)算 的高性能計(jì)算，另一類是面向 數(shù)據(jù) 的高性能計(jì)算。3，數(shù)據(jù)密集型集群計(jì)算系統(tǒng)主要有 Hadoop HPCC Storm Apache Drill Rapid Miner Pentaho4,HPCC系統(tǒng)從總體物理上可以看作在同一個集群上部署了 Thor(數(shù)據(jù)加工處理平臺) 、 Roxie(數(shù)據(jù)查詢、分析和數(shù)據(jù)倉庫) 兩套集群計(jì)算系統(tǒng)。5，HPCC的系統(tǒng)服務(wù)器包含 ECL服務(wù)器 、 Dali服務(wù)器 、 Sasha服務(wù)器 、 DFU服務(wù)器 、 ESP服務(wù)器 6，簡述HPCC平臺數(shù)據(jù)檢索任務(wù)的執(zhí)行過程。(1) 加載原始數(shù)據(jù)(2) 切分、分發(fā)待處理的數(shù)據(jù)(3) 分發(fā)后原始數(shù)據(jù)的ETL處理(4) 向Roxie集群發(fā)布Page 117-1187，熟悉HPCC網(wǎng)頁化管理界面ECLWatch。Page 12