虛擬化與云計算實驗報告

虛擬化與云計算實驗報告目錄一、實驗?zāi)康?一、實驗?zāi)康膶嶒炓?1.掌握在Linux上配置iSCSItarget服務(wù)的方法。2.掌握在不同的操作系統(tǒng)平臺上使用iSCSIinitiator的方法。實驗三：1.掌握在集群上（使用虛擬機(jī)模擬）安裝部署Hadoop-HDFS的方法。2.掌握在HDFS運行MapReduce任務(wù)的方法3.理解MapReduce編程模型的原理，初步使用MapReduce模型編程。二、實驗內(nèi)容實驗一:配置和使用SAN存儲，設(shè)置連接IPSAN設(shè)備；實驗三:安裝、部署、使用Hadoop-HDFS和配置運行MapReduce程序，使用MapReduce編程。三、實驗原理實驗一:SAN(StorageAreaNetwork，存儲局域網(wǎng)絡(luò))的誕生，使存儲空間得到更加充分的利用以及管理更加有效。SAN是一種將存儲設(shè)備、連接設(shè)備和接口集成在一個高速網(wǎng)絡(luò)中的技術(shù)。SAN本身就是一個存儲網(wǎng)絡(luò)，承擔(dān)了數(shù)據(jù)存儲任務(wù)，SAN網(wǎng)絡(luò)與LAN業(yè)務(wù)網(wǎng)絡(luò)相隔離，存儲數(shù)據(jù)流不會占用業(yè)務(wù)網(wǎng)絡(luò)帶寬。在SAN網(wǎng)絡(luò)中，所有的數(shù)據(jù)傳輸在高速、高帶寬的網(wǎng)絡(luò)中進(jìn)行，SAN存儲實現(xiàn)的是直接對物理硬件的塊級存儲訪問，提高了存儲的性能和升級能力。早期的SAN采用的是光纖通道(FC，F(xiàn)iberChannel)技術(shù)，所以，以前的SAN多指采用光纖通道的存儲局域網(wǎng)絡(luò)，到了iSCSI協(xié)議出現(xiàn)以后，為了區(qū)分，業(yè)界就把SAN分為FCSAN和IPSAN。iSCSI(互聯(lián)網(wǎng)小型計算機(jī)系統(tǒng)接口)是一種在TCP/IP上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由Cisco和IBM兩家發(fā)起的，并且得到了各大存儲廠商的大力支持。iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行快速的數(shù)據(jù)存取備份操作。iSCSI標(biāo)準(zhǔn)在2003年2月11日由IETF(互聯(lián)網(wǎng)工程任務(wù)組)認(rèn)證通過。iSCSI繼承了兩大傳統(tǒng)技術(shù)：SCSI和TCP/IP協(xié)議。這為iSCSI的發(fā)展奠定了堅實的基礎(chǔ)?；趇SCSI在實際工作時，是將SCSI命令和數(shù)據(jù)封裝到TCP/IP包中，然后通過IP網(wǎng)絡(luò)進(jìn)行傳輸，具體的工作流程如下：iSCSI系統(tǒng)由SCSI適配器發(fā)送一個SCSI命令；命令封裝到TCP/IP包中并送入到以太網(wǎng)絡(luò)；接收方從TCP/IP包中抽取SCSI命令并執(zhí)行相關(guān)操作；把返回的SCSI命令和數(shù)據(jù)封裝到TCP/IP包中，將它們發(fā)回到發(fā)送方；系統(tǒng)提取出數(shù)據(jù)或命令，并把它們傳回SCSI子系統(tǒng)。實驗三:1.HDFS指的是Hadoop分布式文件系統(tǒng)，是根據(jù)Google的GFS的論文，由DougCutting使用Java開發(fā)的開源項目。HDFS本身是Hadoop項目的一部分，為Hadoop提供了底層的數(shù)據(jù)存儲，以供上層的各種實際應(yīng)用使用（如Map/Reduce）。HDFS是典型的Master/Slave集群架構(gòu)，由一個NameNode和多個DataNode組成，NameNode只能是一個，扮演著Master的角色，負(fù)責(zé)對具體存儲塊的元數(shù)據(jù)進(jìn)行保存，如某個存儲塊具體保存在哪個DataNode上；DataNode可以為多個，扮演著Slave的角色，負(fù)責(zé)對具體的存儲塊進(jìn)行保存，一個相同的存儲塊根據(jù)配置可以保存到多個DataNode上，以保持?jǐn)?shù)據(jù)的高可用性?？蛻舳伺cHDFS交互時，典型的，會先詢問NameNode具體的存儲塊在哪個DataNode上，然后客戶端會直接聯(lián)系相應(yīng)的DataNode，來獲取或?qū)懭霐?shù)據(jù)。各個DataNode會定時發(fā)送心跳至NameNode，以便NameNode了解DataNode的可用狀態(tài)及存儲狀態(tài)，這樣可以保證某一個DataNode掛掉，NameNode可以做相應(yīng)處理，以保證數(shù)據(jù)的高可用性。HDFS的目標(biāo)就是使用大量的廉價PC機(jī)，來維護(hù)海量的大數(shù)據(jù)塊，并且保證數(shù)據(jù)的高可用性，并且HDFS集群會隨著更多PC機(jī)的加入，而提高數(shù)據(jù)的存儲量（當(dāng)然這與具體環(huán)境的硬盤相關(guān)）與吞吐量（當(dāng)然這與具體環(huán)境的網(wǎng)卡帶寬相關(guān)），單個Hadoop集群一般最大可達(dá)2000個節(jié)點。2.MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統(tǒng)上。當(dāng)前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。四、實驗步驟及實驗結(jié)果實驗一：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）安裝iSCSIinitiator軟件實驗方式：兩人一組，我在小組中擔(dān)任客戶端角色。實驗詳細(xì)步驟見實驗一手冊，下面為實驗關(guān)鍵結(jié)果截圖和實驗中的新發(fā)現(xiàn)：1.登錄到iSCSItarget上2.檢查硬盤情況，此時應(yīng)該增加了一塊新的硬盤:fdisk–l（結(jié)果）預(yù)期實驗結(jié)果和實際結(jié)果相同，增加了一塊新的硬盤,只是中間在連接時出現(xiàn)了問題，后通過修改節(jié)點信息解決了問題，把之前的絕對路徑改為簡單的字符串，即圖中的my。實驗三：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）JDK、Openssh-Cilent、Openssh-server、Hadoop、eclipse和hadooppluginforeclipse實驗方式：兩人一組,部署多機(jī)Hadoop-HDFS,并且兩人之間變換Master、Slaver角色。實驗詳細(xì)步驟見實驗三手冊，下面為實驗關(guān)鍵結(jié)果截圖和實驗中的新發(fā)現(xiàn)：1.配置SSH之后發(fā)現(xiàn)無法互聯(lián)，通過查詢從網(wǎng)上搜到一些相關(guān)的文檔，操作如下：不僅解決了成員互聯(lián)問題，而且可以設(shè)置驗證碼，完善了功能。2.安裝部署單機(jī)偽分布式模式Hadoop-HDFS格式化HDFS并啟動Hadoop，啟動后可使用命令jps查看已啟動進(jìn)程jps結(jié)果如下圖所示3.在單機(jī)偽分布模式下運行wordcount例子（結(jié)果1）將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看4.安裝部署多機(jī)Hadoop-HDFS（2-3人為一組，每人需要變換Master、Slaver角色，假設(shè)2臺機(jī)器組成集群，Master節(jié)點為namenode，Slaver節(jié)點為datanode）首先簡要地介紹集群環(huán)境集群環(huán)境中有兩個結(jié)點，其中1個namenode相當(dāng)于Master，1個datanode相當(dāng)于Slaver，它們之間分布在局域網(wǎng)中，相互之間可以ping通。具體的IP地址為：namenode：5datanode：30實驗開始我是作為datanode，之后互換角色為namenode，為了節(jié)省篇幅，下面將兩次的配置歸并在一起，既包括namenode的配置也包括datanode的配置。配置jobtrackermasters文件配置：30（加入namenode的IP地址）slaves文件配置：5（加入datanode的IP地址）在多機(jī)模式下運行wordcount例子，結(jié)果和單機(jī)偽并行一樣，可參照單機(jī)的結(jié)果。5.安裝eclipse和hadooppluginforeclipse建立wordcount工程，編譯示例程序wordcount.java，打包相關(guān)class文件，在Hadoop分布式環(huán)境下（偽分布模式或者多機(jī)模式均可）運行自己打包的wordcount，結(jié)果如下（結(jié)果2）：編寫的MapReduce程序執(zhí)行結(jié)果如下（結(jié)果3）：選取頁面介紹頁面1(來自實驗一)：實現(xiàn)了客戶端和服務(wù)端共享存儲。頁面2（來自實驗三）：Master(namenode)和Slaver(datanode)在建立連接之后，Master向Slaver復(fù)制數(shù)據(jù)。頁面3（來自實驗三）：在namenode中執(zhí)行jps，分別列出JobTracker、Jps、SecondaryNamenode和Namenode的對應(yīng)進(jìn)程號；在datanode中執(zhí)行jps，分別列出Datanode、Jps和TaskTracker的進(jìn)程號。頁面4（來自實驗三）：運行Hadoop自帶的wordcount例子實驗一預(yù)期花費時間3h，實際花費時間5h實驗三預(yù)期花費時間6h，實際花費時間12h五、實驗遇到的問題及其解決方法實驗一：客戶端在連接iSCSItarget時失敗，之后服務(wù)端通過修改/etc/iet/ietd.conf文件中節(jié)點的信息，把之前的絕對路徑改為簡單的字符串就解決了問題。實驗三：1.在部署單機(jī)偽分布式模式Hadoop-HDFS時，通過JPS指令未發(fā)現(xiàn)DataNode，通過上網(wǎng)查詢資料了解到，原因是由于進(jìn)行操作時使用的是Root身份，系統(tǒng)默認(rèn)會加上-jvm指令導(dǎo)致錯誤，可以通過切換至普通用戶或修改/bin/hadoop文件來解決問題。2.小組兩人無法通過SSH無密碼方式訪問對方，通過查詢上網(wǎng)查閱資料，發(fā)現(xiàn)對密鑰的指令認(rèn)識不夠全面，學(xué)習(xí)了一些新的指令操作，在解決問題之外還學(xué)會了設(shè)置用戶驗證的方法，增強(qiáng)了訪問的安全性。3.我和同學(xué)經(jīng)過很多方法之后始終無法部署多機(jī)Hadoop-HDFS，后來發(fā)現(xiàn)原因是在之前的操作中，我們是通過新建一個共同的用戶名來保證所有參與集群的機(jī)器有相同的用戶名，但是實際上我們應(yīng)該在安裝Ubuntu時設(shè)置同一用戶名，這樣所有的集群部署問題就迎刃而解了。4.在設(shè)計mapreduce程序時，遇到無法將key值按從大到小輸出以及無法將key和value交換位置輸出的問題，后來是通過InverseMapper.class可以交換key和value,并修改IntWritable.Comparator使得可以按從大到小輸出<key，value>對。六、實驗結(jié)論實驗感想：實驗一相對而言步驟比較簡單，但是通過進(jìn)行實驗一的操作，復(fù)習(xí)了linux的常用指令，為進(jìn)行實驗三打下了基礎(chǔ)。實驗三的步驟比較復(fù)雜，實現(xiàn)的模塊和功能也比較多，因此在操作中遇到了很多問題。由于對于實驗內(nèi)容大家都不是特別了解，所以解決問題的方式主要是通過上網(wǎng)查閱資料。但是在嘗試不同解決方案后，導(dǎo)致系統(tǒng)出現(xiàn)混亂，使得已經(jīng)完成的結(jié)果也無法顯示，最后不得不重