云計(jì)算實(shí)驗(yàn)報(bào)告

云計(jì)算原理課程

期末實(shí)踐報(bào)告題目：Linux集群、MapReduce和CloudSim實(shí)踐成績(jī)：學(xué)號(hào)：姓名： 羅滔登錄郵箱：任課老師： 許娟2016年11月12日目錄實(shí)驗(yàn)一：AWS身份與訪問(wèn)管理(P2~P11)實(shí)驗(yàn)二：Hadoop實(shí)驗(yàn)報(bào)告(P21)實(shí)驗(yàn)二：AmazonRelationalDatabaseService實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P11~P20)AWS管理控制臺(tái)

使用qwikLABS登錄AWS管理控制臺(tái)6?在AWS管理控制臺(tái)中，單擊【服務(wù)/Services】，然后單擊【IAM或身份與訪問(wèn)管理/IAMorIdentity&AccessManagement】。7?在IAM控制臺(tái)的左側(cè)面板中，單擊【用戶(hù)/Users】。8?找到“userone”，然后單擊其名稱(chēng)以顯示有關(guān)該用戶(hù)的詳細(xì)信息。在用戶(hù)詳細(xì)信息中，找到有關(guān)該用戶(hù)的以下三方面的信息：已向該用戶(hù)分配了一個(gè)密碼該用戶(hù)不屬于任何組目前沒(méi)有任何策略與該用戶(hù)關(guān)聯(lián)（“附加到”該用戶(hù)）

9?現(xiàn)在，單擊左側(cè)導(dǎo)航窗格中的【組/Groups】。本實(shí)驗(yàn)的CloudFormation模板還創(chuàng)建了三個(gè)組。在IAM控制臺(tái)中的【用戶(hù)/Users】?jī)x表板中可以看到,自動(dòng)化CloudFormation腳本在創(chuàng)建這些組時(shí)為其提供了唯一的名稱(chēng)。這些唯一名稱(chēng)包含以下字符串:EC2support”EC2admin”S3admin”完整組名的格式如下所示:EC2support--GA9LGREA7X4S從現(xiàn)在開(kāi)始，我們?cè)诒緦?shí)驗(yàn)中將使用上面這些簡(jiǎn)寫(xiě)名稱(chēng)來(lái)指代這些組。您可以在【組/Groups】?jī)x表板中搜索子字符串，以便為后續(xù)實(shí)驗(yàn)操作確定正確的組。單擊“EC2support”對(duì)應(yīng)的組名。其格式應(yīng)與上面的類(lèi)似。向下滾動(dòng)至組詳細(xì)信息頁(yè)面中的【權(quán)限/Permissions】部分后，在【內(nèi)聯(lián)策略/InlinePolicies】部分,可以看到一個(gè)名稱(chēng)為“EC2supportpolicy”的策略與該組關(guān)聯(lián)。在策略中，您可以規(guī)定將允許或拒絕對(duì)特定AWS資源執(zhí)行哪些操作。您可以使用自定義策略，或通過(guò)

選擇AWS托管策略來(lái)使用一組預(yù)定義的權(quán)限。雖然我們不會(huì)更改此策略，但請(qǐng)單擊【編輯策略/EditPolicy】，使其顯示在一個(gè)窗口中，以便您進(jìn)行查看和滾動(dòng)。請(qǐng)留意IAM策略中語(yǔ)句的基本結(jié)構(gòu)?！癆ction”部分指定了該服務(wù)內(nèi)的AWS服務(wù)和功能。“Resource”部分定義了該策略規(guī)則所涵蓋的實(shí)體范圍，而“Effect”部分則定義了所需結(jié)果。更多有關(guān)定義IAM策略的信息，請(qǐng)?jiān)L問(wèn)“AWSIdentityandAccessManagement：權(quán)限和策略”文檔頁(yè)面。單擊另外兩個(gè)組(“EC2admin”和“S3admin”)，查看附加到這兩個(gè)組的策略。您現(xiàn)在能否識(shí)別出附加到這些組的策略所允許的權(quán)限？■W.siuir1■W.siuir1"Action"；r,R?sourtfl":"arn:;ws-^n:&c2:+:*:ins±m(xù)「c?/*?,"Effect";"Allan?"A-ction"! "clas七itlondb丄'嚏gu心叫“憶HEffect":18.完成后，再次單擊左側(cè)面板中的【組/Groups】。各組的【用戶(hù)/Users】列中應(yīng)顯示“1”，表示各組中的用戶(hù)數(shù)。設(shè)置自定義密碼替換和設(shè)置自定義密碼22.為“userone”設(shè)置一個(gè)密碼，然后在臨時(shí)的記事本文件中記下該密碼。24.重復(fù)上述步驟，為usertwouserthree設(shè)置密碼24.重復(fù)上述步驟，為usertwouserthree設(shè)置密碼創(chuàng)逢新用戶(hù)q篩選條件awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0root-qwkl我們?cè)谔幚砟恼?qǐng)求時(shí)遇到以下錯(cuò)誤:我們?cè)谔幚砟恼?qǐng)求時(shí)遇到以下錯(cuò)誤:XUser:arn:aws-cn:iam::5833-52026625:user/awsstudentisnotauthorizedtopelUser:arn:aws-cn:iam::5S33-5^026625:user/awsstudentisnotauthorizedtopeiU3er:arn:aws-cn:13171：:5833-5^026625^3&^3^3studentisnotauthorizedtopeiUser:arn:aw3-cn:iam::5S33-5^026625:userj'awsstudentisnotauthorizedtopeiU^er:arn:aws-cn:iam::5833-5i026625:user/awsstudentisnotauthorizedtopei測(cè)試對(duì)S3的訪問(wèn)權(quán)限您在本實(shí)驗(yàn)中使用的“awsstudent”用戶(hù)所擁有的權(quán)限寥寥無(wú)幾，例如，您可以訪問(wèn)S3儀表板，但無(wú)法查看其中的存儲(chǔ)桶。立即對(duì)此進(jìn)行測(cè)試：在主AWS控制臺(tái)上，單擊【服務(wù)/Services】，然后單擊【S3】。您應(yīng)該會(huì)看到三個(gè)存儲(chǔ)桶。嘗試單擊存儲(chǔ)桶以查看其內(nèi)容-您將無(wú)法查看其內(nèi)容。在主IAM儀表板上，在【歡迎使用身份識(shí)別和訪問(wèn)管理/WelcometoIdentityandAccessManagement】下方，您將看到IAM用戶(hù)登錄鏈接。復(fù)制此URL,然后將其粘貼到臨時(shí)記事本文件中。30.現(xiàn)在，您的記事本文件中應(yīng)包含登錄URL、完整的“userthree”登錄名和密碼。在新的瀏覽器中，使用這些信息以“userthree”的身份登錄。31?您應(yīng)該會(huì)看到標(biāo)準(zhǔn)的AWS控制臺(tái)。但是，在右上角，您的用戶(hù)名不再是“awsstudent”，而是

口ls-31277-ec570ddlaD2556c...*口ls-31277-ec570ddlaD2556c...*支持”qls-31Z77-3c57Odd1aOZ556c3-□5erthree-7ANZJXGPHUUE@58335入門(mén)M請(qǐng)參閱我們的文檔或查看我們的培訓(xùn)，以了解更多有關(guān)AWS的信息＜■"userthree”。32?現(xiàn)在，訪問(wèn)S3服務(wù)儀表板。您可以看到之前的三個(gè)存儲(chǔ)桶，但現(xiàn)在，作為“S3admin”組的一部分，您可以查看這些存儲(chǔ)桶、復(fù)制文件、創(chuàng)建新的存儲(chǔ)桶和文件等。實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P12~P21)實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P12~P21)登錄AWS管理控制臺(tái)登錄之后，返回qwikLAB??網(wǎng)創(chuàng)建RelationalDatabaseService(RDS)實(shí)例要開(kāi)始創(chuàng)建第？一個(gè)AmazonRDS實(shí)例，您需要訪問(wèn)Amazon管理控制臺(tái)上的AmazonRDS圖標(biāo)，然后使？RelationalDatabaseService向?qū)?。單?首頁(yè)上的AmazonRDS圖標(biāo)并轉(zhuǎn)到該控制?面板。單擊“LaunchaDatabaselnstance/啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例”按鈕來(lái)啟動(dòng)RDS向?qū)?。單擊MySQL數(shù)據(jù)庫(kù)引擎類(lèi)型對(duì)?面的“Select/選擇”按鈕?？吹皆摂?shù)據(jù)庫(kù)是否？用于？生產(chǎn)？目的的詢(xún)問(wèn)時(shí)，選擇“開(kāi)發(fā)測(cè)試”單選按鈕，然后單擊“NextStep/下？一步”。

您是否計(jì)劃將此數(shù)據(jù)庫(kù)用于生產(chǎn)目的？歩菠1:認(rèn)諄可卑歩疆2：Tr您是否計(jì)劃將此數(shù)據(jù)庫(kù)用于生產(chǎn)目的？歩菠1:認(rèn)諄可卑歩疆2：Tr?歩驥2攔H掃據(jù)FTi干訓(xùn)話(huà)邑步慮4：沖MySQL創(chuàng)建此買(mǎi)例時(shí)，特參可用國(guó)制署和預(yù)貿(mào)OPS存儲(chǔ)用作獣訕-MySQL此女倒特右用0r RDSTf11-在接下來(lái)的“DBInstanceDetails/指定數(shù)據(jù)庫(kù)詳細(xì)信息"屏幕上，按以下內(nèi)容進(jìn)?行設(shè)置:/數(shù)據(jù)庫(kù)實(shí)例類(lèi)/多可?用區(qū)部署/分配的存儲(chǔ)空間:5/數(shù)據(jù)庫(kù)實(shí)例標(biāo)識(shí)符:RDSLab:/主?用戶(hù)名AWSMaster/主密碼:AWS1234512.單擊“NextStep/下？一步"。13?在接下來(lái)的“AdditionalConfig/配置？高級(jí)設(shè)置”屏幕上，按以下內(nèi)容進(jìn)？行設(shè)置：/數(shù)據(jù)庫(kù)名稱(chēng):RDSLab/公開(kāi)訪問(wèn):否/VPC安全組：選擇包含?文本“qlstack”的安全組14.在備份中，選擇備份保留期為0天。15.單擊“LaunchDBInstance/啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例”。從亞馬遜系統(tǒng)映像(AMI)創(chuàng)建AmazonLinux實(shí)例要開(kāi)始創(chuàng)建第？一個(gè)Amazon實(shí)例，您需要訪問(wèn)Amazon管理控制臺(tái)上的AmazonEC2圖標(biāo)，然后使?用向?qū)А?6?返回AWS管理控制臺(tái)(它在瀏覽器中仍是打開(kāi)的)。單擊AWS管理控制臺(tái)?首頁(yè)上的EC2圖標(biāo)。單擊“Instances/實(shí)例"鏈接來(lái)創(chuàng)建實(shí)例。單擊“LaunchInstance/啟動(dòng)實(shí)例”按鈕來(lái)開(kāi)始該過(guò)程。20?在第?一個(gè)對(duì)話(huà)窗?.口中，步驟1：選擇?一個(gè)Amazon系統(tǒng)映像，然后單擊該AMI旁邊的“Select/選."來(lái)選擇AmazonLinuxAMI實(shí)例。注意：確認(rèn)是64位的映像。步驟2：使實(shí)例類(lèi)型保留默認(rèn)設(shè)置，即。要繼續(xù)，則單擊"Next:ConfigureInstanceDetails/下?一步：配置實(shí)例詳細(xì)信息”。步驟3：ConfigureInstanceDetails/配置實(shí)例詳細(xì)信息，我們將保留所有默認(rèn)選項(xiàng)，并單擊“Next:AddStorage/下？一步：添加存儲(chǔ)"。步驟4：AddStorage/添加存儲(chǔ)，保留默認(rèn)虛擬擬硬。單擊“Next:TagInstance/下？一步：標(biāo)簽實(shí)例”。注意：您可以在此輕松增加更多虛擬硬盤(pán)或更改硬盤(pán)?大?小。24?步驟5：TagInstance/標(biāo)?實(shí)例，使?標(biāo)簽實(shí)例界?面為實(shí)例命名。您將注意到左邊?文本框填充了標(biāo)簽的名字為Name，右邊.文本框?yàn)榭?。在?文，鍵?入名稱(chēng)，例如“EC2FreeLab”并單擊“Next:ConfigureSecurityGroup/下?一步：配置安全組。步驟6：ConfigureSecurityGroup/配置安全組，接受默認(rèn)安全組，因?yàn)樗试S通過(guò)端?？口22(SSH)從任意位置連接此Linux實(shí)例，單擊“ReviewandLaunch/審核和啟.步驟7：通過(guò)“ReviewInstanceLaunch/審核和啟.動(dòng)”，您可以獲取全部設(shè)置的概覽。。單擊“Launch/啟動(dòng)"以繼續(xù)。QwikLab?自動(dòng)?您？生成的密鑰?應(yīng).自動(dòng)填第?二個(gè)下拉框。單擊“acknowledgement/確認(rèn)”復(fù)選框，聲明?，F(xiàn)在，單.“LaunchInstance/啟.實(shí)例。單擊“ViewInstances/查看實(shí)例。40.將ec2—user@鍵?入HostName字段，然后將您復(fù)制到剪貼板板的連接字符串粘貼到42.單擊單詞“Auth”選擇“Au七『'類(lèi)（？而不是單詞“Auth”旁邊的+符號(hào)）。單擊“Browse”。瀏覽到您稍早在本實(shí)驗(yàn)中保存.ppk?文件的位置。選擇您下載的.ppk?文件。單擊“Open”。47.在PuTTY客戶(hù)端，單擊“Open”。48.出現(xiàn)提?示時(shí)，單擊“Yes”允許PuTTY緩存服務(wù)器的主機(jī)鍵。您已成功登錄了Linux主機(jī)！

I0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPI0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPSlhtriJGtfwnU^gFfliMTt□屜申TlSaQ^oCaidmjTilSSH-i]墾 *h155H-3i^hwtKtftanMnsn^irr?□ ajtini『叫3心叩口iMm*EflEtHchampsd事曰吟弋町SSm-2FM■小k即FfelirB.tvirfltwiPuTTVPnvrtE<eyFibs-C<ipwfHKO)曾D 3tg3『InHantCorTtikiJiJXE**T?2砂q^ldLAHS-LJtO^l^GG^ipk叭立肯1嗣KBgEEEtDlnEI55H4U>hcrt>3flll0riCthti Can?4回到RDS頁(yè)?面，選中并展開(kāi)之前創(chuàng)建的RDS實(shí)例。記錄下Endpoint/終端節(jié)點(diǎn)名字，？比如：回到LinuxEC2主機(jī)的終端，輸?入以下命令：$mysql-h<endpoint>--p-uAWSMaster在密碼的提?示符下輸?入AWS12345然后在mysql>提?示符下輸?入showdatabases;?并檢查結(jié)果。您現(xiàn)在已將MySQL客戶(hù)端連接到您新創(chuàng)建的RDS實(shí)例。恭喜您！Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告(P21-)1、 實(shí)驗(yàn)?zāi)康脑谔摂M機(jī)Ubuntu上安裝Hadoop單機(jī)模式和集群；編寫(xiě)一個(gè)用Hadoop處理數(shù)據(jù)的程序，在單機(jī)和集群上運(yùn)行程序。2、 實(shí)驗(yàn)環(huán)境虛擬機(jī)：VMware9操作系統(tǒng)：Hadoop和Jdk和EclipseHadoop集群：一臺(tái)namenode主機(jī)master,—臺(tái)datanode主機(jī)salve,3、 主要設(shè)計(jì)思路在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫(xiě)程序代碼。實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)計(jì)。本次實(shí)驗(yàn)是統(tǒng)計(jì)軟件代理系統(tǒng)操作人員處理的信息量，即每個(gè)操作人員出現(xiàn)的次數(shù)。4、算法設(shè)計(jì)該算法首先將輸入文件都包含進(jìn)來(lái)，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶(hù)名，并標(biāo)記它的數(shù)目為1，形成〈word,l〉的形式，然后交由reduce處理，reduce將相同key值（也就是word）的value值收集起來(lái)，形成〈word,listofl〉的形式，之后再將這些1值加起來(lái)，即為用戶(hù)名出現(xiàn)的個(gè)數(shù),最后將這個(gè)〈key,value〉對(duì)以TextOutputFormat的形式輸出到HDFS中。5、安裝實(shí)驗(yàn)環(huán)境安裝ubuntu操作系統(tǒng)1） 打開(kāi)VMware,在Hometab中單擊“CreateaNewVirtualMachine”，2） 選擇custom，選擇虛擬硬件版本，選擇ios文件，next,3） 錄入目標(biāo)操作系統(tǒng)信息,包括Fullname、Uername和Password，next，4） 選擇默認(rèn)的選項(xiàng)，一般不做更改，最后確認(rèn)信息，F(xiàn)inish,5） 安裝成功后，會(huì)看到如下畫(huà)面，安裝配置Samba安裝samba主要為了實(shí)現(xiàn)與windows操作系統(tǒng)的通訊，由于server版本的ubuntu沒(méi)有自帶圖形操作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。1） 安裝samba，輸入如下命令：2） 安裝vim3） 創(chuàng)建共享目錄，并修改權(quán)限4） 配置samba。修改samba的配置文件/etc/samba/，將security=share，并在文件的末尾追加如下內(nèi)容，5）測(cè)試。在windows實(shí)機(jī)中，通過(guò)ip訪問(wèn)ubuntu虛擬機(jī)，可以見(jiàn)到share文件夾安裝配置JDK首先，下載java開(kāi)發(fā)工具包JDK。在本次試驗(yàn)中，我們下載的版本是。解壓安裝到/usr/lib/jvm/目錄下，更名為java-7-sun。配置環(huán)境變量/etc/environment,使配置生效測(cè)試安裝配置結(jié)果在單節(jié)點(diǎn)（偽分布式）環(huán)境下運(yùn)行HADOOP1） 添加Hadoop用戶(hù)并賦予sudo權(quán)限2） 安裝配置SSH切換至hadoop用戶(hù)，配置密鑰，使得hadoop用戶(hù)能夠無(wú)須輸入密碼，通過(guò)SSH訪問(wèn)localhost,測(cè)試結(jié)果：3） 安裝配置Hadoop首先下載Hadoop,解壓縮到/opt/hadoop目錄下，更改目錄名稱(chēng)為hadoop。列舉。修改與hadoop相關(guān)的配置文件（在/opt/hadoop/conf目錄下），分別是,，，。在此不列舉。4） 運(yùn)行Hadoop首先格式化HDFS，啟動(dòng)單節(jié)點(diǎn)集群，通過(guò)jps查看，masterslave停止單節(jié)點(diǎn)集群，在多節(jié)點(diǎn)（分布式）環(huán)境下運(yùn)行HADOOP1） 設(shè)置/etc/hosts文件2） 設(shè)置節(jié)點(diǎn)之間無(wú)密碼SSH登陸驗(yàn)證配置SSH是否正確3） 修改集群配置文件修改master的masters、slaves，修改所有節(jié)點(diǎn)的，，，在此不一一列出。4） 在master上格式化HDFS5） 啟動(dòng)和停止集群?jiǎn)?dòng)集群，在master上啟動(dòng)HDFS后，jps結(jié)果如下:masterslave在master上啟動(dòng)mapreduce后，jps結(jié)果如下：masterslave停止集群6、運(yùn)行程序在單機(jī)上運(yùn)行程序（1） 在Eclipse下，新建map/reduce工程（2） 新建一個(gè)java類(lèi)UserNameCount,編寫(xiě)代碼（3） 運(yùn)行程序，結(jié)果如下：（4） 在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。在集群上運(yùn)行程序（1） 啟動(dòng)集群，通過(guò)jps命令查看master,slave上啟動(dòng)的服務(wù)列表，結(jié)果如下::/opt/hadoop/bin￡jps2049JobTz?ac^ez?|2956Jps[15^1NaLaeNaae2221Iask!rackst1929SecondaryNameNodelhadoopSubuTitu:/opt/hadoop/bin￡sshsiaveWelaometoUbuntu JLTS[GMU/LiniiK3?；2?D-23-gezieriak84q_64}*Docunientacion:nutps://Help.ubuntTEi?cbh/Newrelease114?04?2LIS1available?Runldo-工皂1皂ase-upgrad皂『toupgradeto:it?LastloginsSatMay23s:3B2015frcam.masterIhad.aop@LLbuntli;jps1526lasklracker1444DataNadeI1E91如（2） 在集群環(huán)境下運(yùn)行該程序jar包（），結(jié)果如下：（3） 查看集群環(huán)境下啟動(dòng)程序生成的結(jié)果，即output文件，結(jié)果如下:（4） 數(shù)據(jù)統(tǒng)計(jì)結(jié)果在part-r-OOOOO中，具體內(nèi)容如下，7、源代碼：packagehadoop;importim