實訓(xùn)1 基礎(chǔ)實訓(xùn)環(huán)境準備

實訓(xùn)2.1基礎(chǔ)實訓(xùn)環(huán)境準備1.實訓(xùn)目的通過本實訓(xùn)對大數(shù)據(jù)實訓(xùn)環(huán)境配置做一個前期準備操作，了解各個節(jié)點之間的基礎(chǔ)通信原理。2.實訓(xùn)內(nèi)容該實訓(xùn)主要針對集群配置做前期的域名映射、SSH免密登陸工作，對SSH安全通信協(xié)議以及通信方式有所了解，對大數(shù)據(jù)服務(wù)組件之間安全通信有所了解。3.實訓(xùn)要求以小組為單元進行實訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排和分配實訓(xùn)任務(wù)，具體參加實訓(xùn)內(nèi)容中的實訓(xùn)過程。4.準備知識本實訓(xùn)任務(wù)可以配套大數(shù)據(jù)實訓(xùn)平臺，由平臺分發(fā)三臺裸機服務(wù)器。如果沒有使用大數(shù)據(jù)實訓(xùn)平臺，則首先需要先你的電腦上安裝好VMware或者VirtualBox等相類似的軟件，然后裝一臺Centos7虛擬機，然后克隆三臺出來，并配置好ip地址，可自行查閱相關(guān)資料，或者查看本書后面的附錄頁。同學們需要提前學習一些簡單的Linux基礎(chǔ)知識、網(wǎng)絡(luò)基礎(chǔ)知識、云計算基礎(chǔ)知識，如果是學會配置虛擬機之間的網(wǎng)絡(luò)等等，如基礎(chǔ)比較薄弱，可以在老師的指導(dǎo)下進行學習。由于涉及面比較廣，建議同學之間加多交流，打下良好基礎(chǔ)，為后面的學習做準備。5.實訓(xùn)步驟（1）搭建集群服務(wù)器老師按照平臺操作手冊，分發(fā)給學生初始裸機環(huán)境。一共是三臺服務(wù)器，一臺是主節(jié)點，兩臺是從節(jié)點。角色、ip地址、用戶名、密碼等信息初始化情況如圖2-3所示。角色ip地址cpu內(nèi)存用戶名密碼master192.168.128.1312核1.5groothadoopslave1192.168.128.1322核1groothadoopslave2192.168.128.1332核1groothadoop圖2-3所提供的服務(wù)器基本情況（2）MobaXterm的使用如果想要操作服務(wù)器，一般都會使用第三方工具進行連接操作，第三方工具如MobaXterm、XShell、SecureCRT等等，工具的使用大同小異，此處使用目前比較主流的MobaXterm，由于MobaXterm具有綠色版本，所以不需要安裝，直接雙擊即可打開使用頁面，如圖所示2-4所示。圖2-4MobaXterm軟件首頁（3）新建會話①點擊頁面中部的“Newsession”即可打開新建回話頁面，此時默認選擇是“SSH”類型，不需要選擇，直接輸入遠程主機的ip地址（此時輸入master的ip地址），然后勾選“指定用戶名”，輸入用戶名（此時為root用戶），其余保持默認不變，如圖2-5所示。圖2-5設(shè)置會話接著，點擊窗口下方的“OK”按鈕。此時會提示輸入root用戶密碼，如圖2-6所示。圖2-6提示輸入密碼輸入密碼后，會提示是否保存密碼，點擊“Yes”，如圖2-7所示。圖2-7保存密碼此后即可連接上master服務(wù)器，如圖2-8所示。圖2-8連接上服務(wù)器頁面點擊左上角菜單欄的“終端”，選擇“打開新標簽”，跟上面一樣的操作連接上slave1和slave2節(jié)點，如下圖2-17所示。圖2-17各節(jié)點均需連接上連接好后，可以右擊會話，將會話名稱分別改為master、slave1、slave2，以方便辨識。修改master主機名（如果主機名已經(jīng)修改好，可忽略此操作）命令格式：hostnamectlset-hostname主機名hostnamectlset-hostnamemaster

bash結(jié)果如圖所示：圖2-17修改主機名slave1、slave2的主機名也分別修改好。添加域名映射①先安裝好加強版vi編輯器，使編輯頁面更加美觀在三臺節(jié)點上執(zhí)行：yuminstall-yvim提示以下頁面則表示安裝成功，如圖2-所示：②使用vim命令編輯/etc/hosts文件在三臺節(jié)點上執(zhí)行：vim/etc/hosts然后添加三臺主機ip地址和主機名映射關(guān)系，內(nèi)容為：192.168.128.131master192.168.128.132slave1192.168.128.133slave2如圖2-18所示。圖2-18配置域名映射配置好之后可以通過主機名來代替ip進行一系列的操作。③保存退出后，使用cat命令查看配置的文件是否配置好：cat/etc/hosts如果查看到/etc/hosts文件里面有映射關(guān)系，則表示配置好了。如下圖2-19所示。圖2-19校驗域名映射④同理，在slave1、slave2上也要配置好域名映射，域名映射的內(nèi)容是一樣的。（5）配置三臺服務(wù)器的SSH免密碼登錄①生成服務(wù)器的密鑰。在master上執(zhí)行：ssh-keygen②輸入之后連續(xù)按三次回車，則可以生成服務(wù)器的密鑰，如圖2-20所示。圖2-20生成服務(wù)器密鑰③在slave1、slave2上也要執(zhí)行上面兩步來生成密鑰。（6）配置公鑰到authorized_keys文件（slave1、slave2節(jié)點）①將master的公鑰id_rsa.pub寫入到authorized_keys文件。在master上執(zhí)行：cd~/.sshcatid_rsa.pub>>authorized_keysls執(zhí)行結(jié)果如圖2-21所示。圖2-21寫入公鑰到authorized_keys文件②將slave1的公鑰id_rsa.pub寫入到authorized_keys1文件，此處是authorized_keys1文件，因為等下要拷貝到master節(jié)點，所要需要做一下區(qū)分，使用其他文件名也可以。在slave1上執(zhí)行：cd~/.sshcatid_rsa.pub>>authorized_keys1執(zhí)行結(jié)果如圖2-22所示。圖2-22寫入公鑰到authorized_keys1文件③將slave2的公鑰id_rsa.pub寫入到authorized_keys2文件。在slave1上執(zhí)行：cd~/.sshcatid_rsa.pub>>authorized_keys2執(zhí)行結(jié)果如圖2-23所示。圖2-23寫入公鑰到authorized_keys2文件④將authorized_keys1文件拷貝到master節(jié)點，此處注意ip地址需要修改成自己的master節(jié)點的ip地址，所以也可以使用master節(jié)點的主機名代替。在slave1上執(zhí)行：scpauthorized_keys1root@master:~/.ssh/執(zhí)行結(jié)果如圖2-24所示。圖2-24拷貝slave1公鑰到master⑤將authorized_keys2文件拷貝到master節(jié)點。在slave2上執(zhí)行：scpauthorized_keys2root@master:~/.ssh/執(zhí)行結(jié)果如圖2-25所示。圖2-25拷貝slave2公鑰到master⑥此時，master上其實已經(jīng)有了slave1和slave2的公鑰。需要對公鑰進行整合，然后再分發(fā)到slave1和slave2，這樣才能實現(xiàn)各節(jié)點間能夠進行免密碼登錄。 在master上執(zhí)行：catauthorized_keys1>>authorized_keyscatauthorized_keys2>>authorized_keys執(zhí)行步驟如圖2-26所示。圖2-26匯集三臺服務(wù)器的公鑰⑦查看authorized_keys文件是否已經(jīng)有各節(jié)點的公鑰。在master上執(zhí)行：catauthorized_keys執(zhí)行結(jié)果如圖2-27所示。圖2-27查看匯集結(jié)果⑧將master的authorized_keys文件拷貝到slave1、slave2節(jié)點的/root/.ssh/目錄下，以達到互相可以免密碼訪問的目的。在master上執(zhí)行：scpauthorized_keysroot@slave1:~/.ssh/scpauthorized_keysroot@slave2:~/.ssh/執(zhí)行步驟如圖2-28所示。圖2-28分發(fā)公鑰到slave1、slave2⑨測試免密碼登陸校驗的命令為（ssh后面有一個空格）：命令格式：ssh主機名ssh登錄進去后，務(wù)必記得使用exit命令退出再測試其他節(jié)點?？梢园l(fā)現(xiàn)，從master節(jié)點ssh到master、slave1、slave2均不用輸入密碼（如出現(xiàn)需要輸入yes/no，輸入yes即可，下次再重新執(zhí)行就不會再出現(xiàn)），表示免密碼登錄是成功的。校驗結(jié)果如圖2-29所示。圖2-29校驗master是否能夠免密碼登錄slave1和slave2⑩測試slave1和slave2能否免密碼登錄到master，如果沒有問題，也是可以免密碼登錄的，此處不再截圖。6.實訓(xùn)總結(jié)前期的基礎(chǔ)配置準備工作，為之后的環(huán)境搭建做好充分的準備。該實訓(xùn)主要通過SSH免密碼登陸配置，使學生對實操節(jié)點之間的這種SSH通信方式有所感知。本實訓(xùn)課程對于初學者而言，最難的是沒有接觸過Linux操作，如果接觸過的話上手會很快。其實也可以不使用XShell工具，但是為了剛好地操作，此處使用了遠端登錄工具，直接在Windows上就可以操作集群，如果沒有使用工具，則應(yīng)該直接進去操作集群。免密碼登錄是大數(shù)據(jù)集群的大前提，如果沒有進行免密碼，節(jié)點之間是無法進行友好通信的，而域名映射，是為了替代ip，方便集群的管理與相關(guān)配置的遷移等等。學習的時候，需要理解好實訓(xùn)的目的。每個人的用戶名及ip都會有所不同，本書的用戶名和ip需要特別留意，后期會一直使用，先記住以便不在學習中混淆。如果是自己搭建的虛擬機，可以取一個短的名字和設(shè)置一個便于記憶的ip，以便學習。最后，總結(jié)一下同學們在操作過程中比較容易遇到的錯誤：①如果是自己搭建的環(huán)境，可能會沒有scp命令，此時可以自己安裝一下。②需要特別注意的是，生成的公鑰文件其實只有一行內(nèi)容，在實操的時候，不要將authorized_keys里面的內(nèi)容復(fù)制出來，然后再編輯，最好是跟著實