大數(shù)據(jù)培訓(xùn)_Module 13 支持大規(guī)模集群安裝部署FusionInsight HD 安裝部署

1、FusionInsight HD安裝與部署前言第1頁FusionInsight Manager是FusionInsight HD的運(yùn)維管理系統(tǒng)，為 部署在集群內(nèi)的服務(wù)提供統(tǒng)一的集群管理能力，支持大規(guī)模集群的 安裝部署、性能監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管 理、健康檢查、日志采集、升級(jí)和補(bǔ)丁等功能。本章主要介紹華為FusionInsight HD安裝與部署相關(guān)流程，以及相關(guān)注意事項(xiàng)。目標(biāo)第2頁學(xué)完本課程后，您將能夠：清楚FusionInsigh HD產(chǎn)品安裝流程；描述安裝前準(zhǔn)備各種事項(xiàng)；了解FusionInsigh HD產(chǎn)品具體安裝過程；了解FusionInsigh HD產(chǎn)品安裝后配

2、置；能夠自行安裝FusionInsigh HD產(chǎn)品；處理常見安裝問題；目錄第3頁1. FusionInsight HD基本概念基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過程常見問題處理方法FusionInsight HD基本概念第4頁基本概念說明OMS節(jié)點(diǎn)：操作維護(hù)系統(tǒng)的管理節(jié)點(diǎn)，一般有兩個(gè)，互為主備Agent Node：操作維護(hù)系統(tǒng)中的被管理節(jié)點(diǎn)，一般有

3、多個(gè)，負(fù)責(zé)接收并執(zhí) 行OMS節(jié)點(diǎn)的管理命令，比如啟動(dòng)一個(gè)DataNode實(shí)例集群：管理節(jié)點(diǎn)和服務(wù)的一個(gè)邏輯概念服務(wù)：對(duì)外提供服務(wù)的服務(wù)組件，比如HDFS、HBase角色：服務(wù)組件的邏輯組成部分，比如HDFS的NameNode和DataNode實(shí)例：承載角色運(yùn)行的一個(gè)具體進(jìn)程，比如NameNode會(huì)部署到兩個(gè)節(jié)點(diǎn)上形成兩個(gè)運(yùn)行的進(jìn)程，這兩個(gè)進(jìn)程就是兩個(gè)實(shí)例目錄第5頁1.FusionInsight HD基本概念2. FusionInsight HD安裝流程安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過程具體步驟5.FusionInsight HD安

4、裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過程常見問題處理方法FusionInsight HD安裝流程軟件安裝與部署軟件安裝與部署PC/工具/文檔準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)生成配置文件LLD工具生成手動(dòng)生成配置操作系統(tǒng)安裝集群模板自動(dòng)化安裝 手動(dòng)安裝檢查服務(wù)狀態(tài)安裝前準(zhǔn)備安裝前準(zhǔn)備安裝后檢查安裝后檢查檢查主機(jī)狀態(tài)北向配置監(jiān)控告警配置用戶配置安裝后配置安裝后配置校驗(yàn)軟件包檢查節(jié)點(diǎn)環(huán)境安裝Manager第6頁目錄第7頁1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3. FusionInsight HD安裝前準(zhǔn)備安

5、裝前準(zhǔn)備4.FusionInsight HD安裝過程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過程常見問題處理方法FusionInsight HD安裝前準(zhǔn)備軟件工具：PuTTY、WinSCP、網(wǎng)絡(luò)瀏覽器、解壓工具等 配置規(guī)劃工具(LLD工具):生成安裝過程中所需的配置文件 版本說明書：硬件、軟件的版本配套關(guān)系指引準(zhǔn)備工準(zhǔn)備工具和具和文文檔檔硬件：FusionInsight HD支持通用的X86服務(wù)器 軟件：Linux操作系統(tǒng)（例如SuSE、RedHat或CentOS）FusionInsight

6、HD軟件包 其他：可靠性要求、磁盤分區(qū)要求準(zhǔn)備環(huán)境準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)規(guī)劃數(shù)據(jù)規(guī)劃集群部署方案 規(guī)劃網(wǎng)絡(luò)參數(shù)（支持雙平面隔離組網(wǎng)） 規(guī)劃角色部署位置，可使用配置規(guī)劃工具輔助規(guī)劃第8頁目錄第9頁1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4. FusionInsight HD安裝過程具體安裝過程具體步驟步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過程常見問題處理方法FusionInsight HD安裝與部署將獲取的Fu

7、sionInsight HD軟件壓縮包解壓，生成 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz和 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256解壓軟件包用WinSCP工具登錄將要安裝Manager的服務(wù)器，將上述軟件包 傳輸?shù)焦芾砉?jié)點(diǎn)指定目錄上傳軟件包校驗(yàn)軟件包在管理節(jié)點(diǎn)執(zhí)行命令，完成校驗(yàn)和解壓1.sha256sum -c FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256 2.tar -zxf FusionInsight_HD_

8、V100R002C30SPC600_RHEL.tar.gz第10頁生成配置文件利用配置規(guī)劃工具生成各項(xiàng)安裝配置文件，并上傳到相應(yīng)節(jié)點(diǎn)的指定路 徑，生成的配置文件在安裝Manager和自動(dòng)化安裝集群時(shí)會(huì)被使用第11頁配置節(jié)點(diǎn)操作系統(tǒng)第12頁目的目的：即執(zhí)行preinstall.sh，以此來配置節(jié)點(diǎn)操作系統(tǒng)環(huán)境，使其滿足FusionInsight HD的安裝要求Step 1. 適配OS：修改OS配置，使OS滿足FusionInsight HD的安裝要求。包括檢查 內(nèi)核版本、關(guān)閉swap分區(qū)、設(shè)置共享內(nèi)存大小、設(shè)置服務(wù)器時(shí)區(qū)、配置業(yè)務(wù)和主機(jī) 名的映射等Step 2. 補(bǔ)齊RPM包：執(zhí)行preinst

9、all，可以自動(dòng)補(bǔ)齊OS缺失的RPM包Step 3. 格式化分區(qū)：執(zhí)行preinstall，可以自動(dòng)對(duì)服務(wù)器磁盤進(jìn)行格式化，使磁盤滿 足FusionInsight HD的分區(qū)要求具體操作參考軟件安裝手冊，首次安裝請務(wù)必執(zhí)行preinstall注意注意：操作前務(wù)必保證所有節(jié)點(diǎn)的操作系統(tǒng)root用戶密碼一致。檢查節(jié)點(diǎn)環(huán)境第13頁目的目的：即執(zhí)行precheck.sh，以此來檢查節(jié)點(diǎn)操作系統(tǒng)環(huán)境是否滿足FusionInsight HD的安裝要求方式方式一一：執(zhí)行precheck，帶配置文件參數(shù)，檢查所有節(jié)點(diǎn)環(huán)境（推薦）方式二方式二：執(zhí)行precheck，不帶配置文件參數(shù)，只檢查本節(jié)點(diǎn)環(huán)境preche

10、ck腳本可反復(fù)使用，執(zhí)行后會(huì)列出檢查不通過的項(xiàng)，用戶根據(jù)軟件安裝手冊的修復(fù)建議進(jìn)行修復(fù)，修復(fù)完后再次執(zhí)行precheck檢查注注意意：請務(wù)必確保precheck腳本的所有檢查項(xiàng)都通過，再進(jìn)入后續(xù)安裝步驟安裝Manager 包含兩個(gè)管理節(jié)點(diǎn)，分別為主管理節(jié)點(diǎn)和備管理節(jié) 點(diǎn)，用以保證業(yè)務(wù)的連續(xù)性及高可靠性 推薦使用安裝雙機(jī)Manager 僅包含一個(gè)管理節(jié)點(diǎn)，當(dāng)出現(xiàn)系統(tǒng)掉電等意外場景時(shí)無法保證業(yè)務(wù)的可靠性 不推薦使用安裝單機(jī)Manager第14頁有雙機(jī)/單機(jī)兩種方式進(jìn)行Manager安裝安裝雙機(jī)Manager安裝雙機(jī)Manager步驟1 獲取配置文件，該文件可由LLD工具生成， 也可手動(dòng)填寫。配置文

11、件填寫舉例如右圖所 示。2 在主備管理節(jié)點(diǎn)分別執(zhí)行安裝命令Eg:sh /opt/FusionInsight_Hadoop/software/install.shf /opt/install.ini第15頁安裝雙機(jī)Manager第16頁安裝命令執(zhí)行結(jié)果顯示如果出現(xiàn)”Install Successfully”字樣，即表示安裝Manager成 功，可以通過提示的URL地址進(jìn)行瀏覽器訪問，從而繼續(xù)安裝 集群安裝單機(jī)Manager安裝單機(jī)Manager步驟使用-m single（也可以通過配置文件安裝），執(zhí)行命令：sh/opt/FusionInsight_Hadoop/software/install.

12、sh m single命令執(zhí)行結(jié)果顯示第17頁安裝集群1 配置瀏覽器2 登錄FusionInsight Manager系統(tǒng)3 首次登錄修改密碼，修改密碼成功后 使用新密碼重新登錄第18頁首次登陸需要修改密碼安裝集群 使用LLD工具生成的安裝模板，可以自動(dòng)填 寫安裝時(shí)所需的各項(xiàng)參數(shù) 推薦使用模板自動(dòng)化 安裝集群 在界面上手工填寫各項(xiàng)參數(shù) 不推薦使用手動(dòng)安裝集群第19頁有模板安裝/手動(dòng)安裝兩種方式進(jìn)行集群安裝模板自動(dòng)化安裝集群Step1. 進(jìn)入安裝頁面，選擇Template Installation導(dǎo)入準(zhǔn)備好的安裝模板，點(diǎn)擊OK第20頁模板自動(dòng)化安裝集群Step 2. 系統(tǒng)跳轉(zhuǎn)至確認(rèn)頁面，該頁面包

13、含安裝模板中填寫的相關(guān)信息第21頁模板自動(dòng)化安裝集群Step 3. 如果確認(rèn)無誤，則點(diǎn)擊Submit按鍵進(jìn)行提交；如果發(fā)現(xiàn) 配置規(guī)劃數(shù)據(jù)有誤，可點(diǎn)擊Back按鍵，回到各配置項(xiàng)檢查或更 改參數(shù)值第22頁模板自動(dòng)化安裝集群Step 4. 安裝等待：提交集群安裝請求后，界面顯示安裝集群進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵第23頁手動(dòng)安裝集群Step 1. 進(jìn)入安裝頁面，選擇Manual Installation，點(diǎn)擊OK第24頁手動(dòng)安裝集群Step 2. 填寫集群基本信息，即：填寫集群名稱、選擇集群版 本和安全模式、填寫集群描述信息（可選），點(diǎn)擊Next按鍵 進(jìn)入下一頁面第25頁手動(dòng)安裝集群St

14、ep 3. 發(fā)現(xiàn)節(jié)點(diǎn)。輸入主機(jī)信息以及主機(jī)root用戶密碼，然 后點(diǎn) 擊 “Start Discovery”，選擇發(fā)現(xiàn)成功的節(jié)點(diǎn)，點(diǎn)擊Next 進(jìn)入下一頁面第26頁手動(dòng)安裝集群Step 4. 選擇安裝節(jié)點(diǎn)與設(shè)置機(jī)架。根據(jù)需要選擇節(jié)點(diǎn)并為其設(shè) 置機(jī)架信息，支持單獨(dú)設(shè)置和統(tǒng)一設(shè)置。完成設(shè)置后，點(diǎn)擊Next 進(jìn)入服務(wù)選擇頁面第27頁手動(dòng)安裝集群Step 5. 選擇安裝服務(wù)。根據(jù)業(yè)務(wù)需要選擇待安裝的服務(wù)，當(dāng) 選擇上層服務(wù)時(shí)，系統(tǒng)會(huì)自動(dòng)為其選擇依賴的底層服務(wù)第28頁手動(dòng)安裝集群Step 6. 拓?fù)湓O(shè)置。根據(jù)規(guī)劃，將組件部署到指定節(jié)點(diǎn)上。完 成設(shè)置后點(diǎn)擊Next進(jìn)入服務(wù)配置頁面第29頁手動(dòng)安裝集群Step

15、 7. 安裝配置。配置必須要設(shè)置的配置項(xiàng)，完成設(shè)置后點(diǎn) 擊Next進(jìn)入確認(rèn)頁面第30頁手動(dòng)安裝集群Step 8. 選擇升級(jí)模式。選擇版本升級(jí)模式，推薦選擇Common Mode，完成選擇后點(diǎn)擊Next進(jìn)入確認(rèn)頁面第31頁手動(dòng)安裝集群Step 9. 提交安裝。完成配置操作后，進(jìn)入確認(rèn)頁面，確認(rèn)頁面包含前面步驟的概要信息。確認(rèn)后點(diǎn)擊submit按鍵進(jìn)行提交第32頁手動(dòng)安裝集群Step 10. 安裝等待。提交集群安裝請求后，界面顯示安裝集群 進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵第33頁目錄第34頁1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.Fusi

16、onInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過程具體步驟5. FusionInsight HD安裝后檢查安裝后檢查6.FusionInsight HD安裝后配置7.FusionInsight HD安裝過程常見問題處理方法安裝后檢查集群安裝成功后，登錄管理頁面進(jìn)行安裝后檢查Step 1. 觀察儀表盤：Dashboard頁面上圖形正常顯示，Service Summary圖中組件健康狀態(tài)為Good第35頁安裝后檢查Step 2. 服務(wù)健康檢查，集群安裝成功后，登錄管理頁面，點(diǎn)擊More Actions中的Health Check進(jìn)行服務(wù)的健康檢查第36頁安裝后檢查Ste

17、p 3. 服務(wù)狀態(tài)檢查，集群安裝成功后，登錄管理頁面檢查 Services頁面所有組件，操作狀態(tài)為Started，健康狀態(tài)為 Good，配置狀態(tài)為Synchronized第37頁安裝后檢查Step 4. 主機(jī)狀態(tài)檢查，點(diǎn)擊”Hosts”圖標(biāo)，各節(jié)點(diǎn)”Health Status”均為”Good”第38頁安裝后檢查Step 5. 告警檢查，頁面右上角各類告警的個(gè)數(shù)均為0，聽不到告警鈴聲進(jìn)入告警頁面，無告警信息顯示第39頁目錄第40頁1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight H

18、D安裝過程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6. FusionInsight HD安裝后配置安裝后配置7.FusionInsight HD安裝過程常見問題處理方法安裝后配置北向配置，點(diǎn)擊System頁面，可以選擇“Syslog Configuration” 和 “ SNMP Configuration”，分別進(jìn)行 Syslog和SNMP配置第41頁安裝后配置監(jiān)控告警配置，點(diǎn)擊System頁面，點(diǎn)擊“ThresholdConfiguration”，可以進(jìn)行監(jiān)控告警相關(guān)閾值配置第42頁安裝后配置用戶配置，點(diǎn)擊System頁面，在”Rights Configuartion”功能

19、可以進(jìn)行用戶/用戶組/權(quán)限配置第43頁目錄第44頁1.FusionInsight HD基本概念2.FusionInsight HD安裝流程3.FusionInsight HD安裝前準(zhǔn)備4.FusionInsight HD安裝過程具體步驟5.FusionInsight HD安裝后檢查項(xiàng)6.FusionInsight HD安裝后配置7. FusionInsight HD安裝過程常見安裝過程常見問題問題處處理方法理方法安裝過程常見問題處理方法第45頁FusionInsight HD安裝過程中會(huì)產(chǎn)生詳細(xì)日志，記錄安裝的具體情況，在安裝過程中如果出現(xiàn)意外情況，請先查看日志模塊名稱職責(zé)描述Preinsta

20、ll安裝日志/var/log/fi-preinstall.logManager安裝日志/var/log/Bigdata/controller/scriptlog/install.log集群安裝與運(yùn)行日志/var/log/Bigdata/controller/controller.lognodeagent進(jìn)程安裝與啟動(dòng)日 志/var/log/Bigdata/nodeagent/scriptlog/install.log/var/log/Bigdata/nodeagent/scriptlog/start-agent.logWeb服務(wù)運(yùn)行日志/var/log/Bigdata/tomcat/web.log安裝過程常見問題處理方法案案例例1. 安裝Manager失敗，提示“The ws_float_ip_interface isEmpty.”原原因因：該錯(cuò)誤一