大數(shù)據(jù)平臺規(guī)劃部署課件

1、大數(shù)據(jù)平臺規(guī)劃部署大數(shù)據(jù)系列培訓H3C DataEngine提綱DataEngine 大數(shù)據(jù)平臺集群規(guī)劃 DataEngine 大數(shù)據(jù)平臺部署配置要求硬件配置要求不推薦使用虛擬內(nèi)存建議使用更多塊硬盤，2塊1T硬盤性能優(yōu)于1塊2T硬盤。建議單數(shù)據(jù)節(jié)點容量最大不超過24TB，否則節(jié)點失效后造成大量數(shù)據(jù)復本的復制。不建議使用SSD，Hadoop的磁盤IO多為順序讀寫，不能完全發(fā)揮適用于隨機讀寫的SSD的性能優(yōu)勢，同樣的采購投入可以通過多個HDD提高并發(fā)量提高性能。最低配置要求推薦配置處理器12 核 2.0GHz26 核 2.0GHz或更多內(nèi)存32GB 128GB 或更多硬盤SAS 10k rpm，3

2、00GB *4SAS 10k rpm，1TB及以上，數(shù)量建議滿配網(wǎng)卡千兆網(wǎng)卡： 1GE SFP+2塊萬兆網(wǎng)卡做聚合配置要求硬盤RAID注意：共享存儲系統(tǒng)不適用于集群數(shù)據(jù)存儲，單點存儲是大數(shù)據(jù)集群的運算性能瓶頸。集群類型操作系統(tǒng)配置數(shù)據(jù)存儲配置HDP2塊硬盤做RAID1剩余部分每塊做一個RAID0MPP2塊硬盤做RAID1剩余部分做成一個RAID5配置要求硬盤RAID（HDP集群）系統(tǒng)盤建議使用兩塊盤做成一個RAID1，保證系統(tǒng)運行安全可靠。HDFS天然支持復本冗余存儲策略，數(shù)據(jù)盤無需做RAID，在必須配置RAID的情況下，每個數(shù)據(jù)盤單獨設置為RAID0。多塊盤做一個RAID0，會將HDFS并行

3、流式讀寫操作變成隨機讀寫，降低性能。多塊盤做一個RAID0，其讀寫性能受制于陣列中速度最慢的磁盤。從磁盤損壞率考慮，多塊盤做一個RAID0會帶來更大的數(shù)據(jù)損失，造成大量數(shù)據(jù)需要復制重建。配置要求硬盤RAID（MPP集群）系統(tǒng)盤建議使用兩塊盤做成一個RAID1，保證系統(tǒng)運行安全可靠。受制于MPP數(shù)據(jù)存儲路徑只能指定一個，所以從存儲性能、數(shù)據(jù)安全和存儲成本綜合考慮，建議將數(shù)據(jù)盤做成一個RAID5 。配置要求操作系統(tǒng)要求不建議操作系統(tǒng)安裝Desktop版。操作系統(tǒng)版本Red Hat Enterprice Linux6.4/6.5(minimal最小安裝方式)64位Centos6.4/6.5(mini

4、mal最小安裝方式)64位配置要求支持的游覽器游覽器版本Google Chorme(推薦)26.0+FireFox18+Safari5+Internet Expoloer 10+配置要求集群軟件環(huán)境注意：DataEngine 會自動安裝以上軟件環(huán)境。環(huán)境版本JavaOracle JDK 1.7.0_79 for LinuxPythonPython 2.6.6SSLopenssl-1.0.1e-30服務器網(wǎng)絡規(guī)劃業(yè)務交換機（堆疊）服務器管理交換機業(yè)務交換機采用堆疊服務器網(wǎng)卡配置聚合Ilo口組網(wǎng)規(guī)劃IRF業(yè)務網(wǎng)交換機管理網(wǎng)交換機服務器服務器Hadoop集群MPP集群推薦集群規(guī)劃 Hadoop集群低

5、配置：要求3臺物理服務器， Hadoop集群管理節(jié)點和數(shù)據(jù)節(jié)點共用物理服務器高配置：要求5臺及以上物理服務器，Hadoop集群管理節(jié)點和數(shù)據(jù)節(jié)點使用不同的物理服務器MPP集群若對數(shù)據(jù)安全性要求較低，選擇2個節(jié)點為1個safegroup，推薦配置4臺及以上服務器若對數(shù)據(jù)安全性要求高，選擇3個節(jié)點為1個safegroup，推薦配置6臺及以上服務器設備機柜規(guī)劃硬件物理部署和網(wǎng)絡規(guī)劃 電源高可用兩個機柜的電源是獨立的，互不影響的交換機高可用每個機柜上各包含2臺交換機，并且這兩臺交換機之間是互備的關(guān)系，當其中一臺交換機發(fā)生故障，另一臺交換機立即提供服務節(jié)點高可用對于HDP，把HA服務所在的兩個服務器放在

6、不同的機架上對于MPP，把一個safegroup的不同成員放在不同的機架上Hadoop組件部署規(guī)劃支持高可用性的服務建議開啟HA，如NameNode、ResourceManager，防止單點故障造成的影響綠色 必裝 ，黃色為選裝， 紅色為不裝服務組件管理節(jié)點數(shù)據(jù)節(jié)點主機一主機二主機三主機四主機五MetricsMetrics MonitorZooKeeperZooKeeper ServerZooKeeper Client HDFSNameNodeZKFailoverController DataNode JournalNodeYarn ResourceManager App Timeline S

7、erver NodeManager MapReduce2HistoryServer MPP組件部署規(guī)劃集群高可用方案safegroup配置1個節(jié)點為1個safegroup的方案不推薦使用 對數(shù)據(jù)安全性要求高，選擇3個節(jié)點為1個safegroup 對數(shù)據(jù)安全性要求較低，選擇2個節(jié)點為1個safegroup提綱DataEngine 大數(shù)據(jù)平臺集群規(guī)劃 DataEngine 大數(shù)據(jù)平臺部署DataEngine 大數(shù)據(jù)平臺部署原生Hadoop集群的開通和管理會是一個超復雜的工作，尤其是涉及成百上千臺主機時。DataEngine 大數(shù)據(jù)平臺部署方案應用場景 定制部署：對于需要利用現(xiàn)有集群中的服務器和定制

8、化需求多樣的客戶，建議采用定制部署方式，這種方式可以滿足客戶對系統(tǒng)安全、組網(wǎng)環(huán)境、節(jié)點復用等方面的特殊需求。Zero部署：對于需要創(chuàng)建全新大數(shù)據(jù)集群的客戶，建議采用Zero部署方式，這種方式可以快速實現(xiàn)服務器操作系統(tǒng)的批量安裝、網(wǎng)段統(tǒng)一分配和DataEngine Manager的安裝。定制部署流程Zero部署流程服務器操作系統(tǒng)安裝網(wǎng)絡環(huán)境分配DataEngine Manager 安裝DataEngine HDP/MPP 集群部署DataEngine 大數(shù)據(jù)平臺部署流程Zero-Server 安裝自動安裝完成操作系統(tǒng)，以及網(wǎng)絡配置DataEngine Manager 安裝DataEngine H

9、DP/MPP 集群部署安裝前準備硬件準備網(wǎng)絡規(guī)劃操作系統(tǒng)準備安裝包準備DataEngine 大數(shù)據(jù)平臺定制部署流程安裝包名稱獲取方式DataEngine安裝包DataEngine-.tar.gz由H3C提供當前操作系統(tǒng)鏡像*.iso由用戶準備步驟1：解壓DataEngine安裝包tar xvzf DataEngine-.tar.gz步驟2：拷貝系統(tǒng)鏡像文件將準備的系統(tǒng)鏡像文件（*.iso）拷貝到解壓后文件夾的iso目錄中。步驟3：執(zhí)行安裝進入解壓目錄，執(zhí)行 ./install.sh，將會啟動安裝程序。DataEngine 大數(shù)據(jù)平臺Manager安裝步驟4：填寫安裝參數(shù)填寫集群節(jié)點IP地址列表

10、填寫節(jié)點操作系統(tǒng)root用戶密碼填寫節(jié)點命名后綴選擇“OK”開始安裝DataEngine ManagerDataEngine 大數(shù)據(jù)平臺Manager安裝步驟5：檢查安裝結(jié)果安裝通常會在15分鐘內(nèi)結(jié)束，具體執(zhí)行時間與機器性能、網(wǎng)絡性能有關(guān) 。安裝完成后，會有如下圖樣例的提示。以提示信息中提供的URL登錄DataEngine管理界面進行HDP的安裝。DataEngine 大數(shù)據(jù)平臺Manager安裝步驟1 ：打開一個瀏覽器，輸入DataEngine Manager安裝完成后提供的 URL，初始賬號密碼為admin/admin。DataEngine 大數(shù)據(jù)平臺集群部署步驟2：登錄管理界面后點擊。步

11、驟3：在出現(xiàn)的文本輸入框中輸入集群名稱后，點擊。DataEngine 大數(shù)據(jù)平臺集群部署步驟4：進入選擇版本頁面，選中要安裝的DataEngine版本，點擊。步驟5：然后在安裝選項里的目標主機文本域輸入以下內(nèi)容（主機名后綴根據(jù)配置文件配置的為準）：node1-3. 有幾臺就寫對應的正則表達式。DataEngine 大數(shù)據(jù)平臺集群部署步驟6：到達確認主機步驟后，等待 DataEngine Manager對所有節(jié)點進行注冊并檢查，直到出現(xiàn)下圖，點擊。DataEngine 大數(shù)據(jù)平臺集群部署步驟7：在選擇服務頁面，選擇想要安裝的服務，點擊。DataEngine 大數(shù)據(jù)平臺集群部署步驟8：在服務分配頁面，選擇服務內(nèi)組件及客戶端安裝的對應節(jié)點，點擊。DataEngine 大數(shù)據(jù)平臺集群部署步驟9：在定制服