Spark大數(shù)據(jù)分析 課件 2.2 Spark環(huán)境搭建

Spark環(huán)境搭建目錄/Contents01

Standalone模式部署02JDK安裝03Hadoop集群部署04

ZooKeeper集群部署05Scala安裝

Standalone模式部署01

Standalone模式部署即獨立模式，自帶完整的服務，可單獨部署到一個集群中，無需依賴任何其他資源管理系統(tǒng)。從一定程度上說，該模式是其他兩種的基礎。借鑒Spark開發(fā)模式，我們可以得到一種開發(fā)新型計算框架的一般思路：先設計出它的standalone模式，為了快速開發(fā)，起初不需要考慮服務（比如master/slave）的容錯性，之后再開發(fā)相應的wrapper，將stanlone模式下的服務原封不動的部署到資源管理系統(tǒng)yarn或者mesos上，由資源管理系統(tǒng)負責服務本身的容錯。目前Spark在standalone模式下是沒有任何單點故障問題的，這是借助zookeeper實現(xiàn)的，思想類似于HBasemaster單點故障解決方案。將Sparkstandalone與MapReduce比較，會發(fā)現(xiàn)它們兩個在架構(gòu)上是完全一致的：

Standalone模式部署1．下載安裝spark2．配置spark在spark官網(wǎng)下載tar.gz安裝包，本節(jié)使用的是spark2.3.2。在下載安裝包時需要對應好Hadoop的版本，本書使用的是Hadoop2.7.4安裝包解壓完成后需要進行相關的配置，可以在一臺機器上配置好之后使用scp命令copy到其他機器上，在配置之前需要將四臺虛擬機關機后做一個快照，方便后面兩種模式的部署。SparkonYARN模式部署02SparkonYARN模式部署這是一種很有前景的部署模式。但限于YARN自身的發(fā)展，目前僅支持粗粒度模式（Coarse-grainedMode）。這是由于YARN上的Container資源是不可以動態(tài)伸縮的，一旦Container啟動之后，可使用的資源不能再發(fā)生變化，不過這個已經(jīng)在YARN計劃中了。sparkonyarn支持兩種模式：1)yarn-cluster：適用于生產(chǎn)環(huán)境；2)yarn-client：適用于交互、調(diào)試，希望立即看到app的輸出SparkonYARN模式部署安裝包下載解壓2.配置spark-env.sh3.重命名slaves.template文件4.配置slaves文件5.環(huán)境變量配置6.文件分發(fā)7.啟動集群8.驗證9.運行實例10.任務監(jiān)控SparkHA集群部署03SparkHA集群部署SparkStandalone集群是Master-Slaves架構(gòu)的集群模式，和大部分的Master-Slaves結(jié)構(gòu)集群一樣，存在著Master單點故障的問題。如何解決這個單點故障的問題，Spark提供了兩種方案：（1）基于文件系統(tǒng)的單點恢復(Single-NodeRecoverywithLocalFileSystem)。主要用于開發(fā)或測試環(huán)境。當spark提供目錄保存sparkApplication和worker的注冊信息，并將他們的恢復狀態(tài)寫入該目錄中，這時，一旦Master發(fā)生故障，就可以通過重新啟動Master進程（sbin/start-master.sh），恢復已運行的sparkApplication和worker的注冊信息。（2）基于zookeeper的StandbyMasters(StandbyMasterswithZooKeeper)。用于生產(chǎn)模式。其基本原理是通過zookeeper來選舉一個Master，其他的Master處于Standby狀態(tài)。將spark集群連接到同一個ZooKeeper實例并啟動多個Master，利用zookeeper提供的選舉和狀態(tài)保存功能，可以使一個Master被選舉成活著的master，而其他Master處于Standby狀態(tài)。如果現(xiàn)任Master死去，另一個Master會通過選舉產(chǎn)生，并恢復到舊的Master狀態(tài)，然后恢復調(diào)度。整個恢復過程可能要1-2分鐘。SparkHA集群部署下載解壓安裝包2.配置spark-en