Spark Windows調(diào)試環(huán)境搭建教程

1、Spark Windows調(diào)試環(huán)境搭建教程本教程介紹的是Windows環(huán)境下的Spark調(diào)試環(huán)境的搭建步驟。一、組件介紹首先列舉搭建此環(huán)境需要的各個(gè)組件：JDK，安裝JDK 6或者JDK 7 （必備條件）IDEA，有兩個(gè)版本:Ultimate Edition & Community Edition，后者是free的，而且完全能滿足學(xué)習(xí)者所有的需求Scala，Spark是用Scala語言寫成的，在本地編譯執(zhí)行需要這個(gè)包SBT，scala工程構(gòu)建的工具Git，IDEA自動(dòng)下載SBT插件時(shí)可能會(huì)用到的工具1、安裝Scala。（建議2.10.2版本）完成后，在windows命令行中輸入scala，檢查

2、是否識(shí)別此命令。如果不識(shí)別，查看環(huán)境變量Path中是否有.scalabin （我的電腦右鍵，屬性- 高級(jí)系統(tǒng)設(shè)置- 環(huán)境變量）,沒有的手動(dòng)將Scala文件夾下的bin目錄的 路徑Scala 2.10.2已親測(cè)可行。2、安裝SBT運(yùn)行SBT的安裝程序，運(yùn)行完成后，重新打開windows命令行，輸入sbt，檢查是否識(shí)別此命令。沒有的話，手動(dòng)配置環(huán)境變量，添加.sbtbin 運(yùn)行完SBT的安裝程序之后，并不意味著完成了 sbt的安裝，在windows命令 放下輸入sbt后，SBT會(huì)自動(dòng)的下載安裝它所需要的程序包，請(qǐng)耐心等待全部 下載成功。3、安裝Git運(yùn)行Git的安裝程序，安裝完成后，重新打開win

3、dows命令行，檢查時(shí)候識(shí)別git命令。4、安裝IDEA、安裝IDEA的Scala插件打開 IDEA，在Welcome to IntelliJ IDEA界面的Quick Starf 欄，點(diǎn)擊Configure選擇Plugins在彈出的窗口中可以看到已安裝的插件，現(xiàn)在IDEA默認(rèn)還沒有Scala的插件。需要點(diǎn)擊左下角的Install JetBrains plugin.，在搜索框中輸入scala，點(diǎn)擊安裝。安裝完成后可能會(huì)要求重啟一下IDEA。至此，相關(guān)組件已經(jīng)安裝完成。三、搭建Spark開發(fā)調(diào)試環(huán)境在 intellij IDEA 中創(chuàng)建 scala project，并依次選擇“File”- “p

4、roject structure- “Libraries，選擇“+”，將spark-hadoop對(duì)應(yīng)的包導(dǎo)入，比如導(dǎo)入 spark-assembly-1.1.0-hadoop1.0.4(只需導(dǎo)入該 jar 包，其他不需要)，如果 IDE 沒有識(shí)別scala庫，則需要以同樣方式將scala庫導(dǎo)入。之后開發(fā)scala程序即 可。Scala版本選擇2.10。四、測(cè)試Spark代碼創(chuàng)建scala非sbt工程。新建scala class，可以使用以下代碼測(cè)試import scala.math. randomimport org.apache.spark._/* Computes an approxima

5、tion to pi */object drt (def main(args: ArrayString) (val conf = new SparkConf().setAppName(Spark Pi).setMaster(local)關(guān)鍵val spark = new SparkContext(conf)val slices = if (args.length 0) args(0).toInt else 2 val n = 100000 * slicesval count = spark.parallelize(1 to n, slices).map ( i =val x = random * 2 - 1val y = random *2-1if (x*x + y*y 1) 1 else 0.reduce(_ + _)println(Pi is roughly + 4.0 * count / n)spark.stop()代碼中setMaster(local)語句非常關(guān)鍵，網(wǎng)上教程中有在run configuration里配置program argument的，我實(shí)測(cè)沒有用。代碼里力口 set local 即可以解決問題，避免set ma