2023學(xué)年完整公開課版Spark生態(tài)介紹_第1頁
2023學(xué)年完整公開課版Spark生態(tài)介紹_第2頁
2023學(xué)年完整公開課版Spark生態(tài)介紹_第3頁
2023學(xué)年完整公開課版Spark生態(tài)介紹_第4頁
2023學(xué)年完整公開課版Spark生態(tài)介紹_第5頁
已閱讀5頁，還剩5頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

Spark生態(tài)介紹1.掌握Spark是什么

2.掌握Spark生態(tài)架構(gòu)

1.

Spark是什么

2.

Spark生態(tài)架構(gòu)

Spark是什么ApacheSpark是UCBerkeleyAMPlab(加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的計(jì)算引擎ApacheSpark是主要用于大規(guī)模數(shù)據(jù)處理的快速的通用的計(jì)算引擎Spark是什么Spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn)：但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖據(jù)與機(jī)器學(xué)習(xí)等需要迭代的MapRedduce的算法。Spark生態(tài)架構(gòu)在Spark的生態(tài)圈中，有各種各樣的組件，主要用于進(jìn)行批處理以及流式處理等，Spark技術(shù)棧幾乎可以解決所有大數(shù)據(jù)處理場景Spark生態(tài)架構(gòu)Spark的主要部件:SPARKCORE:包含spark的主要基本功能SparkSQL:Spark中用于結(jié)構(gòu)化數(shù)據(jù)處理的軟件包SparkStreaming:Spark

中用來處理流數(shù)據(jù)的部件MLlib:Spark中用來進(jìn)行機(jī)器學(xué)習(xí)和數(shù)學(xué)建模的軟件包GraphX:Spark中用來進(jìn)行圖計(jì)算(如社交媒體關(guān)系)的庫函數(shù)ClusterManagers:Spark中用來管理機(jī)群或節(jié)點(diǎn)的軟件平臺Spark生態(tài)架構(gòu)SPARKCORE:負(fù)責(zé)從HDFS、AmazonS3和HBase等持久層讀取數(shù)據(jù)SPARKCORE就是SPARK功能調(diào)度中心，其中包括任務(wù)調(diào)動，內(nèi)存管理，容錯(cuò)管理及存儲管理。同時(shí)也是一些列應(yīng)用程序的集中地。1.SparkSQL

--進(jìn)行交互式查詢

2.SparkStreaming

--進(jìn)行流式處理

3.GraphX

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論