下載本文檔
版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、第四節(jié)開(kāi)發(fā)優(yōu)化中需要注意的事項(xiàng)對(duì)于讀入的數(shù)據(jù),做好、轉(zhuǎn)換、分區(qū)工 map(_ split( )/盡量嚴(yán)m(xù)ap(id,money)/提前必要的字段,減少數(shù)據(jù)量 coalesce( 0, True)/分片RDD高效使相同數(shù)據(jù)不要多次提高對(duì)同一RDD使用次對(duì)于多次使用的RDD考慮是否持久PairRDD狀態(tài)對(duì)于需要多次join的RDD提前使用PairRDD特有APIflatMapValues替代 val classRDD = classRDD mapValue(_+ )valclassRDD=classRDDmapline= (line _ , line _2+ )使用預(yù)聚合功使用reduceByKe
2、y替代 var number:Long = 0rawClassRDD 競(jìng)爭(zhēng)資源批量處理使用mapPartitions替代普通需要有大內(nèi)存擴(kuò)大 valsmallBD=scbroadcast(smallValue)valresultRDD2=bigRDDmapPartitionsiter= val small = smallBD value iter foreachcase(classNamber) = if(smallcontains(className)arrayBuffer +=(className,smallgetOrElse(className,0), 使用foreachPartitions替代需要有大內(nèi)存擴(kuò)大bigRDD foreachPartitions(/批量寫(xiě)數(shù)據(jù)庫(kù)數(shù)熱點(diǎn)數(shù)據(jù)過(guò)大,內(nèi)存不夠會(huì)發(fā)生OOM現(xiàn)象,程序不斷的恢復(fù)又不停的OOM,最后退出數(shù)據(jù)傾斜往往伴隨shuffle過(guò)程,相關(guān)API:distinct、 groupByKey、reduceByKey、aggregateByKey、joincogroup、repartitionddsampe(fase,0) foeach(p nt解決方式根
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年建筑施工合同執(zhí)行細(xì)則
- 勞務(wù)派遣補(bǔ)充合同范本2024年
- 2024專(zhuān)業(yè)版代理操盤(pán)合同
- 2024裝修協(xié)議合同范本
- 2024設(shè)備轉(zhuǎn)讓合同范本設(shè)備購(gòu)買(mǎi)合同范本2
- 南京銀行學(xué)生貸款合同
- 城市軌道工程施工借款合同
- 2024蘇州市全日制勞動(dòng)合同
- 2024小賣(mài)部承包合同
- 2024自費(fèi)養(yǎng)老合同范文
- 2024年二手物品寄售合同
- 2023年遼陽(yáng)宏偉區(qū)龍鼎山社區(qū)衛(wèi)生服務(wù)中心招聘工作人員考試真題
- 三年級(jí)數(shù)學(xué)(上)計(jì)算題專(zhuān)項(xiàng)練習(xí)附答案集錦
- 高一期中家長(zhǎng)會(huì)班級(jí)基本情況打算和措施模板
- 歷史期中復(fù)習(xí)課件七年級(jí)上冊(cè)復(fù)習(xí)課件(部編版2024)
- 專(zhuān)題7.2 空間點(diǎn)、直線、平面之間的位置關(guān)系(舉一反三)(新高考專(zhuān)用)(學(xué)生版) 2025年高考數(shù)學(xué)一輪復(fù)習(xí)專(zhuān)練(新高考專(zhuān)用)
- 7.2.2 先天性行為和學(xué)習(xí)行為練習(xí) 同步練習(xí)
- 2024-2025學(xué)年八年級(jí)物理上冊(cè) 4.2光的反射說(shuō)課稿(新版)新人教版
- 《現(xiàn)代管理原理》章節(jié)測(cè)試參考答案
- 電子元器件有效貯存期、超期復(fù)驗(yàn)及裝機(jī)前的篩選要求
- 2024秋期國(guó)家開(kāi)放大學(xué)專(zhuān)科《高等數(shù)學(xué)基礎(chǔ)》一平臺(tái)在線形考(形考任務(wù)一至四)試題及答案
評(píng)論
0/150
提交評(píng)論