Presto在京東云的應(yīng)用實(shí)踐-郭李明_第1頁(yè)
Presto在京東云的應(yīng)用實(shí)踐-郭李明_第2頁(yè)
Presto在京東云的應(yīng)用實(shí)踐-郭李明_第3頁(yè)
Presto在京東云的應(yīng)用實(shí)踐-郭李明_第4頁(yè)
Presto在京東云的應(yīng)用實(shí)踐-郭李明_第5頁(yè)
已閱讀5頁(yè)，還剩20頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

o京東-郭李明?Presto介紹?Presto在京東生根發(fā)芽?Presto在京東成長(zhǎng)壯大?Presto在京東云的應(yīng)用分分布式查詢引擎標(biāo)準(zhǔn)標(biāo)準(zhǔn)SQL語(yǔ)法支支持GBstoPBs的數(shù)據(jù)量可可擴(kuò)展性支支持跨數(shù)據(jù)源查詢交交互式的數(shù)據(jù)分析?一共24個(gè)表，數(shù)據(jù)量txt格式100GB，均全轉(zhuǎn)存為ORC格式測(cè)試環(huán)境說(shuō)明NodesMemorypernodeCorepernodeSparkversionSpark-1.4.1PrestoversionPresto-0.124HadoopversionHadoop2.5.0-cdh5.3.0HiveversionHive-0.13.1Page8源源1豐富Hiveconnector語(yǔ)法12新增Connector23關(guān)系型數(shù)據(jù)庫(kù)條件下推34MySQL分庫(kù)分表4?訪問(wèn)Presto集群需要用戶名及密碼?Presto訪問(wèn)HDFS及HIVEMETASTORE需通過(guò)Kerberos驗(yàn)證?對(duì)庫(kù)/表操作時(shí)需要判斷是否有相應(yīng)的權(quán)限?Database?TableYarnPrestocluster?NodeManager宕機(jī)?AppMaster/Coordinatorcontainershutdown?允許不同用戶可擁有相同名稱的函數(shù)?系統(tǒng)自帶函數(shù)共同擁有?保證系統(tǒng)安全，防止惡意操作?新增dropudf語(yǔ)法，可刪除某個(gè)自定義的function應(yīng)用應(yīng)用層公共服務(wù)層MetaStore計(jì)算控制層her存儲(chǔ)層ionAd-hoc即席查詢定制化報(bào)Ad-hoc即席查詢定制化報(bào)表大數(shù)據(jù)大數(shù)據(jù)量數(shù)據(jù)實(shí)時(shí)詢精精準(zhǔn)營(yíng)銷數(shù)數(shù)據(jù)抽取與導(dǎo)入%percent集成了Presto計(jì)算引擎的計(jì)算框架：數(shù)據(jù)計(jì)算平臺(tái)(DataComputingService，簡(jiǎn)稱：DCS)，通過(guò)不同的分布式計(jì)算框架滿足即席查詢、批量離線處理等場(chǎng)景，提供面向多租戶、完全托管

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論