專10-1-DTCC2016演講-常冰琳-使用Kudu搭建OLAP服務(wù)

目錄ò現(xiàn)狀ò性能測試++析在線事務(wù)在線事務(wù)線分析服務(wù)？在線事務(wù)慢寫)快??接近HBase的吞吐性能++t在線事務(wù))在線事務(wù)?計(jì)算引擎支持Impala/Spark/Drill/…慢寫)快ò存儲(chǔ)越來越快ò列存儲(chǔ)應(yīng)用在線事務(wù)系統(tǒng)也是可?的HDFS?ETL等預(yù)處理HBase?在線事務(wù)處理?計(jì)算中的隨機(jī)查詢Kudu?在線分析歷史介紹-數(shù)據(jù)模型和使用+有限固定列,支持altertable+主鍵索引(支持多列)+Insert/Update/Delete/Scan/Get*[100,[100,200)[200,300)[300,Inf)HashPartitionRange+Hash?強(qiáng)?致??可用:低MTTR,Leader失敗檢測+重選主時(shí)間短?允許從Follower進(jìn)?SnapshotRead?HybridTime支持外部?致性(類似GoogleSpanner)llowò永久失敗介紹-集群介紹-MASTERò所有元數(shù)據(jù)緩存在內(nèi)存ò客戶端緩存se?DRS區(qū)間覆蓋過多影響讀寫效率傳統(tǒng)數(shù)據(jù)流分KUDU優(yōu)勢-統(tǒng)一數(shù)據(jù)存儲(chǔ)+不需要定時(shí)從?存儲(chǔ)轉(zhuǎn)化為列存儲(chǔ)+支持需要update的分析型應(yīng)用ò統(tǒng)?元數(shù)據(jù)和存儲(chǔ)格式+避免數(shù)據(jù)格式轉(zhuǎn)化和不?致問題ò分析結(jié)果存儲(chǔ)和服務(wù)+分析結(jié)果重復(fù)使用KUDU優(yōu)勢-事務(wù)和主鍵索引+簡化計(jì)算層容錯(cuò)處理ò數(shù)據(jù)到達(dá)時(shí)間有延遲//創(chuàng)建表(持久化數(shù)據(jù)流)createtablewords(tsintkey,seqidintkey,wordstring);//實(shí)時(shí)數(shù)據(jù)插?insertintowordsvalues(xxx,xxx,xxx);Wordselectts/60,word,count(*)ascntfromwordswherets>=1462856700andts<1462856820groupbyts/60orderbycntdesclimit10;Kudu提供隨機(jī)查詢服務(wù),如在線報(bào)表createtablewordcout(tsintkey,rankintkey,wordstring,cntint)insertoverwritewordcountselect...OLAP云服務(wù)uRESTSQL)u導(dǎo)?/查詢/管理/權(quán)限/Quota統(tǒng)?集中管理(移動(dòng)端/服務(wù)端/IoT)(可視化/在線報(bào)表) (管理/分析/查詢)OLAP服務(wù)-NOSQLò主要用于數(shù)據(jù)導(dǎo)?和結(jié)果服務(wù)+通用性和易用性+認(rèn)證和權(quán)限驗(yàn)證OLAP服務(wù)-SQLòSQL封裝為REST服務(wù)+直接操作Kudu+添加SQL擴(kuò)展語法OLAP服務(wù)-容量規(guī)劃和隔離+寫請(qǐng)求壓?預(yù)期相對(duì)穩(wěn)定實(shí)現(xiàn)OLAP服務(wù)-容量規(guī)劃和隔離òSQL查詢服務(wù)隔離+查詢不穩(wěn)定,突發(fā)+預(yù)期執(zhí)?時(shí)間短，但占用資源多ò