HBase在車聯(lián)網(wǎng)中的應(yīng)用與實(shí)踐

1、HBase在車聯(lián)網(wǎng)中的應(yīng)用與實(shí)踐技術(shù)創(chuàng)新，變革未來目錄 / Contents01選型與應(yīng)用02穩(wěn)定性建設(shè)03平臺(tái)建設(shè)04未來規(guī)劃2業(yè)務(wù)特性-數(shù)據(jù)流硬件層采集數(shù)據(jù)網(wǎng)絡(luò)層過濾數(shù)據(jù)解析層解析數(shù)據(jù)緩沖層暫存數(shù)據(jù)加工層處理數(shù)據(jù)存儲(chǔ)層存儲(chǔ)數(shù)據(jù)分析層分析數(shù)據(jù)應(yīng)用層展示數(shù)據(jù)自研設(shè)備硬件層其它設(shè)備網(wǎng)關(guān)網(wǎng)絡(luò)層SLB防火墻808協(xié)議String協(xié)議MQTT協(xié)議RocketMQKafka解析層緩沖層數(shù)據(jù)計(jì)算中心ETL引擎加工層數(shù)據(jù)庫入庫機(jī)HBase存儲(chǔ)層HDFSRDSDRDSHive數(shù)據(jù)挖掘指標(biāo)分析決策支持統(tǒng)計(jì)報(bào)表機(jī)器學(xué)習(xí)分析層里程軌跡油耗事件更多應(yīng)用層01選型與應(yīng)用1存儲(chǔ)選型業(yè)務(wù)數(shù)據(jù)特性HBaseMongoDBCa

2、ssandra數(shù)據(jù)增長(zhǎng)快擴(kuò)展容易擴(kuò)展容易逐步可擴(kuò)展穩(wěn)定性要求高可用性高可用性高可用性高實(shí)時(shí)性要求高低延時(shí)低延時(shí)低延時(shí)/范圍查詢 弱數(shù)據(jù)量大海量數(shù)據(jù)中等數(shù)據(jù)海量數(shù)據(jù)過期數(shù)據(jù)低頻訪 問數(shù)據(jù)刪除簡(jiǎn)單數(shù)據(jù)刪除較簡(jiǎn)單數(shù)據(jù)刪除簡(jiǎn)單數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單單維度查詢?nèi)乃饕o助索引2HBase接入-SDK基本功能&ORM日志上報(bào)雙活切換3里程計(jì)算設(shè)計(jì)實(shí)時(shí)計(jì)算小時(shí)計(jì)算天計(jì)算RocketMQHDFSKafkaHBasestorm實(shí)時(shí)計(jì)算ETL實(shí)時(shí)采集Spark小時(shí) 計(jì)算/天計(jì)算ETL實(shí)時(shí)采集3Rowkey設(shè)計(jì)滿足查詢條件防止熱數(shù)據(jù)性能以及成本Rowkey設(shè)計(jì)Reverse(imei)+00000+string(date)里

3、程表每天的寫入量：50億+，讀取量100億+4列設(shè)計(jì)滿足需求提高性能節(jié)約成本所以我們最終是以業(yè)務(wù)讀取數(shù)據(jù)的需求分組，將相同 需求的數(shù)據(jù)放在同一個(gè)列或者列蔟里面，以json的形 式存放，減少元數(shù)據(jù)。5集群設(shè)計(jì)正確初始化有瓶頸再談優(yōu)化用數(shù)據(jù)驗(yàn)證結(jié)果性價(jià)比衡量業(yè)務(wù)關(guān)聯(lián)調(diào)整讀寫緩存內(nèi)存分配比例調(diào)整讀寫隊(duì)列關(guān)掉wal log協(xié) 議 解 析 端FlumeKafka集群ETL消費(fèi)HBase集群平臺(tái)系統(tǒng)數(shù)據(jù)量大配置低寫入性能要求高，查詢較少報(bào)文系統(tǒng)7數(shù)據(jù)分層溫?cái)?shù)據(jù)（近線查詢）冷數(shù)據(jù)（離線查詢）熱數(shù)據(jù)（在線查詢）數(shù)據(jù)實(shí)時(shí)同步公有云熱數(shù)據(jù)HBase私有云冷數(shù)據(jù)HDFS溫?cái)?shù)據(jù)HBaseHiveSpark Hive

4、MRSDK02穩(wěn)定性建設(shè)1遇到的問題HBase Request有時(shí)候突 然很低，大量請(qǐng)求都超時(shí)HBase總是會(huì)定時(shí)的出現(xiàn)請(qǐng) 求超時(shí)，幾分鐘后，又自動(dòng) 恢復(fù)有自動(dòng)恢復(fù)長(zhǎng)時(shí)間的RIT，無法提供服 務(wù)2基礎(chǔ)監(jiān)控Metrics監(jiān)控組監(jiān)控3表監(jiān)控集群吞吐監(jiān)控表吞吐監(jiān)控連接監(jiān)控4填過的坑限流協(xié)處 理器導(dǎo)數(shù) 據(jù)FixedIntervalRate LimiterAverageIntervalR ateLimitercountSumAvg.SqoopMapreduce.5攻防演練故障庫環(huán)境隔離文檔總結(jié)定期演練6雙活數(shù)據(jù)實(shí)時(shí)同步Sdk自動(dòng)切換雙活的實(shí)現(xiàn)配置中心管理KafkaHBaseKafkaHBasemasterslave03平臺(tái)建設(shè)1概覽數(shù)據(jù)查詢數(shù)據(jù)修改表管理監(jiān)控報(bào)表報(bào)警限