LSQL大規(guī)模集群技術(shù)架構(gòu)

1、技術(shù)創(chuàng)新，變革未來LSQL大規(guī)模集群技術(shù)架構(gòu)LSQL介紹LSQL大規(guī)模集群優(yōu)化 LSQL集群運(yùn)維實(shí)例一LSQL集群運(yùn)維實(shí)例二目錄01LSQL介紹應(yīng)用層 Application LayerSQL計(jì)算層SQL computing LayerLSQL存儲(chǔ)引擎層Storage Engine Layer全文檢索引擎 Full-Text EngineKV 引擎Key-Value EngineOLAP 引擎 OLAP Engine預(yù)計(jì)算 引擎Pre-Computing Engine行業(yè)定制引擎 Industry EngineHadoop 基礎(chǔ)服務(wù)HDFSYARN基礎(chǔ)設(shè)施層 Infrastructure La

2、yer私有云 Private / 公有云 Public / 混合云 Hybrid / 物理集群 ClusterJDBC / REST外部數(shù)據(jù)源 External Data SourceOracle /MySQLKafkaHiveJSON / TXT / CSVParquet / ORCCustomerETL ToolsLSQL介紹LSQL集群架構(gòu)DN NM LSQLDN NM LSQLDN NM LSQLNNLSQLDriverRMDN NM LSQLZKZKZKKafkaKafkaKafkaJNJNJN02LSQL優(yōu)化LSQL優(yōu)化映射表/視圖表不同表不同分片DN請(qǐng)求緩存過載保護(hù)LSQL優(yōu)化1

3、映射表列1列2列3列4列5128甲215乙340丙丁Tom男戊Lucy女己Mary女分組姓名性別丁Tom男戊Lucy女己Mary女ID年齡分組128甲215乙340丙物理表Physical Table映射表1Mapping Table映射表2Mapping TableLSQL優(yōu)化映射表/視圖表不同表不同分片DN請(qǐng)求緩存過載保護(hù)LSQL優(yōu)化2不同表不同分片大表小表1200分片LSQL優(yōu)化映射表/視圖表不同表不同分片DN請(qǐng)求緩存過載保護(hù)LSQL優(yōu)化3DN請(qǐng)求緩存NameNodeDN無Cache層LSQLDNCache層LSQL未使用DN緩存使用DN緩存LSQL優(yōu)化映射表/視圖表不同表不同分片DN請(qǐng)

4、求緩存過載保護(hù)倒排表掃描長度限制。Shuffle 達(dá)到過載保護(hù)的閾值，則中斷此操作。單次查詢文件讀寫量的過載控制。SQL任務(wù)執(zhí)行時(shí)間的控制，超時(shí)kill。LSQL優(yōu)化4過載保護(hù)03LSQL運(yùn)維實(shí)例一LSQL案例背景3000張表數(shù)據(jù)規(guī)模超萬億條（PB級(jí)）日增300500億條（幾十TB）數(shù)據(jù)存儲(chǔ)三個(gè)月以上全文檢索、多維查詢、地理位置檢索數(shù)據(jù)碰撞、多表關(guān)聯(lián)、統(tǒng)計(jì)、數(shù)據(jù)導(dǎo)出等每日請(qǐng)求近百萬次90%查詢響應(yīng)時(shí)間 3天) 全量心跳ervalMsec ： (0 = 300)增量數(shù)據(jù)心跳erv

5、al ：erval ：(3秒 = 60秒）心跳間隔(3秒 = 60秒）減少心跳頻率node.invalidate.work.pct.per.iteration ：（0.32 = 0.15）減少掃 描節(jié)點(diǎn)數(shù)量卡頓依舊！IBR同步機(jī)制的問題刪除塊接收塊DataNodeIBR上報(bào)NameNode同步處理IBR：增量塊匯報(bào)(Incremental Block Report)，發(fā)生時(shí)機(jī)：剛剛被刪除的塊正在被接收(寫)的塊接收完畢(已被寫完)的塊問題1：DN實(shí)時(shí)上報(bào)IBR問題2：NN同步處理IBRIBR延時(shí)異步處理刪除塊接收塊DataNodeBP線程N(yùn)am

6、eNode異步處理線程1，DN延時(shí)發(fā)送IBR2，NN異步處理IBRPending IBR暫存 隊(duì)列04LSQL運(yùn)維實(shí)例二千臺(tái)聯(lián)邦模式LSQL服務(wù)異常中止日志分析：NN處于Standby模式？原因分析及對(duì)策原因調(diào)查：1，NN負(fù)載過高，出現(xiàn)主備切換 2，主備切換后，F(xiàn)ailover失效參數(shù)不起作用：dfs.federation.router.client.retry.max.attemptsSubCluster0主備切換異常原因State StoreRRNNNNDNDNDNActiveStandby修改Router源碼NN高負(fù)載原因之一ChooseRandom()隨機(jī)選節(jié)點(diǎn)引發(fā)的問題隨機(jī)算法修改遍

7、歷所有節(jié)點(diǎn)判斷是否屬于排除節(jié)點(diǎn)加入候選列表判斷節(jié)點(diǎn)存儲(chǔ)類型從候選列表隨機(jī)選擇從所有節(jié)點(diǎn)隨機(jī)選擇判斷是否屬于排除節(jié)點(diǎn)判斷節(jié)點(diǎn)存儲(chǔ)類型返回所選節(jié)點(diǎn)去掉全局鎖循環(huán)數(shù)次NN高負(fù)載原因之二異構(gòu)存儲(chǔ)引發(fā)的問題Excluded列表包含幾百臺(tái)DN，全部為SSD節(jié)點(diǎn)!NN高負(fù)載原因之二節(jié)點(diǎn)排除策略引發(fā)的問題maxLoad = 系數(shù) * 集群平均Xceiver負(fù)載數(shù)節(jié)點(diǎn)的負(fù)載數(shù) maxLoad，將其加入exclude列表修改節(jié)點(diǎn)排除策略# 禁用# 增加倍數(shù)默認(rèn)值：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 2.0修改方法：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 5.0NN高負(fù)載原因之三機(jī)架策略引發(fā)的問題遍歷大量SATA節(jié)點(diǎn)！SATA節(jié)點(diǎn)NN高負(fù)載原因之三每機(jī)架最大副本數(shù) = （總副本數(shù) 1）/ 機(jī)架數(shù) + 2Rack01Rack02Rack03Rack04Rack05Rac