從Impala到Apache Doris貨拉拉用戶畫像優(yōu)化實(shí)踐

資深大數(shù)據(jù)工程師于敬暉高級(jí)大數(shù)據(jù)工程師張斌01貨拉拉畫像服務(wù)現(xiàn)狀02貨拉拉畫像架構(gòu)痛點(diǎn)03Impala>ApacheDoris遷移實(shí)踐04后續(xù)規(guī)劃01畫像平臺(tái)早期現(xiàn)狀100100萬363座國內(nèi)貨運(yùn)開城數(shù)量國內(nèi)貨運(yùn)開城數(shù)量貨拉拉介紹月活司機(jī)數(shù)月活司機(jī)數(shù)月活用戶數(shù)月活用戶數(shù)畫像平臺(tái)價(jià)值&人群數(shù)量畫像應(yīng)用場(chǎng)景畫像應(yīng)用場(chǎng)景支撐貨拉拉司機(jī)派券/邀約、用戶滿意度、估價(jià)等業(yè)務(wù)畫像人群增長情況用戶圈選人群的量級(jí)逐年增加畫像人群增長情況用戶圈選人群的量級(jí)逐年增加畫像平臺(tái)應(yīng)用規(guī)模200+3000+5萬接入業(yè)務(wù)方數(shù)量人群數(shù)標(biāo)簽數(shù)接入業(yè)務(wù)方數(shù)量人群數(shù)標(biāo)簽數(shù)用戶體感人群推送不穩(wěn)定人群偶爾不推送，或者推送是歷史數(shù)據(jù)人群計(jì)算慢人群量級(jí)過大，經(jīng)常不跑或算不出數(shù)據(jù)人群推送不穩(wěn)定人群偶爾不推送，或者推送是歷史數(shù)據(jù)人群計(jì)算慢人群量級(jí)過大，經(jīng)常不跑或算不出數(shù)據(jù)人群/標(biāo)簽靈活性差標(biāo)簽開發(fā)周期長，用戶自定義標(biāo)簽使用門檻高02貨拉拉畫像架構(gòu)痛點(diǎn)畫像平臺(tái)架構(gòu)圖畫像平臺(tái)Persona-BE：建造基于大數(shù)據(jù)體系的用戶標(biāo)簽鏈路及系統(tǒng)，用于在特定業(yè)務(wù)形態(tài)下描述業(yè)務(wù)主體；Persona-API：基于重點(diǎn)使用場(chǎng)景/對(duì)接系統(tǒng)搭建畫像服務(wù)，從而精準(zhǔn)地生成用戶畫像，給到對(duì)接業(yè)務(wù)方使用。貨拉拉畫像平臺(tái)數(shù)據(jù)鏈路導(dǎo)入慢推送服務(wù)穩(wěn)定性差第三方組件維護(hù)難數(shù)據(jù)鏈路導(dǎo)入慢推送服務(wù)穩(wěn)定性差?Impala是神策采集服務(wù)組件之一，早?Impala是神策采集服務(wù)組件之一，早期出于成本原因，接入神策?神策針對(duì)Impala做過語法優(yōu)化，畫像服務(wù)不得不依賴?強(qiáng)依賴神策相關(guān)的接口OOM，由此產(chǎn)生一次隱患影響業(yè)務(wù)動(dòng)作；?Impala+ES引擎組合：引擎SQL差異大，工程適配大量代碼邏輯，新功能開發(fā)成本高?數(shù)倉導(dǎo)入Impala耗時(shí)長，經(jīng)常超時(shí)不Impala導(dǎo)入數(shù)據(jù)耗時(shí)90+min?人群計(jì)算耗時(shí)長，計(jì)算時(shí)長10+min,高峰期30+min畫像平臺(tái)歷史故障回顧202420232024Impala服務(wù)器內(nèi)存OOM導(dǎo)致，畫像任務(wù)數(shù)據(jù)延遲產(chǎn)出Impala服務(wù)器內(nèi)存OOM導(dǎo)致，畫像任務(wù)數(shù)據(jù)延遲產(chǎn)出Impala升級(jí)，Impala及其服務(wù)接口ImpalaImpala升級(jí)，Impala及其服務(wù)接口20242022202403Impala>ApacheDoris遷移實(shí)踐1.組件選型ClickHouse使用場(chǎng)景：司機(jī)在線工作狀態(tài)分析，大寬表查詢ClickHouse使用場(chǎng)景：司機(jī)在線工作狀態(tài)分析，大寬表查詢存在痛點(diǎn)：學(xué)習(xí)成本高、并發(fā)能力較差A(yù)pacheDoris使用場(chǎng)景：AB實(shí)驗(yàn)效果評(píng)估、數(shù)據(jù)分析使用場(chǎng)景：監(jiān)控APP線上性能數(shù)據(jù)，Bug管理、預(yù)警存在痛點(diǎn)：學(xué)習(xí)成本高、角色較多、維護(hù)難度大2.遷移方案2.遷移方案階段1：完成ApacheDoris相關(guān)鏈路，功能走通2.數(shù)據(jù)導(dǎo)入1.Doris建表2.數(shù)據(jù)導(dǎo)入建表調(diào)優(yōu)：?表模型確認(rèn)?建表語句優(yōu)化?標(biāo)簽BitMap，交、建表調(diào)優(yōu)：?表模型確認(rèn)?建表語句優(yōu)化?標(biāo)簽BitMap，交、并、差集操作，實(shí)現(xiàn)人群圈選?導(dǎo)入任務(wù)數(shù)：50+?任務(wù)數(shù)據(jù)量：4億?導(dǎo)入耗時(shí)：<30min任務(wù)配置：?定時(shí)調(diào)度?同步任務(wù)狀態(tài)信息?監(jiān)控告警2.遷移方案階段2：雙跑，以Impala為主，Doris接入線上流量數(shù)據(jù)質(zhì)量：?Doris和神策查詢結(jié)果全量比對(duì)，發(fā)現(xiàn)存在差異?Doris和Hive進(jìn)行抽樣比對(duì)穩(wěn)定性：?調(diào)整查詢并發(fā)度，探測(cè)集群水位、瓶頸?Doris和Hive進(jìn)行抽樣比對(duì)?監(jiān)控大盤，制定告警規(guī)則，定期巡檢2.遷移方案階段3：雙跑，以ApacheDoris為主，逐步下線Impala以ApacheDoris為主1.以Doris為主引擎，計(jì)算、查詢流量路由至Doris2.增量人群以Doris計(jì)算為主，存量人群通過人群引擎參數(shù)逐步遷移至Doris并計(jì)算3.斷開神策Impala連接和相關(guān)API調(diào)用遷移前后架構(gòu)圖對(duì)比3.調(diào)優(yōu)經(jīng)驗(yàn)分享問題1：1.1.1版本，查詢bitmap類型字段返回結(jié)果為null，不是預(yù)期值（預(yù)期返回0）該問題是在版本升級(jí)后出現(xiàn)的，定位到相應(yīng)參數(shù)return_object_data_as_binary不生效，此次版本升級(jí)重點(diǎn)是支持了向量化執(zhí)行，而向量化執(zhí)行會(huì)將bitmap類型的輸出結(jié)果轉(zhuǎn)為null，需要通過調(diào)整特定參數(shù)解決該問題。參數(shù)調(diào)整：?setreturn_object_data_as_binary=true;?setenable_vectorized_engine=false;3.調(diào)優(yōu)經(jīng)驗(yàn)分享問題2：集群升級(jí)至1.2.4版本，出現(xiàn)計(jì)算結(jié)果異常、數(shù)據(jù)質(zhì)量問題解法：1.2.x版本低基數(shù)優(yōu)化功能存在bug，對(duì)于varchar/char/string類型的比較運(yùn)算可能存在數(shù)據(jù)質(zhì)量問題；關(guān)閉該功能：enable_low_cardinality_optimize數(shù)據(jù)待補(bǔ)充數(shù)據(jù)待補(bǔ)充4.數(shù)據(jù)質(zhì)量保障數(shù)據(jù)質(zhì)量保障通過復(fù)盤分析結(jié)合以往經(jīng)驗(yàn)：需提升、完善Doris數(shù)據(jù)質(zhì)量保障能力5.數(shù)據(jù)質(zhì)量保障增強(qiáng)能力自動(dòng)化回歸測(cè)試能力（SQL集、數(shù)據(jù)集、自動(dòng)化比對(duì)、回歸測(cè)試報(bào)告）完善監(jiān)控?cái)r截完善異常SQL監(jiān)控、攔截能力，避免影響線上環(huán)境（已識(shí)別存在異常的函數(shù)10+）效果&收益1.畫像服務(wù)穩(wěn)定性：接入Doris至今沒有出現(xiàn)穩(wěn)定性問題2.數(shù)據(jù)鏈路?時(shí)效性：接入Doris后，數(shù)據(jù)鏈路相對(duì)之前Impala更加穩(wěn)定；Doris的導(dǎo)入耗時(shí)30min內(nèi)，使用Impala進(jìn)行數(shù)據(jù)導(dǎo)入90+min?人群計(jì)算：接入Doris后單人群計(jì)算鏈路秒級(jí)別完成（高峰期1+min使用Impala進(jìn)行人群計(jì)算鏈路時(shí)長