FFA2024分論壇-行業(yè)解決方案合輯

2?…），THANKYOUChinaUnicomNetworkResourcesDataLakehouseApplicationPractice效果及規(guī)劃效果及規(guī)劃現(xiàn)狀及挑戰(zhàn)StatusandChallenges寬帶業(yè)務(wù)開通—物理網(wǎng)絡(luò)圖無線/傳輸—數(shù)字網(wǎng)絡(luò)圖NewStructureofDataLakehouse?全字段比對100%一致?分鐘級延遲≤10?全字段比對100%一致?分鐘級延遲?全增量SchemaEvolution-CdcSchemaCommonUtils?全量寫?全增量SchemaEvolution-CdcSchemaCommonUtils?多個(gè)增量寫同一個(gè)表字段兼容支持SchemaEvolution+Schema?多個(gè)增量寫同一個(gè)表字段兼容支持THANKYOU謝謝觀看ConstructionofReal-TimeVariablePoolinWetechBasedonFlinkA正常行為正常行為異常行為異常行為·組件耦合·SLA·······FlinkExactlyOnce語義查詢查詢變量池時(shí)變量池流式計(jì)算流式計(jì)算原子層查詢?nèi)罩静樵內(nèi)罩緮?shù)據(jù)源均值、方差查詢請求查詢查詢請求查詢THANKYOU數(shù)據(jù)治理注：運(yùn)維是指電站的運(yùn)行維護(hù)風(fēng)力發(fā)電機(jī)組和光伏面板大多位于偏遠(yuǎn)地區(qū)，巡檢作覆蓋周期長。如何減少巡檢頻次，快速發(fā)現(xiàn)問題、定場站的高效率監(jiān)測運(yùn)維，可以提高場站安全性莫呂掘滾莫呂掘滾禾詭蜂狙悟蛭撐靄瑩□□□□悟蛭撐靄瑩□□□□哆禾詭槐斥紅紅似竇腩撈甄螺拚竇腩撈禾詭刁久塵幌竇腩餾竇腩餾窒螺锨閉螺拚《鮮5$$JFHUJFHU螺拚竇腩撈講贛琶陳Kafka禾詭溺陪蹭禾詭困久蹭禾詭困久S501(#30)S502(#31)S504(#33)…… 數(shù)件件件型型valuevaluevalue率valuevalue力valueQYvaluevalue型法測value移XYZvalue…根據(jù)配置可以將遙測轉(zhuǎn)換為遙信，采用的策略是配置根據(jù)數(shù)據(jù)包校驗(yàn)邏輯判斷是否接收到了錯(cuò)誤的數(shù)據(jù)，在數(shù)據(jù)采集和傳輸過程中因?yàn)橥ㄓ嵲蚩赡軙?huì)造成數(shù)指標(biāo)計(jì)算上指標(biāo)計(jì)算上統(tǒng)計(jì)報(bào)表… 壁壁壁枯枯 數(shù)據(jù)采集數(shù)據(jù)采集 聯(lián)合??機(jī)缺陷聯(lián)合??機(jī)缺陷集線等效?時(shí)集線等效?時(shí)箱變等效?時(shí)箱變等效?時(shí)組串等效?時(shí)組串等效?時(shí)庫THANKYOU基于Flink的中國電信星海時(shí)空數(shù)據(jù)多引擎實(shí)時(shí)改造中國電信數(shù)據(jù)發(fā)展中心企業(yè)級大數(shù)據(jù)時(shí)空智能系統(tǒng)2024年11月星海時(shí)空智能系統(tǒng)的現(xiàn)狀通過構(gòu)建時(shí)空系統(tǒng)的運(yùn)營體系，結(jié)合全量客戶信息，形成跨地域、跨部門的客戶位置、等信息，封裝各類標(biāo)準(zhǔn)化時(shí)空服務(wù)能力，強(qiáng)化生態(tài)合作，促進(jìn)了時(shí)空系統(tǒng)的n時(shí)空資產(chǎn)：2023年建設(shè)基站畫像、用戶位置標(biāo)簽體畫像、智能區(qū)域（區(qū)域畫像）2024年建設(shè)行業(yè)指標(biāo)庫、時(shí)空算法庫、基于MR數(shù)據(jù)集指紋庫n2024年8月，中國電信“星海大數(shù)據(jù)秀科技成果獎(jiǎng)（左圖）。這是對電信時(shí)空智能系統(tǒng)建時(shí)空系統(tǒng)能力分層體系價(jià)值鏈N1算3級的定位價(jià)值鏈N1算3業(yè)交通旅游金融交通旅游金融++運(yùn)態(tài)表表表表表表表表表表表表層4G信令數(shù)據(jù)據(jù)數(shù)據(jù)底座網(wǎng)元底座數(shù)據(jù)底座網(wǎng)元底座實(shí)時(shí)計(jì)算發(fā)展歷程集能實(shí)時(shí)計(jì)算業(yè)務(wù)痛點(diǎn)業(yè)務(wù)場景分散不聚焦、相同場景不同客戶的業(yè)務(wù)口徑不一致。需要時(shí)空系統(tǒng)回答如何將數(shù)據(jù)資產(chǎn)規(guī)?；ㄔO(shè)、業(yè)務(wù)場景封裝、客戶三者協(xié)同的問題。簡單說來，我們既想要關(guān)注數(shù)據(jù)的完備性，具有處理海量的數(shù)據(jù)能力，又想要封裝行業(yè)的通用能力，還想要快速多場景LBS支撐多場景LBS支撐不支持策略/規(guī)則/質(zhì)量管控不支持策略/規(guī)則/質(zhì)量管控多引擎實(shí)時(shí)架構(gòu)思路交通旅游交通旅游金融零售教育制造應(yīng)急公共服務(wù)商務(wù)會(huì)展實(shí)時(shí)流介據(jù)據(jù)I多引擎改造2實(shí)時(shí)架構(gòu)演進(jìn) 異常告警計(jì)算出行分析計(jì)算區(qū)域洞察計(jì)算人群駐留計(jì)算人單異常告警計(jì)算出行分析計(jì)算區(qū)域洞察計(jì)算人群駐留計(jì)算人單第一階段：多鏈路煙囪式開發(fā)第二階段：多引擎加工（實(shí)時(shí)數(shù)倉）這是一個(gè)多點(diǎn)運(yùn)維到集中自動(dòng)化運(yùn)營的過程，監(jiān)控運(yùn)維平臺的構(gòu)建需要滿足自動(dòng)化的要求。Flink集群Backpressure監(jiān)控、CheckPoint的生效的監(jiān)控、長尾任務(wù)的解析，數(shù)據(jù)消費(fèi)lag值監(jiān)控，生產(chǎn)加工時(shí)長的監(jiān)控等都實(shí)現(xiàn)了自動(dòng)化實(shí)時(shí)多引擎web頁面：手動(dòng)配置數(shù)據(jù)流規(guī)則客戶：調(diào)用API網(wǎng)關(guān)進(jìn)行配置④④貼源數(shù)據(jù)的軌跡點(diǎn)去重原始用戶軌跡點(diǎn)中存在位置點(diǎn)重合及聚集現(xiàn)象（職住地尤為明顯），導(dǎo)致用戶軌跡過度冗余，為更清晰呈現(xiàn)用戶軌跡且減少原始用戶軌跡點(diǎn)中存在位置點(diǎn)重合及聚集現(xiàn)象（職住地尤為明顯），導(dǎo)致用戶軌跡過度冗余，為更清晰呈現(xiàn)用戶軌跡且減少計(jì)算和存儲資源浪費(fèi)，對用戶軌跡數(shù)據(jù)進(jìn)行分組、清洗，同時(shí)使用Flink滾動(dòng)窗口函數(shù)進(jìn)行位置點(diǎn)剔重度④③②引擎規(guī)則生效的優(yōu)化傳統(tǒng)方式定時(shí)掃描外部數(shù)據(jù)加載到傳統(tǒng)方式定時(shí)掃描外部數(shù)據(jù)加載到flink內(nèi)部進(jìn)行關(guān)聯(lián)，并非基于事件驅(qū)動(dòng)，存在實(shí)時(shí)關(guān)聯(lián)效率低現(xiàn)象；利用FlinkCDC全增量一體的方式捕獲規(guī)則變動(dòng)，以事件驅(qū)動(dòng)的方式，與信令主數(shù)據(jù)流進(jìn)行join，達(dá)到實(shí)時(shí)驅(qū)動(dòng)觸發(fā)基于配置規(guī)則的計(jì)算，降低計(jì)算的時(shí)延和提高計(jì)算準(zhǔn)確性周邊位置檢索優(yōu)化遍歷求解 7位GeoHash遍歷求解 7位GeoHashn檢索方法：利用公共前綴n空間索引優(yōu)化：計(jì)算時(shí)間復(fù)雜度最低為遍歷求解的網(wǎng)格化并base32編碼，相鄰網(wǎng)格其編號前綴相同。如此，將二維空間數(shù)據(jù)壓縮為一維。結(jié)合B+樹索引，可適應(yīng)于不nn檢索方法：利用公共前綴n空間索引優(yōu)化：計(jì)算時(shí)間復(fù)雜度最低為遍歷求解的網(wǎng)格化并base32編碼，相鄰網(wǎng)格其編號前綴相同。如此，將二維空間數(shù)據(jù)壓縮為一維。結(jié)合B+樹索引，可適應(yīng)于不n時(shí)空伴隨分析n附近網(wǎng)約車等快速檢索n周邊POI興趣點(diǎn)推薦GeohashGeohash示意圖幾何圍欄時(shí)空映射優(yōu)化基站匹配關(guān)聯(lián)?量空間計(jì)算基站匹配關(guān)聯(lián)?量空間計(jì)算預(yù)先使用空間算法找到面與,轉(zhuǎn)換點(diǎn)面預(yù)先使用空間算法找到面與,轉(zhuǎn)換點(diǎn)面包含成為點(diǎn)與集合的join關(guān)在實(shí)際處理時(shí)，直接通過數(shù)據(jù)流中基站編號映射關(guān)來判定用戶是否在區(qū)域效率提升：基站匹配方式優(yōu)化了幾何圍欄關(guān)系計(jì)算，在點(diǎn)面包含計(jì)算場景下，約為傳統(tǒng)矢量計(jì)算時(shí)間復(fù)雜度的1/k倍（k為面的折基站的映射關(guān)系中下，通用點(diǎn)面包含、面面相交常使用ST_Intersects、效率提升：基站匹配方式優(yōu)化了幾何圍欄關(guān)系計(jì)算，在點(diǎn)面包含計(jì)算場景下，約為傳統(tǒng)矢量計(jì)算時(shí)間復(fù)雜度的1/k倍（k為面的折基站的映射關(guān)系中基站基站匹配典型應(yīng)用漫入漫出類應(yīng)用：運(yùn)動(dòng)狀態(tài)識別引擎①①②②③營銷類應(yīng)用：個(gè)體行為識別引擎②篩選目標(biāo)地市的數(shù)據(jù)④關(guān)聯(lián)目標(biāo)用戶群，二次確認(rèn)⑤剔除已營銷用戶⑥剔除免打擾用戶⑦計(jì)算駐留時(shí)長⑧駐留時(shí)長達(dá)到閾值，判定為個(gè)體行為識別用戶外部數(shù)據(jù)引入類應(yīng)用：個(gè)體行為識別引擎智慧文旅類應(yīng)用：群智感知識別引擎 ），像想象空間：封裝更多引擎為置置務(wù)為置置務(wù)勤碼務(wù)計(jì)勤分析未來展望匯總層整合層明細(xì)層應(yīng)用層匯總層整合層明細(xì)層應(yīng)用層流流流令流流流令湖②滿足規(guī)劃指引安全出湖e匯總層應(yīng)用層整合層明細(xì)層安全出湖e匯總層應(yīng)用層整合層明細(xì)層明細(xì)層匯總層應(yīng)用層整合層批批批⑥計(jì)劃2025年構(gòu)建秒級延遲、分明細(xì)層匯總層應(yīng)用層整合層批批批湖n長期來看，根據(jù)3GPP組織（第三代合作伙伴計(jì)劃）在2024年6月凍結(jié)的Release18的最新通信協(xié)議，未來通訊大網(wǎng)將融合低軌衛(wèi)星互聯(lián)網(wǎng)、5G6G基站、室分室內(nèi)等定位能力，增加包含大模型、深度學(xué)習(xí)構(gòu)建的通導(dǎo)感一體、空天地全域、軟硬結(jié)合的“三位一體”的業(yè)務(wù)場景（比如低空經(jīng)濟(jì)），電信時(shí)空智能系統(tǒng)會(huì)有進(jìn)一步加快發(fā)展。服務(wù)能力調(diào)用手持終端、車載終端、飛行器終端、艦船終端、THANKYOU謝謝觀看面向未來的一體化實(shí)時(shí)湖倉架構(gòu)設(shè)計(jì)建設(shè)特點(diǎn)?數(shù)據(jù)架構(gòu)不分層，以任務(wù)為單位支撐應(yīng)用場景架構(gòu)痛點(diǎn)?全部預(yù)處理方式要求每個(gè)開發(fā)同學(xué)E2E加工，不能適應(yīng)建設(shè)特點(diǎn)支持OLAPQuery?數(shù)據(jù)分層：在DWD層按照主題將數(shù)據(jù)源整合，構(gòu)建可復(fù)用的架構(gòu)痛點(diǎn)?數(shù)據(jù)存儲冗余：不同業(yè)務(wù)SLA不同，KV引擎和OLAP根建設(shè)特點(diǎn)?統(tǒng)一存儲：公共明細(xì)層、公共匯總層，應(yīng)用明細(xì)層、應(yīng)用匯總關(guān)鍵收益在存儲層需要統(tǒng)一，既能存儲大量歷史數(shù)在存儲層需要統(tǒng)一，既能存儲大量歷史數(shù)4需要確保數(shù)據(jù)的時(shí)效性、一致性和可查詢同一個(gè)計(jì)算引擎需要能夠同時(shí)支持批、實(shí)?Hologres2Hologres2WHEREds=to_char(CU3__4 統(tǒng)一元數(shù)據(jù)極致性能增量消費(fèi)45405050Trino422HologresV3.0.5DeletionVectorShard/PartitionPruningLocaljoinClusteringRuntimeFilter低中高全量刷新(全量刷新(實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)?可將DynamicTable的刷新任務(wù)以Serverless方式執(zhí)?可將DynamicTable的刷新任務(wù)以Serverless方式執(zhí)行?不占用實(shí)例資源，任務(wù)間相互隔離。更加穩(wěn)定、更高效實(shí)時(shí)數(shù)倉HologresCREATEDYNAMICTABLEcommerce_tao merce_taobar_adv_benavior_logbehavior_log淘寶直播（全倉案例）淘天營銷活動(dòng)分析（湖倉案例）淘寶直播（全倉案例）淘天營銷活動(dòng)分析（湖倉案例）80%據(jù)據(jù)數(shù)據(jù)歸檔數(shù)據(jù)歸檔Y?openlake__win…Y?openY?openlake-win…》昌github__events高強(qiáng)中高強(qiáng)中中中強(qiáng) 阿里云上客戶案例 阿里云上客戶案例阿里巴巴集團(tuán)案例輕松籌飛書深諾THANKYOU?翟佳(wechat_id:zhai--jia)：背景介紹架構(gòu)和實(shí)現(xiàn)總結(jié)和未來規(guī)劃MULTI-TENANTMULTI-TENANTMULTI-TENANTMULTI-TENANT背景介紹架構(gòu)和實(shí)現(xiàn)總結(jié)和未來規(guī)劃MULTI-TENANTMULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT 背景介紹架構(gòu)和實(shí)現(xiàn)總結(jié)和未來規(guī)劃 MULTI-TENANT MULTI-TENANT），THANKYOU?/?/?dev@?users@?/apache/pulsar?/apache/bookkeeper?/AscentStreamn1PaimonxSpark的發(fā)展歷程n7PaimonxSpark極致查詢優(yōu)化nA未來展望與規(guī)劃完整流批能力新特性探索完整流批能力新特性探索極致讀寫優(yōu)化面臨的挑戰(zhàn)應(yīng)對bL',2,4)數(shù)據(jù)更新與寫入元數(shù)據(jù)加載優(yōu)化 …………3-5倍查詢性能提升/confluence/display/PAIMON/PIP-16%3A+Introduce+deletion+SparkSQL執(zhí)行鏈路Spark查詢優(yōu)化https://mp.weixin.qq.cSpark查詢優(yōu)化43210210.50JDK17,Scala2.13底層API接口改變引入Spark3/4common層通過profile切換Spark3/4半結(jié)構(gòu)化的數(shù)據(jù)需求日益增加Json靈活，但是解析慢結(jié)構(gòu)化數(shù)據(jù)解析快，但是不靈活Variant靈活，高效，開放Shredding列化后，查詢性能數(shù)量級提升測試版本已完成Variant和ShreddinTHANKYOU?愿景：成為世界上最好且最受尊重的基礎(chǔ)軟件公司?公司使命：為開發(fā)者和企業(yè)賦能，以速度、敏捷、增長之道創(chuàng)新。）：LEXNLEXN樂信TCLLenovoTCLLenovo同程旅行同程旅行≈超大號超大號MySQL天然高可用多庫合一高擴(kuò)展高吞吐）：）：式式 1selectt2.v_type,sum(t1.k+t2.k)frselectt2.v_type,sum(t1.k+t2.k)fr Region1*、Region2*Region1、Region2Region1、Region2*Region1、Region2Region1、Region2Region3Region3Region3*Region3Region4Region5Region6*Region4*Region5Region6RegionRegion4Region5Region6*Region4*Region5Region6Region4Region5*Region6方案對比低低低中高高高低低高低低低高低中高低低方案對比Clickhouse技術(shù)架構(gòu)數(shù)據(jù)分布策略基于random或hash分片分布式事務(wù)彈性擴(kuò)縮容數(shù)據(jù)規(guī)模并發(fā)吞吐能力數(shù)據(jù)重平衡業(yè)務(wù)侵入性高并發(fā)實(shí)時(shí)寫入和更新高并發(fā)單表查詢高并發(fā)關(guān)聯(lián)查詢批量處理大數(shù)據(jù)分析性能與大數(shù)據(jù)生態(tài)的用戶行為用戶行為業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)系統(tǒng)日志系統(tǒng)日志爬蟲數(shù)據(jù)爬蟲數(shù)據(jù)中中高●工具自身高可用模式運(yùn)行保護(hù)●●●●毫秒級捕獲存儲層變化并異步復(fù)制到下游集群●●支持事務(wù)和下游事務(wù)的原子性●用戶行為業(yè)務(wù)數(shù)據(jù)系統(tǒng)日志爬蟲數(shù)據(jù)統(tǒng)一視圖數(shù)據(jù)服務(wù)用戶行為業(yè)務(wù)數(shù)據(jù)系統(tǒng)日志爬蟲數(shù)據(jù)統(tǒng)一視圖數(shù)據(jù)服務(wù)!TiDB數(shù)據(jù)處理：數(shù)據(jù)調(diào)度跑批加工+HTAP能力所有層數(shù)據(jù)都可以提供數(shù)據(jù)服務(wù)/分析TiD