哪吒科技：SelectDB實時數(shù)倉在智慧港口中的應用實踐

鄧宇超哪吒科技數(shù)據(jù)平臺負責人01哪吒科技數(shù)倉發(fā)展歷程02實時數(shù)倉技術選型與架構03實時數(shù)倉在智慧港口的實戰(zhàn)應用04收益與展望01哪吒科技數(shù)倉發(fā)展歷程1.1哪吒科技業(yè)務介紹-市場能力2022新增客戶2022新增客戶33家盤錦營口唐山大連天津2023新增客戶50大連天津2023新增客戶50家太倉連云港太倉連云港張家港江陰蚌埠張家港江陰蚌埠合肥南通蘇州馬鞍山揚州蘇州馬鞍山上海嘉興仙桃武漢蕪湖荊州銅陵上海嘉興仙桃武漢蕪湖荊州銅陵杭州寧波杭州安吉安吉宜賓宜賓長沙廈門長沙廣州黃埔珠海貴港圖例說明原有客戶新增客戶汕頭深圳廣州黃埔珠海貴港圖例說明原有客戶新增客戶北海海口>9000萬TEU2023年哪吒2023年哪吒TOS產品支撐國內箱量2023年占國內集裝箱量市場份額2023年占國內集裝箱量市場份額國內外市場地圖1.2哪吒科技業(yè)務介紹-產品&服務1.3哪吒科技數(shù)倉發(fā)展歷程第二階段第三階段第一階段第二階段第三階段第一階段業(yè)務場景：港口運營數(shù)據(jù)樞紐數(shù)倉能力：單業(yè)務單場景數(shù)據(jù)整合業(yè)務場景：港口運營數(shù)據(jù)樞紐數(shù)倉能力：單業(yè)務單場景數(shù)據(jù)整合與決策賦能挑戰(zhàn)：數(shù)據(jù)融合性、實時性業(yè)務場景：智慧港口全生命周期與全解決方案（SMART系列）數(shù)倉能力：SelectDB統(tǒng)一實時數(shù)倉挑戰(zhàn)：復雜場景、查詢效率數(shù)倉能力：混合架構下數(shù)據(jù)整合與分析賦能挑戰(zhàn)：開發(fā)效率、維護成本、實時性1.4哪吒科技數(shù)倉架構演變（V1.0）1.5哪吒科技數(shù)倉架構演變（V2.0）1.6哪吒數(shù)倉應用場景面臨的挑戰(zhàn)應用場景RTG效率分析（堆場機械效率某碼頭交接班分析集疏運數(shù)字孿生時效性要求實時性要求高，數(shù)據(jù)產生到落地在1s內數(shù)據(jù)特點數(shù)據(jù)維度復雜，下鉆層次多數(shù)據(jù)維度比較單一，數(shù)據(jù)量少上海港8大碼頭數(shù)據(jù)量大，單表數(shù)據(jù)量10億以上，表字段多面臨的問題存在異常數(shù)據(jù)，數(shù)據(jù)不準，任務資源占用高數(shù)據(jù)量不大的情況下，單個任務資源占用高實時任務性能瓶頸問題，時效性無法滿足02實時數(shù)倉技術選型與架構2.1哪吒實時數(shù)倉選型因素關鍵指標數(shù)據(jù)導入查詢性能彈性架構開放生態(tài)安全合規(guī)SelectDB秒級輕量化表模式修改支持高并發(fā)點查、大寬表查詢、多表Join復雜查詢、數(shù)據(jù)湖查詢，查詢優(yōu)化（向量化、物化視支持計算隔離，分層存儲，存算分離三種模式，實現(xiàn)高效靈活的資源管理基于ApacheDoris構建，100%與其兼容，兼容MySQL生態(tài)深度契合等保要求的各項指標，并嚴格遵循ISO標準的規(guī)范框架融合信創(chuàng)技術，構建多重安全防線，以高可靠性能，為數(shù)據(jù)構建安全防線2.2哪吒科技實時數(shù)倉架構0*6400*6402.4SelectDB在實時場景中的應用實時數(shù)倉建模：1.ODS:通過FlinkCDC實時采集數(shù)據(jù)源的數(shù)據(jù)，落地到SelectDB實時數(shù)倉，為后續(xù)數(shù)據(jù)分析提供原始數(shù)據(jù)。2.DWD:基于清洗后的明細數(shù)據(jù)，做數(shù)據(jù)歸一化處理，方便上游業(yè)務。3.DWS：基于聚合模型，對指標預聚合，供業(yè)務使用。業(yè)務應用：通過數(shù)據(jù)服務平臺，提供查詢API接口，賦能給上層業(yè)務使用。2.5SelectDB在日志收集分析中的運用-架構及效果整體架構2.6SelectDB案例-日志檢索分析-建表示例CREATETABLEXXX_LOGS(tsDATETIME,pathTEXT,messageTEXT,hostnameVARCHAR(30),INDEXidx_path(path)USINGINVERTED,INDEXidx_host(hostname)USINGINVERTED,INDEXidx_msg(message)USINGINVERTEDPROPERTIES("parser"="unicode"))ENGINE=OLAPDUPLICATEKEY(ts)PARTITIONBYRANGE(ts)()DISTRIBUTEDBYRANDOMBUCKETSAUTOPROPERTIES("compaction_policy"="time_series","dynamic_partition.create_history_partition"="true",);2.6SelectDB案例-日志檢索分析-load示例注意點：注意點：?當使用DATETIME類型的時間字段作為主鍵Key時，查詢最新n條日志的速度會得到顯著提升。?使用基于時間字段的RANGE分區(qū)，并開啟動態(tài)Partiiton，以便按天自動管理分區(qū)，提升數(shù)據(jù)查詢和管理的靈活性。?在分桶策略上，可以使?RANDOM進行隨機分桶，分桶數(shù)量大致設置為集群磁盤總數(shù)的3倍。?對于經(jīng)常需要查詢的字段，建議構建索引以提高查詢效率；而對于需要進行全文檢索的字段，應指定合適的分詞器參數(shù)parser，確保檢索的準確性和效?采用ZSTD壓縮，可以獲得更好的壓縮效果，節(jié)省存儲空間。?對需要全文檢索的字段，將分詞器（parser）參數(shù)賦support__phrase參數(shù)賦值為true；如不需要，則設置為false，以降低存儲空間。?需要針對filebeat采集的json格式數(shù)據(jù)，做正確解析，此處與Doris建表字段類型要一致。CREATEROUTINELOADdatabase.test_jobONXXX_LOGSCOLUMNS(ts,path,message,hostname,ip)PROPERTIES("desired_concurrent_number"="1","jsonpaths"=)FROMKAFKA("kafka_broker_list"="ip:9092","kafka_topic"="flink_logs","property.kafka_default_offsets"="OFFSET_BEGINNING");2.7SelectDB案例-日志檢索分析-實現(xiàn)效果03實時數(shù)倉在智慧港口的實戰(zhàn)運用3.1SelectDB指標計算實踐業(yè)務場景（場地內的件散貨貨物作業(yè)動態(tài)數(shù)據(jù)）智慧碼頭運營管理需多維度統(tǒng)計場地貨物作業(yè)。對鋼材類，篩選作業(yè)量超500噸數(shù)據(jù)，剖析其大規(guī)模作業(yè)態(tài)勢及資源影響；對全場貨物，統(tǒng)計進貨1天內作業(yè)總量，把握流轉與繁忙程度，助力計劃調整；針對鋼材進貨1天內作業(yè)量大于500噸狀況，據(jù)此制定專屬策略，提升特定貨物與時段的管理及資源利用效能，實現(xiàn)高效運營決策。統(tǒng)計指標名稱統(tǒng)計指標名稱鋼材大規(guī)模作業(yè)數(shù)據(jù)統(tǒng)計全場貨物短期作業(yè)量匯總鋼材特殊高效作業(yè)數(shù)據(jù)統(tǒng)計指標描述聚焦于鋼材類貨物，精準篩選出作業(yè)量超過500噸的相關數(shù)據(jù)記錄，分析其作業(yè)態(tài)勢及對碼頭資源占用與作業(yè)效率的影響。針對場地所有貨物，詳細統(tǒng)計自進貨起1天內的作業(yè)量總和，以掌握貨物短期內流轉速度與作業(yè)繁忙程度，為短期作業(yè)計劃調整提供依據(jù)。著重于鋼材類貨物，精確統(tǒng)計其進貨后1天內作業(yè)量大于500噸的情形，為制定鋼材專屬作業(yè)方案與資源配置策略提供數(shù)據(jù)支持，提升特定貨物類別及作業(yè)時段運營管理效能與資源利用效率。3.2SelectDB指標計算實踐-示例代碼（表結構）--場地貨動態(tài)表CREATETABLE`TMP_ACTIVITIES`(`g_id`varchar(32)NOTNULLCOMMENT'動態(tài)id',`g_w_id`stringNOTNULLCOMMENT'場地貨id',`g_gtwg`DECIMAL(13,3)NOTNULLDEFAULT"0"COMMENT'重量',`g_opdate`datetimeNOTNULLCOMMENT'作業(yè)日期',)ENGINE=OLAPUNIQUEKEY(`g_id`)COMMENT'場地貨動態(tài)'DISTRIBUTEDBYHASH(`g_id`)BUCKETSAUTOPROPERTIES("enable_unique_key_merge_on_write"="true","store_row_column"="true",...);--場地貨表CREATETABLE`TMP_GOODS`(`w_id`varchar(32)NOTNULLCOMMENT'id',`w_gname`stringNOTNULLCOMMENT'貨名',`w_in_date`datetimeNULLCOMMENT'進貨日期',)ENGINE=OLAPUNIQUEKEY(`w_id`)COMMENT'場地貨'DISTRIBUTEDBYHASH(`w_id`)BUCKETSAUTOPROPERTIES("enable_unique_key_merge_on_write"="true","store_row_column"="true",...);3.3SelectDB指標計算實踐-示例代碼（指標計算）--統(tǒng)計場地貨貨類為鋼材且作業(yè)量大于500噸的情況selectw_id,sum(g_gtwg)fromTMP_ACTIVITIESgoajoinTMP_GOODSwygongoa.g_w_id=wyg.w_idandwyg.t_id=goa.t_idwherew_gname='鋼材'groupbyw_idhavingsum(g_gtwg)>5;--統(tǒng)計場地貨從進貨開始1天內的作業(yè)量selectw_id,sum(g_gtwg)fromTMP_ACTIVITIESgoajoinTMP_GOODSwygongoa.g_w_id=wyg.w_idandwyg.t_id=goa.t_idwhereg_opdatebetweenw_in_dateanddate_add(w_in_date,interval1day)groupbyw_id;--統(tǒng)計場地貨貨類為鋼材且從進貨開始1天內作業(yè)量大于500噸的情況selectw_id,sum(g_gtwg)fromTMP_ACTIVITIESgoajoinTMP_GOODSwygongoa.g_w_id=wyg.w_idandwyg.t_id=goa.t_idwherew_gname='鋼材'andg_opdatebetweenw_in_dateanddate_add(w_in_date,interval1day)groupbyw_idhavingsum(g_gtwg)>5;3.4SelectDB指標計算實踐-效果展示3.5SelectDB物化視圖實踐-示例代碼場景：碼頭多用戶同時對單表（數(shù)據(jù)量十億級）進行維度聚合查詢。通過不同維度組合和聚合方式，對比查詢性能。--有同步物化視圖:命中了agg條件過濾裁剪后的物化視圖selectyear(orc_lstupddt),month(orc_lstupddt),day(orc_lstupddt),count(orc_id)fromTEST_MVW..xxx_records_rtgroupbyyear(orc_lstupddt),month(orc_lstupddt),day(orc_lstupddt);--無同步物化視圖:selectyear(orc_lstupddt),month(orc_lstupddt),day(orc_lstupddt),count(orc_id)fromTEST_MVW..xxx_records_rt_tmp1groupbyyear(orc_lstupddt),month(orc_lstupddt),day(orc_lstupddt);3.6SelectDB物化視圖實踐-結果分析查詢平均響應時間差異對比：引入同步物化視圖后，單表維度聚合查詢性能得到了顯著提升：1.查詢響應時間減少：在不同并發(fā)場景下，查詢平均響應時間平均提升約10倍，查詢響應時間顯著減少。2.吞吐量提升：物化視圖顯著提升了系統(tǒng)的查詢吞吐量，平均提升約9.5倍，系統(tǒng)并發(fā)處理能力大幅提升。3.CPU使用率降低：引入物化視圖后，CPU使用率降低約1.53倍。4.內存使用率變化較?。簝却媸褂寐实淖兓鄬^小，平均差異倍數(shù)為1.16，說明內存并不是該查詢場景下的主要瓶頸。整體來看，引入同步物化視圖在單表維度聚合查詢中有效地提升了查詢效率、吞吐量，并顯著減少了CPU的使用率，對于聚合查詢場景具有良好的優(yōu)化效果。04收益與展望4.1收益-數(shù)據(jù)增長>200個