波司登集團基于阿里云SelectDB OLAP分析平臺的優(yōu)化升級

波司登集團基于阿里云SelectDBOLAP分析平臺的優(yōu)化升級尤純波司登集團信息技術中心架構師分享嘉賓-波司登集團尤純波司登集團信息技術中心架構師0102業(yè)務背景03基于阿里云SelectDB的數(shù)倉升級方案04未來優(yōu)化和展望01波司登公司簡介波司登介紹-全球領先的羽絨服暢銷品牌波司登波司登，自1976年創(chuàng)立以來，專注羽絨服制造領域已經(jīng)有48年，產(chǎn)品暢銷全球72個國家。2021年，波司登的羽絨服銷售規(guī)模達到全球領先，并且在2023年實現(xiàn)全年營收達232.14億，同比增長38.4%。自創(chuàng)始以來，波司登一直秉持著“用戶至上，開放創(chuàng)新”的價值觀，在數(shù)據(jù)領域上也如此。02波司登業(yè)務背景波司登業(yè)務背景-勇于改革、敢于先行起步2015年~2018年，從起步開始逐步建立以SAP框架為基礎的經(jīng)營分析波司登數(shù)字化轉型三階段轉型2018年~2023年，正式全面構建自己的數(shù)倉，完成了整體架構變更以及層級建設長遠2023年~未來，預計在未來3年，從老架構全面升級，完成新一代大數(shù)據(jù)平臺和數(shù)倉升級建設在數(shù)字化構建之路上我們走了數(shù)年在數(shù)字化構建之路上我們走了數(shù)年，在路途中也面臨了諸多挑戰(zhàn)。波司登作為一家強業(yè)務型公司，業(yè)務的主導能力較強，但現(xiàn)有的數(shù)字化工具難以滿足我們的個性化需求。我們是一家羽絨服公司，而羽絨服銷售旺季只有短暫的四個月。這段黃金期內實現(xiàn)高營收極為不易，因此業(yè)務部門在此期間提出的任何支持需求，我們都需要無條件的滿足。這一現(xiàn)實讓數(shù)字化建設之路更為困難，至今我們仍致力于數(shù)字化治理的深化。今年，我們毅然進行一個重大改革，決心逐步淘汰并替換舊有產(chǎn)品，努力向開源的組件靠攏，旨在提升效率的同時降低成本。波司登-轉型期架構介紹FineReportFineBI數(shù)據(jù)導出其他系統(tǒng)數(shù)據(jù)中臺發(fā)揮數(shù)據(jù)價值FineReportFineBI數(shù)據(jù)導出其他系統(tǒng)組織數(shù)字化轉型戰(zhàn)略與切實業(yè)務需求相結合，發(fā)揮數(shù)據(jù)價值。?支撐多樣化的業(yè)務需求(PG)KafkaStarrocksPostgreSQL其他?提升靈活性和擴展性StarrocksPostgreSQL其他OLAPMaxComputeOLAPMaxCompute當前架構痛點?存儲資源浪費,數(shù)據(jù)冗余度高?運維復雜，管理成本高?性能瓶頸，彈性能力差波司登-轉型期架構介紹FineBIFineReport數(shù)據(jù)導出其他系統(tǒng)FineBIFineReport數(shù)據(jù)導出其他系統(tǒng) Kafka Kafka(PG)產(chǎn)銷協(xié)同庫存一體商渠匹配商品企劃產(chǎn)銷協(xié)同庫存一體商渠匹配商品企劃DataphinMaxComputeDataphinMaxComputeOSS統(tǒng)一OLAP?性能優(yōu)化，多負載場景性能全面提升?成本效益，減少數(shù)據(jù)冗余，運維復雜性降低統(tǒng)一數(shù)據(jù)資產(chǎn)?簡化數(shù)據(jù)治理，降低數(shù)據(jù)架構的復雜性?提高數(shù)據(jù)質量，標準化一處管理云原生?存算分離，彈性伸縮，按需付費?高可用，多計算集群，易于維護03基于阿里云SelectDB的數(shù)倉升級方案阿里云SelectDB-在波司登的POC測試內容測試目標：驗證SelectDB在波司登多場景負載的性能和穩(wěn)定性需求測試項①中小查詢日常普通查詢壓測②大查詢分析大查詢壓測③報表拖拉拽分資源組隔離壓測④下載大數(shù)據(jù)量下載測試⑤混合負載同時進行多種類型的查詢和操作測試說明評估SelectDB在日常業(yè)務中出現(xiàn)的小查詢負載的并發(fā)支撐能力根據(jù)業(yè)務給出的3個復雜查詢，以一定的并發(fā)同時執(zhí)行，驗證SelectDB的大查詢負載能力測試報表工具的交互性能和資源隔離效果驗證數(shù)據(jù)導出功能的有效性和效率模擬實際使用場景，測試系統(tǒng)的綜合負載能力測試目標日常高頻的中小查詢，高并發(fā)情況下，平均響應時間預期在1秒以內1.不對日常查詢造成影響，不打掛集群2.各自10并發(fā)，共30并發(fā)下平均響應時間在30秒內預覽等托拉拽場景在5并發(fā)的情況下，最長5分鐘返回單個GB級數(shù)據(jù)下載1分鐘返回1日常報表場景不受大查詢和拖拉拽查詢的影響⑥長穩(wěn)在長時間內持續(xù)運行上述測試檢驗數(shù)據(jù)庫的穩(wěn)定性和持久運行的性能所有業(yè)務負載同時執(zhí)行，持續(xù)9~12小時，QPS可以達到400以上，中小查詢平均響應時間在1秒內。集群整體狀態(tài)穩(wěn)定，無宕機，崩潰等情況阿里云SelectDB-在波司登POC測試結果總結測試結論：測試結論：SelectDB在波司登多場景負載的性能超出預期，穩(wěn)定性滿足生產(chǎn)需求?小查詢?小查詢QPS2000平均響應20ms?中等查詢QPS142，平均響應8ms2GB導出耗時43.8s?日常報表場景不受大查詢和拖拉拽查詢的影響?持續(xù)9小時，小查詢QPS可以達到2000以上，中小查詢平均響應時間在1波司登-基于阿里云SelectDB的實時數(shù)倉遷移方案x2x2doriscatalogdataphindts實時同步原AP庫存量遷移業(yè)務庫KafkaSRPG緩存緩存緩存離線跑批Doris其他PGDataphinMC阿里云SelectDB實時同步原AP庫存量遷移業(yè)務庫KafkaSRPG緩存緩存緩存離線跑批Doris其他PGDataphinMC阿里云SelectDB遷移策略?按兼容度遞減遷移策略?按兼容度遞減依次收斂數(shù)據(jù)庫，按業(yè)務重要性遞增依次遷移數(shù)據(jù)模型。?遷移前準備充分的回滾方案。?遷移過程中盡量保持數(shù)據(jù)模型，只做ODS層重復數(shù)據(jù)模型合并。數(shù)據(jù)存儲OSSSelectDB部署驗證?產(chǎn)品化一鍵購買部署?數(shù)據(jù)鏈路驗證?應用層訪問驗證Doris/SR遷移?數(shù)據(jù)模型遷移?x2doris、catalog、?數(shù)據(jù)同步?Kafka/Flink數(shù)據(jù)接入?數(shù)據(jù)正確性驗證?應用雙跑遷移PG遷移?按報表優(yōu)先級?SelectDB模型創(chuàng)建?存量數(shù)據(jù)遷移?建立數(shù)據(jù)同步?應用層切換其他庫遷移?遷移優(yōu)先級分析?數(shù)據(jù)模型遷移合并?離線/增量數(shù)據(jù)同步?數(shù)據(jù)正確性驗證?應用雙跑遷移波司登-基于阿里云SelectDB架構核心收益和效果展示統(tǒng)一技術棧統(tǒng)一調度任務共享存儲資源數(shù)據(jù)靈活調用統(tǒng)一數(shù)據(jù)底座統(tǒng)一存儲格式OSS統(tǒng)一存儲極致性價比統(tǒng)一技術棧統(tǒng)一調度任務共享存儲資源數(shù)據(jù)靈活調用統(tǒng)一數(shù)據(jù)底座統(tǒng)一存儲格式OSS統(tǒng)一存儲極致性價比一份數(shù)據(jù)多個目標端數(shù)據(jù)冗余資源浪費多副本存儲壓縮比低波司登核心指標-阿里云SelectDB上線前后對比阿里云SelectDB收益量化表節(jié)省29.58%下降61.53%減少30%節(jié)省36%使用前使用后波司登-資源隔離和查詢性能穩(wěn)定性展示資源完全隔離資源完全隔離?根據(jù)業(yè)務實際需要，在數(shù)據(jù)統(tǒng)一存儲的技術上完美實現(xiàn)資源軟隔離和硬隔離，整體集群性能指標平穩(wěn)查詢性能和穩(wěn)定性查詢性能和穩(wěn)定性?基于阿里