移動(dòng)云：構(gòu)建下一代云原生數(shù)倉(cāng)

構(gòu)建下一代云原生數(shù)倉(cāng)01移動(dòng)云分析型數(shù)據(jù)庫(kù)發(fā)展歷程02海山數(shù)倉(cāng)的架構(gòu)和理念03海山數(shù)倉(cāng)的核心技術(shù)及演進(jìn)趨勢(shì)04移動(dòng)云的實(shí)踐與未來(lái)展望移動(dòng)云分析型數(shù)據(jù)庫(kù)移動(dòng)云數(shù)據(jù)庫(kù)的發(fā)展歷程移動(dòng)云數(shù)據(jù)庫(kù)團(tuán)隊(duì)十年前正式誕生，以實(shí)現(xiàn)數(shù)據(jù)庫(kù)核心技術(shù)自主可控為目標(biāo)，目前已構(gòu)建完整產(chǎn)品和市場(chǎng)體系，并實(shí)現(xiàn)大規(guī)模商用。蘇州研發(fā)中心2014云能力中心2020?啟動(dòng)云改，轉(zhuǎn)型云計(jì)算服務(wù)商2024?云原生進(jìn)階，發(fā)布海山數(shù)據(jù)庫(kù)2.0?啟動(dòng)算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)探索和研究?基于開源啟動(dòng)商業(yè)版產(chǎn)品打造?集團(tuán)內(nèi)部推廣和應(yīng)用?海山數(shù)據(jù)庫(kù)1.0發(fā)布我們認(rèn)為數(shù)據(jù)庫(kù)的下一階段:從云計(jì)算到算力網(wǎng)絡(luò)L1容器化部署無(wú)資源預(yù)占、全球分布、任務(wù)式服務(wù)無(wú)資源預(yù)占、水平和垂直擴(kuò)展資源預(yù)占、計(jì)算存儲(chǔ)分別擴(kuò)展資源預(yù)占、計(jì)算存儲(chǔ)—體擴(kuò)展b云原生數(shù)據(jù)庫(kù)的進(jìn)化方向：更深層次的解耦、更靈活的感知調(diào)度移動(dòng)云數(shù)據(jù)庫(kù)布局移動(dòng)云一站式云原生數(shù)據(jù)庫(kù)服務(wù)事務(wù)型數(shù)據(jù)庫(kù)事務(wù)型數(shù)據(jù)庫(kù)分析檢索OLAP數(shù)據(jù)庫(kù)生態(tài)工具NoSQLNoSQL庫(kù)數(shù)據(jù)庫(kù)統(tǒng)一云平臺(tái)底座數(shù)據(jù)庫(kù)統(tǒng)一云平臺(tái)底座?移動(dòng)云基于K8s構(gòu)建云原生數(shù)據(jù)庫(kù)底座，全線產(chǎn)品達(dá)云原生L1級(jí)?自研海山數(shù)據(jù)庫(kù)系列，采用存算分離架構(gòu)，并全面向Serverless演進(jìn)?在中國(guó)移動(dòng)算力網(wǎng)絡(luò)戰(zhàn)略下，大力探索算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，積極推進(jìn)相關(guān)技術(shù)以及行業(yè)標(biāo)準(zhǔn)制定?24年9月發(fā)布《中國(guó)移動(dòng)算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)白皮書》分析型數(shù)據(jù)庫(kù)：從湖到倉(cāng)Oracle2000年2005年2017年ApacheDoris2021年DataBendFoxLake第四代：第一代：第一代：第二代:BC-Hadoop移動(dòng)云產(chǎn)BC-RDB-HybridBCBC-Hadoop移動(dòng)云產(chǎn)BC-RDB-HybridBC-HugeTableLakehouse海山數(shù)倉(cāng)02海山數(shù)倉(cāng)的架構(gòu)和理念海山數(shù)倉(cāng)的設(shè)計(jì)理念實(shí)時(shí)數(shù)倉(cāng)引擎物化視圖、向量化引擎、行列混存、CBO優(yōu)化器極致性價(jià)比存算分離、multi-warehouse數(shù)據(jù)集成生態(tài)海山數(shù)倉(cāng)的架構(gòu)設(shè)計(jì)接入層服務(wù)層計(jì)算層臺(tái)?高性能數(shù)倉(cāng)引擎基于Starrocks內(nèi)核構(gòu)建高性能計(jì)算引擎。支持向量化引擎、CBO優(yōu)化、物化視圖、智能緩存等能力。?存算分離架構(gòu)基于Starrocks實(shí)現(xiàn)存算分離能力，計(jì)算存儲(chǔ)獨(dú)立的擴(kuò)展，支持無(wú)狀態(tài)計(jì)算節(jié)點(diǎn)，持久化存儲(chǔ)基于對(duì)象存儲(chǔ)，通過(guò)本地緩存加速；實(shí)現(xiàn)多個(gè)計(jì)算實(shí)例共享數(shù)據(jù)存儲(chǔ)，降低存儲(chǔ)冗余和同步開銷。?統(tǒng)一管控云平臺(tái)對(duì)各類數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)—抽象和封裝，形成算網(wǎng)數(shù)據(jù)庫(kù)管控底座；提供適配算力網(wǎng)絡(luò)模式的新型數(shù)據(jù)庫(kù)資源供給能力。支持MySQL協(xié)議,兼容SQL99/2003,支持多種外部數(shù)據(jù)源、聯(lián)邦查詢能力,兼容Iceberg、Hudi等開放數(shù)據(jù)湖格式。海山數(shù)倉(cāng)的核心技術(shù)與存算一體和存算分離的支持云原生架構(gòu)存算一體和存算分離的支持Multi-Warehouse支持LocalStorageLocalStorageLocalStorageWarehouse1Warehouse2Warehouse3-共享存儲(chǔ)LocalStorageLocalStorageLocalStorageWarehouse1Warehouse2Warehouse3-共享存儲(chǔ)?公有云場(chǎng)景支持存算分離架構(gòu)，具備更好資源彈性；私有云場(chǎng)景支持存算一體架構(gòu)，具備更健壯架構(gòu)?持久化存儲(chǔ)基于對(duì)象存儲(chǔ)，降低約80%存儲(chǔ)成本，容量可彈性擴(kuò)展至PB級(jí)?本地SSD提供緩存加速能力，大部分緩存命中查詢性能與存算一體持平?計(jì)算/存儲(chǔ)資源獨(dú)立擴(kuò)展，有效提升資源利用率?多個(gè)Warehouse共享一份數(shù)據(jù)，避免集群間數(shù)據(jù)復(fù)制成本?不同Warehouse應(yīng)用在不同的業(yè)務(wù)負(fù)載。計(jì)算資源可以進(jìn)行物理隔離?具備完備的多租戶權(quán)限控制（RoleBasedAccessControl）數(shù)據(jù)庫(kù)云平臺(tái)-新一代云原生數(shù)據(jù)庫(kù)管理架構(gòu)通過(guò)對(duì)多數(shù)據(jù)庫(kù)的拓?fù)浣Y(jié)構(gòu)、高可用性、數(shù)據(jù)一致性保護(hù)和運(yùn)維操作進(jìn)行領(lǐng)域模型建模，數(shù)據(jù)庫(kù)云平臺(tái)可以從中抽象出數(shù)據(jù)庫(kù)容器化管理標(biāo)準(zhǔn)，可以讓數(shù)據(jù)庫(kù)開發(fā)者以聲明式和配置式的方式接入和高效管理多種數(shù)據(jù)庫(kù)類型?數(shù)據(jù)庫(kù)容器化，將數(shù)據(jù)面和管理面功能分離后，不僅將數(shù)據(jù)庫(kù)生命周期管理標(biāo)準(zhǔn)化，也將運(yùn)維和管理能力進(jìn)行標(biāo)準(zhǔn)化?在管理面將運(yùn)維操作和經(jīng)驗(yàn)自動(dòng)化和平臺(tái)化，提供豐富的數(shù)據(jù)庫(kù)Day-2運(yùn)維功能；實(shí)現(xiàn)標(biāo)準(zhǔn)化監(jiān)控系統(tǒng)的接口和數(shù)據(jù)格式，通過(guò)插件機(jī)制可擴(kuò)展支持將可觀測(cè)性數(shù)據(jù)寫入到監(jiān)控系統(tǒng)、日志系統(tǒng)及消息中間件等，并提供豐富的可視化面板?在數(shù)據(jù)面將數(shù)據(jù)庫(kù)映射到位于四個(gè)層次的對(duì)象上：Cluster、Component、InstanceSet和Instance，形成了分層的架構(gòu)，通過(guò)這些API定義組件的拓?fù)潢P(guān)系、啟動(dòng)的依賴順序及引用關(guān)系等Zero-ETL提升數(shù)據(jù)集成能力在數(shù)據(jù)分析的場(chǎng)景中，通常分析型數(shù)據(jù)庫(kù)本身不生產(chǎn)數(shù)據(jù)，數(shù)據(jù)來(lái)源于業(yè)務(wù)系統(tǒng)的輸入。在傳統(tǒng)數(shù)據(jù)分析應(yīng)用中，ETL相關(guān)的工作量占比達(dá)到70%Zero-ETL服務(wù)海山數(shù)倉(cāng)旨在實(shí)現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫(kù)數(shù)據(jù)能夠—鍵同步海山數(shù)倉(cāng)旨在實(shí)現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫(kù)數(shù)據(jù)能夠—鍵同步到分析型數(shù)據(jù)庫(kù)，實(shí)現(xiàn)建倉(cāng)成本的降低和入倉(cāng)效率的提升功能完備??支持MySQL整庫(kù)全、增量—體同步?支持動(dòng)態(tài)Schema變更:增加列、刪除列、新增表?支持多源合并能力卓越性價(jià)比??服務(wù)Serverless化，根據(jù)負(fù)載動(dòng)態(tài)分配資源及并行度?全量同步20w條/s,增量同步5w條/s，對(duì)比業(yè)界競(jìng)品3w條/s?同步延時(shí)低于15s，對(duì)比業(yè)界競(jìng)品延時(shí)5min學(xué)習(xí)型索引：通過(guò)機(jī)器學(xué)習(xí)模型來(lái)替代傳統(tǒng)數(shù)據(jù)庫(kù)索引結(jié)構(gòu)，學(xué)習(xí)型索引通過(guò)使用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)鍵的位置，從而減少索引的大小和訪問(wèn)次數(shù)，提高查詢效率。在云原生分析型數(shù)據(jù)庫(kù)場(chǎng)景，學(xué)習(xí)型所以可以降低對(duì)對(duì)象存儲(chǔ)的訪問(wèn)開銷，從而顯著提升查詢效率。云原生學(xué)習(xí)型位圖索引云原生下位圖索引的困境自適應(yīng)分組的學(xué)習(xí)型位圖索引云原生學(xué)習(xí)型位圖索引云原生下位圖索引的困境自適應(yīng)分組的學(xué)習(xí)型位圖索引04移動(dòng)云的實(shí)踐與未來(lái)展望實(shí)踐案例：移動(dòng)中間號(hào)業(yè)務(wù)電顯示均為中間號(hào),為滴滴、美團(tuán)、阿里、騰訊、京東等超500家頭部企業(yè)提供服務(wù)。中間號(hào)平臺(tái)通過(guò)廣州、呼和浩特兩個(gè)資源池承載全國(guó)的務(wù)間號(hào)業(yè)務(wù)，采用云MySQL承載話單數(shù)據(jù)，每天基于話單數(shù)據(jù)進(jìn)行運(yùn)營(yíng)分析查詢。存量數(shù)據(jù)量約7TB，日增數(shù)據(jù)量約1億條。業(yè)務(wù)痛點(diǎn)：從離線數(shù)倉(cāng)到實(shí)時(shí)數(shù)倉(cāng)：自建數(shù)倉(cāng)僅能做到T+1非實(shí)時(shí)分析，無(wú)解決方案?實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景通過(guò)Zero-ETL將南北方MySQL數(shù)據(jù)?數(shù)據(jù)同步時(shí)延?查詢性能實(shí)踐案例：設(shè)計(jì)院融基平臺(tái)中國(guó)移動(dòng)設(shè)計(jì)院融基平臺(tái)聚焦解決質(zhì)量、成本、效率和安全四大核心據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)分析和匯總分析等需求，承載調(diào)度云、門戶云、用戶云和設(shè)計(jì)院云的MySQL、PG的數(shù)據(jù)共享和貫通查詢需求需求，存量數(shù)據(jù)量約7億條，存儲(chǔ)約3TB，日增數(shù)據(jù)量約1000萬(wàn)條。業(yè)務(wù)痛點(diǎn)：離線數(shù)倉(cāng)和實(shí)時(shí)數(shù)倉(cāng)共存，技術(shù)棧繁雜，維護(hù)成本不斷提升；自建數(shù)倉(cāng)無(wú)法滿足PostgreSQ建設(shè)方案?實(shí)時(shí)同步），?離線/在線分析基于Multi-warehouse使用?數(shù)據(jù)源擴(kuò)展海山數(shù)倉(cāng)支持PostgresSQL/MySQ實(shí)踐案例：蘇州銀行建設(shè)效果蘇州銀行實(shí)時(shí)場(chǎng)景承載各業(yè)務(wù)分析場(chǎng)景需求，業(yè)務(wù)總數(shù)據(jù)量約2PB，每日數(shù)據(jù)500G左右?；诂F(xiàn)有建設(shè)情況，存在痛點(diǎn)：1，采集數(shù)據(jù)源較多，方式不統(tǒng)一；2，數(shù)據(jù)分析延遲高，難以滿足實(shí)時(shí)性要求；3，多套技術(shù)棧資源和維護(hù)成本高。建設(shè)效果清洗聚合物化視圖物化視圖化視圖OceanBase?實(shí)時(shí)數(shù)倉(cāng)，端到端延時(shí)低于1分鐘?基于主鍵模型大幅提升實(shí)時(shí)數(shù)據(jù)查詢性能2.x倍?基于物化視圖實(shí)現(xiàn)多層面邏輯視圖嵌套，降低數(shù)倉(cāng)各層級(jí)之間數(shù)據(jù)處理延時(shí)?湖倉(cāng)一體架構(gòu)降低離線數(shù)據(jù)遷移和存儲(chǔ)成本清洗聚合物化視圖物化視圖化視圖OceanBase?實(shí)時(shí)數(shù)倉(cāng)，端到端延時(shí)低于1分鐘?基于主鍵模型大幅提升實(shí)時(shí)數(shù)據(jù)查詢性能2.x倍?基于物化視圖實(shí)現(xiàn)多層面邏輯視圖嵌套，降低數(shù)倉(cāng)各層級(jí)之間數(shù)據(jù)處理