云原生數(shù)據(jù)湖技術(shù)概述

1、云原生數(shù)據(jù)湖技術(shù)概述技術(shù)創(chuàng)新，變革未來數(shù)據(jù)湖的定義離線任務(wù)管理流程編排質(zhì)量管理數(shù)據(jù)治理數(shù)據(jù)接入數(shù)據(jù)搬遷訪問控制資產(chǎn)目錄應(yīng)用BI報表數(shù)據(jù)大屏數(shù)據(jù)挖掘機器學(xué)習(xí)IoT分析數(shù)據(jù)庫數(shù)倉APP數(shù)據(jù)湖存儲層OSS實時調(diào)用數(shù)據(jù)湖是面向大數(shù)據(jù)場景的創(chuàng)新解決方案早期，業(yè)界和用戶多把數(shù)據(jù)湖定義為一個儲存原始格式數(shù)據(jù)的系統(tǒng)，可容納結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化及二進制的數(shù)據(jù)。 隨著大數(shù)據(jù)技術(shù)的融合發(fā)展，數(shù)據(jù)湖的邊界不斷擴展，內(nèi)涵也發(fā)生了變化。數(shù)據(jù)湖開始匯集各方面技術(shù)，逐步演進成為集 多源異構(gòu)數(shù)據(jù)統(tǒng)一儲存、多范式計算分析及統(tǒng)一管理調(diào)用的大數(shù)據(jù)綜合解決方案。它可以更加高效率低成本地管理海量多 源異構(gòu)數(shù)據(jù)，打通數(shù)據(jù)孤島，釋放數(shù)

2、據(jù)價值，助力新時代下各行業(yè)企業(yè)的數(shù)字化轉(zhuǎn)型。數(shù)據(jù)湖典型構(gòu)架及特性數(shù)據(jù)湖接入層數(shù)據(jù)湖調(diào)度層數(shù)據(jù)湖應(yīng)用層統(tǒng) 一 的 API接 口數(shù)據(jù)科學(xué) 應(yīng)用廣泛： 支持使用者通 過自助訪問業(yè) 務(wù)數(shù)據(jù)， 支持 數(shù)據(jù)挖掘、機 器學(xué)習(xí)等未知 探索訴求。 Schema 后 置：數(shù)據(jù)湖存儲數(shù)據(jù) 不需要滿足特定 的范式，支持在 讀取數(shù)據(jù)的時候 schema。， 數(shù)據(jù)多源異構(gòu)： 可容納海量數(shù)據(jù)， 且無存儲格式要求 接收結(jié)構(gòu)化、半結(jié) 構(gòu)化、非結(jié)構(gòu)化及 二進制數(shù)據(jù)入湖。， 多范式計算：支持多種計算引擎，滿足不同數(shù)據(jù)計算分 析需求，支持批處理、流處理、機器學(xué)習(xí)等。數(shù)據(jù)湖管理層元數(shù)據(jù)管理數(shù)據(jù)湖計算層離線計算MapReduceSpar

3、k實時計算StormFlinkSpark Streaming 數(shù)據(jù)統(tǒng)一存儲管理：對內(nèi)以O(shè)SS為中心，進行統(tǒng)一存儲 對接多范式計算引擎，對外提供統(tǒng)一的API接口4日志數(shù)據(jù)湖 vs 數(shù)據(jù)倉庫誕生背景、設(shè)計思路及使用場景各不相同數(shù)據(jù)倉庫是誕生于數(shù)據(jù)庫時代，應(yīng)企業(yè)分析訴求而生的數(shù)據(jù)產(chǎn)品，它的核心思路是把數(shù)據(jù)庫中的數(shù)據(jù)進行一定格式轉(zhuǎn)換后， 定時地復(fù)制至另一個庫里做列式存儲，從而滿足企業(yè)查詢和數(shù)據(jù)分析的訴求。隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)量暴增，非結(jié)構(gòu)化 數(shù)據(jù)越來越多，企業(yè)業(yè)務(wù)變化越來越快，傳統(tǒng)數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)和現(xiàn)代化企業(yè)對于實時、交互式分析等方面的訴求。 隨之，數(shù)據(jù)湖誕生。它選擇了“前松后緊”的設(shè)計思路，

4、初始化階段放棄嚴格的模式，后置schema，從而獲取更強的靈 活性；同時通過統(tǒng)一存儲管理和計算優(yōu)化來保證數(shù)據(jù)的一致性和性能。數(shù)據(jù)湖與數(shù)據(jù)倉庫對比數(shù)據(jù)源數(shù)據(jù)處理適用場景性價比數(shù)據(jù)倉庫支持處理過后的結(jié)構(gòu)化/半結(jié)構(gòu) 化數(shù)據(jù)；來自業(yè)務(wù)系統(tǒng)寫時建模（Schema-on-write）傳統(tǒng)行業(yè)，以及企業(yè)的穩(wěn)態(tài)業(yè)務(wù)；數(shù)據(jù)量少，數(shù)據(jù)結(jié)構(gòu)化，穩(wěn)定可預(yù)測，對 執(zhí)行實時性要求不高建設(shè)成本低 擴容成本高高度監(jiān)管與嚴格事前控制，滿足企業(yè)級訴求；數(shù)據(jù)與模式穩(wěn)定，引擎優(yōu)化表現(xiàn)較好。BI數(shù)據(jù)源ETL數(shù)據(jù)倉庫報表數(shù)據(jù)湖支持未經(jīng)處理的結(jié)構(gòu)化/半結(jié)構(gòu) 化/非結(jié)構(gòu)化數(shù)據(jù)；來自IoT設(shè)備、Web、APP和業(yè)務(wù)系統(tǒng)等讀時建模（Schema

5、-on-read）泛互聯(lián)網(wǎng)行業(yè)以及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場景； 海量數(shù)據(jù)，迭代速度快，需要實時分析擴容成本低 建設(shè)成本高可針對特定業(yè)務(wù)需求進行重新配置，靈活性和可擴展性較強。數(shù)據(jù)源數(shù)據(jù)湖數(shù) 據(jù) 處 理BI報表56云原生數(shù)據(jù)湖云原生部署是數(shù)據(jù)湖未來的必然形態(tài)近年來，在數(shù)字經(jīng)濟的背景下，互聯(lián)網(wǎng)行業(yè)及傳統(tǒng)企業(yè)加速云化轉(zhuǎn)型，中國整體云服務(wù)市場的規(guī)模逐年擴增，云成為新一 代IT基礎(chǔ)設(shè)施已經(jīng)成為不爭的事實。其中，企業(yè)云化轉(zhuǎn)型的深入以及用云思維的轉(zhuǎn)變，驅(qū)動了PaaS市場份額的增長，基于 云的能力創(chuàng)新已成為基礎(chǔ)云發(fā)展新的增長引擎。云特有的“池化、彈性、成本、敏捷”等優(yōu)勢讓數(shù)據(jù)層與應(yīng)用層的很多設(shè) 想得以實現(xiàn)，擁抱云原

6、生成為數(shù)據(jù)湖乃至大數(shù)據(jù)的必然選擇。來源：2021年中國基礎(chǔ)云服務(wù)行業(yè)發(fā)展洞察，研究院自主研究及繪制。來源：2021年中國基礎(chǔ)云服務(wù)行業(yè)發(fā)展洞察，研究院自主研究及繪制。2015-2024年中國整體云服務(wù) 市場規(guī)模及增速394521693102616122256324546906598928632.1% 33.2%48.1%57.1%39.9% 43.8% 44.5% 40.7% 40.7%20 15 20 16 20 17 20 18 20 19 20 20 20 21e 20 22e 20 23e 20 24e整體云服務(wù)市場規(guī)模（億元）整體云服務(wù)市場增速（%）24132242463810881

7、6392285331442035527547110514518427240561391813742015-2024年中國整體IaaS和PaaS 市場規(guī)模及增速70.4%45.0%26.8%31.5%32.6%50.6%50.7%47.2%33.3% 31.7% 38.1%27.0%47.8%39.4%49.0% 51.5% 49.8%49.6%20 15 20 16 20 17 20 18 20 19 20 20 20 21e 20 22e 20 23e 20 24eIaaS市場規(guī)模（億元） IaaS市場增速（%）PaaS市場規(guī)模（億元） PaaS市場增速（%）云原生數(shù)據(jù)湖核心價值一：數(shù)據(jù)資產(chǎn)

8、集中存儲、統(tǒng)一管理，建立高質(zhì)量的數(shù)據(jù)資產(chǎn)隨著數(shù)字轉(zhuǎn)型化進入深水區(qū)，“數(shù)據(jù)”已經(jīng)成為企業(yè)的核心生產(chǎn)要素，打通各部門、各應(yīng)用系統(tǒng)，建立企業(yè)級的統(tǒng)一數(shù)據(jù) 資產(chǎn)已經(jīng)成為業(yè)內(nèi)的共識?；谠粕系募写鎯蛿?shù)據(jù)湖，企業(yè)可以更絲滑地實現(xiàn)數(shù)據(jù)多源聚合，對內(nèi)外部數(shù)據(jù)進行全生 命周期的管理，從而沉淀為數(shù)據(jù)資產(chǎn)，賦能業(yè)務(wù)應(yīng)用，釋放數(shù)據(jù)價值。同時，基于云原生數(shù)據(jù)湖部署的云原生應(yīng)用天然可 以實現(xiàn)數(shù)據(jù)的無界流動，數(shù)用一體為企業(yè)打造了高效的價值閉環(huán)?；谠圃鷶?shù)據(jù)湖的統(tǒng)一資產(chǎn)建設(shè)數(shù)據(jù)交換數(shù)據(jù)庫傳輸、日志、IoT源接入等數(shù)據(jù)打通統(tǒng)一調(diào)度、數(shù)據(jù)共享、API接口等數(shù)據(jù)存儲海量數(shù)據(jù)、冷熱分層、多種訪問方式等數(shù)據(jù)計算異構(gòu)數(shù)據(jù)轉(zhuǎn)換、OC

9、R、NLP等數(shù)據(jù)質(zhì)量數(shù)據(jù)轉(zhuǎn)換、逆向解析、目錄管理等數(shù)據(jù)安全安全密鑰、權(quán)限管理、監(jiān)控預(yù)警等價值閉環(huán)數(shù)據(jù)資產(chǎn) 集中存儲、統(tǒng)一管理云原生應(yīng)用數(shù)據(jù)沉淀業(yè)務(wù)賦能結(jié) 構(gòu) 化 數(shù) 據(jù)半 結(jié) 構(gòu)數(shù) 據(jù)ERPCRMWeb Email 化非 結(jié) 構(gòu)MediaIoT化數(shù)據(jù)7云原生數(shù)據(jù)湖核心價值二：低成本通過云的方式，更低成本地使用存儲和計算資源云原生數(shù)據(jù)湖是基于云環(huán)境構(gòu)建的低成本大數(shù)據(jù)解決方案。于存儲上，云原生數(shù)據(jù)湖使用對象存儲，實現(xiàn)了無限擴容（理 論上）和更低的價格，同時云上統(tǒng)一存儲也簡化了之后數(shù)據(jù)調(diào)用的復(fù)雜度；于計算上，云原生數(shù)據(jù)湖采用計算存儲分離的 架構(gòu)，讓計算節(jié)點和存儲節(jié)點可以分別彈性伸縮，避免了存算需求不

10、同造成的浪費；于用云策略上，云原生數(shù)據(jù)湖通過 Serverless的模式，根據(jù)請求量自動進行毫秒級的彈性擴容，解決波峰資源短缺、波谷資源浪費的問題，實現(xiàn)最小單元的 成本最優(yōu)。云原生數(shù)據(jù)湖成本優(yōu)化剖析存儲成本OSS計算成本計算存儲分離用云成本Serverless資源短缺資源浪費預(yù)留實際現(xiàn)階段定時等云資源調(diào)用機制具有一定的滯后性，為了保 證高可用，企業(yè)往往選擇采取冗余的伸縮策略，這造成用 云成本的上升。Serverless模式下，資源消耗隨著應(yīng)用程 序的需求（請求數(shù)量）變化自動擴展或縮減，計費精確到 毫秒級，大大降低了企業(yè)數(shù)據(jù)湖用云成本高企的問題。塊存儲文件存儲對象存儲隨著移動互聯(lián)網(wǎng)、產(chǎn)業(yè)互聯(lián)網(wǎng)、

11、5G的發(fā)展，個人端和企 業(yè)端產(chǎn)生的數(shù)據(jù)量爆發(fā)增長。在早期大數(shù)據(jù)分析的架構(gòu)下， 計算資源和存儲資源是緊耦合的，只能同步擴容，這造成 了計算資源的過剩。存算分離后，計算節(jié)點和存儲節(jié)點都 可以按需彈性擴容，大大降低了計算的成本。不同于直接操作物理磁盤的塊存儲，或基于文件路徑訪問的 文件存儲，對象存儲通過唯一標(biāo)識符（Key）映射尋址，存 取都非常靈活和簡單。這種方法對在云計算環(huán)境中自動 化 和簡化數(shù)據(jù)存儲都大有裨益，體現(xiàn)在用戶側(cè)即表現(xiàn)為理 論 上無限的擴容可能性和更低廉的存儲成本。計算存儲分離計算存儲計算存儲耦合8云原生數(shù)據(jù)湖核心價值三：高性能云湖共生，帶來大數(shù)據(jù)應(yīng)用的高性能體驗數(shù)據(jù)湖“統(tǒng)一簡單、松耦

12、合彈性、敏捷探索”的設(shè)計思路與云計算天然契合，當(dāng)數(shù)據(jù)湖以云原生的方式部署時，其 強大的性能優(yōu)勢可以被最大化釋放。一方面，數(shù)據(jù)湖上云后可以享受云本身帶來的性能提升，如高可用、彈性、敏捷等； 另一方面，數(shù)據(jù)湖在云原生的環(huán)境中可以做更多性能優(yōu)化的工作，如豐富的上下文帶來的分析加速，流批融合帶來的實時 數(shù)據(jù)價值釋放，一站式數(shù)據(jù)管理方案帶來的安全和質(zhì)量改善等。云原生數(shù)據(jù)湖性能優(yōu)化剖析01On Cloud 本身帶來的性能提升相較自建IDC，云環(huán)境擁云計算具備動態(tài)擴充性云讓企業(yè)得以從重復(fù)、有更多的資源冗余，一與可負擔(dān)性，可以解決復(fù)雜的底層IT工作中釋放高可用節(jié)點發(fā)生故障能無縫切換到其他節(jié)點，從而對彈性海量業(yè)

13、務(wù)帶來的吞吐和 IO性能瓶頸，滿足大數(shù)敏捷出來， 同時其模塊化、松耦合的敏捷架構(gòu)有利企業(yè)側(cè)體現(xiàn)為高可用，據(jù)分析所需資源的龐大于數(shù)據(jù)產(chǎn)品的快速迭代、確保了業(yè)務(wù)的連續(xù)性。規(guī)模與突發(fā)性質(zhì)的需求。部署、運維和創(chuàng)新。02In Cloud 更進一步地性能優(yōu)化加速一方面， 云原生數(shù)據(jù)湖 提供了比以往更豐富的 上下文， 有助于加速分 析實驗； 另一方面， 它 統(tǒng)一了流式處理和批式 處理， 可以為企業(yè)提供 更實時的數(shù)據(jù)價值體驗。多范式云原生數(shù)據(jù)湖基于云環(huán)境 統(tǒng)一了企業(yè)數(shù)據(jù)資產(chǎn)和多 范式計算引擎，從而可以 支持企業(yè)對任何數(shù)據(jù)類型 執(zhí)行任何分析。同時其可 擴展的架構(gòu)也為企業(yè)使用 AI進行探索做好了準備。安全云原生數(shù)

14、據(jù)湖提供了簡 單、強大的數(shù)據(jù)管理解 決方案， 以全保真的方 式存儲任何類型或數(shù)量 的數(shù)據(jù)， 有助于企業(yè)加 強安全和治理。9云原生數(shù)據(jù)湖核心價值四：敏捷創(chuàng)新成本價值IT時代職能中心DT時代創(chuàng)新中心成 本 導(dǎo) 向價 值 導(dǎo) 向存儲層基于云原生對象存儲的方式，企業(yè)無需擔(dān)心 數(shù)據(jù)增長帶來的擴容問題，無需關(guān)注數(shù)據(jù)存 放的物理位置，只需要將云當(dāng)作是一個無限 擴展、簡單存取、彈性伸縮的“網(wǎng)盤”即可。計算層在云原生的環(huán)境下，企業(yè)可以在統(tǒng)一的控制 臺上簡單地（寫SQL一種語言即可）進行多 范式計算，根據(jù)業(yè)務(wù)需求和數(shù)據(jù)屬性自動/半 自動地選擇適合的計算引擎，無需IT部門再 花費額外的學(xué)習(xí)成本去進行計算優(yōu)化。應(yīng)用層

15、將云原生數(shù)據(jù)湖作為企業(yè)大數(shù)據(jù)的解決方案， 可以更進一步地屏蔽底層的復(fù)雜性，聚焦于 業(yè)務(wù)服務(wù)?；趶椥缘腎T基礎(chǔ)資源和柔性的 數(shù)據(jù)資產(chǎn)，IT可以更敏捷地進行應(yīng)用創(chuàng)新。云計算的發(fā)展加速了IT部門 定位的變化，企業(yè)對其的訴 求更多地由成本轉(zhuǎn)向價值支 持，IT部門正在由職能中心 向創(chuàng)新中心過渡。重塑IT部門定位與價值，賦能業(yè)務(wù)應(yīng)用敏捷創(chuàng)新云服務(wù)重塑了IT產(chǎn)業(yè)的分工和企業(yè)IT部門工作的內(nèi)容和方式，企業(yè)IT部門越來越少地關(guān)注復(fù)雜的底層技術(shù)，轉(zhuǎn)而向應(yīng)用創(chuàng) 新聚焦，充分釋放其業(yè)務(wù)賦能價值。通過統(tǒng)一對象存儲、多引擎兼容、數(shù)據(jù)智能管理，云原生數(shù)據(jù)湖基于云的環(huán)境進一步 釋放了企業(yè)IT的生產(chǎn)力。IT部門無需再關(guān)注基礎(chǔ)

16、資源和數(shù)據(jù)層的大多問題，如存儲擴容、計算優(yōu)化等，可以將更多的精力 放在業(yè)務(wù)支持、應(yīng)用創(chuàng)新上，實現(xiàn)真正的數(shù)據(jù)驅(qū)動企業(yè)發(fā)展。企業(yè)IT部門定位變化云原生數(shù)據(jù)湖的應(yīng)用創(chuàng)新價值10大 數(shù) 據(jù) 技 術(shù)數(shù) 據(jù) 湖發(fā)展歷程來源：公開資料，專家訪談，研究院自主研究及繪制。數(shù)據(jù)庫時代1960s2000s20世紀60年代，計算機 開始廣泛地應(yīng)用于數(shù)據(jù) 管理，能夠統(tǒng)一管理和 共享數(shù)據(jù)的數(shù)據(jù)庫管理 系統(tǒng)（DBMS）誕生。20世紀90年代，為滿足 企業(yè)數(shù)據(jù)分析的訴求， 數(shù)據(jù)倉庫誕生。2000s2010s：互聯(lián)網(wǎng)蓬勃發(fā)展，數(shù)據(jù)量 爆發(fā)式增長，數(shù)據(jù)庫/數(shù)倉 難以承載海量數(shù)據(jù)，大數(shù) 據(jù)時代開啟；以Hadoop（開源）、 Goo

17、gle 、 Microsoft Cosmos 為代表的分布式 技術(shù)體系誕生，奠基了大 數(shù)據(jù)時代的基本技術(shù)框架。2010s2020s：數(shù)據(jù)倉庫不斷演進，在性能、成本、 數(shù)據(jù)管理能力等方面不斷優(yōu)化， Google BigQuery、Snowflake等 優(yōu)秀產(chǎn)品面市；以開源 Hadoop 體系為代表的開放 式 HDFS 存儲、開放的文件格式、 開放的元數(shù)據(jù)服務(wù)以及多種引擎（Presto、Spark、Flink 等）協(xié)同 工作的模式，形成了數(shù)據(jù)湖的雛形。大數(shù)據(jù)技術(shù)的探索期2020s：大數(shù)據(jù)技術(shù)逐步滲透到下游各行業(yè)，人們 對大數(shù)據(jù)產(chǎn)品提出了成本、安全、穩(wěn)定性 等更加全面的企業(yè)級生產(chǎn)的要求；云上純托管的

18、存儲系統(tǒng)逐步取代HDFS， 引擎豐富度也不斷擴展，數(shù)據(jù)湖開始走向 “云湖共生”階段；數(shù)據(jù)倉庫和數(shù)據(jù)湖在云的體系下得以打通， 湖倉一體的解決方案在業(yè)界開始應(yīng)用。阿里云推出業(yè)內(nèi)首個云原生企業(yè)級 數(shù)據(jù)湖解決方案IBM推出面向數(shù)據(jù)湖的新一代存儲 解決方案百度云推出百度數(shù)據(jù)湖管理與分析 平臺EasyDAP華為云推出數(shù)據(jù)湖治理中心DGC,將 原FusionInsight HD與MRS結(jié)合， 全面升級到FusionInsight MRS云 原生架構(gòu)2020年阿里云定義了數(shù)據(jù)湖3.0，為 用戶提供以O(shè)SS為中心，多種 元數(shù)據(jù)統(tǒng)一管理，并結(jié)合云原 生進一步實現(xiàn)實時化、AI化、 生態(tài)化的綜合性解決方案。騰訊云首次

19、對外展示完整的云 端數(shù)據(jù)湖產(chǎn)品圖譜，并推出數(shù) 據(jù)湖計算DLC和數(shù)據(jù)湖構(gòu)建 DLF產(chǎn)品2021年產(chǎn)品隨市場需求不斷演進，國內(nèi)數(shù)據(jù)湖尚處于發(fā)展初期中國數(shù)據(jù)湖技術(shù)正在逐年發(fā)展及突破，公有云廠商及其他行業(yè)廠商紛紛在做嘗試。但目前在數(shù)據(jù)感知收集及歸類清洗方面 存在壁壘和難度，數(shù)據(jù)湖建模經(jīng)驗不足，因此我國數(shù)據(jù)湖市場整體發(fā)展處于初期階段，未來發(fā)展空間廣闊。中國云原生數(shù)據(jù)湖行業(yè)發(fā)展歷程亞馬遜云科技推出Lake Formation2018年基于數(shù)據(jù)湖戰(zhàn)略， EMC推出三款新的 Isilon軟件產(chǎn)品Isilon SD Edge、第8代 Isilon操作系統(tǒng)和 Isilon CloudPools2016年亞馬遜云科

20、技宣布Lake Formation全面上市青 云 QingCloud 聯(lián) 合 HashData發(fā)布基于云模 式構(gòu)建的數(shù)據(jù)湖解決方案122019年大數(shù)據(jù)技術(shù)的發(fā)展期大數(shù)據(jù)技術(shù)的普及期中國云原生數(shù)據(jù)湖市場規(guī)模2020年規(guī)模達124億，預(yù)計未來三年維持39.7%的快速增長據(jù)統(tǒng)計，中國云原生數(shù)據(jù)湖2020年整體規(guī)模達124.8億元。目前行業(yè)正處于初期發(fā)展階段，由于國家政策利好、互聯(lián) 網(wǎng)技術(shù)高速發(fā)展的驅(qū)動、企業(yè)數(shù)字化轉(zhuǎn)型加速等因素，預(yù)計中國云原生數(shù)據(jù)湖市場未來三年會以39.7%的復(fù)合增長率快速 發(fā)展。2018-2023年中國云原生數(shù)據(jù)湖市場規(guī)模及增速注釋：云原生數(shù)據(jù)湖市場規(guī)模不含生態(tài)統(tǒng)計口徑為2020自

21、然年全年各廠商在中國內(nèi)地（不含港澳臺）銷售云原生數(shù)據(jù)湖解決方案的營業(yè)收入，合同簽署地點和交付地點都位于中 國內(nèi)地區(qū)域。不包含云原生數(shù)據(jù)湖組件（包括存儲、計算、管理及調(diào)度層）發(fā)生于其他解決方案（例：數(shù)據(jù)倉庫）的營收，不包含云原生數(shù)據(jù)湖生態(tài)支持廠商部分。注釋：云原生數(shù)據(jù)湖市場規(guī)模含生態(tài)統(tǒng)計口徑為注釋1中包含云原生數(shù)據(jù)湖組件（包括存儲、計算、管理及調(diào)度層）發(fā)生于其他解決方案（例：數(shù)據(jù)倉庫）的營收，且包含云原 生數(shù)據(jù)湖生態(tài)支持廠商部分。1526447612419676.8%69.4%74.8%61.9%58.2%2018201920202021e2022e2023e云原生數(shù)據(jù)湖市場規(guī)模不含生態(tài)（億元）

22、 增長率（%）638912517935025240.8%40.0%43.7%40.7%38.7%2018201920202021e2022e2023e云原生數(shù)據(jù)湖市場規(guī)模含生態(tài)（億元） 增長率（%）CAGR=73.1%CAGR=40.4%CAGR=39.7%CAGR=60%來源：長期基礎(chǔ)云服務(wù)數(shù)據(jù)監(jiān)測，結(jié)合公開資料、專家訪談，根據(jù)數(shù)據(jù)測算模型，自主研究及繪制。15產(chǎn)業(yè)圖譜注釋：此頁主要表現(xiàn)云原生數(shù)據(jù)湖及其生態(tài)的布局情況，僅展示部分典型企業(yè)，圖譜中所展示的公司logo順序及大小并無實際意義。 公有云廠商+生態(tài)廠商的市場格局初現(xiàn)中國云原生數(shù)據(jù)湖產(chǎn)業(yè)圖譜數(shù)據(jù)湖綜合解決方案廠商云廠商大數(shù)據(jù)廠商其他廠商

23、數(shù)據(jù)湖生態(tài)廠商及開源項目（部分）應(yīng)用管理計算存儲(包括部分開源項目)19行業(yè)分布注釋：此下游分布口徑為2020自然年全年各廠商在中國內(nèi)地（不含港澳臺）銷售云原生數(shù)據(jù)湖解決方案的營業(yè)收入，合同簽署地點和交付地點都位于中國內(nèi)地區(qū)域。 注釋：此下游分布統(tǒng)計口徑不包含云原生數(shù)據(jù)湖組件發(fā)生于其他解決方案（例：數(shù)據(jù)倉庫）的營收，不包含云原生數(shù)據(jù)湖生態(tài)支持廠商部分。來源：長期基礎(chǔ)云服務(wù)數(shù)據(jù)監(jiān)測，結(jié)合公開資料、專家訪談，根據(jù)數(shù)據(jù)測算模型，自主研究及繪制。16.5%40.7%11.9%16.3%6.4%4.5%3.7%100.0%泛互聯(lián)網(wǎng)工業(yè)醫(yī)療汽車其他總計現(xiàn)階段主要應(yīng)用于泛互聯(lián)網(wǎng)行業(yè)及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場景據(jù)調(diào)

24、研，中國云原生數(shù)據(jù)湖的下游應(yīng)用主要分布于泛互聯(lián)網(wǎng)（電商、網(wǎng)絡(luò)廣告、社交媒體、游戲、互聯(lián)網(wǎng)金融等）、泛政 務(wù)（智慧城市、智慧政府、交通等）、金融（銀行、保險等）、工業(yè)（工業(yè)互聯(lián)網(wǎng)、能源、制造等）、醫(yī)療（基因、影像 治療、診斷等）、汽車（車聯(lián)網(wǎng)等）以及零售、運營商等其他行業(yè)。其中，泛互聯(lián)網(wǎng)企業(yè)出于數(shù)據(jù)量大、非結(jié)構(gòu)化數(shù)據(jù)多、 迭代速度快等原因，率先應(yīng)用云原生數(shù)據(jù)湖架構(gòu)于推薦、搜索、監(jiān)控等業(yè)務(wù)環(huán)節(jié)，是現(xiàn)階段數(shù)據(jù)湖市場的主要客戶。2020年中國云原生數(shù)據(jù)湖市場（不含生態(tài)部分）下游行業(yè)分布73.5%包含混合云模式部署的數(shù)據(jù)湖泛政務(wù)金融26掘金市場來源：IDC數(shù)據(jù)時代 2025；2021年中國數(shù)據(jù)庫行業(yè)研究報告，研究院自主研究及繪制。01 規(guī)模爆炸性增長40ZB2020年全球數(shù)據(jù)規(guī)模430%2020-2025年全球數(shù)據(jù)規(guī)模增長02 生產(chǎn)/處理實時化30%2025年實時數(shù)據(jù)占比50%2022年新業(yè)務(wù)將會采用實時分析比