2023中國大數(shù)據(jù)分析行業(yè)研究報告

中國大數(shù)據(jù)分析行業(yè)研究報告2023年4月中國大數(shù)中國大數(shù)分析行研究報告 |目錄研究背景 1大數(shù)據(jù)產(chǎn)概念和類 3大數(shù)據(jù)發(fā)的驅(qū)動力 4大數(shù)據(jù)產(chǎn)分類 7大數(shù)據(jù)基設(shè)施 8大數(shù)據(jù)分析 10大數(shù)據(jù)應(yīng)用 19大數(shù)據(jù)開項目 數(shù)據(jù)源和據(jù)資源 22大數(shù)據(jù)分的價值 22大數(shù)據(jù)分市場規(guī)和發(fā)展勢 24大數(shù)據(jù)分市場規(guī)模 24大數(shù)據(jù)分市場趨勢 25國產(chǎn)化產(chǎn)蓬勃發(fā)展 26云化部署續(xù)增長公有云非公有部署同發(fā)展 26大數(shù)據(jù)分平民化 26大數(shù)據(jù)分技術(shù)趨勢 27增強(qiáng)分析入人工能階段 27湖倉一體為新的據(jù)基礎(chǔ)施底座 29流批一體兩種架模式融一體 30大數(shù)據(jù)分三大細(xì)市場主廠商分析 31商業(yè)智能數(shù)據(jù)可化 33流批一體 39智能運(yùn)維 455 結(jié)論 516 研究機(jī)構(gòu)介 52圖表目錄圖表、全生成、取、復(fù)、消費(fèi)數(shù)據(jù)量位BStatsta2 3圖表2、大據(jù)產(chǎn)品類 7圖表3、傳編程與器學(xué)習(xí)型對比 13圖表4、批計算與式計算比 16圖表5、指平臺架（來源：BennStancil） 17圖表6、典的大數(shù)行業(yè)應(yīng)用 20圖表7、開大數(shù)據(jù)目 22圖表8、中大數(shù)據(jù)場支出測2021v2（來源：IDC） 24圖表9、中大數(shù)據(jù)件市場出分布來源：大數(shù)據(jù)網(wǎng)） 25圖表10、增分析的進(jìn)（來：Gartner） 28圖表11、數(shù)倉庫、據(jù)湖、倉一體構(gòu)對比源：） 29圖表12、批分析與式分析來源：） 30圖表13、大據(jù)分析場廠商型 32圖表14、大據(jù)分析場主要商 33圖表15、商智能和據(jù)可視市場主廠商 34圖表16、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商2020年相對市場份額（主營業(yè)務(wù)收入口徑）34圖表17、新型行業(yè)能化和據(jù)可視廠商綜技創(chuàng)新能評價 35圖表18、中商業(yè)智軟件市規(guī)模（源：IDC） 35圖表19、中商業(yè)智和數(shù)據(jù)視化軟市場廠額（來源：IDC） 36圖表20、帆的商業(yè)能產(chǎn)品 37圖表21、微的PowerPlatform 38圖表22、流一體市主要廠商 39圖表23、新型流批體廠商2020相對市份分布（主業(yè)務(wù)收口徑） 40圖表24、新型行業(yè)批一體廠商綜科技創(chuàng)力評價 40圖表25、廣流批一的三個塊 41圖表26、阿的流批體架構(gòu) 42圖表27、滴科技FastData的實湖倉引擎 43圖表28、Kyligence的流一體解方案 44圖表29、智運(yùn)維市主要廠商 46圖表30、新型智能維廠商2020相對市份分布（主業(yè)務(wù)收口徑） 46圖表31、新型智能維廠商合科技新能力價 47圖表32、Splunk智能維平臺 47圖表33、新網(wǎng)絡(luò)的棧一體智能運(yùn)平臺 48圖表34、博數(shù)據(jù)智運(yùn)維監(jiān)產(chǎn)品 49圖表35、基聽云智運(yùn)維產(chǎn)品 49圖表36、擎科技智運(yùn)維平臺 50中國大數(shù)中國大數(shù)分析行研究報告 |PAGE10研究背景30%，2020120300231420%4G5G2善，3324400生態(tài)體系持續(xù)優(yōu)化。區(qū)域集聚成效顯著，建設(shè)了8個國家大數(shù)據(jù)綜合試驗區(qū)和11個大數(shù)據(jù)領(lǐng)域國家新型工業(yè)化產(chǎn)業(yè)示范基地。一批大數(shù)據(jù)龍頭企業(yè)快速崛起，初步形成了大企業(yè)引領(lǐng)、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格局。產(chǎn)業(yè)支撐能力不斷提升，咨詢服務(wù)、評估測試等服務(wù)保障體系基本建立。數(shù)字營商環(huán)境持續(xù)優(yōu)化，電子政務(wù)在線服務(wù)指數(shù)躍升至全球第9位，進(jìn)入世界領(lǐng)先梯隊。5G效、政府治理體系和治理能力現(xiàn)代化廣泛賦能。隨著“互聯(lián)網(wǎng)+”的升級，激發(fā)經(jīng)濟(jì)增長活力，助力新型智慧城市和數(shù)字經(jīng)濟(jì)建設(shè)。值高為主要特征，是推動經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動力。圖表1單位ZB，tita222來自氣象衛(wèi)星、交通攝像頭、車聯(lián)網(wǎng)、電力/能源/工業(yè)/環(huán)保行業(yè)的全日志等等，企業(yè)和政府利用這些數(shù)據(jù)制定決策，完善流程和政策，素：社會數(shù)字化、物聯(lián)網(wǎng)、技術(shù)成本快速下降、云計算的快速發(fā)展、數(shù)據(jù)科學(xué)的普及、人工智能的崛起。社會數(shù)字化遠(yuǎn)在線”的消費(fèi)者生產(chǎn)了大量的數(shù)據(jù)。20212CNNIC)9.93.7中創(chuàng)建新數(shù)據(jù)，巨大的人口基數(shù)創(chuàng)建出了巨量的數(shù)據(jù)。新冠肺炎疫情加速推動了從個體、企業(yè)到政府全方位的社會數(shù)字面線下不3492、物聯(lián)網(wǎng)物聯(lián)網(wǎng)（IoT）是指通過傳感設(shè)備、按照標(biāo)準(zhǔn)通訊協(xié)議，把物品與互聯(lián)網(wǎng)連接，實現(xiàn)智能化服務(wù)的網(wǎng)絡(luò)。物聯(lián)網(wǎng)大致誕生于2008年2009傳感器數(shù)量還在不斷增長之中，更有大量的智能設(shè)備開始走入家庭，家庭里的IP地址數(shù)量急劇增長。據(jù)BusinessInsider,IoTAnalyticsGartnerIntelStatista，2025技術(shù)成本快速下降200010001000降低了大數(shù)據(jù)項目的成本。云計算的快速發(fā)展（需要大量專家長時間進(jìn)行系統(tǒng)搭建，（基礎(chǔ)軟件可以在若干分鐘之內(nèi)搭建完成，而且能夠隨著業(yè)務(wù)的增長進(jìn)行無縫的技術(shù)增長，只需為實際使時間成本和使用成本。數(shù)據(jù)科學(xué)的普及據(jù)的發(fā)展貯備好了智力資源。6.人工智能的崛起2020可以方便地使用大數(shù)據(jù)系統(tǒng)了，實現(xiàn)了數(shù)據(jù)分析“平民化”的效果，大大促進(jìn)了大數(shù)據(jù)技術(shù)的應(yīng)用深度和廣度。大數(shù)據(jù)基礎(chǔ)設(shè)施大數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用存儲數(shù)據(jù)湖關(guān)系型數(shù)據(jù)庫NewSQL大數(shù)據(jù)基礎(chǔ)設(shè)施大數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用存儲數(shù)據(jù)湖關(guān)系型數(shù)據(jù)庫NewSQL圖數(shù)據(jù)庫ETL/數(shù)據(jù)集成隱私/安全數(shù)據(jù)質(zhì)量無服務(wù)器Hadoop數(shù)據(jù)倉庫流式/NoSQL數(shù)據(jù)庫實時數(shù)據(jù)庫MPP數(shù)據(jù)庫反向ETL數(shù)據(jù)治理/數(shù)據(jù)可觀察性管理/監(jiān)控集群服務(wù)商業(yè)智能平臺數(shù)據(jù)可視化增強(qiáng)分析指標(biāo)平臺流批一體化日志分析查詢引擎搜索銷售企業(yè)市場營銷合規(guī)自動化和廣告電信交通客戶體驗/服務(wù)消費(fèi)市場營銷法律財務(wù)安全金融投資保險農(nóng)業(yè)教育研究機(jī)構(gòu)孵化器與學(xué)校數(shù)據(jù)服務(wù)數(shù)據(jù)資源天空海數(shù)據(jù)財經(jīng)數(shù)據(jù)位置智能數(shù)據(jù)市場和發(fā)現(xiàn)人員/實體數(shù)據(jù)數(shù)據(jù)源和API大數(shù)據(jù)開源項目框架數(shù)據(jù)運(yùn)營可視化數(shù)據(jù)格式流與消息協(xié)同查詢/數(shù)據(jù)流 數(shù)據(jù)訪問 數(shù)據(jù)庫統(tǒng)計工具和語言AI/機(jī)器學(xué)習(xí)ML運(yùn)營/基礎(chǔ)設(shè)施安全編排搜索基礎(chǔ)設(shè)施日志與監(jiān)控圖表2、大數(shù)據(jù)產(chǎn)品分類大數(shù)據(jù)市場經(jīng)過20多年的長足發(fā)展，形成了豐富的市場生態(tài)，從產(chǎn)品、服務(wù)供應(yīng)端的視角大致可分為如下領(lǐng)域：大數(shù)據(jù)基礎(chǔ)設(shè)施、API1、數(shù)據(jù)庫2、數(shù)據(jù)倉庫3、數(shù)據(jù)湖4、湖倉一體定位和擅長的業(yè)務(wù)場景，共同構(gòu)成了大數(shù)據(jù)時代的技術(shù)基礎(chǔ)設(shè)施。多的大中小型客戶，是對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析的大數(shù)據(jù)技術(shù)。根本分歧點是存儲系統(tǒng)訪問、權(quán)限管理、建模要求等方面的不同。倉庫則剛好反之，對初創(chuàng)用戶不友好但成長性較好。（設(shè)需求的話（尤其是新興的創(chuàng)業(yè)公司從零開始架構(gòu)的長性/事務(wù)性。湖倉一體的實現(xiàn)路徑有兩種。第一種，在數(shù)據(jù)倉庫上湖倉一體的架構(gòu)是新一代大數(shù)據(jù)分析的基礎(chǔ)設(shè)施。商業(yè)智能商業(yè)智能（BI，BusinessIntelligence）商業(yè)智能不是嚴(yán)格意義上的一種技術(shù)，它是數(shù)據(jù)庫、數(shù)據(jù)倉庫、ETLOLAP商業(yè)智能的關(guān)鍵是從許多來自不同的數(shù)據(jù)源中提取出有用的資料（Extractionansformation）和裝載（Load，即ETL過程，合并到數(shù)據(jù)倉查OLAP術(shù)等對其進(jìn)行分析和處理（這時信息變?yōu)檩o助決策的知識，最后將知智能里開始扮演越來越重要的作用。數(shù)據(jù)可視化數(shù)據(jù)分析師平臺（戶，通過洞察數(shù)據(jù)發(fā)現(xiàn)背后的業(yè)務(wù)趨勢，數(shù)據(jù)分析師使用的最經(jīng)典的Excel。的精力投入到業(yè)務(wù)領(lǐng)域。數(shù)據(jù)分析師平臺通常具備對各種格式的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理和展現(xiàn)。增強(qiáng)分析增強(qiáng)分析是指使用機(jī)器學(xué)習(xí)和人工智能等提升能力的技術(shù)來協(xié)助進(jìn)行數(shù)據(jù)準(zhǔn)備、洞察生成和洞察解釋，從而增強(qiáng)人們在分析和BI平臺中探索和分析數(shù)據(jù)的能力。增強(qiáng)分析可以將內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)相結(jié)合，并自動執(zhí)行重要且(ML)和自然語言處理(NLP)的形式嵌入到分析中。它與傳統(tǒng)的分析或商業(yè)智能(BI)增強(qiáng)分析的價值具體體現(xiàn)在如下三個方面：AI在統(tǒng)一的數(shù)據(jù)架構(gòu)和安全架構(gòu)之下，在大大降低了使用者的技術(shù)要求之后，業(yè)務(wù)人員更容易獲得數(shù)據(jù)之下的業(yè)務(wù)洞見。AI(NLP)生成(NLG)組成的自然語言界面(NLI言提出問題并以簡單的語言得到答案。用戶能夠使用直觀的探索工具更深入地了解他們的數(shù)據(jù)。在用戶問題的指導(dǎo)下，系統(tǒng)會推薦可視化圖表、儀表板和其他易于理解的指標(biāo)，展現(xiàn)出令人信服的數(shù)據(jù)。AIIT職工作。計算機(jī)輸出計算機(jī)計算機(jī)輸出計算機(jī)規(guī)則傳統(tǒng)編程機(jī)器學(xué)習(xí)當(dāng)困難，更不用說把它變成程序代碼了。圖表3、傳統(tǒng)編程與機(jī)器學(xué)習(xí)模型對比而機(jī)器學(xué)習(xí)另辟蹊徑，它從一些輸入數(shù)據(jù)和正確的輸出開始“圖123456夠有效地反映現(xiàn)實世界中的規(guī)則了（可以有效地區(qū)分貓和狗了。據(jù)集來增強(qiáng)模型。機(jī)器學(xué)習(xí)模型從大數(shù)據(jù)和重復(fù)的人類交互中學(xué)習(xí)，直到它可以輸出足夠好的結(jié)果。隨著數(shù)據(jù)的極大豐富、算法的不斷進(jìn)步和機(jī)器算力的大幅提到達(dá)了“可以用了”的水平。分析中已經(jīng)成為不可或缺的部分。數(shù)據(jù)目錄與發(fā)現(xiàn)數(shù)據(jù)目錄是關(guān)于數(shù)據(jù)資產(chǎn)的一個有序清單，它使用元數(shù)據(jù)來幫助組織管理數(shù)據(jù)，幫助數(shù)據(jù)專業(yè)人員收集、組織、訪問和充實元數(shù)據(jù)，從而為數(shù)據(jù)發(fā)現(xiàn)和治理提供支持。數(shù)據(jù)目錄之于數(shù)據(jù)，正如圖書目錄之于圖書。它可以提供一個整體視圖，提供所有數(shù)據(jù)的深度可見性，而不僅僅是一次只查看某一項數(shù)據(jù)。因太難使用而毫無用處。的功能。流批一體流批一體是指將流式計算與批量計算兩種不同架構(gòu)的數(shù)據(jù)處理模式融合到一起。特性批量計算流式計算數(shù)據(jù)時間范圍有界數(shù)據(jù)集，數(shù)據(jù)在某個時間范圍內(nèi)起始和結(jié)束無界數(shù)據(jù)集，一直有持續(xù)不斷新產(chǎn)生的數(shù)據(jù)任務(wù)執(zhí)行分批執(zhí)行、有終止持續(xù)執(zhí)行、無終止處理延遲小時級、天級特性批量計算流式計算數(shù)據(jù)時間范圍有界數(shù)據(jù)集，數(shù)據(jù)在某個時間范圍內(nèi)起始和結(jié)束無界數(shù)據(jù)集，一直有持續(xù)不斷新產(chǎn)生的數(shù)據(jù)任務(wù)執(zhí)行分批執(zhí)行、有終止持續(xù)執(zhí)行、無終止處理延遲小時級、天級秒級、分鐘級數(shù)據(jù)場景數(shù)據(jù)量超大數(shù)據(jù)、無法以流的形式交付數(shù)據(jù)以流的形式交付業(yè)務(wù)場景工資單計算、計費(fèi)、客戶訂線報表欺詐實時檢測、社交媒體情感分析、安全日志監(jiān)控、客戶行為分析、實時推薦關(guān)注點可擴(kuò)展性、大吞吐量、容錯可擴(kuò)展性、低延遲、容錯、消息一致性、消息持久性圖表4、批量計算與流式計算對比重復(fù)的資源，存儲和計算都要雙份，系統(tǒng)的成本高。兩套系統(tǒng)，組件不同，需要技能不同的人員維護(hù)，人員的成本高。兩套開發(fā)體系無法統(tǒng)一，表結(jié)構(gòu)不同，開發(fā)環(huán)境不同。一樣，雖然最前端輸入都來自同一份源數(shù)據(jù)。一體的產(chǎn)品和服務(wù)正在快速發(fā)展和完善之中。指標(biāo)平臺這里的指標(biāo)（Metrics）是指業(yè)務(wù)上或技術(shù)上關(guān)注的量化信息，KPI（關(guān)鍵績效指標(biāo)的、重要的數(shù)據(jù)資產(chǎn)。圖表5、指標(biāo)平臺架構(gòu)（來源：BennStancil）稱（MetricsPlatform（HeadlessBI、指標(biāo)層（MetricsLayer）或指標(biāo)存儲（MetricsStore，都是指同一個東西。BIBIBI一致地重用這些指標(biāo)。日志分析ITIT要通過日志來進(jìn)行運(yùn)維管理。設(shè)備名稱、系統(tǒng)名稱、應(yīng)用名稱、使用者及操作行為等相關(guān)的描述，7x24ITIT/服務(wù)、企業(yè)市場營銷、消費(fèi)市場營RPA、安全、廣告等，垂直行業(yè)應(yīng)用涉及的領(lǐng)域有：互聯(lián)網(wǎng)（電商、社交、生活服務(wù)等（行業(yè)行業(yè)挑戰(zhàn)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用價值互聯(lián)網(wǎng)業(yè)務(wù)場景復(fù)雜，數(shù)據(jù)來源多；業(yè)務(wù)快速變化，時效性要求高；數(shù)據(jù)量巨大行業(yè)行業(yè)挑戰(zhàn)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用價值互聯(lián)網(wǎng)業(yè)務(wù)場景復(fù)雜，數(shù)據(jù)來源多；業(yè)務(wù)快速變化，時效性要求高；數(shù)據(jù)量巨大但數(shù)據(jù)價值低。用戶行為分析、轉(zhuǎn)化分析、留存分析、活躍分析、渠道分析、個性化推薦、精準(zhǔn)營銷、廣告投放提升客戶滿意度、快速獲客/留客、提升收入、指導(dǎo)產(chǎn)品開發(fā)/迭代金融證券詐，超高頻交易。風(fēng)險分析，隱私計算，交易前決策支持分析，情緒測量，預(yù)測分析，交易數(shù)據(jù)分析了解客戶和減少欺詐政府政府?dāng)?shù)據(jù)資產(chǎn)的整合、管理和開放，政府部門及附屬機(jī)構(gòu)之間數(shù)據(jù)的互聯(lián)互通。氣象大數(shù)據(jù)服務(wù)于救測企業(yè)異常等數(shù)據(jù)多跑路群眾少跑腿，更高效的社會化服務(wù)，更卓越的營商環(huán)境圖表6、典型的大數(shù)據(jù)行業(yè)應(yīng)用策源地。領(lǐng)域開源項目框架HadoopHDFS,Spark,HadoopMapReduce,Flink,YARN,TEZ,Kubernetes,ApacheKylin,MESOS,Docker,CDAP,RedHat,HELIX數(shù)據(jù)格式ICEBERG,Parquet,ApacheHudi,ORC,Arrow,DELTALAKE查詢/數(shù)據(jù)流SparkSQL,Pig,Hive,Presto,ApacheDRILL,SLAMDATA,GraphQL,Trino,GoogleCloudDataflow,HAWQ,ApacheTrafodion數(shù)據(jù)訪問數(shù)據(jù)訪問UberDatabook,Aundsen,Magda,Ckan數(shù)據(jù)庫PostgreSQL,MySQL,MongoDB,GreenPlum,Redis,CockroachDB,MariaDB,Influxdb,Presto,Druid,Cassandra,AirbnbDataportal,SciDB,DataHub,ApacheFlume,CloudSpanner,CouchDB,Riak,OpenTSDB,ApacheAccumulo,ClickHouse,Pinot,EdgeDB,ApacheHBase編排ApacheAirflow,Prefect,Dagster,Flyte,MetaFlow,Kedro,SpotifyLuigi基礎(chǔ)設(shè)施ApacheZookeeper,ApacheAmbari,ApacheMESOS,Argo數(shù)據(jù)運(yùn)營MARQUEZ,GreatExpectations,OpenLineage,LakeFS,ProjectNessie流與消息SparkStreaming,Kafka,beamPulsar,Flink,Storm,Apex,ApacheNiFi,ApacheRocketMQ,Samza統(tǒng)計工具和語言Python,R,Scala,NumPy,Pandas,SciPy,RStudio,Pyro,Julia,TidyverseAI/機(jī)器學(xué)習(xí)TensorFlow,Torch,Transformers,OpenCV,ApacheMADlib,Scikit-learn,Keras,BERT,XGBoost,Caffe,MicrosoftCognitiveToolkit,DMTK,OpenAI,PyTorchLightning,Theano,PaddlePaddle,ApacheSinga,DIMSUM,FeatureFU,VELES,Mxnet,Neon,Chainer,UberMichelangelo,ONNX,WEKA,Ludwig,CoreNLP,DSSTNE,MLlib,DL4J,Mahout,Aerosolve,fast.ai,MLR,OpenML,MindsDB,spaCy,Kubeflow,AllenNLP,CatBoost機(jī)器學(xué)習(xí)運(yùn)營 Pachyderm,MLflow, Kubeflow, mleap, DVC,Seldon, Snorkel,/基礎(chǔ)設(shè)施 Polyaxon,BentoML,MediaPipe搜索ElasticSearch,ApacheSolr,ApacheLucene,Sphinx,Sonic,MeiliSearch,ToshiSearch,Tantivy,Typesense日志與監(jiān)控ElasticSearch, Logstash, Kibana, Sentry,Prometheus, Fluentd,Grafana,Vector,OpenTelemetry中國大數(shù)分析行研究報告 | 21中國大數(shù)中國大數(shù)分析行研究報告 |PAGE22可視化D3,Superset,matplotlib,Metabase,Redash,TensorBoard,Seaborn,Bokeh,ggplot2協(xié)同Beake,Jupyter,Zeppelin,Anaconda安全ApacheRanger,Knox,Sentry,ApacheAccumulo,Snyk圖表7、開源大數(shù)據(jù)項目經(jīng)數(shù)據(jù)、統(tǒng)計信息等等，以及需要協(xié)議接口的企業(yè)信息、人員信息、202111正在持續(xù)開展的重要工作。大數(shù)據(jù)分析是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，核心的價值就是從海據(jù)。在企業(yè)界常見的大數(shù)據(jù)分析的價值場景包括：客戶獲取和保留戶的不同需求，使得企業(yè)可以制定有針對性的措施獲取新客戶，以及提升老客戶的滿意度。精準(zhǔn)營銷提升營業(yè)額交率。產(chǎn)品開發(fā)用戶是否喜歡這些功能、新功能是不是反而給用戶添亂。供應(yīng)鏈和渠道分析預(yù)測分析模型可以幫助進(jìn)行搶先補(bǔ)貨、構(gòu)建智能的供應(yīng)商網(wǎng)絡(luò)、庫存管理、路線優(yōu)化和潛在交貨延遲通知等等。風(fēng)險管理大數(shù)據(jù)分析可以從數(shù)據(jù)模式中識別出新的風(fēng)險，從而制定有效的前所有小微貸款業(yè)務(wù)的基石。自2014年以來202525自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。IDC20211102025250圖表8、中國大數(shù)據(jù)市場支出預(yù)測2021v2（來源：IDC）202540%，超過軟件和服30%的市場支出將流向軟件。圖表圖表9、中國大數(shù)據(jù)軟件市場支出分布（來源：中國大數(shù)據(jù)網(wǎng)）中國大數(shù)據(jù)軟件市場支出分布大數(shù)據(jù)應(yīng)用28%大數(shù)據(jù)基礎(chǔ)設(shè)施42%大數(shù)據(jù)分析30%中國大數(shù)據(jù)網(wǎng)對大數(shù)據(jù)軟件市場的進(jìn)一步細(xì)分做了獨立研究，20213028%202110202522大數(shù)據(jù)分析市場具有如下趨勢：國產(chǎn)化產(chǎn)品蓬勃發(fā)展云化部署持續(xù)增長，公有云、非公有云部署同步發(fā)展大數(shù)據(jù)分析平民化（對公有云的/行業(yè)云環(huán)境，有云/行業(yè)云模式仍需要采購大量硬件設(shè)備，大數(shù)據(jù)軟件也需要部署到屬地環(huán)境中。的生態(tài)。相關(guān)：增強(qiáng)分析步入人工智能階段湖倉一體成為新的數(shù)據(jù)基礎(chǔ)設(shè)施底座流批一體將兩種架構(gòu)模式融為一體準(zhǔn)備、洞察發(fā)現(xiàn)、數(shù)據(jù)科學(xué)以及機(jī)器學(xué)習(xí)模型開發(fā)、業(yè)務(wù)發(fā)現(xiàn)共享，（例如做區(qū)域銷售額分析的時候補(bǔ)充當(dāng)?shù)氐娜丝诤虶DP數(shù)據(jù)數(shù)據(jù)格式轉(zhuǎn)換等耗時費(fèi)力的技術(shù)性準(zhǔn)備工作。在分析步驟中，增強(qiáng)分析可以幫助用戶做自動建模、模型管理、圖表10、增強(qiáng)分析的演進(jìn)（來源：Gartner）AI等一系列問題。圖表11、數(shù)據(jù)倉庫、數(shù)據(jù)湖、湖倉一體架構(gòu)對比（來源：）（ETL副本，變更管理繁重而復(fù)雜，對接龐大的開放式軟件生態(tài)系統(tǒng)（數(shù)據(jù)倉庫只能用SQL（數(shù)據(jù)倉庫ML/AI。AIAI于過去的分析型數(shù)據(jù)庫。流批一體是指將流式計算與批量計算兩種不同架構(gòu)的數(shù)據(jù)處理模式融合到一起，對混合的有界數(shù)據(jù)和無界數(shù)據(jù)能夠統(tǒng)一進(jìn)行支持，圖表12、批量分析與流式分析（來源：）有界數(shù)據(jù)（批量處理）還是無界數(shù)據(jù)（流式處理，可以采用同一套查查詢系統(tǒng)，產(chǎn)生的結(jié)果也不一定一致。2BIBIBI中國大數(shù)據(jù)網(wǎng)通過對全國工商企業(yè)數(shù)據(jù)進(jìn)行挖掘分析，截至2021年12月底中國大數(shù)據(jù)企業(yè)共約有6.53萬家中國大數(shù)據(jù)網(wǎng)以六大維（行業(yè)實力身份特征創(chuàng)新能力活躍程度發(fā)展速度和經(jīng)營風(fēng)險）為指標(biāo)，對上述約6.53萬家大數(shù)據(jù)企業(yè)進(jìn)行了量化分析，并按照指標(biāo)高低劃分三級九（AAAAAABBBBBBCCCCC、由高到低排列實現(xiàn)了對大數(shù)據(jù)企業(yè)的綜合科技創(chuàng)新能力的量化評價中國大數(shù)據(jù)網(wǎng)對其中A級和B級的企業(yè)進(jìn)行了入庫并提供系統(tǒng)平臺以供社會各界查詢和應(yīng)用“中國大數(shù)據(jù)網(wǎng)認(rèn)證企業(yè)查詢系統(tǒng)入口為： 。從大數(shù)據(jù)企業(yè)的運(yùn)營情況來看，整個大數(shù)據(jù)分析市場仍然遵從20/80本行業(yè)研究報告主要針對上述大數(shù)據(jù)分析市場的主要廠商進(jìn)行分析。這些主要廠商的運(yùn)營情況基本代表整個產(chǎn)業(yè)發(fā)展的現(xiàn)狀和趨勢。廠商類型特點成熟型廠商為體量較大的互聯(lián)網(wǎng)巨頭、大型IT服務(wù)商、大數(shù)據(jù)概念上市公司等，技術(shù)、市場實力雄厚，產(chǎn)品線一般比較廣泛、完整。新興型廠商多為新興創(chuàng)業(yè)公司，勇于創(chuàng)新，一般專注于特定領(lǐng)域，在某些前沿技術(shù)上處于相對領(lǐng)先位置。圖表13、大數(shù)據(jù)分析市場廠商類型成熟型廠商基本為全球知名企業(yè)、上市公司或者科技頭部企業(yè)，下表是大數(shù)據(jù)分析整體市場的主要廠商，入選的依據(jù)是：在大數(shù)2020大數(shù)據(jù)分析市場主要的成熟型廠商新華三大數(shù)據(jù)分析市場主要的新興型廠商數(shù)睿數(shù)據(jù)圖表14、大數(shù)據(jù)分析市場主要廠商下：商業(yè)智能和數(shù)據(jù)可視化領(lǐng)域主要的成熟型廠商商業(yè)智能和數(shù)據(jù)可視化領(lǐng)域主要的新興型廠商數(shù)睿數(shù)據(jù)圖表15、商業(yè)智能和數(shù)據(jù)可視化市場主要廠商新興型商業(yè)智能和數(shù)據(jù)可視化廠商2020觀遠(yuǎn)數(shù)據(jù)新興型商業(yè)智能和數(shù)據(jù)可視化廠商2020觀遠(yuǎn)數(shù)據(jù)4%亦策軟件6%datahunter數(shù)睿數(shù)據(jù) 1%2%1%8%百分點37%11%14%16%圖表16、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商2020年相對市場份額（主營業(yè)務(wù)收入口徑）（來源：中國大數(shù)據(jù)網(wǎng)）中國大數(shù)據(jù)網(wǎng)對上述新興型廠商同時進(jìn)行了綜合科技創(chuàng)新能力（備注：綜合科技創(chuàng)新能力評價是基于中國）序號廠商評價等級綜合評價綜合評分1數(shù)瀾科技AAA非常健康8652數(shù)?？萍糀AA非常健康8643觀遠(yuǎn)數(shù)據(jù)AAA非常健康8584思邁特AAA非常健康8475百分點AAA非常健康8456億信華辰AAA非常健康8237永洪科技AAA非常健康7988海致科技AAA非常健康7989亦策軟件AAA非常健康79710DATAHUNTERAAA非常健康761圖表17、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商綜合科技創(chuàng)新能力評價（來源：中國大數(shù)據(jù)網(wǎng)，截至2022年4月20日）IDC20251670%以上。圖表18、中國商業(yè)智能軟件市場規(guī)模（來源：IDC）圖表19、中國商業(yè)智能和數(shù)據(jù)可視化軟件市場廠商份額（來源：IDC）IDC，20202021能市場，20212001118000500300TableauTableau也有市場經(jīng)營策略的問題。圖表20、帆軟的商業(yè)智能產(chǎn)品ITIT數(shù)據(jù)分析平民化的需求，主要手段是：云化和低代碼。2014SaaSPowerBI地方案中快速部署，并提供豐富的移動端支持。圖表21、微軟的PowerPlatform100PowerPlatformPowerBIPowerAppsPowerAutomatePowerVirtualAgents等組件，可與微軟Office365、Dynamics365、Azure以及第三方應(yīng)用程序無縫集成，提升企業(yè)快速構(gòu)建解決方案的能力。AI采取了穩(wěn)扎穩(wěn)打的策略。PowerBIAIPowerPlatformAIPowerBI求和性價比，做出最適合自己的產(chǎn)品組合選擇。相對于帆軟相對穩(wěn)健的AI策略，新興型廠商則更積極地?fù)肀А癇I+AIZ-SuiteAI深度分析平臺，百分點的CleverBI，ETLAINextionBIAI+BI產(chǎn)品生態(tài)，SmartBICloud“BI+AI”新賽道上獲得突破的努力。流批一體未來發(fā)展有較大空間。這個領(lǐng)域的主要廠商如下。流批一體領(lǐng)域主要的成熟型廠商新華三流批一體領(lǐng)域主要的新興型廠商圖表22、流批一體市場主要廠商入選的新興型廠商，流批一體都是其主營業(yè)務(wù)之一，下圖是這些新興型流批一體廠商2020年相對市場份額（主營業(yè)務(wù)收入口徑）Kyligence9%滴普科技24%網(wǎng)易數(shù)帆新興型流批一體廠商2020年相對市場份額（主營業(yè)務(wù)收入口徑）Kyligence9%滴普科技24%網(wǎng)易數(shù)帆67%圖表23、新興型流批一體廠商2020年相對市場份額分布（主營業(yè)務(wù)收入口徑）（來源：中國大數(shù)據(jù)網(wǎng)）中國大數(shù)據(jù)網(wǎng)對上述新興型廠商同時進(jìn)行了綜合科技創(chuàng)新能力（備注：綜合科技創(chuàng)新能力評價是基于中國）序號廠商評價等級綜合評價綜合評分1網(wǎng)易數(shù)帆AAA非常健康8272KyligenceAAA非常健康7913滴普科技AAA非常健康780圖表24、新興型行業(yè)流批一體化廠商綜合科技創(chuàng)新能力評價（來源：中國大數(shù)據(jù)網(wǎng)，截至2022年4月20日）流批一體，是指離線處理、實時處理全流程的一體化，需要覆蓋（湖倉一體（即計算流批一體析應(yīng)用一體（豐富的工具生態(tài)。我們認(rèn)為廣義的流批一體包含以上三個部分，而狹義的流批一體是其中的計算部分。統(tǒng)一存儲元數(shù)據(jù)目錄原子化事務(wù)統(tǒng)一存儲元數(shù)據(jù)目錄原子化事務(wù)高性能存儲一體（湖倉一體）支持離線/實時場景一套代碼一套開發(fā)規(guī)范計算一體（計算流批一體）數(shù)據(jù)同步數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)血緣分析應(yīng)用一體（豐富的工具生態(tài)）圖表25、廣義流批一體的三個板塊據(jù)架構(gòu)，湖倉一體正成為兵家必爭之地。國際上的DataBrick、Snowflake倉一體支持，國內(nèi)的上百家數(shù)據(jù)庫/數(shù)據(jù)倉庫廠商也都在跟進(jìn)。對聚20199000ApacheFlinkDataArtisansFlinkApache2020FlinkFlinkFlinkGithubApache目。11（量處理）和實時數(shù)據(jù)（流式處理）電商屬性和大業(yè)務(wù)體量倒逼著流批一體技術(shù)必須在阿里核心業(yè)務(wù)落地，方能解決痛點。圖表26、阿里的流批一體架構(gòu)2020Flink40/技術(shù)真正規(guī)?；涞貞?yīng)用于超大規(guī)模核心數(shù)據(jù)業(yè)務(wù)，這也意味著Flink鏈路流批一體化。DataLakeInsightDataEngineFlinkFastData圖表27、滴普科技FastData的實時湖倉引擎FastData/計算/都有成長的土壤。KyligenceSQL語句，通過統(tǒng)一的查詢出口，同時接入批Kyligence圖表28、Kyligence的流批一體解決方案網(wǎng)易數(shù)帆則認(rèn)為廣義流批一體的三個方面都是網(wǎng)易大數(shù)據(jù)平臺算獨立出來做。針對存儲的流批一體，現(xiàn)在已經(jīng)有實時數(shù)據(jù)湖引擎FlinkSparkPresto智能運(yùn)維（監(jiān)控信息、應(yīng)用信息等，運(yùn)用人工智能和機(jī)器學(xué)習(xí)來提升運(yùn)維自動化AI智能運(yùn)維領(lǐng)域主要的成熟型廠