2021-2022數(shù)據(jù)庫(kù)行業(yè)研究報(bào)告

2022年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模：據(jù)統(tǒng)計(jì)，2020年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)總規(guī)模達(dá)247.1億元，同比增長(zhǎng)16.2%。2020-2022中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)預(yù)計(jì)將呈高增長(zhǎng)態(tài)勢(shì)，由多方面因素促成：1)政策利好，國(guó)家大力鼓勵(lì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商的發(fā)展；2)需求拉動(dòng)，國(guó)產(chǎn)化和數(shù)字化轉(zhuǎn)型帶動(dòng)需求的爆發(fā)增長(zhǎng)；3)供給端傳統(tǒng)、初創(chuàng)和跨界各類型廠商厚積薄發(fā)，產(chǎn)品和技術(shù)經(jīng)歷了多年工程實(shí)踐的打磨走向成熟；4)國(guó)內(nèi)中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)格局：1)多類型數(shù)據(jù)庫(kù)百花齊放，關(guān)系型占據(jù)絕對(duì)主流。從營(yíng)收角度，2020年中國(guó)關(guān)系型數(shù)據(jù)庫(kù)的市場(chǎng)份額達(dá)90%左右，NoSQL數(shù)據(jù)庫(kù)更多地基于開(kāi)源模式，產(chǎn)生二開(kāi)和服務(wù)的費(fèi)用。2)借助政策東風(fēng)，國(guó)產(chǎn)廠商厚積薄發(fā)，市場(chǎng)版圖快速擴(kuò)張。受國(guó)產(chǎn)化影響，2020年國(guó)外數(shù)據(jù)庫(kù)廠商的市場(chǎng)份額下降至52.6%,達(dá)夢(mèng)金倉(cāng)等傳統(tǒng)國(guó)產(chǎn)廠商的市場(chǎng)份額上升至7.1%。3)公有云數(shù)據(jù)庫(kù)增速放緩，未來(lái)仍有一定滲透空間。2020年中國(guó)公有云部署模式的數(shù)據(jù)庫(kù)市場(chǎng)份額占比達(dá)32.7%,預(yù)計(jì)到2025年將達(dá)到47.2%,云廠商將成為中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)市占率最大的陣營(yíng)。4)以NewSQL/NoSQL/SQLonHadoop為典型路線的初創(chuàng)廠商不斷涌現(xiàn)，成為中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)增長(zhǎng)率最快的賽道，預(yù)計(jì)未來(lái)五年有10倍以上的成長(zhǎng)空間。中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)挑戰(zhàn)與趨勢(shì)：約2015年起，中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)進(jìn)入了百花齊放、活躍創(chuàng)新的階段，但仍面臨多方挑戰(zhàn)：1)分布式數(shù)據(jù)庫(kù)在事務(wù)、性能等環(huán)節(jié)仍待優(yōu)化；2)信創(chuàng)為國(guó)產(chǎn)廠商提供成長(zhǎng)沃土，未來(lái)發(fā)展仍待市場(chǎng)磨煉；3)數(shù)據(jù)頻繁遷移、多庫(kù)長(zhǎng)期并存為廠商提出新的訴求；4)CPU、內(nèi)存等硬件變化為數(shù)據(jù)庫(kù)設(shè)計(jì)提供更多的想象空間。綜合供需兩端視角，中國(guó)數(shù)據(jù)庫(kù)未來(lái)發(fā)展將呈現(xiàn)多種趨勢(shì)：1)多場(chǎng)景現(xiàn)狀與融合需求長(zhǎng)期并存；2)云數(shù)據(jù)庫(kù)(包括公有、非公有各種形式)成為主流；3)湖倉(cāng)一體服務(wù)聯(lián)機(jī)交易和聯(lián)機(jī)分析；4)開(kāi)源成為產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)庫(kù)廠商的破局之刃；5)人工智能延伸DBA的能力半徑，優(yōu)化數(shù)據(jù)庫(kù)性能，是數(shù)據(jù)庫(kù)下一步發(fā)展的目標(biāo)。產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類1供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型2機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)3件，即數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)搭建、處理、維護(hù)的數(shù)據(jù)及數(shù)據(jù)間邏輯關(guān)系的集合體。它面向多種應(yīng)用，可以被多個(gè)用戶、多個(gè)應(yīng)用程序所共享。DBMS是負(fù)責(zé)數(shù)據(jù)庫(kù)搭建、使用和維護(hù)的大型系統(tǒng)軟件，它對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一控制管理，數(shù)據(jù)的完整性和安全性。數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)管理系統(tǒng)共同組成了數(shù)據(jù)庫(kù)系統(tǒng)(DBS)。DBA終端用戶終端用戶應(yīng)用程序應(yīng)用程序應(yīng)用程序網(wǎng)絡(luò)數(shù)據(jù)庫(kù)處于IT架構(gòu)的核心位置，向上是各種應(yīng)用的支撐引擎，向下調(diào)存儲(chǔ)等基礎(chǔ)資管理維護(hù)修改寫(xiě)入讀取搭建應(yīng)用存儲(chǔ)★多模數(shù)據(jù)庫(kù)隨著市場(chǎng)和技術(shù)的發(fā)展，關(guān)系模型因其特有的原子性、一致性、隔離性和持久性優(yōu)勢(shì)，取代了層次模型和網(wǎng)絡(luò)模型，成為關(guān)系型數(shù)據(jù)庫(kù)架構(gòu)關(guān)系型數(shù)據(jù)庫(kù)ACID特性持一致。關(guān)系1(屬性1,屈性2,屬性3,屬性4)關(guān)系2(屬性1,屬性2,屬性5)關(guān)系2屬性1性3屬關(guān)系4屬性5關(guān)系5屬性6持久性關(guān)系5(屬性6,屬性8)注釋：1、下劃線表示主碼；關(guān)系3(屬性6,屬性2,屬性3)關(guān)系4(屬性5,屬性7)查詢即向RBDMS尋求特定的信息，SQL(結(jié)構(gòu)化查詢語(yǔ)言),是RBDMS的標(biāo)準(zhǔn)語(yǔ)言，廣泛應(yīng)用于各主流關(guān)系型數(shù)據(jù)庫(kù)，它包括DDL(數(shù)據(jù)定義語(yǔ)言)、DML(數(shù)據(jù)操縱語(yǔ)言)、DCL(數(shù)據(jù)控制語(yǔ)言)和TCL(事務(wù)控制語(yǔ)言)。SQL作為一種聲明式語(yǔ)言，同時(shí)具有較好的可擴(kuò)展性，不僅用于查詢，還可以用來(lái)定義數(shù)據(jù)結(jié)構(gòu)、插入、修改和刪除數(shù)據(jù)、執(zhí)行管理任務(wù)(安全、用戶管理……)等。次型SQL語(yǔ)言集數(shù)據(jù)定義、數(shù)據(jù)操縱、數(shù)據(jù)控制、事務(wù)控制功能于一體，SQL語(yǔ)言不涉及存取結(jié)構(gòu)以及具體的執(zhí)行過(guò)程，因而簡(jiǎn)化了編程的次型SQL語(yǔ)言集數(shù)據(jù)定義、數(shù)據(jù)操縱、數(shù)據(jù)控制、事務(wù)控制功能于一體，SQL語(yǔ)言不涉及存取結(jié)構(gòu)以及具體的執(zhí)行過(guò)程，因而簡(jiǎn)化了編程的自含式+嵌入式語(yǔ)言SQL用簡(jiǎn)單的語(yǔ)句(核心命令：CREATE,DROP,ALTER,SELECT,DELETE,INSERT,UPDATE,GRANT,REVOKE)和接近英語(yǔ)口語(yǔ)序員使用，數(shù)據(jù)的完整性和約束更改數(shù)據(jù)庫(kù)用戶或權(quán)限對(duì)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)里可能發(fā)生的事務(wù)進(jìn)行處理任務(wù)命令NoSQL即NotOnlySQL,NoSQL數(shù)據(jù)庫(kù)指那些不使用關(guān)系模型、分布式庫(kù)通過(guò)“強(qiáng)一致性”來(lái)避免數(shù)據(jù)庫(kù)應(yīng)用中出現(xiàn)的寫(xiě)入沖突(兩個(gè)客戶端同時(shí)修改一份數(shù)據(jù))和讀寫(xiě)沖突(某客戶端在另一個(gè)客戶端執(zhí)行寫(xiě)入操作過(guò)程中讀取數(shù)據(jù))?！癈AP定理”闡述了數(shù)據(jù)庫(kù)系統(tǒng)的權(quán)衡問(wèn)題，即當(dāng)有可能發(fā)生“網(wǎng)絡(luò)分區(qū)”時(shí)，必須在數(shù)據(jù)的“可用性”與“一致性”之間權(quán)衡。電商、社交網(wǎng)絡(luò)等場(chǎng)景的容錯(cuò)度較高但需要實(shí)時(shí)可用，NoSQL數(shù)據(jù)庫(kù)由于只要求達(dá)到“最終一致性”,可以輕松處理海量數(shù)據(jù)并實(shí)現(xiàn)高用戶負(fù)載的擴(kuò)展，在此類場(chǎng)景下應(yīng)用較廣。數(shù)據(jù)庫(kù)設(shè)計(jì)CAP定理NoSQL數(shù)據(jù)庫(kù)BASE原則NoSQLNoSQL數(shù)據(jù)庫(kù)在出現(xiàn)故障時(shí)，允許損失部分可用功能，或者降低響應(yīng)允許系統(tǒng)中的數(shù)據(jù)存在中間狀態(tài)，即不同節(jié)點(diǎn)的數(shù)據(jù)副本同步的過(guò)程中存在不一致，并認(rèn)為中間狀態(tài)的存在不會(huì)影響到系統(tǒng)整體的可用性。分區(qū)容錯(cuò)性在系統(tǒng)保證沒(méi)有新的操作、無(wú)故障發(fā)生時(shí)，經(jīng)過(guò)一段時(shí)間，數(shù)據(jù)庫(kù)中的最終數(shù)據(jù)能夠達(dá)到一致。其延遲的時(shí)間取決于網(wǎng)絡(luò)延遲、系統(tǒng)負(fù)載一致性無(wú)論連接到哪個(gè)節(jié)點(diǎn)，所有客戶端訪問(wèn)的數(shù)據(jù)副本是一致的可用性即使某一個(gè)或多每次請(qǐng)求都能夠得到非錯(cuò)的響應(yīng)基本可用軟狀態(tài)即使系統(tǒng)中的節(jié)點(diǎn)之間發(fā)生了通信故障，群集也能夠繼續(xù)工作最終一致性×NoSQL數(shù)據(jù)庫(kù)使用不同的數(shù)據(jù)存儲(chǔ)模型來(lái)滿足不同的場(chǎng)景需求，當(dāng)今主流的NoSQL存儲(chǔ)模型有鍵值對(duì)存儲(chǔ)、寬列式存儲(chǔ)、文檔型存儲(chǔ)和圖形存儲(chǔ)，以及擴(kuò)展的RDF、時(shí)序、搜索引擎等。它們基于不同的場(chǎng)景需求，提出了相應(yīng)的存儲(chǔ)架構(gòu)，從而滿足傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)所無(wú)法覆蓋的場(chǎng)景。但是采用這些模型的NoSQL數(shù)據(jù)庫(kù)并不提供規(guī)范化，本身在設(shè)計(jì)上是模式自由的(schema-freeWeb應(yīng)用程序和會(huì)話、PUB/SUB、內(nèi)存中的數(shù)據(jù)緩存、購(gòu)物車等應(yīng)用場(chǎng)景：內(nèi)容管理、APP、目錄、日志文件等鍵值數(shù)據(jù)庫(kù)鍵值(Key-Value)數(shù)據(jù)庫(kù)以簡(jiǎn)單的鍵值對(duì)方式來(lái)存儲(chǔ)返回其對(duì)應(yīng)值即可，它通過(guò)犧牲數(shù)據(jù)的結(jié)構(gòu)性，大大提文檔數(shù)據(jù)庫(kù)文檔(Document)數(shù)據(jù)庫(kù)以向可擴(kuò)展的優(yōu)勢(shì)，但同時(shí)犧行鍵行鍵列鍵(ColumnKey)應(yīng)用場(chǎng)景：時(shí)間序列、歷史記錄、地理信息等節(jié)點(diǎn)節(jié)點(diǎn)屬性邊社交網(wǎng)絡(luò)、知識(shí)圖譜、搜索引擎等寬列數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)在記錄中，以行鍵唯一標(biāo)識(shí)該記錄中的列，分列操作、數(shù)據(jù)壓縮(不存儲(chǔ)null)和數(shù)據(jù)過(guò)濾的問(wèn)題。圖數(shù)據(jù)庫(kù)方式來(lái)存儲(chǔ)數(shù)據(jù)，可以較好的雜關(guān)系，具有敏捷、可擴(kuò)展和高性能的特性，在大數(shù)據(jù)時(shí)代關(guān)系型數(shù)據(jù)庫(kù)vsNoSQL數(shù)據(jù)庫(kù)在標(biāo)準(zhǔn)化一致性與擴(kuò)展可用性方面各有優(yōu)勢(shì)，適用不同場(chǎng)景20世紀(jì)70年代，為減少數(shù)據(jù)冗余、降低存儲(chǔ)費(fèi)用，關(guān)系型數(shù)據(jù)庫(kù)誕生。21世紀(jì)初，隨著移動(dòng)互聯(lián)網(wǎng)和新一代信息技術(shù)的發(fā)展，關(guān)系型數(shù)據(jù)庫(kù)在大數(shù)據(jù)處理分析和讀寫(xiě)性能方面的局限性逐漸凸顯，NoSQL運(yùn)動(dòng)開(kāi)展起來(lái)。NoSQL數(shù)據(jù)庫(kù)解決了關(guān)系型數(shù)據(jù)庫(kù)只能垂直擴(kuò)展(即在硬件方面增強(qiáng))的限制，通過(guò)分庫(kù)分表的方式實(shí)現(xiàn)水平擴(kuò)展，滿足不斷擴(kuò)張的業(yè)務(wù)。兩種數(shù)據(jù)庫(kù)在數(shù)據(jù)完整性、橫向擴(kuò)展性、讀寫(xiě)可用性、產(chǎn)品成熟性和架構(gòu)靈活性等方面各有側(cè)重，其適用的場(chǎng)景也有所不同。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)vsNoSQL數(shù)據(jù)庫(kù)(傳統(tǒng))關(guān)系型數(shù)據(jù)庫(kù)優(yōu)勢(shì)遵守?cái)?shù)據(jù)完整性約束；·具有標(biāo)準(zhǔn)化語(yǔ)言SQL,查詢操作方便；·二維表數(shù)據(jù)結(jié)構(gòu)，減少數(shù)據(jù)的冗余，提高了存儲(chǔ)空間的利用效率，維護(hù)也比較容易；·發(fā)展時(shí)間長(zhǎng)，產(chǎn)品標(biāo)準(zhǔn)化、社區(qū)成熟、服務(wù)穩(wěn)定(傳統(tǒng))關(guān)系型數(shù)據(jù)庫(kù)局限·架構(gòu)剛性，前期需要進(jìn)行完備的設(shè)計(jì)，后續(xù)修改成本高；·缺乏橫向可擴(kuò)展性，需要解決跨服務(wù)器JOIN等問(wèn)題；·海量數(shù)據(jù)和高并發(fā)條件下讀寫(xiě)效率較低；·為維護(hù)事務(wù)一致性，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)需要付出較大的開(kāi)銷對(duì)數(shù)據(jù)安全性和事務(wù)支持方面有高度要求的場(chǎng)景，NoSQL數(shù)據(jù)庫(kù)優(yōu)勢(shì)NoSQL數(shù)據(jù)庫(kù)局限·采用動(dòng)態(tài)架構(gòu)，無(wú)需開(kāi)發(fā)人員提前設(shè)定數(shù)據(jù)架構(gòu)，可以隨時(shí)更改，敏捷靈活；·可擴(kuò)展性高，通過(guò)橫向擴(kuò)展提高可用性，無(wú)明顯的單點(diǎn)故障；·存儲(chǔ)模式簡(jiǎn)單，大多NoSQL數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)極高的性能·為提高可用性，在數(shù)據(jù)一致性方面有所犧牲；·沒(méi)有標(biāo)準(zhǔn)化的查詢語(yǔ)言，學(xué)習(xí)和使用成本較高，不適合復(fù)雜查詢；·相關(guān)理論和技術(shù)成熟度較低；·缺乏第三方生態(tài)系統(tǒng)，公司需要自己開(kāi)發(fā)BI和分析工具對(duì)讀寫(xiě)性能要求高，且需要處理非結(jié)構(gòu)化、海量的數(shù)據(jù)，且數(shù)據(jù)增長(zhǎng)無(wú)法預(yù)期的場(chǎng)景，例如電商、社交網(wǎng)絡(luò)、搜索引擎等但大多NewSQL數(shù)據(jù)庫(kù)共有的兩個(gè)特點(diǎn)：1)保持NoSQL數(shù)據(jù)庫(kù)的可擴(kuò)展性和高性數(shù)據(jù)模型，保持事務(wù)ACID特性。NewSQL并非顛覆式的創(chuàng)新，而是將業(yè)界和學(xué)術(shù)界已有的技術(shù)，例如面向內(nèi)存(memory-oriented)的數(shù)據(jù)存儲(chǔ)、分片、MVCC(多版?zhèn)鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù)vsNoSQLvsNewSQL縱向擴(kuò)展水平擴(kuò)展水平擴(kuò)展關(guān)系模型性能高性能處理海量數(shù)據(jù)高性能處理海量數(shù)據(jù)模式自由支持效果較差輕量查詢成熟度高較低多模型(Multi-Model)一詞于2012年被LucaGarulli第一次提出，是一種可以在多個(gè)模型中存儲(chǔ)和查詢數(shù)據(jù)的數(shù)據(jù)庫(kù)，為異構(gòu)數(shù)據(jù)提供了較好的解決方案。數(shù)據(jù)庫(kù)擴(kuò)展原有模型的路徑主要有四種：新存儲(chǔ)方式+新數(shù)據(jù)模型、原存儲(chǔ)方式+新數(shù)據(jù)模型、新接口+原存儲(chǔ)模型、原存儲(chǔ)模型。第一種的典型代表是支持XML的數(shù)據(jù)庫(kù)，它們使用原生XML方法來(lái)高效地存儲(chǔ)和查詢；第二種的典型代表是文檔數(shù)據(jù)庫(kù)，通過(guò)采用特殊的邊集合來(lái)擴(kuò)展圖結(jié)構(gòu)中的邊信息，例如ArangoDB和MongoDB;第三種在原關(guān)系型存儲(chǔ)層上搭建了新的一層，采用相同的方式存儲(chǔ)不同類型數(shù)據(jù)，但是增加了對(duì)新數(shù)據(jù)類型的增刪查改支持；第四種即將所有的數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)化為Key-Value形式存儲(chǔ)。多模數(shù)據(jù)庫(kù)的發(fā)展時(shí)間較短，當(dāng)今市場(chǎng)上數(shù)據(jù)庫(kù)新存儲(chǔ)方式+新數(shù)據(jù)模型關(guān)系關(guān)系關(guān)系、JSON、XML、圖、嵌套數(shù)據(jù)/UDT/對(duì)象關(guān)系關(guān)系關(guān)系、JSON、XML、RDF、嵌套數(shù)據(jù)/UDT/對(duì)象原存儲(chǔ)方式+新數(shù)據(jù)模型關(guān)系文檔文檔鍵值對(duì)、JSON、圖新接口+原存儲(chǔ)模型原生多模寬列、時(shí)序、文檔、搜索引擎文檔按架構(gòu)分類★分布式數(shù)據(jù)庫(kù)★單機(jī)數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)單機(jī)性能有限條件下，解決數(shù)據(jù)量快速增長(zhǎng)的最佳解決方案分布式數(shù)據(jù)庫(kù)系統(tǒng)的誕生遠(yuǎn)早于NoSQL和NewSQL數(shù)據(jù)庫(kù)，它產(chǎn)生于20世紀(jì)70年達(dá)末，在80年代由于計(jì)算機(jī)功能和網(wǎng)絡(luò)技術(shù)的增強(qiáng)而進(jìn)一步成長(zhǎng)。分布式數(shù)據(jù)庫(kù)系統(tǒng)即利用計(jì)算機(jī)網(wǎng)絡(luò)將物理上分散的多個(gè)數(shù)據(jù)庫(kù)連接起來(lái)組成一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)，為業(yè)務(wù)應(yīng)用提供完整的聯(lián)機(jī)事務(wù)處理。隨著數(shù)據(jù)量爆發(fā)式的增長(zhǎng)以及應(yīng)用負(fù)載的快速增加，單一服務(wù)器模式越來(lái)越難應(yīng)對(duì)當(dāng)今應(yīng)用對(duì)數(shù)據(jù)和事務(wù)處理的需求，分布式成為熱門(mén)的解決方案。分布式數(shù)據(jù)庫(kù)的實(shí)現(xiàn)形式大致可以分為同構(gòu)和異構(gòu)兩種。同構(gòu)分布式數(shù)據(jù)庫(kù)系統(tǒng)中，所有的站點(diǎn)都所使用相同的數(shù)據(jù)架構(gòu)、DBMS、操作系統(tǒng)和計(jì)算機(jī)體系結(jié)構(gòu)；異構(gòu)分布式數(shù)據(jù)庫(kù)系統(tǒng)中，不同的站點(diǎn)使用不同的數(shù)據(jù)模型、DBMS、操作系統(tǒng)和硬件，通過(guò)應(yīng)用程序接口、全局模式和聯(lián)邦數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)之間數(shù)據(jù)信息、硬件設(shè)備和人力資源的合并與共享。分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)形式··同構(gòu)型數(shù)據(jù)庫(kù)系統(tǒng)中每個(gè)節(jié)點(diǎn)的DBMS、操作系統(tǒng)和計(jì)算機(jī)硬件都相同；·全局的數(shù)據(jù)庫(kù)管理系統(tǒng)(GDBMS)和局部的數(shù)據(jù)庫(kù)管理系統(tǒng)(LDBMS)在數(shù)據(jù)模型、訪問(wèn)方法、查詢語(yǔ)言、優(yōu)化策略上都相同?！ぎ悩?gòu)型數(shù)據(jù)庫(kù)系統(tǒng)的各個(gè)節(jié)點(diǎn)DBMS、操作系統(tǒng)和計(jì)算機(jī)體系結(jié)構(gòu)均可能不同；·異構(gòu)型數(shù)據(jù)庫(kù)系統(tǒng)通常產(chǎn)生于已有數(shù)據(jù)庫(kù)基礎(chǔ)上，出于業(yè)務(wù)考慮需要將多個(gè)單個(gè)站點(diǎn)進(jìn)行集成。因此多涉及到各節(jié)點(diǎn)間的硬件和軟件不同帶來(lái)的轉(zhuǎn)換問(wèn)題，使得處理極其復(fù)雜。同構(gòu)型異構(gòu)型全局用戶1全局用戶2全局用戶3分布式核心技術(shù)(一):復(fù)制/分區(qū)分布式數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方式一般包括兩種：復(fù)制(Replication)和分區(qū)分片(Partitioning/Sharding)。一種是將數(shù)據(jù)復(fù)制到多個(gè)服務(wù)器上，從而每份數(shù)據(jù)都能在多個(gè)節(jié)點(diǎn)中找到；另一種是將不都專門(mén)由一臺(tái)服務(wù)器負(fù)責(zé)。復(fù)制提供了冗余的能力，包括主從復(fù)制(唯一節(jié)點(diǎn)負(fù)責(zé)寫(xiě)入，其他節(jié)點(diǎn)保持同步、負(fù)責(zé)讀取)和對(duì)等復(fù)制(任何節(jié)點(diǎn)均可寫(xiě)入，相互協(xié)調(diào)、同步數(shù)據(jù))。隨著數(shù)據(jù)量的增加，出于負(fù)載均衡的目的，架構(gòu)師對(duì)數(shù)據(jù)庫(kù)進(jìn)行分區(qū)，分區(qū)包括垂直分區(qū)(列)和水平分區(qū)(行);分片(Sharding)是對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的水平分區(qū)，包括基于鍵值的分水平分區(qū)(分片)與垂直分片123411234較多水平分區(qū)(分片)12121234分布式核心技術(shù)(二):分布式事務(wù)通過(guò)機(jī)制設(shè)計(jì)保證分布式環(huán)境下的事務(wù)ACID特性發(fā)展，各數(shù)據(jù)庫(kù)廠商提出了多種分布式事務(wù)解決方案，例如兩階段提交(2PC)/三階段提交(3PC)、TCC方案、可靠消息最終一致性(本地消息表方案-eBay、RocketMQ事務(wù)消息方案-阿里/Apache)、最大努力通知方案等。典型分布式事務(wù)解決方案事務(wù)管理器N事務(wù)管理器事務(wù)管理器事務(wù)管理器節(jié)點(diǎn)2節(jié)點(diǎn)2交的算法，它把事務(wù)處理的過(guò)程分為prepare-commit兩個(gè)階段，增加事務(wù)處理器來(lái)保證所有節(jié)點(diǎn)要么全部提交，要么全部回滾。最最大努力通知關(guān)注交易后的通知事務(wù)，發(fā)起方通過(guò)一定機(jī)制，最大努力將業(yè)務(wù)處理結(jié)果通知到接收方，若消息接收不到，則接收方主動(dòng)調(diào)用接口查詢業(yè)務(wù)處理結(jié)果。2PC協(xié)議原理簡(jiǎn)單，保證了強(qiáng)一致性。但是由于機(jī)制完全依賴事務(wù)管理器管理且過(guò)于悲觀導(dǎo)致了單點(diǎn)問(wèn)題(事務(wù)管理器一旦崩潰將全局崩潰)、堵塞問(wèn)題以及事務(wù)處理的延遲。針對(duì)以上問(wèn)題，3PC協(xié)議在2PC的兩階段中插入了一個(gè)準(zhǔn)備階段并引入了超時(shí)機(jī)制，解決了2PC阻塞的問(wèn)題，但仍可能出現(xiàn)數(shù)據(jù)不一致。最大努力通知方案下被動(dòng)方的處理結(jié)果不影響主動(dòng)方的處理結(jié)果，適用于跨企業(yè)系統(tǒng)間的操作。它是分布式事務(wù)中要求最低的一種，適用于一些僅要求最終一致性，且時(shí)間敏感度低的業(yè)務(wù)。-------------最大努力通知------—業(yè)務(wù)執(zhí)行觸發(fā)，請(qǐng)用業(yè)務(wù)執(zhí)行接口接收通知方M9發(fā)起通知方發(fā)送消息分布式架構(gòu)創(chuàng)新(一):無(wú)共享分布式架構(gòu)創(chuàng)新：不同層次的數(shù)據(jù)共享網(wǎng)絡(luò)內(nèi)存網(wǎng)絡(luò)分布式架構(gòu)創(chuàng)新(二):計(jì)算存儲(chǔ)分離除了基于無(wú)共享模式進(jìn)行分區(qū)分片，在云計(jì)算時(shí)代，一種新的創(chuàng)新架構(gòu)被提出，即計(jì)算-存儲(chǔ)分離架構(gòu)(大多NewSQL數(shù)據(jù)庫(kù)采用此種架構(gòu))。近十年互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)的性能得到了大幅度的提升，高效壓縮算法和存儲(chǔ)結(jié)構(gòu)的優(yōu)化也減少了IO數(shù)量，在數(shù)據(jù)本地化優(yōu)化較好的數(shù)據(jù)計(jì)算集群中，大量網(wǎng)絡(luò)帶寬處于閑置狀態(tài)，然而存儲(chǔ)和計(jì)算耦合的架構(gòu)不能很好的實(shí)現(xiàn)彈性。云計(jì)算提供了解決思路，它的核心思想包括分層和虛擬化：對(duì)IT架構(gòu)分層后，每一層可以按各自的能力進(jìn)行極限擴(kuò)展；虛擬化后按租戶隔離，可以提供高效率的彈性計(jì)算，降低了成本。計(jì)算-存儲(chǔ)分離架構(gòu)即“云”的模式和形態(tài)之一，將數(shù)據(jù)計(jì)算和存儲(chǔ)進(jìn)行分層，并通過(guò)高速網(wǎng)絡(luò)連接。在這種架構(gòu)下，數(shù)據(jù)庫(kù)可以更加充分的利用不對(duì)稱的存儲(chǔ)資源和計(jì)算資源，讓不同層都可以按照各自最優(yōu)的模式進(jìn)行橫向擴(kuò)展。架構(gòu)靈活、易擴(kuò)展；優(yōu)化利用率，有效的降低了成本計(jì)算和存儲(chǔ)在一個(gè)集群里，性能表現(xiàn)較好分析挖掘單機(jī)數(shù)據(jù)庫(kù)是企業(yè)的最初選擇，它可以利用位于系統(tǒng)中心的服務(wù)器統(tǒng)一管理所有的共享資源，并處理來(lái)自用戶的請(qǐng)求。單機(jī)數(shù)據(jù)庫(kù)積累了大量的實(shí)踐經(jīng)驗(yàn)，在強(qiáng)一致性、穩(wěn)定性、遷移成本和運(yùn)維管理方面都更勝一籌，而且各資源獨(dú)立，應(yīng)用隔離性好，數(shù)據(jù)安全性高。分布式數(shù)據(jù)庫(kù)在靈活性和擴(kuò)展性方面具有優(yōu)勢(shì)，一方面分布式給予了每個(gè)部門(mén)根據(jù)其應(yīng)用程序的特定需求選擇軟硬件的自由，不必因?yàn)楣蚕鞩T架構(gòu)而做出妥協(xié)；另一方面分布式IT架構(gòu)天生自帶可擴(kuò)展屬性，能夠根據(jù)業(yè)務(wù)規(guī)模實(shí)現(xiàn)無(wú)限彈性擴(kuò)展。分布式缺點(diǎn)·性能擴(kuò)展：面對(duì)海量的數(shù)據(jù)存儲(chǔ)需求，集中式數(shù)據(jù)庫(kù)想要提升性能只能依賴硬件的提升(縱向擴(kuò)展),缺點(diǎn)·性能擴(kuò)展：面對(duì)海量的數(shù)據(jù)存儲(chǔ)需求，集中式數(shù)據(jù)庫(kù)想要提升性能只能依賴硬件的提升(縱向擴(kuò)展),在擴(kuò)展空間方面具有局限性；·成本高昂：高性能的硬件(服務(wù)器等)意味著高價(jià)，單機(jī)優(yōu)點(diǎn)·彈性擴(kuò)展：通過(guò)橫向擴(kuò)展解決了單機(jī)性能上限和業(yè)務(wù)數(shù)據(jù)量增長(zhǎng)不匹配的問(wèn)題；·高度可用：即使系統(tǒng)中的某些節(jié)點(diǎn)不可用(斷電、系統(tǒng)崩潰等),也不影響其他節(jié)點(diǎn)正常工作，保證了面向用戶的高可用；·成本控制：企業(yè)可以選取較低配置的硬件。優(yōu)點(diǎn)·簡(jiǎn)單性：數(shù)據(jù)集中存儲(chǔ)和處理，無(wú)需處理多個(gè)節(jié)點(diǎn)之間的協(xié)作，架構(gòu)設(shè)計(jì)簡(jiǎn)單，易滿足ACID事務(wù)需求；·可靠性：集中式數(shù)據(jù)庫(kù)發(fā)展時(shí)間長(zhǎng)，產(chǎn)品在容災(zāi)設(shè)缺點(diǎn)·復(fù)雜性：多節(jié)點(diǎn)橫向分布提升了架構(gòu)設(shè)計(jì)、運(yùn)維、遷移的難度；·安全性：遠(yuǎn)距離訪問(wèn)和網(wǎng)絡(luò)通信傳輸帶來(lái)了安全和保密方面的風(fēng)險(xiǎn)；·數(shù)據(jù)完整性：多節(jié)點(diǎn)讀寫(xiě)對(duì)事務(wù)性提出挑戰(zhàn)?！镌茢?shù)據(jù)庫(kù)★本地?cái)?shù)據(jù)庫(kù)人員、硬件、軟件的重復(fù)配置，讓軟、硬件升級(jí)變得更加容易?，F(xiàn)階段云數(shù)據(jù)庫(kù)主要包括兩種：一種是托管在云廠商上的“傳統(tǒng)”數(shù)據(jù)庫(kù)，例如阿里云、騰訊云上的MySQL、PostgreSQL、MongoDB、Redis等；一種是基于云環(huán)境的云原生數(shù)據(jù)庫(kù)，例如AWS的Aurora、阿里云的Lindorm和PolarDB等。 云廠商托管的數(shù)據(jù)庫(kù)—云數(shù)據(jù)庫(kù)一護(hù)基礎(chǔ)設(shè)施，并提供優(yōu)化、備份、恢復(fù)、監(jiān)控等全套解決方案。企業(yè)用戶無(wú)需購(gòu)買(mǎi)服務(wù)器、交換機(jī)等軟硬件，后續(xù)也無(wú)需投入大量的人力成本去運(yùn)維，可以更專注于企業(yè)的應(yīng)用開(kāi)發(fā)。箱即用、彈性擴(kuò)展、省錢(qián)省力、高度可用”的解決方案。云基礎(chǔ)資源隨著云計(jì)算和數(shù)據(jù)庫(kù)技術(shù)的進(jìn)一步結(jié)合，2015年左右云原生數(shù)據(jù)庫(kù)誕生，它是基致性、容錯(cuò)、易于管理和多云支持等特性。各家云廠商在提供托管服務(wù)的同時(shí)都在加快自研速度，開(kāi)各家云廠商在提供托管服務(wù)的同時(shí)都在加快自研速度，開(kāi)發(fā)自己的云原生數(shù)據(jù)庫(kù)。一致性分布式云原生數(shù)據(jù)庫(kù)計(jì)算存儲(chǔ)分離高可用上云遷移“遷移”成為企業(yè)數(shù)據(jù)庫(kù)上云最不容忽視的隱性成本云模式下企業(yè)可以降低自己從頭建設(shè)數(shù)據(jù)庫(kù)及后期運(yùn)維的成本，吸引了大批企業(yè)規(guī)劃上云。但實(shí)際應(yīng)用中，絕大部分企業(yè)都并非從零開(kāi)始，都具有一定的數(shù)據(jù)庫(kù)基礎(chǔ)。對(duì)于想要應(yīng)用云數(shù)據(jù)庫(kù)的企業(yè)，“上云遷移”成為了其最大的門(mén)檻?！叭绾伪ＷC數(shù)據(jù)安全完整，如何建立失敗回滾標(biāo)準(zhǔn)，如何對(duì)數(shù)據(jù)庫(kù)重新進(jìn)行設(shè)計(jì)，如何進(jìn)行數(shù)據(jù)模型的轉(zhuǎn)換，如何對(duì)新架構(gòu)做調(diào)優(yōu)……",這些問(wèn)題都需要企業(yè)謹(jǐn)慎考慮，具備一定的難度。雖然各公有云廠商針對(duì)上云遷移都提供了相應(yīng)的工具，但由于遷移的復(fù)雜性，也催生了許多提供咨詢、選型、規(guī)劃、遷移、運(yùn)維、優(yōu)化等服務(wù)的中間廠商，近年來(lái)發(fā)展迅速。Step1:判斷Step2:計(jì)劃Step3:遷移Step4:優(yōu)化根據(jù)企業(yè)自身具體需求判斷選擇云數(shù)據(jù)庫(kù)還是自建數(shù)據(jù)庫(kù)：>對(duì)于一些大型企業(yè)，出于安 全性和個(gè)性化的考慮，通常 >對(duì)于一些IT預(yù)算有限的中小>收集需求>判斷解決需求需要哪些能力>評(píng)估哪些數(shù)據(jù)庫(kù)需要遷移(建議從非關(guān)鍵業(yè)務(wù)系統(tǒng)、非核心生產(chǎn)系統(tǒng)入手)>評(píng)估應(yīng)用程序配合遷移數(shù)據(jù)建立成功的評(píng)判標(biāo)準(zhǔn)和失敗回滾原則>數(shù)據(jù)庫(kù)備份(熱備份or冷備份、部分備份or全部備份)重新設(shè)計(jì)數(shù)據(jù)庫(kù)(可選)>復(fù)制并將數(shù)據(jù)(包括備份后對(duì)原始數(shù)據(jù)的更改)重新存儲(chǔ)在云中移交后檢查：數(shù)據(jù)驗(yàn)證、端到端測(cè)試(驗(yàn)證基本功能)、>性能優(yōu)化：負(fù)載測(cè)試、分布優(yōu)化>可用性優(yōu)化：容災(zāi)恢復(fù)計(jì)劃、系統(tǒng)測(cè)試云端部署vs本地部署云數(shù)據(jù)庫(kù)在成本、易用性等方面具有優(yōu)勢(shì)，近年來(lái)快速增長(zhǎng)云數(shù)據(jù)庫(kù)極大地利用了云計(jì)算“資源池化”的優(yōu)勢(shì)，在成本、可用性、易用性、擴(kuò)展性和并行處理方面較傳統(tǒng)數(shù)據(jù)庫(kù)有絕對(duì)優(yōu)勢(shì)。云數(shù)據(jù)庫(kù)即開(kāi)即用，用戶可以根據(jù)自身的業(yè)務(wù)情況彈性開(kāi)支、靈活調(diào)整；無(wú)需從頭采購(gòu)基礎(chǔ)軟硬件，無(wú)需考慮專業(yè)人員(DBA)部署，節(jié)省了人力物力；同時(shí)云數(shù)據(jù)庫(kù)大多支持熱備架構(gòu)，可以實(shí)現(xiàn)故障秒級(jí)自動(dòng)切換，備份、恢復(fù)更加靈活。但同時(shí)，由于云環(huán)境的特性、產(chǎn)品的不成熟性和市場(chǎng)的混合部署需求，云數(shù)據(jù)庫(kù)在數(shù)據(jù)質(zhì)量、數(shù)據(jù)遷移、數(shù)據(jù)融合、十低成本多租戶模式，用戶之間共享資源十低成本多租戶模式，用戶之間共享資源且只用按需付費(fèi)，節(jié)省了成本高水平的容錯(cuò)能力，一個(gè)節(jié)點(diǎn)崩潰，其他節(jié)點(diǎn)也可以繼續(xù)工作易用性不需要關(guān)心底層服務(wù)器、系統(tǒng)等的部署和運(yùn)維，開(kāi)箱即用動(dòng)態(tài)可擴(kuò)展具有無(wú)限可擴(kuò)展性，可以滿足不斷增加的數(shù)據(jù)存儲(chǔ)需求大規(guī)模并行處理并行處理能力強(qiáng)，面對(duì)海量數(shù)據(jù)，幾乎可以做到實(shí)時(shí)的響應(yīng)云數(shù)據(jù)庫(kù)的核心優(yōu)勢(shì)與改進(jìn)空間數(shù)據(jù)質(zhì)量云管理系統(tǒng)應(yīng)用程序數(shù)據(jù)融合本地?cái)?shù)據(jù)與云數(shù)據(jù)長(zhǎng)期并存，需要有效的融合機(jī)制，統(tǒng)一管理性能優(yōu)化云環(huán)境為動(dòng)態(tài)負(fù)載均衡、資源分配管理提出了新的要求規(guī)范標(biāo)準(zhǔn)各大廠商獨(dú)立發(fā)展云數(shù)據(jù)庫(kù)，在查詢語(yǔ)言、語(yǔ)言模型和安全等方面缺乏統(tǒng)一的規(guī)范標(biāo)準(zhǔn)云數(shù)據(jù)庫(kù)在大數(shù)據(jù)環(huán)境下，容易產(chǎn)生臟數(shù)據(jù)，影響事務(wù)一致性將大量、復(fù)雜的企業(yè)內(nèi)部數(shù)據(jù)庫(kù)數(shù)據(jù)遷移上云存在一定困難負(fù)載均衡備份復(fù)制客戶端服務(wù)化虛擬化物理磁盤(pán)混合部署部分企業(yè)出現(xiàn)反向遷移情況，混合部署成為未來(lái)常態(tài)一方面，盡管上云是大勢(shì)所趨，但是由于數(shù)據(jù)庫(kù)基礎(chǔ)軟件的特性和公司戰(zhàn)略考慮，在一定時(shí)間內(nèi)，云數(shù)據(jù)庫(kù)很難完全替代本地?cái)?shù)據(jù)庫(kù)，混合部署成為企業(yè)的必然選擇?，F(xiàn)階段絕大部分企業(yè)都具有一定的IT基礎(chǔ)，業(yè)務(wù)數(shù)據(jù)都存儲(chǔ)在本地自建的數(shù)據(jù)庫(kù)里，經(jīng)過(guò)了幾十年的積累，具有復(fù)雜和海量的特點(diǎn)。短時(shí)間內(nèi)讓企業(yè)放棄原本投入了大量成本的本地?cái)?shù)據(jù)庫(kù)，把海量復(fù)雜的數(shù)據(jù)全面遷移上云，是不現(xiàn)實(shí)且不劃算的。另一方面，企業(yè)私有云部署成為當(dāng)下的熱門(mén)選擇，公有云數(shù)據(jù)庫(kù)市場(chǎng)增速放緩。當(dāng)企業(yè)業(yè)務(wù)發(fā)展到一定規(guī)模，對(duì)核心系統(tǒng)自主可控的要求也相應(yīng)地提升，這一階段的企業(yè)反而出現(xiàn)了反向遷移的現(xiàn)象，更多地考慮把部分業(yè)務(wù)數(shù)據(jù)從公有云遷移到私有云部署的環(huán)境里。云數(shù)據(jù)庫(kù)在企業(yè)發(fā)展各階段的應(yīng)用情況云數(shù)據(jù)庫(kù)在企業(yè)發(fā)展各階段的應(yīng)用情況部署環(huán)境變化公有云適用性★★★★★擴(kuò)張型企業(yè)適用性★★★★穩(wěn)定型企業(yè)適用性>企業(yè)具有數(shù)據(jù)量少、業(yè)務(wù)簡(jiǎn)單、預(yù)算較緊、IT力量薄弱的特點(diǎn)，對(duì)公有云數(shù)據(jù)庫(kù)持積極態(tài)度，從而實(shí)現(xiàn)成本控制。>樂(lè)于把新業(yè)務(wù)以及非核心業(yè)務(wù)部署到“開(kāi)箱即用”的公有云數(shù)據(jù)庫(kù)上，把基礎(chǔ)設(shè)施搭建等步驟外包，從而配合企業(yè)快速的業(yè)務(wù)擴(kuò)張。>企業(yè)更看重IT系統(tǒng)的自主性和安全性，部分公司反而考慮從公有云部署環(huán)境遷向自有機(jī)房，混合部署成為常態(tài)。傳統(tǒng)行業(yè)客戶將數(shù)據(jù)庫(kù)由本地部署環(huán)境轉(zhuǎn)向公有云/私有云環(huán)境部分大型企業(yè)將公有云環(huán)境部署的數(shù)據(jù)庫(kù)遷移至私有環(huán)境(私有云)初期中期物理機(jī)→私有云■■■公有云數(shù)據(jù)庫(kù)初創(chuàng)型企業(yè)OLTP(事務(wù)型)vsOLAP(分析型)面對(duì)事務(wù)處理和分析決策的需求，OLTP(OnlineTransactioprocessing)分析型數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。OLTP系統(tǒng)主要使用關(guān)系模型，保證強(qiáng)一致性，面向一線業(yè)務(wù)人員，支持多并發(fā)、實(shí)時(shí)、快速地增刪查改，例如銀行交易、零售電商、車票預(yù)訂等；OLAP系統(tǒng)可以高速多維分析來(lái)自數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市或者數(shù)據(jù)湖的數(shù)據(jù)，可使用關(guān)系型或者非關(guān)系型的數(shù)據(jù)庫(kù)，主要面向分析師和管理者，支持對(duì)歷史數(shù)據(jù)的復(fù)雜分析操作，從支持實(shí)時(shí)交易數(shù)據(jù)的存儲(chǔ)、更新、共享通過(guò)數(shù)據(jù)分析現(xiàn)狀，發(fā)現(xiàn)趨勢(shì)，支持決策操作數(shù)據(jù)量實(shí)時(shí)數(shù)據(jù)，通常較小聚合歷史數(shù)據(jù)，較大高低響應(yīng)時(shí)間毫秒秒，分鐘或者小時(shí)(取決于處理的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)日常業(yè)務(wù)交易列表視圖多維視圖滿足分析需求典型適用場(chǎng)景快速處理高并發(fā)、小批量的數(shù)據(jù)使用復(fù)雜的查詢處理大量數(shù)據(jù)主要用戶隨著數(shù)據(jù)價(jià)值的進(jìn)一步挖掘，企業(yè)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)也提出了新的要求。現(xiàn)階段企業(yè)為滿足交易處理和分析的需求，往往采用支持彈性擴(kuò)容，可按需擴(kuò)展吞吐或存儲(chǔ)，輕松應(yīng)對(duì)高并發(fā)、海量數(shù)據(jù)場(chǎng)景。數(shù)據(jù)庫(kù)發(fā)展歷程——功能角度數(shù)據(jù)庫(kù)發(fā)展初期：若重解決金融等行業(yè)實(shí)時(shí)交易處入操作往往對(duì)應(yīng)著一個(gè)商業(yè)交易。求，OLAP出現(xiàn)。它作為OLTP的從庫(kù)，不具備寫(xiě)的也很高。HTAP將資源調(diào)度任務(wù)在進(jìn)行事務(wù)處理和分析，但是性能較差。HTAP實(shí)現(xiàn)形式→←—不同系統(tǒng)—→數(shù)據(jù)庫(kù)SAPHANAPlatfor通過(guò)ETL轉(zhuǎn)化到OLAP系統(tǒng)，從而實(shí)現(xiàn)的主流采用方案，許多單一存儲(chǔ)引擎的數(shù)據(jù)庫(kù)廠商實(shí)現(xiàn)分析，實(shí)現(xiàn)真正的HTAP。然而現(xiàn)實(shí)應(yīng)e.g.阿里HybridDB、PingCAPTiDB、HyPer.★內(nèi)存數(shù)據(jù)庫(kù)★磁盤(pán)數(shù)據(jù)庫(kù)在數(shù)據(jù)庫(kù)發(fā)展早期，由于硬件性能的局限，數(shù)據(jù)庫(kù)系統(tǒng)通常采用基于磁盤(pán)的設(shè)計(jì)，數(shù)據(jù)在內(nèi)存中進(jìn)行相應(yīng)處理并以磁盤(pán)塊為單位存儲(chǔ)在磁盤(pán)上。而內(nèi)存數(shù)據(jù)庫(kù)(IMDB)是一種將全部數(shù)據(jù)存儲(chǔ)在內(nèi)存中，無(wú)需進(jìn)行磁盤(pán)I/O即可對(duì)數(shù)據(jù)進(jìn)行增刪查改，具備高讀寫(xiě)性能的數(shù)據(jù)庫(kù)。其設(shè)計(jì)理念最早可以追溯到BM于1976年推出的IMS/NSFastPath數(shù)據(jù)庫(kù)，它體現(xiàn)了數(shù)據(jù)分層的思想，將活躍數(shù)據(jù)放在物理內(nèi)存中進(jìn)行訪問(wèn)和管理。隨著互聯(lián)網(wǎng)的發(fā)展，用戶對(duì)數(shù)據(jù)量、操作頻率和響應(yīng)速度有了越來(lái)越高的要求，而磁盤(pán)數(shù)據(jù)庫(kù)面對(duì)多并發(fā)、高頻率的訪問(wèn)時(shí)暴露出越來(lái)越多的問(wèn)題；同時(shí)內(nèi)存的容量不斷增加，單價(jià)越來(lái)越低，計(jì)算機(jī)操作系統(tǒng)地址空間得到更大的支持，把全部數(shù)據(jù)放到內(nèi)存中具備了可實(shí)現(xiàn)性。各商業(yè)、開(kāi)源的內(nèi)存數(shù)據(jù)庫(kù)紛紛問(wèn)世，內(nèi)存數(shù)據(jù)庫(kù)進(jìn)入了高速發(fā)展的階段。隨著未來(lái)非易失內(nèi)存NVM(實(shí)現(xiàn)內(nèi)存存儲(chǔ)的所有數(shù)據(jù)在電流關(guān)掉后也不會(huì)消失)的發(fā)展與成熟，內(nèi)存數(shù)據(jù)庫(kù)的應(yīng)用范圍將會(huì)得到進(jìn)一步的躍升。內(nèi)存數(shù)據(jù)庫(kù)實(shí)現(xiàn)形式內(nèi)存數(shù)據(jù)庫(kù)實(shí)現(xiàn)形式磁盤(pán)數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)(表)快照(可選)快照數(shù)據(jù)(表)日志數(shù)據(jù)持久化通過(guò)事務(wù)日志和檢查點(diǎn)機(jī)制，滿足“高性能+持久性”雙需求由于現(xiàn)階段NVM尚未達(dá)到應(yīng)用水平，而存儲(chǔ)在DRAM中的數(shù)據(jù)在重啟后則會(huì)丟失，不能滿足用戶持久存儲(chǔ)數(shù)據(jù)的要求。因此，內(nèi)存數(shù)據(jù)庫(kù)需要考慮數(shù)據(jù)的持久化問(wèn)題。當(dāng)前主要的方法包括日志機(jī)制(Log)和檢查點(diǎn)機(jī)制(Checkpoint)。日志文件中并寫(xiě)入磁盤(pán)；檢查點(diǎn)即采用一定策略，周期性地將內(nèi)存中的數(shù)據(jù)同步到磁盤(pán)里。兩種持久化方式都可以單獨(dú)使用，但在實(shí)踐中通常采用兩者結(jié)合的方案。檢查點(diǎn)可以配合相關(guān)日志進(jìn)行數(shù)據(jù)庫(kù)的恢復(fù)，二者的結(jié)合可以減少檢查點(diǎn)對(duì)正常事務(wù)的影響，減輕系統(tǒng)恢復(fù)的開(kāi)銷并縮減日志文件的大小，實(shí)現(xiàn)恢復(fù)速度的大幅提升。內(nèi)存數(shù)據(jù)持久化機(jī)制→存儲(chǔ)到磁盤(pán)里在某時(shí)間點(diǎn)，內(nèi)存數(shù)據(jù)庫(kù)中所有的臟頁(yè)都被刷新到了磁盤(pán)上記錄數(shù)據(jù)修改的信息。系統(tǒng)可以根據(jù)其內(nèi)容，將所有數(shù)據(jù)恢復(fù)到最新的狀態(tài)，實(shí)現(xiàn)了數(shù)據(jù)持久化checkpoint的位置開(kāi)始即可，無(wú)需從頭開(kāi)始，大大縮短了恢復(fù)的時(shí)間。之前的日志也可以刪除，降低了日志的大小磁盤(pán)·只存儲(chǔ)已提交的事務(wù)日志，用于事務(wù)的redo操作，不存儲(chǔ)undo的事務(wù)日志；磁盤(pán)內(nèi)存·不記錄內(nèi)存優(yōu)化表的IndexOperation的事務(wù)日志，所有的磁盤(pán)數(shù)據(jù)庫(kù)vs內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)具有“實(shí)時(shí)性能、IT架構(gòu)/數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單、例如電信計(jì)費(fèi)、嵌入式控制系統(tǒng)、呼叫中心應(yīng)用程序和電商秒殺平臺(tái)等。但由于內(nèi)存本身特性，以其為架構(gòu)中心的產(chǎn)品在“數(shù)據(jù)持久性、容量限制、成本控制”方面較傳統(tǒng)的磁盤(pán)數(shù)據(jù)庫(kù)不具備相對(duì)優(yōu)勢(shì)。對(duì)數(shù)據(jù)遺失容忍度較低的企業(yè)還需要考慮相應(yīng)的數(shù)據(jù)持久化方案。另外非易失內(nèi)存(NVM)及其適配架構(gòu)、產(chǎn)品還并不成熟。因此許多企業(yè)為滿足多重約束，現(xiàn)階段主要采取“磁盤(pán)數(shù)據(jù)庫(kù)+內(nèi)存數(shù)據(jù)庫(kù)”配套使用的解決方案，分別處理冷熱數(shù)據(jù)。內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)·避開(kāi)了數(shù)據(jù)訪問(wèn)時(shí)磁盤(pán)的I/O瓶頸，存取速度快，系統(tǒng)性能高詢，數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單·并發(fā)控制表現(xiàn)較好失，安全性較差·需要額外的日志和快照機(jī)制進(jìn)行災(zāi)備·較磁盤(pán)價(jià)格更高應(yīng)用場(chǎng)景：對(duì)讀寫(xiě)性能有極致要求的電商秒殺、商城目錄、視頻直播、電信計(jì)費(fèi)、新聞查詢、嵌入式控制系統(tǒng)等場(chǎng)景磁盤(pán)數(shù)據(jù)庫(kù)數(shù)據(jù)完整性好·數(shù)據(jù)庫(kù)可用性高·發(fā)展時(shí)間較長(zhǎng)，產(chǎn)品·需要緩沖處理，占用大量系統(tǒng)資源·數(shù)據(jù)存取速度慢·數(shù)據(jù)存取時(shí)間不一致且難以預(yù)測(cè)應(yīng)用場(chǎng)景：★開(kāi)源數(shù)據(jù)庫(kù)★商業(yè)數(shù)據(jù)庫(kù)開(kāi)源數(shù)據(jù)庫(kù)流行程度逐年上升，規(guī)范性和配套設(shè)施逐漸完善與閉源的商業(yè)數(shù)據(jù)庫(kù)相反，開(kāi)源數(shù)據(jù)庫(kù)是免費(fèi)的社區(qū)數(shù)據(jù)庫(kù)，其源代碼對(duì)外開(kāi)放，開(kāi)發(fā)人員可以在其原始設(shè)計(jì)基礎(chǔ)上修改全球數(shù)據(jù)庫(kù)管理系統(tǒng)排名看，開(kāi)源DBMS流行程度逐年上升，2021年1月首次超過(guò)商業(yè)數(shù)據(jù)庫(kù)。巖巖JanJan-13Apr-13Oct-13Oct-13JanJan-14Apr-14Oct-14Oct-14JanJan-15Apr-15Oct-15Oct-16Apr-17Oct-17JanOct-15Oct-16Apr-17Oct-17Jan-18Apr-18Oct-18Jan-16Apr-16Jan-16Apr-16Jan-17JanJan-19Apr-19Oct-19Oct-19當(dāng)今開(kāi)源數(shù)據(jù)庫(kù)應(yīng)用的開(kāi)源許可協(xié)議主要包括兩派：一派是以GPL、MPL,LGPL協(xié)議為代表的CopyleftLicense,嚴(yán)格執(zhí)行開(kāi)源精神，不允許修改代碼后閉源，其中GPL更是做了進(jìn)一步的要求，不允許修改后的新代碼更改開(kāi)源協(xié)議。另一派是近年來(lái)，由于云數(shù)據(jù)庫(kù)托管服務(wù)的擴(kuò)張，越來(lái)越多的企業(yè)客戶流向了云服務(wù)商，使得開(kāi)源社區(qū)活躍度下降，開(kāi)源開(kāi)發(fā)者的RedisLabs、Elastic、Confluent和Times等)都采取了相應(yīng)的措施，或是改用了對(duì)商業(yè)化限制更嚴(yán)格的許可協(xié)議，或者自己提供收費(fèi)的企業(yè)版，或是采取產(chǎn)品開(kāi)源、服務(wù)收費(fèi)的模式。然而，如何維持開(kāi)源生態(tài)健康發(fā)展，在開(kāi)源和商業(yè)化之間尋求平衡，還有待各方面因索的協(xié)商和共同努力。主流開(kāi)源協(xié)議主流開(kāi)源協(xié)議×軟件閉源×專利限制·修改代碼說(shuō)明√被商業(yè)軟件作為√專利限制開(kāi)源數(shù)據(jù)庫(kù)vs商業(yè)數(shù)據(jù)庫(kù)開(kāi)源數(shù)據(jù)庫(kù)雖然避免了高昂的License費(fèi)用和服務(wù)費(fèi)用，但在易用性、配套能力、服務(wù)能力、版本更新方面存在一定的缺陷，同時(shí)產(chǎn)生了開(kāi)發(fā)、部署、遷移等額外的成本。云計(jì)算時(shí)代來(lái)臨后，云廠商提供開(kāi)源數(shù)據(jù)庫(kù)托管服務(wù)，將服務(wù)器、數(shù)據(jù)庫(kù)維護(hù)升級(jí)、人力運(yùn)維等底層工作包攬過(guò)來(lái)，為企業(yè)提供較高性價(jià)比的解決方案。但是，公有云托管的開(kāi)源數(shù)據(jù)庫(kù)較契合中小企業(yè)簡(jiǎn)單部署、運(yùn)維、調(diào)優(yōu)、低價(jià)等訴求，不能滿足金融、政企等大型組織對(duì)安全可靠、數(shù)據(jù)一致性、高響應(yīng)速度等方面的要求。因而現(xiàn)階段許多企業(yè)在權(quán)衡成本和安全性等各方因素后，傾向選擇“開(kāi)源數(shù)據(jù)庫(kù)+商業(yè)數(shù)據(jù)庫(kù)”的組合。前期：選型采購(gòu)前期：選型采購(gòu)中期：開(kāi)發(fā)部署后期：運(yùn)維使用選型成本評(píng)測(cè)成本產(chǎn)品費(fèi)用服務(wù)費(fèi)用包括個(gè)性化定制、部署、培訓(xùn)、后續(xù)運(yùn)維的費(fèi)用咨詢費(fèi)用擴(kuò)展限制配套升級(jí)Bug優(yōu)化人力投入遷移成本部署成本開(kāi)發(fā)成本商業(yè)開(kāi)源★數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市★數(shù)據(jù)湖★大數(shù)據(jù)平臺(tái)★數(shù)字中臺(tái)數(shù)據(jù)相關(guān)產(chǎn)品隨著市場(chǎng)需求的變化而逐步發(fā)展，逐漸挖掘數(shù)據(jù)價(jià)值(D2V)。最初企業(yè)意識(shí)到數(shù)據(jù)存儲(chǔ)、事務(wù)處理的價(jià)值，數(shù)據(jù)庫(kù)誕生。后又增加了對(duì)數(shù)據(jù)分析的需求，商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)/集市應(yīng)運(yùn)而生，它是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策和信息的全局共享。之后，數(shù)據(jù)的體量進(jìn)一步增長(zhǎng)，大量的結(jié)構(gòu)性數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)產(chǎn)生，企業(yè)開(kāi)始通過(guò)大數(shù)據(jù)平臺(tái)分析來(lái)自數(shù)據(jù)庫(kù)、數(shù)據(jù)湖和外部的數(shù)據(jù)，為企業(yè)賦能。但是企業(yè)各部門(mén)之間存在信息孤島，數(shù)據(jù)轉(zhuǎn)化為商業(yè)價(jià)值難，數(shù)字中臺(tái)面世，通過(guò)數(shù)據(jù)業(yè)務(wù)化和業(yè)務(wù)數(shù)據(jù)化，形成企業(yè)內(nèi)的數(shù)據(jù)閉環(huán)。關(guān)于數(shù)字中臺(tái)更多內(nèi)容，詳見(jiàn)我們即將發(fā)布的《2021年中國(guó)數(shù)字中臺(tái)行業(yè)研究報(bào)告》。中臺(tái))倉(cāng)儲(chǔ)物流采購(gòu)供應(yīng)生產(chǎn)制造訂單管理數(shù)據(jù)分析數(shù)據(jù)管理數(shù)據(jù)集合CRMERpHR產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類1供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型2機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)3 醬全球數(shù)據(jù)庫(kù)發(fā)展歷程總覽21世紀(jì)初：醬以網(wǎng)狀或?qū)哟文Ｐ蛯?shù)據(jù)保存在可以進(jìn)行增刪查改例如IBMDB2、Oracle、Ingres和1989年，Kognitio發(fā)布第一款內(nèi)存數(shù)據(jù)庫(kù)1990s,一批優(yōu)秀的開(kāi)源數(shù)據(jù)庫(kù)例如BerkeleyDB、MySQL,Post誕生項(xiàng)目誕生布BigTable論文；布Dynamo論文；同年第一款商用圖數(shù)據(jù)庫(kù)Neo4j發(fā)布據(jù)庫(kù)MongoDB引發(fā)了一場(chǎng)NoSQL運(yùn)動(dòng)AWS、阿里、華為區(qū)20世紀(jì)50-60年代：·分組交換技術(shù)產(chǎn)生；術(shù)，分布式處理技術(shù)誕生·以太網(wǎng)發(fā)明等應(yīng)用普及用普及有限寬帶為主從20世紀(jì)80年代起，我國(guó)數(shù)據(jù)庫(kù)市場(chǎng)開(kāi)始逐步發(fā)展起來(lái)。經(jīng)歷了初始的技術(shù)萌芽期和國(guó)外廠商壟斷期，21世紀(jì)初，基于863著市場(chǎng)需求的增長(zhǎng)、技術(shù)的沉淀，一批云廠商和新興獨(dú)立廠商開(kāi)始提供數(shù)據(jù)庫(kù)產(chǎn)品。近年來(lái)，借助國(guó)產(chǎn)化熱潮，許多軟件廠商、集成商、運(yùn)營(yíng)商等也開(kāi)始入局，發(fā)展自己的數(shù)據(jù)庫(kù)能力。中國(guó)數(shù)據(jù)庫(kù)發(fā)展歷程總覽1977年，中國(guó)第國(guó)計(jì)算機(jī)學(xué)會(huì)每年組織一次技術(shù)萌芽期1982年，薩師煊教授在人大開(kāi)設(shè)了國(guó)內(nèi)第一個(gè)本科計(jì)算機(jī)專業(yè)，并編寫(xiě)了中國(guó)第一部數(shù)據(jù)庫(kù)教材《數(shù)據(jù)庫(kù)系統(tǒng)概論》1992年，IBM進(jìn)入中國(guó)外廠商壟斷期電部電信總局的"九七工程",拿下了中國(guó)電大專項(xiàng)"和"973計(jì)劃”等國(guó)家2008年，依托中國(guó)航天科技集團(tuán)的國(guó)產(chǎn)萌芽期21世紀(jì)初快速發(fā)展期21世紀(jì)10年代-今政策和數(shù)字化釋放需求，2020年市場(chǎng)規(guī)模達(dá)247.1億據(jù)統(tǒng)計(jì)，2020年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)總規(guī)模達(dá)247.1億，較2019年增長(zhǎng)16.2%,CAGR(2020-2025e)達(dá)15.6%。2020-2022中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)將呈高速增長(zhǎng)，由多方面因素促成：1)政策利好，國(guó)家大力鼓勵(lì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商的發(fā)展；2)需求拉動(dòng)，國(guó)產(chǎn)化和數(shù)字化建設(shè)帶動(dòng)需求的爆發(fā)增長(zhǎng)；3)供給端多元廠商發(fā)力，傳統(tǒng)、初創(chuàng)和跨界廠商厚積薄發(fā)，產(chǎn)品和技術(shù)經(jīng)歷了工程實(shí)踐的打磨走向成熟；4)國(guó)內(nèi)企業(yè)對(duì)基礎(chǔ)軟件的付費(fèi)意愿和IT支出也在逐年提升，有利于市場(chǎng)的長(zhǎng)期發(fā)展。CAGR(2020-2025e)CAGR(2020-2025e)營(yíng)收(億)增長(zhǎng)率(%)注釋：市場(chǎng)規(guī)橫統(tǒng)計(jì)口徑為國(guó)內(nèi)外廠商在中國(guó)數(shù)據(jù)庫(kù)銷售的營(yíng)收，其中包活DBMS基礎(chǔ)軟件的收入，必要配套工具的收入(數(shù)據(jù)遷移、數(shù)據(jù)備份等工具),項(xiàng)目定制化開(kāi)發(fā)、實(shí)施運(yùn)維等服務(wù)的收入，數(shù)據(jù)庫(kù)軟硬一體機(jī)的收入注釋：此處市場(chǎng)規(guī)模中包含云廠商托管開(kāi)源數(shù)據(jù)庫(kù)(MySQLPostgreSQL,MongoDB、Redis等)所得的收入。中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)發(fā)展特點(diǎn)(一)隨著互聯(lián)網(wǎng)的發(fā)展，多種類型數(shù)據(jù)爆發(fā)式地增長(zhǎng)，各種創(chuàng)新業(yè)務(wù)場(chǎng)景層出不窮，進(jìn)而促進(jìn)了供給端廠商技術(shù)和產(chǎn)品架構(gòu)的創(chuàng)新。從2010s左右，多種類型和技術(shù)路線的數(shù)據(jù)庫(kù)廠商紛紛成立，中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)進(jìn)入了百花齊放的階段。但從商業(yè)價(jià)值來(lái)看，中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)的營(yíng)收仍主要來(lái)自關(guān)系型數(shù)據(jù)庫(kù)，NoSQL數(shù)據(jù)庫(kù)更多地是開(kāi)源模式，產(chǎn)生二開(kāi)和服務(wù)的費(fèi)用。關(guān)系型數(shù)據(jù)庫(kù)★從營(yíng)收來(lái)看，中國(guó)TOP數(shù)據(jù)庫(kù)廠商的核心產(chǎn)品都以關(guān)系型為主，主要原因是關(guān)系型數(shù)據(jù)具有“業(yè)務(wù)價(jià)值高、應(yīng)用場(chǎng)景廣”的特點(diǎn)。除IoT、社交媒體、電商等特殊場(chǎng)景外，大部分企業(yè)對(duì)其核心業(yè)務(wù)數(shù)據(jù)都具有強(qiáng)一致性的★從使用熱度來(lái)看，NewSQL數(shù)據(jù)庫(kù)因同時(shí)滿足分布式和ACID要求，在近非關(guān)系型數(shù)據(jù)庫(kù)★從營(yíng)收來(lái)看，NoSQL數(shù)據(jù)庫(kù)在中國(guó)的營(yíng)收較低，主要來(lái)自云廠商的服務(wù)費(fèi)(托管在公有云上的NoSQL開(kāi)源產(chǎn)品)。但NoSQL數(shù)據(jù)庫(kù)在中國(guó)未來(lái)★從使用熱度來(lái)看，NoSQL數(shù)據(jù)庫(kù)，尤其是MongoDB、HBase和Redis三款產(chǎn)品在全球和中國(guó)的熱度都經(jīng)年不減少，在大中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)發(fā)展特點(diǎn)(二)借助政策東風(fēng)，國(guó)產(chǎn)廠商厚積薄發(fā)，市場(chǎng)版圖快速擴(kuò)張2020年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)份額：國(guó)產(chǎn)vs國(guó)外以關(guān)系型數(shù)據(jù)庫(kù)(MPP/Oracle是國(guó)外數(shù)據(jù)庫(kù)陣營(yíng)中市占份額最大的廠商，主調(diào)優(yōu)技術(shù)、功能豐富性方面和產(chǎn)品成熟度方面都rver、AzureSQL等關(guān)系型B等非關(guān)系型數(shù)據(jù)庫(kù)和基于等數(shù)據(jù)庫(kù)，但由于產(chǎn)品迭代速度慢、支持響應(yīng)速度慢、定價(jià)等原因，在中國(guó)三套數(shù)據(jù)庫(kù)系統(tǒng)和相關(guān)工具組件同時(shí)布局8c分布式數(shù)據(jù)庫(kù)、目錄數(shù)據(jù)庫(kù)等產(chǎn)品包括神通數(shù)據(jù)庫(kù)(關(guān)神舟通用系型、MPP等)和相關(guān)■國(guó)外數(shù)據(jù)庫(kù)廠商■傳統(tǒng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商其他國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商8s單機(jī)數(shù)據(jù)庫(kù)為主，國(guó)外廠商：達(dá)夢(mèng)數(shù)據(jù)庫(kù)逐年下降逐年上升中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)發(fā)展特點(diǎn)(三)中國(guó)公有云部署模式的數(shù)據(jù)庫(kù)在過(guò)去三年快速增長(zhǎng)，于2020年達(dá)到了32.7%的市場(chǎng)份額，未來(lái)雖然增速會(huì)有所放緩，但仍有一定的滲透空間。從應(yīng)用邏輯來(lái)看，數(shù)據(jù)庫(kù)服務(wù)于數(shù)據(jù)，數(shù)據(jù)應(yīng)用于業(yè)務(wù)最終產(chǎn)生價(jià)值；反之，業(yè)務(wù)端的創(chuàng)新和數(shù)據(jù)的變化也會(huì)反饋與數(shù)據(jù)庫(kù)市場(chǎng)。從最終業(yè)務(wù)端來(lái)看，現(xiàn)階段云數(shù)據(jù)庫(kù)更多的還是應(yīng)用于互聯(lián)網(wǎng)行業(yè)，以及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場(chǎng)景，未來(lái)隨著產(chǎn)業(yè)端更多的業(yè)務(wù)創(chuàng)新，有望進(jìn)一步拉動(dòng)云數(shù)據(jù)庫(kù)的需求。據(jù)統(tǒng)計(jì)，2020電商年中國(guó)公有云部署模式的數(shù)據(jù)庫(kù)市場(chǎng)游戲視頻比達(dá)32.7%。預(yù)計(jì)到2025年，其市場(chǎng)(2025e,全球)教育文娛份額將達(dá)到47.2%,政府云廠商將成為中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)中最大的玩家陣營(yíng)。聚焦公有云廠商，阿里、騰訊和AWS等廠商，憑借其強(qiáng)大的IaaS能力，多樣的產(chǎn)品線，創(chuàng)新的數(shù)據(jù)庫(kù)技術(shù)和開(kāi)放的生態(tài)圈，吸引了全行業(yè)各種類型的下游企業(yè)。此外，其他各陣營(yíng)的廠商也在致力擴(kuò)展云的能據(jù)IDC預(yù)測(cè)，2025年全球存儲(chǔ)在公有云環(huán)境的數(shù)據(jù)量將達(dá)到49%,相較企業(yè)端的緩步上升和消費(fèi)端的迅速下降，公有云環(huán)境下的存儲(chǔ)數(shù)據(jù)量呈高速增零售工業(yè)云數(shù)據(jù)庫(kù)較多的應(yīng)用于互聯(lián)行(2020,中國(guó))行業(yè)傳統(tǒng)行業(yè)中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)發(fā)展特點(diǎn)(四)一批2015年前后成立的初創(chuàng)型廠商借助NewSQL、SQLonHadoop、NoSQL等新技術(shù)架構(gòu)，以開(kāi)源或垂直領(lǐng)域商業(yè)化的思路，逐步增強(qiáng)自己的市場(chǎng)影響力，在互聯(lián)網(wǎng)、金融、物聯(lián)網(wǎng)等行業(yè)有著較好的表現(xiàn)。從現(xiàn)階段來(lái)看，其營(yíng)收的市占份額較小，但增速較快，是中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)增速最快的一個(gè)賽道，預(yù)計(jì)到2025年可以實(shí)現(xiàn)高于十倍的擴(kuò)張。隨著市場(chǎng)的大浪淘沙,未來(lái)的初創(chuàng)數(shù)據(jù)庫(kù)廠商賽道會(huì)趨于收斂，市場(chǎng)份額向一小批具有核心技術(shù)優(yōu)勢(shì)、抓住高價(jià)值應(yīng)用場(chǎng)景的優(yōu)秀廠商集中。初創(chuàng)廠商典型發(fā)展路徑 采購(gòu)流程市場(chǎng)/需求調(diào)研招標(biāo)/商務(wù)觸達(dá)采購(gòu)決策企業(yè)數(shù)據(jù)庫(kù)典型采購(gòu)流程估，篩選出"ShortList"(2~3家)。采購(gòu)發(fā)起者(一般是IT部門(mén))整理現(xiàn)階段的所有資料，向高層門(mén)進(jìn)行匯報(bào)，多方商議后最后確定采購(gòu)的供應(yīng)商。如果金額過(guò)大(參考企的業(yè)采購(gòu)流程，一般數(shù)據(jù)庫(kù)選型從前期到后期，會(huì)綜合考慮外圍因素(自身技術(shù)路線、資質(zhì)、品牌聲譽(yù)與行業(yè)案例、生態(tài)構(gòu)建等),產(chǎn)品技術(shù)相關(guān)因素(一致性、兼容性、擴(kuò)展性、性能、功能豐富性、安全性等),以及后期的價(jià)格服務(wù)因素(解決方案、性價(jià)比、服務(wù)響應(yīng)速度、培訓(xùn)體系等)。前期：外圍因素除初創(chuàng)外，大多數(shù)企業(yè)都積累了一定的IT資源，不同IT路線之間的轉(zhuǎn)換存壁壘，例如已經(jīng)選擇了Microsoft+.NET技術(shù)路線的企業(yè)很再難向Oracle+Java路線轉(zhuǎn)型.相關(guān)資質(zhì)(e.g.國(guó)產(chǎn)、自主可控等)對(duì)于政府、國(guó)企類型的客戶，還會(huì)關(guān)注廠商的背景和資質(zhì)，例如是品牌聲譽(yù)與行業(yè)案例前期企業(yè)還會(huì)關(guān)注廠商在行業(yè)內(nèi)的案例豐富性、其他用戶的評(píng)價(jià)，生態(tài)建設(shè)企業(yè)還會(huì)考慮供應(yīng)商的生態(tài)建設(shè)水平，例如MySQL在中國(guó)廣受歡迎的重要原因之一即其借助開(kāi)源模式，建立了廣泛的生態(tài)，企業(yè)后期招聘人才、進(jìn)行二開(kāi)成本較低后期：價(jià)格服務(wù)相關(guān)因素性價(jià)比在初步篩選后，企業(yè)會(huì)對(duì)各供應(yīng)商進(jìn)行比價(jià)，但價(jià)格往往不是B端用戶(尤其是數(shù)據(jù)庫(kù)飲件付費(fèi)企業(yè))的重點(diǎn)關(guān)注指標(biāo)。核心：產(chǎn)品技術(shù)相關(guān)因素安全性可靠性系統(tǒng)可以無(wú)故障地持續(xù)運(yùn)行的概率，一般通過(guò)MTBF、MTMTTF等指標(biāo)來(lái)衡量.可用性指系統(tǒng)在給定時(shí)間內(nèi)可以正常工作的概率，通常用SLA指標(biāo)來(lái)衡量(俗稱1個(gè)9、2個(gè)9、3個(gè)9等),供應(yīng)商往往通過(guò)兩穩(wěn)定性在一個(gè)運(yùn)行周期內(nèi)、一定的壓力條件下，持續(xù)操作時(shí)間內(nèi)出錯(cuò)兼容性包括與歷史DBMS的兼容性，是否支持?jǐn)?shù)據(jù)導(dǎo)出和遷移，開(kāi)放接口的豐單節(jié)點(diǎn)/系統(tǒng)吞吐量可擴(kuò)展性根據(jù)業(yè)務(wù)需求可以支持線性橫向擴(kuò)展的能力，讀寫(xiě)分離支持等事務(wù)特性功能豐富性對(duì)“高可用/強(qiáng)一致/低時(shí)延”要求高，分布式改造是下一步重點(diǎn)典型銀行業(yè)數(shù)據(jù)庫(kù)選型有更廣闊的發(fā)展空間。典型銀行業(yè)數(shù)據(jù)庫(kù)選型特殊場(chǎng)景特殊場(chǎng)景….…十十率的增加，許多銀行采用Hadoop分布式數(shù)據(jù)庫(kù)選型A:A:中間件+分庫(kù)分表·對(duì)數(shù)據(jù)取哈希打散，分發(fā)到每一個(gè)節(jié)點(diǎn)上，再用中間件進(jìn)行全局的事務(wù)管理·優(yōu)點(diǎn)：1)方案成熟；2)整體能力接近單機(jī)數(shù)據(jù)庫(kù)，適合銀行低延時(shí)的數(shù)據(jù)分片后靜態(tài)不可變；2)對(duì)業(yè)務(wù)的侵入強(qiáng)；3)中間件負(fù)擔(dān)過(guò)重；4)大·從底層架構(gòu)上針對(duì)分布式進(jìn)行優(yōu)化平擴(kuò)展；2)對(duì)業(yè)務(wù)的影響小，可以在不停止業(yè)務(wù)的情況下進(jìn)行；3)查詢效率高，滿足輕量級(jí)時(shí)方面存在一定缺陷；2)示例場(chǎng)景——互聯(lián)網(wǎng)教育業(yè)務(wù)擴(kuò)張速度快，看重可擴(kuò)展性、成本控制和成熟度受利互聯(lián)網(wǎng)和疫情，教育行業(yè)近年來(lái)呈“營(yíng)收高增長(zhǎng)，業(yè)務(wù)快迭代”發(fā)展特點(diǎn)。因此，企業(yè)在進(jìn)行選型時(shí)較看重?cái)?shù)據(jù)庫(kù)的可擴(kuò)展性，希望產(chǎn)品可以及時(shí)響應(yīng)公司版圖的擴(kuò)張和業(yè)務(wù)的變更。同時(shí)，教育行業(yè)屬于非強(qiáng)技術(shù)導(dǎo)向型，企業(yè)對(duì)數(shù)據(jù)庫(kù)強(qiáng)一致、高性能和高可靠的要求并不極致，更多會(huì)考慮產(chǎn)品的成本控制和成熟度。企業(yè)在選型時(shí)表現(xiàn)較保守，雖然看好一些數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)),但更希望數(shù)據(jù)庫(kù)產(chǎn)品工程實(shí)踐豐富，可以拿來(lái)即用，且專業(yè)人才招聘容易。因此MySQL數(shù)據(jù)庫(kù)成為許多(互聯(lián)網(wǎng))教育企業(yè)的最佳選擇，同時(shí)考慮成本和便捷性，云托管形式在業(yè)界也比較流行。典型互聯(lián)網(wǎng)教育業(yè)數(shù)據(jù)庫(kù)選型 可擴(kuò)熟度教育行業(yè)近年來(lái)發(fā)展迅速，尤其是在線教育板塊快速擴(kuò)張。2020年在線教育市場(chǎng)同比增長(zhǎng)35.5%,各產(chǎn)品線和業(yè)務(wù)模式迭代速度都較快。因此教育業(yè)對(duì)數(shù)據(jù)庫(kù)產(chǎn)品的可擴(kuò)展性和靈活性要求較高，公司IT積累也較薄弱。因此教育成本控制和數(shù)據(jù)庫(kù)軟件的成熟度，國(guó)外商業(yè)數(shù)據(jù)庫(kù)要采用以MySQL為主的開(kāi)源數(shù)據(jù)庫(kù)，部署方式以云托管為主，占到60%左右。部教育企業(yè)(e.g.新東方等)的云托管：自產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類產(chǎn)品與技術(shù)：數(shù)據(jù)庫(kù)內(nèi)涵與分類1供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型供給與需求：數(shù)據(jù)庫(kù)市場(chǎng)現(xiàn)狀與選型2機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)機(jī)遇與挑戰(zhàn)：數(shù)據(jù)庫(kù)未來(lái)發(fā)展趨勢(shì)3橫向擴(kuò)展(scaleout)的設(shè)計(jì)思想并非創(chuàng)新，但在歷史上一直未被廣泛應(yīng)用。一方面是由于分布式環(huán)境使事務(wù)ACID特性難以實(shí)現(xiàn)，另一方面是由于單機(jī)性能升級(jí)即可滿足企業(yè)的數(shù)據(jù)需求。但隨著摩爾定律在某種程度上的失效和互聯(lián)網(wǎng)的發(fā)展，硬件性能升級(jí)無(wú)法匹配海量數(shù)據(jù)的增長(zhǎng)，分布式在近年來(lái)廣受關(guān)注，許多廠商都推出了相應(yīng)的分布式數(shù)據(jù)庫(kù)產(chǎn)品。然而，在分布式的前提下，還有許多待探索的問(wèn)題，例如分布式事務(wù)的解決、架構(gòu)的創(chuàng)新、數(shù)據(jù)分片的智能升等。如何針對(duì)分布式進(jìn)行架構(gòu)的創(chuàng)新?各企業(yè)在進(jìn)行分布式改造時(shí)，往往會(huì)面臨“中間件+分庫(kù)分表”或"NewSQL"的技術(shù)路線選擇。傳統(tǒng)的分庫(kù)分經(jīng)發(fā)展的較為成熟，在“高并發(fā)、強(qiáng)一致、低延時(shí)”的場(chǎng)景下表現(xiàn)也較好，但對(duì)業(yè)務(wù)的侵入性強(qiáng)，中間件負(fù)擔(dān)過(guò)重，可擴(kuò)展性較差。NewSQL路線從底層架構(gòu)上就做了分布式的改造，可企業(yè)級(jí)能力如何加強(qiáng)分布式數(shù)據(jù)庫(kù)本身的企業(yè)級(jí)能力?復(fù)雜查詢。然而這些企業(yè)級(jí)能力在分布式下具有眾多挑戰(zhàn)(例如存儲(chǔ)過(guò)程跨網(wǎng)絡(luò)),現(xiàn)階段還需要應(yīng)用工具層的疊加才來(lái)滿足企業(yè)客戶需求，未來(lái)分布式賽道的各廠商還需進(jìn)一步升級(jí)產(chǎn)如何解決分布式事務(wù)問(wèn)題?分布式數(shù)據(jù)庫(kù)將需要處理的事務(wù)進(jìn)行拆分，再部署到不同的服務(wù)器上進(jìn)行處理。對(duì)于單機(jī)較容易實(shí)現(xiàn)的ACID,分布式環(huán)境中出現(xiàn)了更多的難題。現(xiàn)階段各家提出相應(yīng)的解決方案，但2PC/3PC、TCC機(jī)制、事件隊(duì)列/本地消息表機(jī)制、最大努力數(shù)據(jù)分片>如何科學(xué)高效地進(jìn)行分片?分布式通過(guò)分庫(kù)分表進(jìn)行數(shù)據(jù)的拆分使得各個(gè)表的數(shù)據(jù)量保持在闊值以下，從而應(yīng)對(duì)高并發(fā)和海量數(shù)據(jù)。的增加了DBA和開(kāi)發(fā)工程師工作的難度。如何選擇字段?如何選擇合適的哈希函數(shù)?許多從業(yè)者都感受到了“人信創(chuàng)即信息技術(shù)應(yīng)用創(chuàng)新，是在復(fù)雜國(guó)際政治背景下，國(guó)家政策引導(dǎo)的是需求端企業(yè)都是一個(gè)重要的契機(jī)。國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商借助政策東風(fēng)，有利于其拓展市場(chǎng)，將產(chǎn)品放到實(shí)際場(chǎng)景中打磨，不斷更新迭代，實(shí)現(xiàn)自己技術(shù)實(shí)力正真的彎道超車；傳統(tǒng)行業(yè)企業(yè)、政府等也可以借此契機(jī)，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)的創(chuàng)新發(fā)展。但信創(chuàng)并非一日之功，從產(chǎn)業(yè)發(fā)展規(guī)律來(lái)看，新一輪的技術(shù)變革往往需要長(zhǎng)達(dá)6年左右的實(shí)踐和積累，需要上下游信創(chuàng)帶來(lái)存量市場(chǎng)的高速增長(zhǎng)下業(yè)務(wù)擴(kuò)展信創(chuàng)個(gè)信創(chuàng)帶來(lái)的需求增長(zhǎng)協(xié)同效應(yīng)總需求存量增量挑戰(zhàn)三面對(duì)業(yè)務(wù)形態(tài)多樣、商業(yè)模式多變、需求變化頻繁的當(dāng)代市場(chǎng)，數(shù)據(jù)庫(kù)和應(yīng)用系統(tǒng)往擁有多個(gè)系統(tǒng)，從本地到云端，從關(guān)系型到非關(guān)系型，從OLTP到OLAP,從國(guó)外品牌到國(guó)產(chǎn)品牌，數(shù)據(jù)庫(kù)之間的跨庫(kù)查詢、數(shù)據(jù)導(dǎo)出遷移、結(jié)構(gòu)變更等操作已成為常態(tài)。數(shù)據(jù)遷移頻繁、多庫(kù)并存的現(xiàn)狀，使得企業(yè)后期的使用成本(運(yùn)維成本、人力成本、多技術(shù)棧學(xué)習(xí)成本、遷移成本、二開(kāi)成本等)大幅提高，也為數(shù)據(jù)庫(kù)廠商提出了“統(tǒng)一管理”的新挑戰(zhàn)。數(shù)據(jù)遷移數(shù)據(jù)遷移風(fēng)險(xiǎn)評(píng)估如何設(shè)置科學(xué)的評(píng)價(jià)標(biāo)準(zhǔn)、回滾機(jī)制；新數(shù)據(jù)庫(kù)的性能不能支持現(xiàn)有應(yīng)用問(wèn)題；數(shù)據(jù)遺失，業(yè)務(wù)不連續(xù)等風(fēng)險(xiǎn)控制問(wèn)題測(cè)試·測(cè)試指標(biāo)和標(biāo)準(zhǔn)問(wèn)題；·如何進(jìn)行性能測(cè)試(包括負(fù)載測(cè)試、壓容量測(cè)試等)需求調(diào)研·數(shù)據(jù)庫(kù)之間接口、語(yǔ)法、對(duì)象的兼容問(wèn)題；·庫(kù)表的改造問(wèn)題；間的適配問(wèn)題·如何梳理、整合原有的業(yè)務(wù)數(shù)據(jù)；·如何實(shí)現(xiàn)全鏈路、全環(huán)節(jié)的業(yè)務(wù)改造；·如何實(shí)現(xiàn)應(yīng)用改造與正式遷移如何設(shè)計(jì)盡可能少停機(jī)的遷移方案；如何運(yùn)用自動(dòng)化工具·多種架構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步問(wèn)題；·監(jiān)控預(yù)警設(shè)置；·容災(zāi)機(jī)制問(wèn)題 多庫(kù)管理ClickHouse統(tǒng)一管理層OradleMysQLClckHouseRedis挑戰(zhàn)四數(shù)據(jù)庫(kù)系統(tǒng)遵循“木桶理論”,硬件和軟件作為系統(tǒng)的核心組件，互相制約，互相促進(jìn)。而新型硬件的發(fā)展為數(shù)據(jù)庫(kù)軟件的發(fā)展帶來(lái)了新的挑戰(zhàn)。例如多核CPU技術(shù)走向成熟，但實(shí)際應(yīng)用中并發(fā)控制出現(xiàn)沖突，使得核數(shù)增加帶來(lái)的性能增益出Oracle、阿里等都開(kāi)始探索數(shù)據(jù)庫(kù)軟硬一體機(jī)的設(shè)計(jì)與實(shí)踐。軟硬件協(xié)同設(shè)計(jì)軟硬件協(xié)同設(shè)計(jì)軟硬件協(xié)同設(shè)計(jì)些解決方案，例如MOCC(主操作控制中心),吞吐量加DRAM作為緩沖區(qū)，以及DRAM處理熱數(shù)數(shù)據(jù)量NVM趨勢(shì)一：多場(chǎng)景|融合結(jié)合細(xì)分場(chǎng)景的多樣發(fā)展是必然選擇，用戶簡(jiǎn)單化需求驅(qū)動(dòng)的一體化融合也不容忽視從產(chǎn)品視角來(lái)看，不同場(chǎng)景具有不同的特性，對(duì)數(shù)據(jù)庫(kù)讀寫(xiě)性能、吞吐量、一致性等方面的要求各有不同。為支持不同場(chǎng)景下的不同要求，數(shù)據(jù)庫(kù)多樣化是必然的選擇。例如，物聯(lián)網(wǎng)場(chǎng)景下寫(xiě)入的數(shù)據(jù)量特別大，對(duì)實(shí)時(shí)性的要求特別高，但數(shù)據(jù)天然是時(shí)間有序的且具有靜態(tài)特征，因此時(shí)序數(shù)據(jù)庫(kù)會(huì)較傳統(tǒng)的事務(wù)型數(shù)據(jù)庫(kù)更有優(yōu)勢(shì)。從用戶視角來(lái)看，除部分頭部互聯(lián)網(wǎng)公司外，其他大中小型企業(yè)的IT人員比例都并不高，對(duì)口數(shù)據(jù)庫(kù)團(tuán)隊(duì)的人數(shù)會(huì)更少。對(duì)于他們而言，各種日新月異的技術(shù)棧、多種類型的數(shù)據(jù)庫(kù)產(chǎn)生了極大的學(xué)習(xí)成本和維護(hù)成本，因此希望能夠有一體化的產(chǎn)品/平臺(tái)直接使用或者統(tǒng)一管理。對(duì)于該種類型的企業(yè)而言，會(huì)更傾向采購(gòu)能滿足其70