中小企業(yè)的分布式數(shù)據(jù)庫(kù)之路

中小企業(yè)的分布式數(shù)據(jù)庫(kù)之路

曾幾何時(shí)，IT界有兩款軟件被奉為神一樣的軟件，一款是SAS，這是一個(gè)被奉為神器的數(shù)據(jù)分析軟件，并有“有了SAS，世界上沒有了失業(yè)”的美譽(yù)。還有一款就是Oracle數(shù)據(jù)庫(kù)了，由于當(dāng)年Oracle7擊敗了Sybase數(shù)據(jù)庫(kù)，一躍成為王者，市場(chǎng)份額達(dá)到46%以上，無(wú)論是中小企業(yè)還是大公司總要用到Oracle的數(shù)據(jù)庫(kù)，風(fēng)頭無(wú)兩，據(jù)說(shuō)當(dāng)年阿里巴巴Oracle數(shù)據(jù)庫(kù)部就有100多號(hào)人，而負(fù)責(zé)的RAC數(shù)據(jù)庫(kù)的節(jié)點(diǎn)多達(dá)17個(gè)，極其龐大。然后時(shí)過(guò)境遷，當(dāng)年的龐然大物，雖然現(xiàn)在仍然是這么的大，但境遇卻發(fā)生了重大的變化。首當(dāng)其沖的就是Oracle面對(duì)分布式數(shù)據(jù)庫(kù)的挑戰(zhàn)，Oracle公司一貫的思路，就是不搞分布式數(shù)據(jù)庫(kù)，因?yàn)樗鼈冇X得單庫(kù)很“香”，為什么呢？原因是Oracle公司對(duì)單庫(kù)的功力深厚，依賴于強(qiáng)大的關(guān)系型數(shù)據(jù)庫(kù)的設(shè)計(jì)和規(guī)劃技術(shù)，Oracle單庫(kù)可以適應(yīng)于各個(gè)領(lǐng)域，而且如果對(duì)性能有較大需求的，可以讓客戶買Exadata一體機(jī)，完全可以滿足互聯(lián)網(wǎng)的海量數(shù)據(jù)分析OLAP應(yīng)用，而前端的互聯(lián)網(wǎng)應(yīng)用不是Oracle的范疇，可以用MySQL去對(duì)付。Oracle依賴單庫(kù)Oracle數(shù)量巨大的許可證售賣，維持著每年龐大的利潤(rùn)，而在是否搞分布式數(shù)據(jù)庫(kù)問題上非常不上心。但技術(shù)的發(fā)展是擋不住的，Oracle在分布式數(shù)據(jù)庫(kù)上的猶豫，給了很多其他公司機(jī)會(huì)。一、三類分布式數(shù)據(jù)庫(kù)單體數(shù)據(jù)庫(kù)時(shí)代，隨著系統(tǒng)交易量的不斷上升，數(shù)據(jù)庫(kù)讀寫性能出現(xiàn)了嚴(yán)重下降。我們可以借助分庫(kù)分表中間件，比如mycat、shardingjdbc來(lái)實(shí)現(xiàn)分庫(kù)分表，緩解單庫(kù)的讀寫性能。但是這種分庫(kù)分表的中間件充其量都只是XA弱事務(wù)，雖然接近于普通事物，但仍然有很多缺點(diǎn)，最主要的是會(huì)存在數(shù)據(jù)不一致的情況。如果要保證數(shù)據(jù)一致性，就需要借助于分布式事務(wù)中間件，比如阿里巴巴的seata。后來(lái)分布式數(shù)據(jù)庫(kù)逐漸成為解決數(shù)據(jù)一致性的選擇，目前分布式數(shù)據(jù)庫(kù)產(chǎn)品已經(jīng)比較成熟，支持ACID事務(wù)。A、PGXC數(shù)據(jù)庫(kù)---支持全局時(shí)鐘的分布式數(shù)據(jù)庫(kù)這種數(shù)據(jù)庫(kù)架構(gòu)被業(yè)內(nèi)稱為PGXC架構(gòu)，這個(gè)名字是PostgreSQL-XC的簡(jiǎn)稱，它是一種提供寫可靠性，多主節(jié)點(diǎn)數(shù)據(jù)同步，數(shù)據(jù)傳輸?shù)拈_源集群方案?；诜謳?kù)分表演化而來(lái)，優(yōu)點(diǎn)是性能比較穩(wěn)定，缺點(diǎn)是寫入能力有限，這是由架構(gòu)風(fēng)格決定的。目前主流的有：TBase：騰訊數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在基于PostgreSQL研發(fā)的，支持HTAP(HybridTransactionandAnalyticalProcess)，主要由協(xié)調(diào)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和全局事務(wù)管理器(GTM)組成。GuassDB300：由華為研發(fā)，也是基于開源PostgreSQL研發(fā)的，支持HTAP，支持SQL92、SQL99和SQL2003語(yǔ)法，并且支持提供存儲(chǔ)過(guò)程、觸發(fā)器、分頁(yè)等。AntDB：由亞信科技開發(fā)，基于開源PostgreSQL內(nèi)核研發(fā)的，主要特點(diǎn)是對(duì)Oracle兼容性高，分布式事務(wù)支持2PC協(xié)議和MVCC，集群支持動(dòng)態(tài)擴(kuò)展。GoldenDB：由中興通訊研發(fā)，這款數(shù)據(jù)庫(kù)以mysql為內(nèi)核構(gòu)建的，按照官方的描述，這款數(shù)據(jù)庫(kù)對(duì)金融行業(yè)的支持比較好。TDSQL：由騰訊研發(fā)，它算不上是完全的PGXC架構(gòu)，因?yàn)闆]有全局時(shí)鐘。不過(guò)它也有自己解決一致性的方案，它的自增長(zhǎng)序列為用戶提供一個(gè)全局唯一數(shù)字ID服務(wù)，對(duì)全局鎖和mvcc都有一定的作用。B、NEWSQL數(shù)據(jù)庫(kù)---新型架構(gòu)的分布式數(shù)據(jù)庫(kù)由NoSQL鍵值數(shù)據(jù)庫(kù)發(fā)展而來(lái)，它是一類新的數(shù)據(jù)庫(kù)架構(gòu)方案，不僅具有NoSQL對(duì)海量數(shù)據(jù)的存儲(chǔ)管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性。有以下特點(diǎn)：放棄了PGXC架構(gòu)中單體數(shù)據(jù)庫(kù)的事務(wù)支持在BigTable基礎(chǔ)上構(gòu)建了事務(wù)支持引入分片機(jī)制，主要采用Range動(dòng)態(tài)分片技術(shù)，跟HASH分片相比，數(shù)據(jù)可以不用固定的在某一個(gè)分片上可靠性方面，放棄傳統(tǒng)數(shù)據(jù)庫(kù)的主從復(fù)制，采用Paxos、Raft等共識(shí)算法來(lái)保證HA存儲(chǔ)引擎方面，使用LSM-Tree替換B+樹模型，寫入性能更高支持事務(wù)管理這種數(shù)據(jù)庫(kù)架構(gòu)上有很大優(yōu)勢(shì)，但設(shè)計(jì)難度也很大，目前主流的有：谷歌Spanner：可以說(shuō)是NewSQL數(shù)據(jù)庫(kù)的鼻祖，后來(lái)的好多數(shù)據(jù)庫(kù)都是借鑒了Spanner的思想，使用GPS加原子鐘的方式來(lái)實(shí)現(xiàn)全局時(shí)鐘，同時(shí)實(shí)現(xiàn)了線性一致性。TiDB：非常有名的一塊NewSQL數(shù)據(jù)庫(kù)，由PingCAP研發(fā)，支持HTAP，支持線性一致性，一個(gè)亮點(diǎn)是兼容mysql協(xié)議和生態(tài)，可以支持K8S部署。OceanBase：簡(jiǎn)稱OB，螞蟻集團(tuán)研發(fā)，按照官方說(shuō)法，2020年5月，OceanBase以7.07億tpmC的在線事務(wù)處理性能，打破了去年自己創(chuàng)造的TPC-C世界紀(jì)錄。截止至目前，OceanBase是第一個(gè)也是唯一一個(gè)上榜的中國(guó)數(shù)據(jù)庫(kù)。但該數(shù)據(jù)庫(kù)在金融行業(yè)使用的不多。CockroachDB：著名的小強(qiáng)數(shù)據(jù)庫(kù)，不支持線性一致性，只支持因果一致性，因?yàn)樗鼈兪褂玫氖腔旌线壿嫊r(shí)鐘(HybridLogicalClocks)，它們的設(shè)計(jì)思想都是來(lái)自Spanner，但和TIDB很像，都使用raft算法的改進(jìn)算法multiraft，讓多分片并行處理提升性能。C、Aurora數(shù)據(jù)庫(kù)由Amazon推出的云原生數(shù)據(jù)庫(kù)，它的特點(diǎn)是計(jì)算節(jié)點(diǎn)垂直擴(kuò)展，存儲(chǔ)節(jié)點(diǎn)可以水平擴(kuò)展。可見計(jì)算節(jié)點(diǎn)依然是單節(jié)點(diǎn)，同步到其他從節(jié)點(diǎn)，可見跟其他分布式數(shù)據(jù)庫(kù)相比，從節(jié)點(diǎn)不支持寫入，所以不支持多寫，從節(jié)點(diǎn)只能分擔(dān)讀的壓力。Aurora基于mysql引擎構(gòu)建，100%支持mysql。目前主流的有：PolarDB：阿里云原生關(guān)系型數(shù)據(jù)庫(kù)，有三個(gè)獨(dú)立的引擎，分別100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle語(yǔ)法，存儲(chǔ)容量最高可達(dá)100TB，單庫(kù)最多可擴(kuò)展到16個(gè)節(jié)點(diǎn)。CynosDB：現(xiàn)在叫TDSQL-C數(shù)據(jù)庫(kù)，是騰訊云自主研發(fā)的新一代關(guān)系型云原生數(shù)據(jù)庫(kù)，既擁有分布式設(shè)計(jì)的低成本優(yōu)勢(shì)，又具有集中式的易用性

，采用存儲(chǔ)計(jì)算分離設(shè)計(jì)。Taurus：華為云原生數(shù)據(jù)庫(kù)，100%兼容Mysql，使用Log-as-database以最小化網(wǎng)絡(luò)IO，不僅針對(duì)IO與寫操作進(jìn)行了優(yōu)化，而且還考慮了讀優(yōu)化，讓應(yīng)用程序可以在緩沖區(qū)內(nèi)以最小的代價(jià)獲得最新的數(shù)據(jù)。二、中小型企業(yè)如何選擇分布式數(shù)據(jù)庫(kù)縱觀這三類分布式數(shù)據(jù)，給我們茫然的感覺，實(shí)在選擇太多了，如何選擇呢？我這里提出幾點(diǎn)考量A、成本考慮錢永遠(yuǎn)是最主要的考量點(diǎn)，如果資金充足的話，可以暫不考慮第三類云原生的數(shù)據(jù)庫(kù)，畢竟數(shù)據(jù)是新時(shí)代的石油，把數(shù)據(jù)放在云上，對(duì)于某些企業(yè)來(lái)說(shuō)是不能容忍的。所以，第一和第二類中可以做個(gè)選擇。但反之，如果資金緊張，云下的分布式數(shù)據(jù)庫(kù)，你可要掂量一下資金問題了，就拿TIDB而言，生產(chǎn)環(huán)境剛上TIDB是不敢用開源的，誰(shuí)的膽子也沒有這么肥?。∫IPingCAP的訂閱，起板每年100萬(wàn)，再加上每套集群10臺(tái)帶ssd磁盤的物理機(jī)的投資，一年少說(shuō)要300萬(wàn)左右，這還是基本配置。有朋友說(shuō)為啥要ssd盤呢，我用sas盤性能要求低點(diǎn)不行嗎？那還真不行，原來(lái)TIDB的設(shè)計(jì)是為ssd專門設(shè)計(jì)的，很多地方都是反常規(guī)的，如果不用SSD，性能會(huì)跌入谷底，比如:TIDB沒有undodata，完全是赤裸裸的MVCC多版本數(shù)據(jù)，這就導(dǎo)致了數(shù)據(jù)不能先寫內(nèi)存中的cache，而必須內(nèi)存和磁盤同步，如果IO不行，這個(gè)性能的跌落可想而知。所以，為了節(jié)省資金，使用云上的數(shù)據(jù)庫(kù)的方案絕對(duì)是不二的選擇，目前在業(yè)界AWS的Aurora占據(jù)的市場(chǎng)份額較大。B、業(yè)務(wù)契合度如果選擇第一類PGXC架構(gòu)的數(shù)據(jù)庫(kù)的話，初期的對(duì)業(yè)務(wù)的理解和數(shù)據(jù)庫(kù)的設(shè)計(jì)是比較關(guān)鍵的，比如我們公司而言，使用的是騰訊的TDSQL，本質(zhì)上類似于分片的MYSQL數(shù)據(jù)庫(kù)。建表時(shí)，需要指定shardingkey，如果每次使用shardingkey是查詢，速度是非?？斓模绻悴恢獣詓hardingkey，在開發(fā)代碼時(shí)，沒有用到shardingkey，這速度就會(huì)大幅下降。此外，初期容量的估算也是很重要的，因?yàn)槿绻制瑪?shù)據(jù)庫(kù)的總?cè)萘恳獢U(kuò)展的話，涉及到shardingkey的改變，這樣就會(huì)有不同分片間的數(shù)據(jù)的遷移，這會(huì)對(duì)業(yè)務(wù)造成影響，所以初期一般會(huì)把TDSQL的數(shù)據(jù)庫(kù)的容量設(shè)置的比較大，這樣有一定的冗余和浪費(fèi)。但如果你選擇第二類，NewSQL架構(gòu)的數(shù)據(jù)庫(kù)就完全沒有這鐘煩惱，這種數(shù)據(jù)庫(kù)并沒有shardingkey，它通過(guò)后端的協(xié)議把數(shù)據(jù)打散的。業(yè)務(wù)可以根據(jù)自身的需要來(lái)設(shè)計(jì)SQL語(yǔ)句。雖然有python和spark等數(shù)據(jù)分析工具，但SQL語(yǔ)句還是接受程度是很大的，如果分布式數(shù)據(jù)庫(kù)本身可以容量海量，又可以相對(duì)快速的執(zhí)行SQL語(yǔ)句，那么數(shù)據(jù)庫(kù)本身也能被用來(lái)做數(shù)據(jù)分析。這里要講的就是TIDB了，這種數(shù)據(jù)庫(kù)既是OLTP又可以作為OLAP，它有個(gè)tiflash的組件，這絕對(duì)是個(gè)創(chuàng)新，這個(gè)組件可以把在存儲(chǔ)的行式數(shù)據(jù)在底層導(dǎo)入到列式存儲(chǔ)上，使得你可以使用tiflash進(jìn)行數(shù)據(jù)分析，而且不影響OLTP業(yè)務(wù)。C、開發(fā)人員的習(xí)慣很多分布式數(shù)據(jù)庫(kù)都有一個(gè)共同的特征，就是功能少，這也是無(wú)奈之舉，發(fā)展時(shí)間短且理念創(chuàng)新，原先在單庫(kù)中可以使用的功能在分布式數(shù)據(jù)庫(kù)中，就無(wú)法實(shí)現(xiàn)。比如存儲(chǔ)過(guò)程、觸發(fā)器等等。TIDB中，原廠甚至對(duì)于自增主鍵也推薦不使用，因?yàn)橹畷?huì)導(dǎo)致讀寫的熱點(diǎn)。所以，如果企業(yè)中開發(fā)人員無(wú)法接受這種形式的話，使用就很受到制約了。在這種情況下，NewSQL可能就不能適合了，由于PXGC架構(gòu)的數(shù)據(jù)庫(kù)不是脫胎于PostgreSQL就是來(lái)源于MySQL，其中不得不提到紅的發(fā)紫的GoldenDB，兼容常用的Oracle語(yǔ)法，而且提供分布式存儲(chǔ)過(guò)程的支持。但是，話又說(shuō)回來(lái)了，存儲(chǔ)過(guò)程真的這么重要嗎？D、性能上的考慮如果對(duì)數(shù)據(jù)庫(kù)的性能有很大需求的，那么你必須適當(dāng)放棄靈活性了，也就是選擇第一類的PGXC架構(gòu)的分布式數(shù)據(jù)庫(kù)，雖然這種數(shù)據(jù)庫(kù)有shardingkey，但只要設(shè)計(jì)好了SQL，在shardingkey下工作，性能還是相當(dāng)不錯(cuò)的，根據(jù)騰訊云官方資料記載，TDSQL可以達(dá)到幾十萬(wàn)TPS，這個(gè)數(shù)據(jù)著實(shí)把我嚇了一跳，我猜想這一定是騰訊云對(duì)sysbench做了某些適當(dāng)?shù)恼{(diào)整。不管怎么說(shuō)，就算有夸張的成分在里面，也可以說(shuō)明PGXC架構(gòu)的數(shù)據(jù)庫(kù)在性能方面是非常出眾的。E、數(shù)據(jù)的安全性考慮安全性通常容易被人遺忘，要做到高等級(jí)的安全性著實(shí)不易，所以有很多分布式數(shù)據(jù)庫(kù)借鑒了傳統(tǒng)數(shù)據(jù)庫(kù)的安全特性，如TIDB就借鑒了MySQL的用戶名和密碼訪問方式。但是眾所周知，MySQL的某些安全等級(jí)是不能滿足金融類核心數(shù)據(jù)庫(kù)的安全等級(jí)要求的，所以即使在去IOE的大潮下，目前幾乎還沒有哪家金融類企業(yè)敢于把核心庫(kù)建立在分布式數(shù)據(jù)庫(kù)之上，即是對(duì)安全的考慮，也是對(duì)可靠性的考慮。三、如何遷移到分布式數(shù)據(jù)庫(kù)決定使用一套分布式數(shù)據(jù)庫(kù)后，如果將現(xiàn)有業(yè)務(wù)遷移到分布式數(shù)據(jù)庫(kù)上來(lái)，是個(gè)頭痛的問題，涉及到如下問題。A、兼容性分布式數(shù)據(jù)庫(kù)有種限制條件，很多在常規(guī)數(shù)據(jù)庫(kù)中能使用的對(duì)象或存儲(chǔ)過(guò)程，在分布式數(shù)據(jù)庫(kù)中，都不能使用。比如我們公司原來(lái)都使用MySQL

，要開發(fā)改為TIDB，首先建表語(yǔ)句都要改，要加入SHARD_ROW_ID_BITS這個(gè)TABLEOPTION，把rowid打散寫入多個(gè)不同的Region，否則大量的insert就會(huì)將數(shù)據(jù)寫入一個(gè)region中，導(dǎo)致寫熱點(diǎn)。再有TIDB本身居然沒有altertable將字段類型改變到j(luò)son格式，需要人為的導(dǎo)入導(dǎo)出；還有TIDB沒有最大連接數(shù)，只要cpu和內(nèi)存充足，理論上沒有上限。這個(gè)看上去像MySQL的數(shù)據(jù)庫(kù)，和MySQL的使用還是有很多區(qū)別的。B、遷移工具一般而言，分布式數(shù)據(jù)庫(kù)廠商為了自己的產(chǎn)品好賣，都有針對(duì)不同數(shù)據(jù)庫(kù)遷移到本數(shù)據(jù)庫(kù)的遷移工具。但是，遷移是會(huì)停業(yè)務(wù)的，如果使得停業(yè)務(wù)的時(shí)間最小甚至于不停業(yè)務(wù)，是一個(gè)值得研究的課題。C、架構(gòu)目前，kubernetes作為一種容器架構(gòu)出現(xiàn)在很多體系中，是否要將分布式數(shù)據(jù)庫(kù)部署在實(shí)體機(jī)、虛機(jī)，還是容器中，是個(gè)考慮點(diǎn)。過(guò)去覺得無(wú)狀態(tài)的跑容器，有狀態(tài)的跑實(shí)體機(jī)，但這種思維定式隨著時(shí)間的推移正在慢慢消失。Kubernetes在不斷的發(fā)展，它的statefulset組件早已經(jīng)可以容納各種有狀態(tài)的服務(wù)，其中也包