2024年金融數(shù)據(jù)庫存算分離架構選型白皮書-金融信息化研究所

）：）：摘要據(jù)庫存算一體架構可以有效滿足金融新興業(yè)務初期對快速和敏 3 5 1等領域。即便在互聯(lián)網(wǎng)飛速發(fā)展的時代，這些行業(yè)依然在使用繁榮時代。盡管如此，Oracle和DB2依然是市場最主流的商用2）：2000年前后，隨著互聯(lián)網(wǎng)技術的廣泛應用，數(shù)據(jù)庫技術進X86服務器憑借其價格優(yōu)勢和通用性，一定程度上擴展了傳統(tǒng)3另外，隨著NVMeOverFabric、RDMA和存儲介質等技了存算分離架構在吞吐性能上的瓶頸。通過利用存儲的RAID和4鑒于生產(chǎn)交易系統(tǒng)的聯(lián)機事務處理（OLTP）特性，OLTP數(shù)OLAP數(shù)據(jù)庫憑借其對復雜查詢的高效處理、靈活的數(shù)據(jù)分析能處理和分析的需求。在金融業(yè)數(shù)據(jù)庫應用中，OLAP數(shù)據(jù)庫實例5使得從傳統(tǒng)封閉架構向開放解耦架構轉型的過程中面臨諸多挑6業(yè)務量的激增對數(shù)據(jù)基礎設施的性能和吞吐量提出更高要7為例，峰值業(yè)務處理所需的存儲IO請求能力約為每秒1.5-2.5CPU的負載，使其無需處理存儲IO請求，進而提升服務器CPU心基礎架構的可靠性需提升至99.9999%以上，以滿足整體業(yè)務如果采用服務器本地磁盤作為數(shù)據(jù)庫存儲，服務器上的RAID卡8用于在數(shù)據(jù)故障后提供冗余保護。然而在可靠性方面，RAID卡9雙集群實現(xiàn)RPO=0，即數(shù)據(jù)無丟失，并通過疊加異地容災技術，銀行生產(chǎn)交易系統(tǒng)作為各類系統(tǒng)運營數(shù)據(jù)和報表等系統(tǒng)的下的快速備份問題，通過數(shù)據(jù)庫和存儲協(xié)同，實現(xiàn)LANFree備采用存算分離架構的集中式數(shù)據(jù)庫能夠有效解決以下關鍵匯總依賴于網(wǎng)絡通信，尤其是在維護分布式事務的強一致性時，業(yè)使用比例僅為17.51%，而證券和保險行業(yè)這一比例甚至不足一家頭部股份制銀行在升級改造中，分庫數(shù)數(shù)據(jù)庫分庫分表及或多副本冗余機制會導致集群規(guī)模的擴某省電信為例，數(shù)據(jù)庫改造后CPU利用率僅有5%，數(shù)據(jù)庫服務采用本地盤部署的數(shù)據(jù)庫通常通過將集群分布于不同的機網(wǎng)絡抖動/服務器異常等因素常導致同步復制降級為異步復制，時需求，但暫時犧牲數(shù)據(jù)庫的高可用性。另外，在主從架構下，主備節(jié)點之間的主從切換可能會造成業(yè)務的短暫中斷或應用報錯，影響業(yè)務連續(xù)性。例如，某國有大行采用此種容災方案時，華為GaussDB存算分離雙集群方案能夠實現(xiàn)數(shù)據(jù)庫高可靠云原生數(shù)據(jù)庫的設計理念是構建一種更契合“資源彈性管理”公共云計算環(huán)境下根據(jù)業(yè)務發(fā)展彈性擴展集群的需求。在騰訊TDSQL-C通過實施計算存儲分離，構建共享未來的云原生數(shù)據(jù)庫將深度融合AI技術，通過AI助力云原因此這些指標的選擇應根據(jù)具體的業(yè)務需求和使用場景來確定，包括讀取數(shù)據(jù)、寫入數(shù)據(jù)、查詢數(shù)據(jù)等操作的據(jù)庫業(yè)務連續(xù)性和業(yè)務體驗要求數(shù)據(jù)庫系統(tǒng)在遇到各種異常和能力?！缎畔踩夹g信息系統(tǒng)災難恢復規(guī)范》對信息系統(tǒng)的相關行業(yè)協(xié)會在信息系統(tǒng)災難恢復標準制定方面制訂了多個管1）采用服務器本地盤架構，需要部署兩套MySQL集群，每套集2428212212144224存儲空間節(jié)?。罕镜乇P三副本和專業(yè)存儲RAIDTP（允許三算一體和存算分離的兩個方案的能耗指標：1）采用服務器本地據(jù)項在對數(shù)據(jù)庫文件整體實施加密基礎上鼓勵進一步采用更細儲的加密方案既能保證數(shù)據(jù)的有效加密又能降低對應用的性能化的IT運維管理模式難以滿足新形勢下業(yè)務連續(xù)性務器中，數(shù)據(jù)庫數(shù)據(jù)則通過外置高可靠高性能存儲，結合高速據(jù)中心內及數(shù)據(jù)中心間的數(shù)據(jù)一致性和完整性；三是采用標準RPO=0，同城雙集群部署，故障隔離，可以采用數(shù)據(jù)庫和存儲協(xié)口要求?？蛻粝Ｍ捎肔an-Free方式備份，提升備份效率。通金融核心應用7*24小時對外服務不中斷，傳統(tǒng)數(shù)邏輯進行重構的方式實現(xiàn)轉型。工商銀行合計使用70個系統(tǒng)高級包和200個系統(tǒng)視圖，且廣泛適用自定義類型、作，甚至涉及應用架構和業(yè)務邏輯重構等工作，技術復雜度高。構+集中式體驗”的理念，基于全棧自主創(chuàng)新軟硬件產(chǎn)品，實現(xiàn)），分離架構與廠商進行大型業(yè)務系統(tǒng)0racle數(shù)據(jù)庫轉型的多集一是同城雙園區(qū)間通過存儲級復制實現(xiàn)增量數(shù)據(jù)強一致同步，異地園區(qū)間通過異步方式實現(xiàn)增量日志同步，具備本地RPO=0&RTO<30秒、同城RPO=0&RTO<180秒和異地RPO<1分鐘和增量數(shù)據(jù)的強一致同步,具備業(yè)務不中斷情況下數(shù)據(jù)庫版本灰針對存量業(yè)務累積構建大量業(yè)務邏輯內嵌到數(shù)據(jù)庫內分布降低改造難度，減少工作量：避免了大量存儲過程、復雜合頭部科技企業(yè)開展Oracle數(shù)據(jù)庫平滑遷移技術攻關，通過多和測試復雜度，提升測試效率，程序測試覆蓋率達100%，分支經(jīng)過大量實踐，工商銀行形成了一套無需整體重構Oracle注重系統(tǒng)的業(yè)務連續(xù)性，選擇“物理機裸金屬+企業(yè)高端閃存”但是使用的VMWARE虛擬化技術、紅帽操作系統(tǒng)、服務器硬件都方案一：存算分離虛擬化MYSQL決之前的問題。一是設備采用ARM/海光信創(chuàng)服務器；二是采用方案二：容器化MYSQL據(jù)庫服務化，數(shù)據(jù)庫可按需進行資源動態(tài)的擴縮容管理，實現(xiàn)出現(xiàn)主機故障時可以在原有外接存儲上利用K8S的調度能力迅性?？鐟脭?shù)據(jù)檢核系統(tǒng)主要是數(shù)據(jù)分析，屬于OL322不同節(jié)點需要不同通過實際性能測試比較，使用集中存儲陣列(OceanStor），存力和算力剝離，各司其職。計算節(jié)點DN節(jié)點負責執(zhí)行應從主機到交換機網(wǎng)絡到存儲，采用端到端NVMe協(xié)議通信,提高可用性。在數(shù)據(jù)安全方面，單盤或多盤故障對上層不感知，經(jīng)過產(chǎn)品調研和POC測試，選用華為分布式存儲設備實例設置CPU資源限制。每個實例使用獨立的邏輯卷，借助為確保OceanDisk穩(wěn)定可靠運行，需控制其負載在一定閾配置RAID6。應基于歷史數(shù)據(jù)和未來增長預期量需求。OceanDisk整體空間使用率控制實例掛載的邏輯卷可在線擴容，擴容上限為6T，需避免因單實TDSQL運維管理平臺覆蓋了80%以上的日常運維操作，包含了存儲空間管理、任務配置、故障管理、性能通過開發(fā)系列工具，對接TDSQLOSS接口及OceanDiskRestfulAPI，將TDSQL和OceanDisk操作連接起來，如TDSQLOceanDisk提供高IOPS和吞體現(xiàn)在讀IO讀時延上。影響數(shù)據(jù)庫性能，SQL執(zhí)行耗時上漲，延上升，數(shù)據(jù)庫QPS呈下降趨勢。組內進行合理的DB節(jié)點遷移調度，使資源池內各硬件負載盡量于TDSQL的性能和故障問題可能與數(shù)據(jù)庫自身、OceaTDSQL存算分離架構帶來更靈活的容量管理，單實例容量規(guī)格支持從10G到6T，支持在線擴容。靈活容量管理也帶來了服務器故障無需進行DB節(jié)點重建，將存放數(shù)據(jù)和日志的邏建拷貝數(shù)據(jù)帶來的IO、帶寬資源消耗，以及重建時間較長帶來存算分離架構增加了存儲產(chǎn)品OceanDisk，但大幅減少數(shù)據(jù)傳統(tǒng)IT基礎設施逐漸顯露出其局限性，包括設備老舊、性能表本項目通過選用基于存算分離架構的平臺為Oracle數(shù)據(jù)庫據(jù)實際的計算、存儲資源需求動態(tài)調整存儲容層面支持在線橫向/縱向靈活擴容。這些特點使得分布式存儲計算存儲之間采用RDMA互聯(lián)網(wǎng)絡