穩(wěn)筑基石云帆萬(wàn)里 - 構(gòu)建極速穩(wěn)定多元異構(gòu)數(shù)據(jù)庫(kù)云化底座

構(gòu)建極速穩(wěn)定多元異構(gòu)數(shù)據(jù)庫(kù)云化底座演講人：胡自貴@云和恩墨l趨勢(shì)挑戰(zhàn)：行業(yè)變化、客戶轉(zhuǎn)型、產(chǎn)業(yè)升級(jí)帶來(lái)的新挑戰(zhàn)客戶轉(zhuǎn)型：集中化、云化產(chǎn)業(yè)升級(jí)：新硬件潛力有待挖掘客戶轉(zhuǎn)型：集中化、云化產(chǎn)業(yè)升級(jí)：新硬件潛力有待挖掘行業(yè)變化：多元、國(guó)產(chǎn)、上核心系統(tǒng)A系統(tǒng)B系統(tǒng)C系統(tǒng)A系統(tǒng)B系統(tǒng)C統(tǒng)一資源池?應(yīng)對(duì)外部爆炸式的業(yè)務(wù)并發(fā)和數(shù)據(jù)增長(zhǎng)銀行業(yè)務(wù)辦理銀行業(yè)務(wù)辦理云資源池1、使用某大廠分布式數(shù)據(jù)庫(kù)集中式部署版本。2、當(dāng)前業(yè)務(wù)分了4套數(shù)據(jù)庫(kù)（按地市進(jìn)行區(qū)分每套數(shù)據(jù)庫(kù)一主兩備，一共12臺(tái)主機(jī)；數(shù)據(jù)庫(kù)存儲(chǔ)在服務(wù)器本地盤，當(dāng)前數(shù)據(jù)量較小，僅1-200G?！緮?shù)據(jù)量很少，國(guó)產(chǎn)庫(kù)為什么都建議用本地盤？】3、服務(wù)器配置：全閃SSD，10T左右空間；CPU為鯤鵬920，64核；768G內(nèi)存【存儲(chǔ)資源浪費(fèi)嚴(yán)重，磁盤故障率高】4、2023年12月底開始上線，購(gòu)買了2個(gè)月原廠服務(wù)，經(jīng)過(guò)幾個(gè)月磨合，目前系統(tǒng)運(yùn)行正常，CPU使用率一般處于20-30%之間，偶爾40%。【為什么會(huì)出現(xiàn)數(shù)據(jù)量很小，但是CPU占用還不低？】1、存算分離是架構(gòu)設(shè)計(jì)的基本原則，也是解放單機(jī)架構(gòu)下CPU能力的關(guān)鍵一環(huán)。2、本地盤性能好，但資源浪費(fèi)，冗余性差，資源浪費(fèi)？要實(shí)現(xiàn)既安全可靠又高性能，同時(shí)能實(shí)現(xiàn)存儲(chǔ)資源的共享？資源共享，降本增效？3、國(guó)產(chǎn)數(shù)據(jù)庫(kù)引擎相對(duì)Oracle還有一定差距，如何彌補(bǔ)？同樣的車，高速VS國(guó)道？1km、100km性能指標(biāo)概念性能考察方法（見右圖） 性能關(guān)鍵指標(biāo)這兩個(gè)時(shí)延是考察存儲(chǔ)時(shí)延的通用指標(biāo)。相當(dāng)于中位數(shù)99%位數(shù)）。協(xié)議層★塊存儲(chǔ)硬盤讀/寫文件存儲(chǔ)對(duì)象存儲(chǔ)存儲(chǔ)層對(duì)比特點(diǎn)：二進(jìn)制方式直接訪l刨根問(wèn)底1：傳統(tǒng)部署范式難以應(yīng)對(duì)企業(yè)發(fā)展新挑戰(zhàn)傳統(tǒng)運(yùn)行環(huán)境單機(jī)服務(wù)器FC交換機(jī)FC單機(jī)服務(wù)器FC交換機(jī)FC交換機(jī)磁盤陣列小型機(jī)本地盤小型機(jī)本地盤小型機(jī)本地盤不夠快不夠快不夠穩(wěn)不夠穩(wěn)不好用不好用?0.5+0.5<1：國(guó)產(chǎn)數(shù)據(jù)?本地盤、集中式存儲(chǔ)擴(kuò)展性弱（盤故障本地?多元數(shù)據(jù)庫(kù)，運(yùn)維難（DBA對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)技能縱向增加硬盤框刨根問(wèn)底2：集中式存儲(chǔ)vs分布式存儲(chǔ)（通用/縱向增加硬盤框集中式存儲(chǔ)集中式存儲(chǔ)對(duì)比分布式存儲(chǔ)塊/文件塊/文件RAID+BBU電池可靠性VS快卓越性能穩(wěn)易開放易用開放易用穩(wěn)定可靠恩墨實(shí)踐：zDataX多元數(shù)據(jù)庫(kù)一體多重可靠性保護(hù)機(jī)制，全棧國(guó)產(chǎn)保障數(shù)據(jù)庫(kù)運(yùn)行穩(wěn)定可靠靈活彈性多重可靠性保護(hù)機(jī)制，全棧國(guó)產(chǎn)保障數(shù)據(jù)庫(kù)運(yùn)行穩(wěn)定可靠靈活彈性，全棧全生命周期管理面向多元數(shù)據(jù)庫(kù)的開放易用架構(gòu)全自研分布式架構(gòu)滿足關(guān)鍵業(yè)務(wù)負(fù)載的業(yè)界領(lǐng)先性能數(shù)據(jù)庫(kù)層計(jì)算節(jié)點(diǎn)高速交換機(jī)數(shù)據(jù)庫(kù)層計(jì)算節(jié)點(diǎn)高速交換機(jī)存儲(chǔ)節(jié)點(diǎn)…計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)…數(shù)據(jù)庫(kù)管理設(shè)備管理RoCE交換機(jī)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)…口RACLE硬件管理4K隨機(jī)讀寫X280萬(wàn)IOPS@0.3X280萬(wàn)IOPS@0.3ms關(guān)鍵挑戰(zhàn)一種增一種增強(qiáng)Raft的三副本模式一種多線程無(wú)鎖緩存方案分布式存儲(chǔ)種leader重均衡控制一種保證快照一致性的方法基于RDMA的PM的一致性算法充分發(fā)揮硬件潛能,保證數(shù)據(jù)一致性RoCEv2數(shù)據(jù)庫(kù)分布式存儲(chǔ) EnhancedRaft(consensusalgorithm) CloneSnapshot2/3repChecksumCompress EulerOSEnlskUserSpaceDriverManager MogDBopenGaussKingbaseDMMySQL多并發(fā)下多線程無(wú)鎖內(nèi)存頁(yè)管理方法DeviceManager一體機(jī)管理平臺(tái)PrometheusRDMANIChttphttpsKunpengServiceEtcd軟件瘦身?專為數(shù)據(jù)庫(kù)設(shè)計(jì)，相比傳統(tǒng)架構(gòu)（支持多協(xié)議軟件架構(gòu)更精?數(shù)據(jù)處理單元由變長(zhǎng)改為定長(zhǎng)，處理機(jī)制更簡(jiǎn)單；寫IO處理流程減少1/3調(diào)度優(yōu)化?專核專用，保障關(guān)鍵業(yè)務(wù)資源?無(wú)鎖化設(shè)計(jì)，核心綁定資源對(duì)象?驅(qū)動(dòng)用戶態(tài)，處理流程更短?輪詢調(diào)度框架，降低切換時(shí)延高速協(xié)議?支持NVMe-oF、RDMA高速協(xié)議，充分發(fā)揮高速硬件性能挑戰(zhàn)：如何解決資源均衡分配的實(shí)現(xiàn)原理：核心綁定資源對(duì)象，避挑戰(zhàn)：如何解決資源均衡分配的實(shí)現(xiàn)原理：核心綁定資源對(duì)象，避免資源爭(zhēng)搶，引起性能下降分配盡量均勻CPUCPU1CPU2CPU3?資源分配不均會(huì)影響性能?CPU核心數(shù)越來(lái)越多，分配不均問(wèn)題更為突顯?故障場(chǎng)景下，如何重新均衡成為難題?算法優(yōu)化：自研調(diào)度算法，采用局部?jī)?yōu)化，多次迭代，逼近最優(yōu)均衡；已申請(qǐng)專利《一種非對(duì)稱分布的負(fù)載均衡方法》Cache5硬盤5網(wǎng)絡(luò)5Cache3硬盤3網(wǎng)絡(luò)3Cache2Cache5硬盤5網(wǎng)絡(luò)5Cache3硬盤3網(wǎng)絡(luò)3Cache2硬盤2網(wǎng)絡(luò)2Cache6硬盤6網(wǎng)絡(luò)6Cache4硬盤4網(wǎng)絡(luò)4Cache1硬盤1網(wǎng)絡(luò)2CPU1CPU2CPU3CPU4CPU5優(yōu)化后，每IO節(jié)省30-50微秒50%時(shí)延縮短使用使用sysbench進(jìn)行測(cè)試，zDataX相比本地盤，低并發(fā)場(chǎng)景性能弱于本地盤，高并發(fā)場(chǎng)景優(yōu)于本地盤，最高提升25%3023.5526.90426.1742015.2625.9920.918線程16線程32線程64線程128線程本地盤zDataXVSVS機(jī)柜組件數(shù)據(jù)節(jié)點(diǎn)?數(shù)據(jù)校驗(yàn)及數(shù)據(jù)一致性巡檢?硬件冗余設(shè)計(jì)、故障切換基于ROW構(gòu)建快照121233持續(xù)快照，性能平穩(wěn) 故障場(chǎng)景臨時(shí)離線場(chǎng)景集中式存儲(chǔ)zDataX集中式存儲(chǔ)zDataX亞健康：組件尚未故障，但出現(xiàn)慢速、壽命不足等降級(jí)問(wèn)題，影響業(yè)務(wù)性能，有中斷業(yè)務(wù)的風(fēng)險(xiǎn)節(jié)點(diǎn)亞健康網(wǎng)絡(luò)亞健康節(jié)點(diǎn)亞健康網(wǎng)絡(luò)亞健康硬盤亞健康IB降速亞健康處理1024節(jié)點(diǎn)性能、容量線性增長(zhǎng)性能、容量線性增長(zhǎng)3節(jié)點(diǎn)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)操作系統(tǒng)操作系統(tǒng)物理硬件物理硬件OFUSION計(jì)算存儲(chǔ)A網(wǎng)絡(luò)圍繞數(shù)據(jù)庫(kù)及基礎(chǔ)設(shè)施，進(jìn)行全棧全生命周期管理口RACLE事前分析預(yù)防提前規(guī)避80%問(wèn)題事后快速恢復(fù)快速故障分析事前分析預(yù)防提前規(guī)避80%問(wèn)題事后快速恢復(fù)快速故障分析分鐘級(jí)主備切換問(wèn)題發(fā)現(xiàn)效率提升10倍???件榮獲華為主辦“2023鯤鵬應(yīng)用創(chuàng)新大賽”l行勝于言：助力某省衛(wèi)健委構(gòu)建全棧國(guó)產(chǎn)數(shù)據(jù)庫(kù)資源池18臺(tái)國(guó)產(chǎn)架構(gòu)服務(wù)器+zDataX構(gòu)建全棧國(guó)產(chǎn)數(shù)據(jù)庫(kù)資源池基衛(wèi)醫(yī)療基衛(wèi)綜合基衛(wèi)醫(yī)療基衛(wèi)綜合………………高速互聯(lián)主備容災(zāi)基衛(wèi)醫(yī)療基衛(wèi)綜合基衛(wèi)醫(yī)療基衛(wèi)綜合………………高速互聯(lián)主備容災(zāi)…………高速互聯(lián)“醫(yī)療信創(chuàng)賽道一等獎(jiǎng)”“最佳實(shí)踐應(yīng)用獎(jiǎng)”l行勝于言：池化整合，助力某證券公司架構(gòu)創(chuàng)新升級(jí)數(shù)據(jù)庫(kù)種類多傳統(tǒng)架構(gòu)性能差資源利用率低zDataX構(gòu)建多元數(shù)據(jù)庫(kù)資源池X86X86X86X86X86X86X86X86X86X86X86X86X86X86在整體性能上遠(yuǎn)超X86+集中存儲(chǔ)架構(gòu)，IOPS合計(jì)超過(guò)百萬(wàn)。zDataX上線后，各項(xiàng)性能指標(biāo)顯著提升。DBTime降低至原來(lái)的1/20，SQL語(yǔ)句從業(yè)務(wù)角度上來(lái)看，常用業(yè)務(wù)功能的查詢速度l行勝于言：某交通行業(yè)客戶核心數(shù)據(jù)庫(kù)自主創(chuàng)新改造項(xiàng)目緣起數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施4保障業(yè)務(wù)連續(xù)性方案架構(gòu)鯤鵬服務(wù)器鯤鵬服鯤鵬服務(wù)器鯤鵬服EEEEEEEE司主機(jī)房容災(zāi)機(jī)房數(shù)據(jù)同步容災(zāi)機(jī)房TOSTOS計(jì)算層網(wǎng)絡(luò)層鯤鵬服務(wù)器鯤鵬服務(wù)器