云圖數(shù)據(jù)庫技術(shù)介紹

1、 揚帆起航云圖數(shù)據(jù)庫技術(shù)介紹高 難 度傳 統(tǒng) 國 產(chǎn) 數(shù) 據(jù) 庫 技 術(shù) 仍 需 改 善 遷 移 風(fēng) 險 高 ， 改 造 投 入 大成 本 激 增許 可 購 買 壓 力 顯 現(xiàn) 維 護 服 務(wù) 費 用 上 揚技 術(shù) 鎖 定嚴 重 損 害 用 戶 議 價 能 力 技 術(shù) 發(fā) 展 路 線 被 綁 架好用不改變使用習(xí)慣123不折騰替換過程投入低靠譜不增加風(fēng)險安全合規(guī)增強透明加密 三權(quán)分立 行為審計 隱私標(biāo)簽提升易用性&可管理性智能運維工具 質(zhì)量審核工具 數(shù)據(jù)脫敏工具基于PostgreSQL 11成熟可靠 性能優(yōu)異 HTAP能力降低遷移難度Oracle兼容性 一鍵遷移工具 上線保障方案最佳實踐產(chǎn)品化分

2、布式組件 高可用組件 多副本組件107x25x14x 諾貝爾獎圖靈獎菲爾茲獎Julius OppenheimerEdward Teller陳省身 丘成桐 朱棣文Michael Stonebraker成立Ingres公司 1982Sybase SQLServer 1984加入Boardcom 2018Sybase ASE 1997MicrosoftSQL Server 1994加入CA Tech. 1994Illustra 1990融入到Informix 1997Greenplum 2006AtlasDB 2018主要創(chuàng)始人 & 主持者 圖靈獎得主UCB 華人研究生 Andrew Yu & Jo

3、lly Chen 建立SQL解釋系統(tǒng) 1995基于BSD許可Ingres 1977Postgres 1986PostgreSQL 1996PG 10 2017PG 11 2018PG 12 2019100500吞吐量（tpmC）300并發(fā)度TPC-C（100倉）簡單查詢吞吐量對比 OLTP場景 AtlasDB(PostgreSQL) 某開源數(shù)據(jù)庫 某商業(yè)數(shù)據(jù)庫SQL #1SQL #5SQL #9SQL #13SQL #17SQL #21耗時（ms）TPC-H（100GB）復(fù)雜查詢耗時對比 OLAP場景某 開 源 數(shù) 據(jù) 庫某 商 業(yè) 數(shù) 據(jù) 庫AtlasDB(PostgreSQL)30.4%4

4、4.4%41.8%22.2%68.5%0.0%85.7%0.0%0.0%98.7%99.3%88.2%100.0%98.9%100.0%100.0%98.5%62.6%D M LD D LP L / S Q L數(shù)據(jù)類型函數(shù)包運算符系統(tǒng)視圖預(yù)定義參數(shù)兼 容 度原生PGAtlasDB T1Oracle 兼 容 性 大 幅 增 強配 套 一 鍵 數(shù) 據(jù) 庫 遷 移 工 具數(shù) 據(jù) 自動遷移遷 移 前 分 析遷 移 后 校驗工作量評估應(yīng)用移植指引遷 移 報 告校 驗 報 告e x B a s e小規(guī)模場景注重快：步驟少、時間短、成本低大規(guī)模場景注重 穩(wěn) ：步步為營、減少停機、降低風(fēng)險大規(guī)模數(shù)據(jù)庫 平滑

5、過渡 遷移準備控速 完整抽取控速 差異抽取是否 n 分鐘 數(shù)據(jù)追平差異校驗 結(jié)構(gòu)移植數(shù)據(jù)對象 移植源庫結(jié)構(gòu) 分析補充規(guī)則 設(shè)計全速 差異抽取 系統(tǒng)切換差異校驗系統(tǒng)割接完成需 要 停 機 的 步 驟架構(gòu)靈活支持全庫復(fù)制或表級復(fù)制支持一對多復(fù)制和級聯(lián)復(fù)制支持一主一備、一主多備、雙活、多活資源利用率高支持單向復(fù)制或雙向復(fù)制支持主備、讀寫分離、并行多活業(yè)務(wù)適應(yīng)性強支持同步、半同步、異步復(fù)制千兆局域網(wǎng)場景可實現(xiàn) 秒 級 故 障 切 換架構(gòu)成熟共享存儲保障數(shù)據(jù)無差異Quorum + Fencing 防止裂腦延續(xù)傳統(tǒng)HA集群或RAC集群拓撲架構(gòu)投資保護原有服務(wù)器設(shè)備利舊利用原有核心存儲設(shè)備滿足傳統(tǒng)IT系統(tǒng)高

6、可用需求RPO = 0，RTO = 10分鐘千兆網(wǎng)下可實現(xiàn) RTO/RPO 級別APP4APP1APP2APP3全局事務(wù) 強一致性支持讀寫分離高可用性架構(gòu)，無單點故障在線 動態(tài)擴容數(shù)據(jù)自動重分布16節(jié)點內(nèi)性能近線性提升R2 = 0.9944 1,800,0001,500,0001,200,000900,000600,000300,000-24681 01 21 41 6吞吐量（TPMC）節(jié)點數(shù)高并發(fā)場景（ T P C - C 1 0 0 倉）R2 = 0.91670100020003000400024681 01 21 41 6耗時（毫秒）節(jié)點數(shù)復(fù)雜查詢場景（ 大表聚合運算）節(jié) 點 數(shù) 每 增

7、 加 1 倍 吞 吐 量 約 增 加 90%節(jié) 點 數(shù) 每 增 加 1 倍 耗 時 約 降 低 49%兆 芯處理 器AMD鯤 鵬龍 芯申 威飛 騰海 光IntelHP-UX操作系統(tǒng)中標(biāo)麒麟銀河麒麟AIXUbuntuSUSE深度中間件WeblogicTomcat金蝶東 方 通中 創(chuàng)寶 蘭 傅Websphere外部數(shù)據(jù)MySQLOracleDB2MongoDBCassandraInfluxDBMSSQLElasticSearchHbase/ORCSparkETCHIVEImpalaRedisFilesRHELSolaris增強身份識別自主訪問控制授權(quán)傳播限制強制訪問控制三權(quán)分立 安全標(biāo)簽安全審計行

8、為審計 安全阻斷數(shù)據(jù)加密通訊加密 字段加密 文件加密根據(jù)過去采集的數(shù)據(jù)庫運行數(shù)據(jù)進行趨勢分析預(yù)測并提醒未來可能發(fā)生的風(fēng)險事件，防患于未然單機分布式 集群高可用 集群調(diào) 研 規(guī) 劃測 試 上 線數(shù) 據(jù) 遷 移迭 代 優(yōu) 化維 護 保 障咨詢顧 問服務(wù)7x24售后維保性能調(diào)優(yōu) 服務(wù)駐場保 障服務(wù)數(shù)據(jù)遷 移服務(wù)安裝部 署服務(wù)安 裝 配 置30+ 城市2,000+ 企業(yè)客戶10,000+ 業(yè)務(wù)系統(tǒng)廣州深圳北京上海武漢杭州成都鄭州南寧大連福州貴陽合肥蘭州南昌南京青島廈門沈陽莊太 原 石 家 濟 南天津濰坊西安銀川長春長沙重慶呼和浩 特烏魯木 齊西寧昆明?？诠?濱 應(yīng)用開發(fā)編碼階段SQL語句質(zhì)量自查，幫

9、助開發(fā)人員培養(yǎng)合規(guī)意識，提 升SQL編寫質(zhì)量 正式投產(chǎn)運維階段持續(xù)監(jiān)控數(shù)據(jù)量與系統(tǒng)資源余量，分析應(yīng)用SQL指令執(zhí)行效率， 定位潛在低效SQL語句，提前解決隱患 UAT與試運行階段全面查驗數(shù)據(jù)庫設(shè)計與SQL語句編寫合理性與合規(guī)性，以工單形 式發(fā)起與跟蹤整改任務(wù)，切實保障整體合規(guī)高效 系統(tǒng)迭代優(yōu)化階段數(shù)據(jù)庫改造腳本自動預(yù)審與DBA復(fù)審，指定可執(zhí)行時間窗口， 監(jiān)控執(zhí)行全過程 實時數(shù)據(jù)共享場景基于成本分析復(fù)雜查詢執(zhí)行計劃，跟蹤低效復(fù)雜查詢操作，協(xié) 助對性能波動進行溯源把控數(shù)據(jù)庫全生命周期的每一個關(guān)鍵節(jié)點，從源頭發(fā)現(xiàn)并排除低效SQL語句和不合理數(shù)據(jù)庫設(shè)計發(fā)現(xiàn)隱私數(shù)據(jù)能夠 自動 掃描并定位企業(yè)當(dāng)中的敏 感數(shù)據(jù)發(fā)現(xiàn)表與表之間的關(guān)聯(lián)關(guān)系準確率99.5%以上漂白隱私數(shù)據(jù)保持數(shù)據(jù)的關(guān)聯(lián)關(guān)系提供 高仿真度 的偽數(shù)據(jù)不可逆 算法，保證數(shù)據(jù)安全保持異常數(shù)據(jù)，確保故障點不會遺漏多種 行業(yè)專用 業(yè)務(wù)模型 政府、銀行、醫(yī)療、保險、投資多種 中國特色 隱私數(shù)據(jù)模版 工商注冊號、組織機構(gòu)代碼、納稅人 識別號、統(tǒng)一社會信用代碼VIEWTAB1HIST_TAB1UION ALL生產(chǎn)數(shù)據(jù)庫歷史數(shù)據(jù)庫FDWInfoCycle歸檔Client支持多種歸檔庫可歸檔結(jié)構(gòu)化數(shù)據(jù)和文檔自動發(fā)現(xiàn)數(shù)