立足可信攜手創(chuàng)新：人大金倉數(shù)據(jù)庫產(chǎn)業(yè)化歷程分享

立足可信，攜手創(chuàng)新人大金倉數(shù)據(jù)庫產(chǎn)業(yè)化歷程分享金學(xué)東｜人大金倉01數(shù)據(jù)庫技術(shù)演進路線02數(shù)據(jù)庫產(chǎn)業(yè)化歷程及經(jīng)驗03解決方案及典型案例Chapter01第一部分：數(shù)據(jù)庫技術(shù)演進路線多類型數(shù)據(jù)庫百花齊放，關(guān)系型占據(jù)絕對主流數(shù)據(jù)庫技術(shù)路線圖前關(guān)系型數(shù)據(jù)庫階段（1960～1970）后關(guān)系型數(shù)據(jù)庫階段（2008～至今）關(guān)系型數(shù)據(jù)庫階段2005年InnoBase被Oracle收購2009年MySQLAB被Oracle收購2001年InnoBase開源InnoDB2016年MySQL8.0MySQLNDB1996年MySQL發(fā)布2003年MySQL5.02019年分布式分析型GreenPlume6.02015年分布式分析型GreenPlume開源1973年UCB啟動Ingres項目1996年P(guān)ostgreSQL6.0*以下簡稱PG2005年2017年2010年2019年2021年1984年Informix1987年前關(guān)系型數(shù)據(jù)庫階段（1960～1970）后關(guān)系型數(shù)據(jù)庫階段（2008～至今）關(guān)系型數(shù)據(jù)庫階段2005年InnoBase被Oracle收購2009年MySQLAB被Oracle收購2001年InnoBase開源InnoDB2016年MySQL8.0MySQLNDB1996年MySQL發(fā)布2003年MySQL5.02019年分布式分析型GreenPlume6.02015年分布式分析型GreenPlume開源1973年UCB啟動Ingres項目1996年P(guān)ostgreSQL6.0*以下簡稱PG2005年2017年2010年2019年2021年1984年Informix1987年Sybase1988年SqlServer2010年分布式交易型PG-XC發(fā)布2014年HTAPPG-XL開源2006年GoogleFileSystem/MapReduce/BigTable1964年IDS，網(wǎng)狀數(shù)據(jù)庫面世1973年IBM啟動systemR項目IBM提出SQL2012年GoogleSpanner論文發(fā)表2002年ApacheNutch項目Hadoop誕生1992年MicaelStoneBraker提出對象關(guān)系模型2017年GoogleCloudSpanner上線AWSAurora論文發(fā)表1970年E.F.Codd發(fā)布“大型共享數(shù)據(jù)庫的數(shù)據(jù)關(guān)系模型”論文1999年Oracle8i2001年2005年Oracle9iOracle10gR21979年OracleV21985年OracleV52009年Oracle11gR22013年Oracle12c2019年Oracle19c數(shù)據(jù)庫關(guān)鍵技術(shù)淺析客戶端客戶端服務(wù)器端運行態(tài)物理優(yōu)化文件系統(tǒng)服務(wù)器端運行態(tài)物理優(yōu)化文件系統(tǒng)Chapter02第二部分：數(shù)據(jù)庫產(chǎn)業(yè)化歷程及經(jīng)驗數(shù)據(jù)庫產(chǎn)品產(chǎn)業(yè)化核心要素產(chǎn)品能力–高效內(nèi)核+多模兼容+海量應(yīng)用+持續(xù)迭代服務(wù)器端運行態(tài)文件系統(tǒng)客戶端物理優(yōu)化10w+行代碼500+函數(shù)10w+行代碼300+10w+行代碼500+函數(shù)10w+行代碼300+函數(shù)OCI600w+行代碼250+函數(shù)500w+行代碼150+600w+行代碼250+函數(shù)500w+行代碼150+函數(shù)MS-SQL優(yōu)化引擎：涉及20+萬行代碼及150+邏輯/物理優(yōu)100w+行代碼100w+行代碼57w+行代碼產(chǎn)品生態(tài)–培訓(xùn)、兼容并行推進，持續(xù)累積中間件應(yīng)用coremail數(shù)據(jù)庫數(shù)據(jù)庫操作系統(tǒng)C)阿里云操作系統(tǒng)C)阿里云么騰訊云?openstack.云平臺inspurlenovoinspurlenovo主機芯片芯片500+成員數(shù)9000+500+成員數(shù)9000+生態(tài)產(chǎn)品適配及認證合作伙伴500+15000+覆蓋全國的認證工程師70000+15000+覆蓋全國的認證工程師完成金倉培訓(xùn)人次產(chǎn)品服務(wù)-規(guī)?；瘓F隊+平臺化支撐萬《《千《《千百百人大金倉發(fā)展歷程人大金倉公司成立KESV1/V2/V3國家863重大專項北京市科技計劃重大課題>基于研發(fā)原型，進行產(chǎn)品化升級改造>性能提升KESV7國家核高基重大專項國家電網(wǎng)，調(diào)配電業(yè)務(wù)系統(tǒng)上線>列存儲>安全四級>垂直分區(qū)>集群能力（讀寫分離+VIP）>Oracle兼容性改造KESV8R6WG2數(shù)據(jù)庫工作組組長單位>架構(gòu)全面實現(xiàn)插件化解偶>Oracle、MySQL兼容>存儲引擎升級（CSN快照）>單機TPCC性能突破150wtpmc>高可用升級>KGIS引擎發(fā)布>發(fā)布KES運管平臺75/85/95計劃1999-20032004-20082008-20122012-20182019-20202021-2022NewGeneration原型研發(fā)KESV4/V5/V6KESV8R2/V8R3The原型研發(fā)KESV4/V5/V675計劃>Oracle分析85計劃>CoBaseV1.0人大/北大聯(lián)合攻關(guān)95計劃在校科研階段>PBaseV2.0引入并行化>自然科學(xué)基金在?？蒲须A段國家863重大專項>多線程架構(gòu)體系>自研存儲引擎>持續(xù)產(chǎn)品化改造國家科學(xué)技術(shù)進步二等獎國家核高基重大專項信創(chuàng)市場市占率超50%>單機TPCC性能突破100wtpmc>Oracle兼容性強化>兼容信創(chuàng)全生態(tài)產(chǎn)品成熟階段>發(fā)布一站式遷移解決方案產(chǎn)品成熟階段>RAC>查詢優(yōu)化>多模存儲引擎*>AIforDB*技術(shù)引領(lǐng)階段>數(shù)據(jù)庫一體機技術(shù)引領(lǐng)階段產(chǎn)品快速迭代階段產(chǎn)品快速迭代階段1999Chapter03第三部分：解決方案及核心案例解決方案–高性能、高可用、高安全解決方案–三低一平，平滑遷移解決方案多源、多模高度兼容異構(gòu)數(shù)據(jù)源多源、多模高度兼容異構(gòu)數(shù)據(jù)源數(shù)據(jù)遷移KES目標(biāo)KES庫數(shù)據(jù)比對自動化評估、報告存量、增量、在線、離線數(shù)據(jù)遷移覆蓋數(shù)據(jù)庫全生命管控周期云上、云下一體化B/S工具接收SQLOracle常用功能100%兼容SQLServer常用功能90%+兼容MySQL常用功能90%+兼容低業(yè)務(wù)侵?jǐn)_：在線數(shù)據(jù)遷移和應(yīng)用適配過低業(yè)務(wù)侵?jǐn)_：在線數(shù)據(jù)遷移和應(yīng)用適配過程對源端業(yè)務(wù)無侵?jǐn)_兩階段正反向?qū)崟r同步，完整數(shù)據(jù)庫回退保障數(shù)據(jù)同步快：先遷移數(shù)據(jù)庫結(jié)構(gòu)和歷史數(shù)據(jù)，構(gòu)建異構(gòu)容災(zāi)集群，數(shù)據(jù)快速追平萬級TPS復(fù)制能力模塊化可擴展架構(gòu)全過程圖形化管理及監(jiān)控毫秒級延遲數(shù)據(jù)一致：在線遷移過程中源端業(yè)務(wù)產(chǎn)生的數(shù)據(jù)變化均可捕獲，并提供本地緩存策略，保障數(shù)據(jù)一致性支持異構(gòu)環(huán)境事務(wù)一致性保障兩階段正反向?qū)崟r同步，完整數(shù)據(jù)庫回退保障數(shù)據(jù)同步快：先遷移數(shù)據(jù)庫結(jié)構(gòu)和歷史數(shù)據(jù)，構(gòu)建異構(gòu)容災(zāi)集群，數(shù)據(jù)快速追平萬級TPS復(fù)制能力模塊化可擴展架構(gòu)全過程圖形化管理及監(jiān)控毫秒級延遲數(shù)據(jù)一致：在線遷移過程中源端業(yè)務(wù)產(chǎn)生的數(shù)據(jù)變化均可捕獲，并提供本地緩存策略，保障數(shù)據(jù)一致性支持異構(gòu)環(huán)境事務(wù)一致性保障解決方案–多云、多維、多元支撐解決方案省中心省中心外務(wù)口全系對服接安體外務(wù)口全系對服接安體理統(tǒng)理統(tǒng)城市-3城市-1城市-2城市-1城市-2城市-1城市-3城市-2城市-1城市-3城市-2省中心存儲傳輸安全：數(shù)據(jù)存儲，數(shù)據(jù)同步在途傳輸均采用國M算法加M高效網(wǎng)絡(luò)傳輸：存儲/傳輸4倍壓縮比，2M帶寬災(zāi)備無憂，定制化的傳輸協(xié)議，低質(zhì)量廣域網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)同步傳輸速率提升4倍存儲傳輸安全：數(shù)據(jù)存儲，數(shù)據(jù)同步在途傳輸均采用國M算法加M高效網(wǎng)絡(luò)傳輸：存儲/傳輸4倍壓縮比，2M帶寬災(zāi)備無憂，定制化的傳輸協(xié)議，低質(zhì)量廣域網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)同步傳輸速率提升4倍智能同步策略：按需按計劃同步，忙時OA辦公，閑時災(zāi)備同步，異構(gòu)DDL智能轉(zhuǎn)換，自適應(yīng)資源占用（系統(tǒng)、網(wǎng)絡(luò)）空間數(shù)據(jù)計算：提供700+空間函數(shù)，支持路徑分析功能，…空間數(shù)據(jù)處理：空間數(shù)據(jù)存儲、輸出、訪問、編輯，空間人大金倉各行業(yè)實踐成果