RapidsDB替換Oracle TT及TeraData技術(shù)方案

1、RapidsDB替換Oracle TT及TeraData技術(shù)方案VS Oracle TimesTen核心技術(shù)簡(jiǎn)介123公司簡(jiǎn)介1VS TeraData4RapidsDB核心架構(gòu)RapidsDB核心架構(gòu)核心特點(diǎn)全內(nèi)存MPP數(shù)據(jù)庫(kù)，高性能，高吞吐量支持并發(fā)復(fù)雜查詢的全面ACID數(shù)據(jù)倉(cāng)庫(kù)支持最新ISO 9075:2011 SQL規(guī)范支持高性能存儲(chǔ)過程高可用性，自平衡動(dòng)態(tài)數(shù)據(jù)導(dǎo)出異地災(zāi)備，動(dòng)態(tài)遷移Oracle TimesTen vs. RapidsDB關(guān)系型內(nèi)存數(shù)據(jù)庫(kù)偏重于復(fù)雜事務(wù)處理，主要應(yīng)用于OLTP，在數(shù)據(jù)分析和查詢方面，受架構(gòu)限制性能無法橫向擴(kuò)展，且很難支持并發(fā)所有數(shù)據(jù)在內(nèi)存中，有單點(diǎn)故障隱患

2、針對(duì)物理內(nèi)存特別優(yōu)化的存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)處理算法使用標(biāo)準(zhǔn) APIs: SQL, PL/SQL, JDBC, ODP.NET, OCI, Pro*C, ODBC, 沒有網(wǎng)絡(luò)傳輸?shù)念~外開銷，沒有進(jìn)程間通信(IPC)額外開銷極低的響應(yīng)時(shí)間(就像調(diào)用程序里面的一個(gè)函數(shù)一樣)通過數(shù)據(jù)復(fù)制來提高性能6關(guān)系型MPP內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)偏重于數(shù)據(jù)分析和挖掘，主要應(yīng)用于OLAP，也可以處理簡(jiǎn)單的高頻事務(wù)。所有數(shù)據(jù)在分布式的內(nèi)存中針對(duì)多物理節(jié)點(diǎn)內(nèi)存特別優(yōu)化的存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)處理算法JAVA嵌入式SQL編程（JAVA Stored Procedure）= 更快的速度，兼顧數(shù)據(jù)完整性。應(yīng)用程序和RapidsDB無縫鏈接使用標(biāo)準(zhǔn) A

3、PIs: SQL, JAVA SP/SQL,CLI, RESTFUL等等JAVA應(yīng)用程序操作分布在各個(gè)節(jié)點(diǎn)內(nèi)存當(dāng)中的數(shù)據(jù)庫(kù)數(shù)據(jù)，就如同操作本機(jī)數(shù)據(jù)庫(kù)一樣的方便極低的響應(yīng)時(shí)間，同一個(gè)任務(wù)會(huì)被優(yōu)化切分到多節(jié)點(diǎn)協(xié)同運(yùn)行Oracle TimesTen柏睿 RapidsDBTeradata vs. RapidsDB關(guān)系型MPP數(shù)據(jù)庫(kù)（基于磁盤）偏重于數(shù)據(jù)分析，主要應(yīng)用于OLAP，在數(shù)據(jù)分析和查詢方面，受架構(gòu)限制性能無法橫向擴(kuò)展，且很難支持大規(guī)模并發(fā)所有數(shù)據(jù)每個(gè)節(jié)點(diǎn)的磁盤中，有單點(diǎn)故障隱患。一般需要再另外災(zāi)備節(jié)點(diǎn)針對(duì)物理磁盤存儲(chǔ)優(yōu)化的存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)處理算法使用標(biāo)準(zhǔn) APIs: SQL, PL/SQL, J

4、DBC, ODP.NET, OCI, Pro*C, ODBC, 不支持動(dòng)態(tài)數(shù)據(jù)的處理7關(guān)系型MPP內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)偏重于數(shù)據(jù)分析和挖掘，主要應(yīng)用于OLAP，也可以處理簡(jiǎn)單的高頻事務(wù)硬件推動(dòng)軟件的革新內(nèi)存計(jì)算: 無磁盤讀IO (UPDATE被log并持久化到磁盤)高度并行的優(yōu)化執(zhí)行緩存、眾核配合數(shù)據(jù)組織多引擎數(shù)據(jù)平臺(tái): 超越SQL本身 關(guān)系型，文本, 圖計(jì)算, MapReduce, Stream針對(duì)應(yīng)用對(duì)象模型優(yōu)化的嵌入式開發(fā)模式及環(huán)境 (scripting)： JAVA Stored Procedure = 更快的速度，兼顧數(shù)據(jù)完整性。應(yīng)用程序無縫鏈接簡(jiǎn)化的系統(tǒng)架構(gòu)，便于橫向擴(kuò)展減少DB管理的消耗

5、極低的響應(yīng)時(shí)間，同一個(gè)任務(wù)會(huì)被優(yōu)化切分到多節(jié)點(diǎn)協(xié)同運(yùn)行Teradata柏睿 RapidsDB移植簡(jiǎn)介3移植步驟時(shí)間序列數(shù)據(jù)的JOIN時(shí)間序列數(shù)據(jù)的SUM時(shí)間序列功能結(jié)合時(shí)間序列功能的架構(gòu)技術(shù)細(xì)節(jié)4傳統(tǒng)數(shù)據(jù)庫(kù)NoSQLRapidsDB橫向擴(kuò)展通過分片集群高可用數(shù)據(jù)副本ACID無法跨分片SQL支持關(guān)系型跨分區(qū)多表關(guān)聯(lián)跨分片需在客戶端客戶端服務(wù)器端成本$與傳統(tǒng)數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)對(duì)比去鎖無磁盤IO（除持久化功能外）CPU線程綁定無切換多副本保證高可靠高性能命令日志擅長(zhǎng)高并發(fā)低延時(shí)應(yīng)用多節(jié)點(diǎn)，線性提升性能可運(yùn)行在任何普通服務(wù)器上單節(jié)點(diǎn)可達(dá)到每秒20萬(wàn)事務(wù)與傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)比支持SQL支持復(fù)雜事務(wù)邏輯支

6、持多分區(qū)事務(wù)強(qiáng)一致性在線擴(kuò)容與NoSQL系統(tǒng)對(duì)比分區(qū)表數(shù)據(jù)量較大或?qū)戄^多的表每個(gè)分區(qū)綁定到每臺(tái)服務(wù)器的一個(gè)CPU核心客戶端無需擔(dān)心數(shù)據(jù)的位置復(fù)制表通常為較小或讀操作較多的表復(fù)制到每臺(tái)服務(wù)器較少跨節(jié)點(diǎn)操作作為開發(fā)者，只需指定每個(gè)分區(qū)表的分區(qū)鍵，RapidsDB會(huì)自動(dòng)根據(jù)鍵值將數(shù)據(jù)分區(qū)。數(shù)據(jù)分區(qū)執(zhí)行機(jī)制分區(qū)表被自動(dòng)切分到不同分區(qū)每個(gè)分區(qū)綁定一個(gè)CPU核心復(fù)制表在每臺(tái)服務(wù)器有一個(gè)副本RapidsDB擴(kuò)展模型事務(wù)可為單一SQL語(yǔ)句或存儲(chǔ)過程執(zhí)行成功自動(dòng)提交所有事務(wù)均保證ACID（強(qiáng)一致性）并發(fā)事務(wù)的數(shù)據(jù)同步通過同步時(shí)鐘來協(xié)調(diào)存儲(chǔ)過程支持Java語(yǔ)言，可嵌入多個(gè)SQL語(yǔ)句將執(zhí)行放到數(shù)據(jù)端，而非客戶端客戶

7、端可聯(lián)接到任何一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)SQL數(shù)據(jù)庫(kù)事務(wù)機(jī)制通過k-safety實(shí)現(xiàn)，k為副本數(shù)量任何寫操作都在所有副本上同步執(zhí)行，并通過CRC32校驗(yàn)是否一致讀事務(wù)可在任何一個(gè)副本運(yùn)行持久化也同時(shí)在所有副本進(jìn)行只要數(shù)據(jù)庫(kù)至少還有一個(gè)完整副本，集群就可用服務(wù)器宕機(jī)后可以重新加入集群恢復(fù)副本數(shù)量網(wǎng)絡(luò)分區(qū)發(fā)生時(shí)，為保證數(shù)據(jù)一致性，RapidsDB根據(jù)以下條件終止一部分分區(qū)節(jié)點(diǎn)數(shù)較少的分區(qū)終止兩個(gè)分區(qū)節(jié)點(diǎn)數(shù)一致時(shí)，其中一個(gè)分區(qū)自動(dòng)終止容錯(cuò)機(jī)制：k-safetyISO/IEC 9075:SQL 2011的支持SELECT, INSERT, UPDATE, DELETESQL支持AVG, COUNT, MAX, MIN, SUM等SQL函數(shù)列表SQL LIKE子查詢視圖JSON值SQL支持仍在不斷增加不支持的功能可通過Java存儲(chǔ)過程實(shí)現(xiàn)針對(duì)在線分析性事務(wù)處理優(yōu)化分析型事務(wù)引擎ISO SQL 2011的支持特點(diǎn)：1、數(shù)據(jù)流實(shí)時(shí)導(dǎo)出。2、 數(shù)據(jù)流輸出格式多樣性。3、數(shù)據(jù)流內(nèi)存溢出保護(hù)。4、自定義數(shù)據(jù)流導(dǎo)出接收器，方便用戶擴(kuò)展5、批量寫HDFS，寫入速度快6、今后會(huì)支持使用Stream直接操作HDFS中的數(shù)據(jù)與Hadoop的無縫集成增加存儲(chǔ)容量提高事務(wù)