postges x2分布式數(shù)據(jù)庫的介紹

1、Postgres-X2自我目錄背景Postgres-X2的架構(gòu)及技術(shù)測試及性能結(jié)果其他Postgres的簡介 開源的RDBMS 功能豐富 完整SQL、事務(wù)、過程、同步 企業(yè)應(yīng)用領(lǐng)域比較多 國內(nèi)案例 去哪兒、平安科技、 網(wǎng)等流Master同步streaSlave (Sync) synchronous_commit on, remote_write, local, and offSlave (Async)數(shù)據(jù)零丟失+高性能高可用問題已經(jīng)解決Sharding: postgres_fdw高擴展呢？分布式數(shù)據(jù)庫 面向大數(shù)據(jù)量、高并發(fā)的OLTP場景 多主多讀、橫向擴展 全功能型數(shù)據(jù)庫(ACID、SQL幾乎

2、)全功能 + 高擴展Postgres-XC/XL 開源Postgres-XC/XL簡介 Postgres-XC采用Postgres協(xié)議(類似BSD協(xié) 議) Postgres-XL以前是Mozzila協(xié)議，目前已經(jīng)改為PostgreSQL協(xié)議 面向OLTP及OLAP場景 采用Share-Nothing架構(gòu)、彈性擴展 基于Postgres改造、功能幾乎完全繼承社區(qū)發(fā)展歷史 20042008 NTT Data構(gòu)建了模型Rita- DB 2009年 NTT Data與EnterpriseDB合作進行社區(qū)化開發(fā) 2012, Postgres-XC 1.0正式發(fā)布 2012, StormDB在XC基礎(chǔ)上增

3、加MPP功能. 2013, XC 1.1發(fā)布； TransLattice 收購StormDB 2014, XC 1.2發(fā)布； StormDB 開源為Postgres-XL. 2015, 兩個社區(qū)合并為Postgres-X2目錄背景Postgres-X2的架構(gòu)及技術(shù)測試及性能結(jié)果其他設(shè)計理念高擴展全功能強一致性 Share nothing 架構(gòu) 功能解耦、分層擴展 數(shù)據(jù)分散在多個節(jié)點 繼承Postgres功能 繼承Postgres SQL能力不受限制 支持 過程 MVCC 全局事務(wù)支持強一致interfacePostgresparser應(yīng)用plannercatalogsystemexecutor

4、traniostoragediskPostgres的架構(gòu)架構(gòu)的解耦及分布式化interfaceinterfacecatalogglobalparserparserplannercatalogsystemsystemplannercatalogtranexecutorioexecutortranionstoragedisktranioglobal分布式執(zhí)行層數(shù)據(jù)層應(yīng)用Postgres-XC的整體架構(gòu)APAPAPPPPLoad balancer全局事務(wù)節(jié)點NodeC-NodeC-NodeC-GTM NodeD-NodeD-NodeD-NodeD-協(xié)調(diào)節(jié)點層數(shù)據(jù)節(jié)點層可以橫向擴展Postgres-X

5、C主要的模塊 Coordinator node：協(xié)調(diào)節(jié)點 負責(zé)接收用戶請求、生成并執(zhí)行分布式 、把SQL語句發(fā)給相應(yīng)的數(shù)據(jù)節(jié)點 Data node：數(shù)據(jù)節(jié)點 實際數(shù)據(jù)節(jié)點 GTM：全局事務(wù)節(jié)點 生成全局唯一的事務(wù)ID 全局的事務(wù)的狀態(tài) 序列等全局 關(guān)鍵模塊之間的 數(shù)據(jù)如何分布InsertC-nodecatalogGloballocatornodeD-nodeD-into t values(30)C-nodenodeD-nodeD-1,5,9,132,6,10,143,7,11,154,8,12,1630數(shù)據(jù)分布方式 replicated table表 表在多個節(jié)點 distributed ta

6、ble 分布式表 Hash Round robin Range(未實現(xiàn)) User define (未實現(xiàn))分布式 優(yōu)化 Parallel query Where pushdown Join pushdown Expression pushdown Order by Two phase Aggregate Fast query ship單一節(jié)點處理單一節(jié)點處理多節(jié)點處理MPP方面的優(yōu)化 數(shù)據(jù)節(jié)點間的數(shù)據(jù)傳輸 原來的Postgres-XC的D-Node間不能傳數(shù)據(jù) 數(shù)據(jù)需要匯聚到C節(jié)點進行處理 Postgres-XLD-Node間進行數(shù)據(jù)傳輸 執(zhí)行計劃.VS. SQL語句 C-node 

7、4; D-node XC發(fā)送SQL語句，XL發(fā)送執(zhí)行計劃Postgres-XL事務(wù)處理：2PC就可以了嗎？GTM全局事務(wù)狀態(tài)的處理高可用的設(shè)計-D-NodeMasterD-NodeD-NodeD-NodeHAHAHAStreareplicationSlaveD-NodeD-NodeD-Node高可用的設(shè)計-GTM為什么可以處理混合負載 OLTP 強事務(wù)一致性 多主節(jié)點可以應(yīng)付高并發(fā) 全功能 OLAP 多節(jié)點并行處理、Share nothing MPP目錄背景Postgres-X2的架構(gòu)及技術(shù)測試及性能結(jié)果其他基準(zhǔn)測試模型 DBT-1是TPC-W的開源版 模擬網(wǎng)店的在線 主要行為為用戶瀏覽、網(wǎng)上購物： primarily shop(WIPS), browsing (WIPSb) 以及 wbased ordering (WIPSo). DBT-3是TPC-H的開源版 數(shù)據(jù)倉庫DBT-1的表結(jié)構(gòu)硬件拓撲結(jié)構(gòu)OLTP的測試性