數(shù)據(jù)庫高用架構(gòu)課件

1、數(shù)據(jù)庫高可用架構(gòu)Jacky Alibabawww.HelloDBA.net問題與挑戰(zhàn)集中式數(shù)據(jù)庫成為系統(tǒng)瓶頸 數(shù)據(jù)庫依賴高端硬件設(shè)備小型機(jī)和高端存儲硬件可用性要求高Scale up數(shù)據(jù)庫如何線性擴(kuò)展（Scale out）利用廉價設(shè)備搭建高可用數(shù)據(jù)庫集群CAP原理Consistency：一致性Availability：可用性Partition tolerance：分區(qū)容錯性三者不可兼得傳統(tǒng)數(shù)據(jù)庫（CA）ACID原子性，一致性，隔離性，持久性NoSQL產(chǎn)品（AP）BASE基本可用，軟狀態(tài)，最終一致 Hardware HAActive/StandbyHigh AvailabilityBad Scal

2、ability IBM hacmp HP serviceguardOracle Data GuardPrimary服務(wù)，Standby只讀(11g)異步傳送方式，可能導(dǎo)致數(shù)據(jù)丟失失敗切換需要人工干預(yù)廉價的容災(zāi)方案Oracle RAC 架構(gòu)Shared Disk Oracle Clusterware High AvailabilityScale outLoad BalanceTAFOracle RAC 特點(diǎn)應(yīng)用透明廉價的高可用方案擴(kuò)展能力有限共享存儲的擴(kuò)展能力節(jié)點(diǎn)間通信成本DSS類型應(yīng)用分析可擴(kuò)展特性 充分利用節(jié)點(diǎn)計算能力降低節(jié)點(diǎn)間通信成本OLTP類型應(yīng)用分析 高可用特性應(yīng)用透明切換(TAF)O

3、racle ASMOracle ASM 特點(diǎn)具備整合多個存儲設(shè)備的能力，解決存儲的擴(kuò)展問題自動負(fù)載均衡，支持RAID 10ASM替換裸設(shè)備ACFS替換OCFS所有的數(shù)據(jù)都可以放在ASM中 ASM是免費(fèi)的 MySQL ReplicationMaster + Slave（單向復(fù)制）Master + Master（雙向復(fù)制）Dual master + heartbeat (HA)Slave可讀寫，比Oracle DG更靈活MySQL Cluster 架構(gòu)Shared Nothing High AvailabilityScale outMySQL cluster 特點(diǎn)完全分布式架構(gòu)高可用可擴(kuò)展 存儲節(jié)

4、點(diǎn)，處理節(jié)點(diǎn)和管理節(jié)點(diǎn)內(nèi)存存儲引擎NDB自動數(shù)據(jù)hash分布數(shù)據(jù)自動冗余，防止單點(diǎn)故障性能不理想數(shù)據(jù)同步寫多節(jié)點(diǎn)數(shù)據(jù)按照PK Hash分布UK需要根據(jù)PK訪問兩次Join需要將數(shù)據(jù)讀取至mysqld處理技術(shù)發(fā)展趨勢硬件Intel CPU vs IBM PowerCPU多核化Flash Cache / SSDPC server RAS特性增強(qiáng)Reliability, Availability and Serviceability軟件虛擬化分布式 云計算Oracle Exadata Oracle ExadataOracle ExadataOracle Exadata 特性功能 Smart Scan

5、Smart Flash CacheStorage IndexHybrid Columnar Compressed特點(diǎn)廉價設(shè)備組成的BOXRAC整合計算能力ASM整合存儲能力Infiniband高速互聯(lián)網(wǎng)絡(luò)Flash cache作為二級Cache同時支持DSS和OLTP應(yīng)用缺點(diǎn)：貴 讀寫分離架構(gòu)-MySQL復(fù)制讀寫分離架構(gòu)-Oracle Active Standby讀寫分離架構(gòu)-DB+MemcacheFacebook MySQL+Memcache架構(gòu)讀寫分離架構(gòu)分析適合Read Intensive應(yīng)用數(shù)據(jù)庫復(fù)制存在延遲一致性的問題Read-your-writes consistencySessi

6、on consistency數(shù)據(jù)庫單機(jī)容量成為瓶頸，Sharding？Memcache crash = Disaster ?!分布式Memcached集群Consisitent hashConsistent hashConsistent hashSharding架構(gòu)BASE思想的產(chǎn)物具備線性擴(kuò)展能力弱化關(guān)系型處理DB = KV Store分布式Hash算法Hash(key) mod n Virtual Partition Hash Virtual Partition Hash策略根據(jù)mod計算hash分布的缺陷節(jié)點(diǎn)變化時，所有數(shù)據(jù)需要重新分布Virtual Partition hash策略虛擬

7、分區(qū)策略，預(yù)分區(qū)物理節(jié)點(diǎn)包含多個虛擬分區(qū)增加節(jié)點(diǎn)時，只需移動部分虛擬分區(qū)每個節(jié)點(diǎn)都有備用節(jié)點(diǎn)可根據(jù)壓力狀況靈活配置Consistent hash策略的簡化Virtual Partition Hash策略Virtual Partition Hash策略分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫Proxy應(yīng)用透明Query ParseQuery RouteResults MergeLoad Balance故障探測Failover數(shù)據(jù)庫同步技術(shù)為什么需要數(shù)據(jù)庫同步構(gòu)建多站點(diǎn)架構(gòu)數(shù)據(jù)庫復(fù)制無法滿足需要商業(yè)產(chǎn)品Quest ShareplexOracle Goldengate我們的解決方案觸發(fā)器方案日志解析Oracle redo log MySQL binlog數(shù)據(jù)打包傳輸數(shù)據(jù)庫，文件，圖片應(yīng)用模型并行應(yīng)用模型如何保持事務(wù)一致我們可以做到更好解析SQL靈活定義業(yè)務(wù)邏輯提升處理能力 技術(shù)趨