課件2主從復(fù)制用

1、課程目標(biāo)Ø掌握數(shù)據(jù)庫(kù)的大數(shù)據(jù)處理方案和HAØ掌握為什么需要數(shù)據(jù)庫(kù)中間件，何為數(shù)據(jù)庫(kù)中間件Ø掌握不同場(chǎng)景所需的數(shù)據(jù)庫(kù)中間件特性Ø掌握數(shù)據(jù)庫(kù)中間件設(shè)計(jì)要點(diǎn)分庫(kù)分表用海量數(shù)據(jù)專題課程安排04高可用方案企業(yè)級(jí)數(shù)據(jù)庫(kù)集群之HA 高可用架構(gòu)03讀寫分離如何使用數(shù)據(jù)庫(kù)中間件實(shí)現(xiàn)讀寫分離02原理主從工作原理理解， binlog的底層原理分析01概念和實(shí)戰(zhàn)何為主從，主從復(fù)制拓?fù)漕愋秃蛯?shí)戰(zhàn)搭建01何為主從，主從拓?fù)漕愋秃蛯?shí)戰(zhàn)搭建為什么需要主從數(shù)據(jù)庫(kù)存在海量數(shù)據(jù)量、性能、高并發(fā)讀寫的問題我們用分庫(kù)分表來處理海量數(shù)據(jù)我們用分庫(kù)分表、分區(qū)提升性能我們用分庫(kù)分表、分布式緩存應(yīng)對(duì)高并

2、發(fā)讀寫為解決數(shù)據(jù)、問題我們需要數(shù)據(jù)庫(kù)中間件。還有什么方式應(yīng)對(duì)讀寫？何為主從主從：MySQL提供了的功能，就是把一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)到其它數(shù)據(jù)庫(kù)的機(jī)制，源數(shù)據(jù)庫(kù)稱為主服務(wù)器，目的數(shù)據(jù)庫(kù)稱為從服務(wù)器構(gòu)建高性能應(yīng)用的基礎(chǔ)：Ø 實(shí)現(xiàn)數(shù)據(jù)庫(kù)的讀寫分離Ø 實(shí)現(xiàn)數(shù)據(jù)庫(kù)高可用的基礎(chǔ)等。主從的拓?fù)浣Y(jié)構(gòu)Ø一主多從由一個(gè)master和多個(gè)slave組成，Slave之間并不相互通信，只能與master進(jìn)行通信。如果寫操作較少，而讀操作很多時(shí)，可以采取這種結(jié)構(gòu)。Ø互為主從中的兩臺(tái)服務(wù)器，既是master，又是另一臺(tái)服務(wù)器的slave，兩臺(tái)mysql都可讀寫Ø級(jí)聯(lián)也就是打開l

3、og-slave-update選項(xiàng)，然后通過（或者是級(jí)別）來減少M(fèi)aster端因?yàn)樗鶐淼模喈?dāng)于從服務(wù)器再帶從服務(wù)器器02主從工作原理理解，binlog的底層原理分析實(shí)現(xiàn)原理1：主服務(wù)器將更新操作寫入二進(jìn)制日志文件（binarylog）2：當(dāng)從服務(wù)器連上主服務(wù)器的時(shí)候，它告訴主服務(wù)器它最后一次更新日志的位置，然后拷貝該位置后的二進(jìn)制日志文件到它的中繼日志(relaylog)3：從服務(wù)器會(huì)重做中繼日志中的，更新到數(shù)據(jù)庫(kù)中binlog的底層原理分析mysql的數(shù)據(jù)更新，主從主要依靠binlog類型Ø 基于語(yǔ)句的(Statement)：在從服務(wù)器上執(zhí)行與主服務(wù)器上一樣的SQL語(yǔ)句（ins

4、ert）Ø 基于行的(Row)：把改變的內(nèi)容過去，而不是把命令在從服務(wù)器上執(zhí)行一次(update)Ø 混合類型的會(huì)采用基于行的(Mixed)：默認(rèn)采用基于語(yǔ)句的。，一旦發(fā)現(xiàn)基于語(yǔ)句的無法精確的時(shí)，就主從Ø主從基本原則1：每個(gè)slave只能有一個(gè)master2：每個(gè)slave只能有一個(gè)唯一的服務(wù)器ID 3：每個(gè)master可以有很多slave4：如果你設(shè)置log_slave_updates，slave可以是其它slave的master5：MySQL不支持多主服務(wù)器，即一個(gè)slave可以有多個(gè)masterØ主從最大的問題延時(shí)由于所有的寫操作都是先在Maste

5、r上操作，然后同步更新到Slave上，所以從Master同步到Slave有一定的延遲，很繁忙的時(shí)候，延遲問題會(huì)更加嚴(yán)重，Slave數(shù)量的增加也會(huì)使這個(gè)問題更加嚴(yán)重。03如何使用數(shù)據(jù)庫(kù)中間件實(shí)現(xiàn)讀寫分離讀寫分離數(shù)據(jù)庫(kù)經(jīng)過后，多臺(tái)擁有一樣的數(shù)據(jù)，這樣就可以同時(shí)利用這些來分擔(dān)應(yīng)用的請(qǐng)求，通常的方式是，主服務(wù)器負(fù)責(zé)處理寫的請(qǐng)求，而其余從服務(wù)器負(fù)責(zé)處理讀的請(qǐng)求，這就是所謂的讀寫分離。讀寫分離的實(shí)現(xiàn)任務(wù)就一個(gè)：決定請(qǐng)求交給哪一個(gè)服務(wù)器來處理那么中間件如何來配置讀寫分離？Mycat讀寫分離ØØ配置mysql端主從的數(shù)據(jù)自動(dòng)同步，mycat不負(fù)責(zé)任何的數(shù)據(jù)同步問題。Mycat配置讀寫分離，

6、具體參數(shù)參面章節(jié)。<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql"<heartbeat>select user()</heartbeat><writeHost host="hostM1" url="192.168.1.201:3306" user="ro

7、ot" password="123456">dbDriver="native"><readHost host="hostS1" url="192.168.1.202:3306" user="root" password="123456"</writeHost></dataHost>weight="1" /><dataHost name="localhost1" maxCon

8、="1000" minCon="10"<heartbeat>select user()</heartbeat><writeHost host="hostM1" url="192.168.1.201:3306"<writeHost host="hostS1" url="192.168.1.202:3306"</dataHost>balance="1"writeType="0" dbType=

9、"mysql" dbDriver="native">user="root"user="root"password="123456"></writeHost>password="123456"></writeHost>第一種當(dāng)寫掛了讀不可用，第二種可以繼續(xù)使用。事務(wù)內(nèi)部的一切操作都會(huì)走寫節(jié)點(diǎn)，所以讀操作不要加事務(wù)。Sharding-JDBC讀寫分離ØØ配置mysql主從，Sharding-JDBC不負(fù)責(zé)任何的數(shù)據(jù)同步

10、問題。應(yīng)用中配置Sharding-JDBC讀寫分離shardingRule:masterSlaveRules: ms_ds0:masterDataSourceName: ds0 slaveDataSourceNames:- ds0_slave0- ds0_slave1 loadBalanceAlgorithmType: ROUND_ROBINms_ds1: masterDataSourceName: ds1 slaveDataSourceNames:- ds1_slave0- ds1_slave1 loadBalanceAlgorithmType: ROUND_ROBIN04企業(yè)級(jí)數(shù)據(jù)庫(kù)集群之

11、HA高可用架構(gòu)什么是HAHA(HighAvailable)，高可用性集群，指的是通過一組計(jì)算機(jī)系統(tǒng)提供透明的冗余處理能力，從而保證系統(tǒng)服務(wù)高度的連續(xù)可用。其主要是利用技術(shù)，多個(gè)不同數(shù)據(jù)庫(kù)主機(jī)之間進(jìn)行，以保持?jǐn)?shù)據(jù)的一致性，并通過一些第開源軟件來實(shí)現(xiàn)負(fù)載均衡和統(tǒng)一的成本。接口，既減少應(yīng)用程序開發(fā)的復(fù)雜性，也降低了企業(yè)的運(yùn)營(yíng)HA基本實(shí)現(xiàn)原理Ø軟件節(jié)點(diǎn)之間通過心跳或信息報(bào)文來確定健康狀態(tài)（故障檢測(cè)）Ø當(dāng)前提供服務(wù)的出現(xiàn)問題后，需要按照一定的規(guī)則，投票出新的提供服務(wù)的，并接管服務(wù)（故障切換）Ø能實(shí)現(xiàn)請(qǐng)求均勻分發(fā)（負(fù)載均衡）Ø提供虛擬IP給外部（對(duì)應(yīng)用透明）企業(yè)中MySQL的HA架構(gòu)Ø主從ØKeepalived+LVS+MySQLØHeartBeat+MySQLØHeartBeat+DRDB+MySQLHA架構(gòu)-主從主從方案缺點(diǎn)Ø 從庫(kù)切換成主庫(kù)需要作改動(dòng)，改動(dòng)時(shí)間內(nèi)服務(wù)不可用，Ø 不能故障、故障切換、負(fù)載均衡、對(duì)應(yīng)用透明。HA架構(gòu)-Keepalived+LVS+MySQLØ Keepalived提供故障檢測(cè)、故障切換、對(duì)應(yīng)用透明功能Ø LVS提供負(fù)載均衡功能Ø提供數(shù)據(jù)同步功能和讀寫功能HA架構(gòu)-Heart