生產(chǎn)數(shù)據(jù)庫(kù)架構(gòu)改造方案

1、生產(chǎn)數(shù)據(jù)庫(kù)性能優(yōu)化方案（初稿）1. 背景生產(chǎn)數(shù)據(jù)庫(kù)上線一段時(shí)間后由于數(shù)據(jù)量遠(yuǎn)大于預(yù)期，導(dǎo)致數(shù)據(jù)庫(kù)性能低下而影響正常業(yè)務(wù)，故需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行性能優(yōu)化。2. 現(xiàn)狀當(dāng)前數(shù)據(jù)庫(kù)結(jié)構(gòu)如下圖所示：圖2-1 系統(tǒng)結(jié)構(gòu)示意圖上游三個(gè)數(shù)據(jù)源通過(guò)DI工具以定時(shí)任務(wù)的方式將上游數(shù)據(jù)抽取到基礎(chǔ)數(shù)據(jù)庫(kù)中（紅色部分），從基礎(chǔ)庫(kù)到下游目標(biāo)庫(kù)則是通過(guò)用戶(hù)操作應(yīng)用程序?qū)⒒A(chǔ)數(shù)據(jù)庫(kù)中的數(shù)據(jù)調(diào)度到目標(biāo)數(shù)據(jù)庫(kù)中。根據(jù)目前對(duì)數(shù)據(jù)量的統(tǒng)計(jì)基礎(chǔ)庫(kù)約為400GB+的數(shù)據(jù)總量。目前基礎(chǔ)數(shù)據(jù)庫(kù)的性能低下，主要表現(xiàn)于定時(shí)抽取任務(wù)執(zhí)行時(shí)間過(guò)長(zhǎng)，任務(wù)間的時(shí)間間隔變短；應(yīng)用執(zhí)行數(shù)據(jù)調(diào)度時(shí)間過(guò)長(zhǎng)，導(dǎo)致應(yīng)用長(zhǎng)時(shí)間處于無(wú)響應(yīng)狀態(tài)。3. 分析基礎(chǔ)數(shù)據(jù)庫(kù)獲取上游

2、數(shù)據(jù)時(shí)，數(shù)據(jù)傳輸量較大，數(shù)據(jù)庫(kù)寫(xiě)操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤(pán)寫(xiě)IO高，并持續(xù)時(shí)間長(zhǎng)。由于基礎(chǔ)庫(kù)放數(shù)據(jù)到下游數(shù)據(jù)庫(kù)是人為操作，數(shù)據(jù)庫(kù)讀操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤(pán)讀IO高，且經(jīng)常會(huì)與DI定時(shí)任務(wù)同時(shí)執(zhí)行，通過(guò)系統(tǒng)監(jiān)控發(fā)現(xiàn)磁盤(pán)出現(xiàn)大量IO等待狀態(tài)。圖 3-1 磁盤(pán)IO狀態(tài)圖 3-2 磁盤(pán)等待狀態(tài)由于基礎(chǔ)庫(kù)保存原始數(shù)據(jù)并不對(duì)數(shù)據(jù)進(jìn)行處理，所以CPU消耗很低，從監(jiān)控看CPU不視為性能瓶頸點(diǎn)。圖 3-3 CPU使用率從以上分析可以判斷數(shù)據(jù)庫(kù)操作性能低下主要在高磁盤(pán)IO時(shí)造成IO掙用較大導(dǎo)致拖慢整體性能。故本次優(yōu)化將重點(diǎn)放在解決磁盤(pán)IO掙用問(wèn)題和提高磁盤(pán)IOPS上。4. 優(yōu)化方

3、案本著應(yīng)用層變動(dòng)最小的原則，為解決基礎(chǔ)庫(kù)磁盤(pán)IO性能低下問(wèn)題，我們將從三個(gè)方面著手進(jìn)行，即：優(yōu)化數(shù)據(jù)庫(kù)物理架構(gòu)、優(yōu)化DI任務(wù)執(zhí)行時(shí)間和優(yōu)化數(shù)據(jù)庫(kù)數(shù)據(jù)文件所在Path的磁盤(pán)VG結(jié)構(gòu)。4.1. 優(yōu)化數(shù)據(jù)庫(kù)物理架構(gòu)根據(jù)基礎(chǔ)庫(kù)的業(yè)務(wù)特點(diǎn)，這里將對(duì)基礎(chǔ)庫(kù)的讀寫(xiě)操作進(jìn)行分離（即：讀、寫(xiě)分離）。這樣做的好處在于可以最大限度規(guī)避數(shù)據(jù)庫(kù)讀、寫(xiě)同時(shí)操作所帶來(lái)的磁盤(pán)IO掙用問(wèn)題。調(diào)整后的架構(gòu)如下圖：數(shù)據(jù)庫(kù)采用主/從模式，使用binlog復(fù)制方式實(shí)現(xiàn)數(shù)據(jù)同步。由于考慮到大數(shù)據(jù)量復(fù)制可能帶來(lái)的同步延遲問(wèn)題，實(shí)現(xiàn)時(shí)需要注意優(yōu)化復(fù)制線程參數(shù)。4.2. 優(yōu)化DI任務(wù)執(zhí)行時(shí)間為了避免多任務(wù)同時(shí)寫(xiě)一個(gè)數(shù)據(jù)庫(kù)產(chǎn)生磁盤(pán)寫(xiě)IO過(guò)高的問(wèn)

4、題，需要對(duì)每一個(gè)DI任務(wù)的執(zhí)行時(shí)間進(jìn)行估算，并根據(jù)磁盤(pán)性能合理編排任務(wù)并行度。同時(shí)還需要考慮數(shù)據(jù)單位時(shí)間內(nèi)的數(shù)據(jù)增長(zhǎng)量對(duì)任務(wù)執(zhí)行時(shí)間的影響，避免由于數(shù)據(jù)量的增加延長(zhǎng)任務(wù)執(zhí)行時(shí)間而導(dǎo)致的任務(wù)并行執(zhí)行。4.3. 優(yōu)化磁盤(pán)VG提高磁盤(pán)IOPS最有效的方法就是增加通過(guò)增加物理磁盤(pán)數(shù)量并實(shí)現(xiàn)條帶化來(lái)提高整體的IOPS。但隨之帶來(lái)的硬件投資成本也會(huì)增加。這里我們可以通過(guò)將現(xiàn)有磁盤(pán)更換成等容量的小磁盤(pán)，目的是為了增加磁盤(pán)數(shù)量從而提高整體磁盤(pán)IOPS性能。如：當(dāng)前一塊磁盤(pán)容量為600GB，我們可以將其拆解成6塊100GB Raid5磁盤(pán)或者12塊50GB Raid5磁盤(pán)進(jìn)行VG條帶化處理。5. 實(shí)現(xiàn)5.1.

5、資源規(guī)劃硬件資源：Ø 服務(wù)器2臺(tái)Ø 數(shù)據(jù)磁盤(pán)12塊50GB Raid5磁盤(pán)（每臺(tái)服務(wù)器）軟件資源：Ø CentOS 7.1 x86_64 (mini installed)Ø MySQL 5.7 x86_645.2. 磁盤(pán)配置Ø 分別將兩臺(tái)服務(wù)器的各12塊Raid5磁盤(pán)初始化并創(chuàng)建VG。在創(chuàng)建LV時(shí)特別注意要制定LV所跨PV的數(shù)量從而實(shí)現(xiàn)VG條帶化。Ø 指定磁盤(pán)文件系統(tǒng)為xfs。5.3. 數(shù)據(jù)庫(kù)部署配置Ø 安裝MySQL數(shù)據(jù)庫(kù)并配置兩臺(tái)服務(wù)器的主從模式，將從庫(kù)定義為Read_only模式。Ø 配置binlog復(fù)制線程數(shù)。Ø 優(yōu)化數(shù)據(jù)庫(kù)內(nèi)存模型。Ø 導(dǎo)入數(shù)據(jù)5.4. 應(yīng)用配置將用于數(shù)據(jù)調(diào)度的應(yīng)用程序數(shù)據(jù)源從原來(lái)的數(shù)據(jù)庫(kù)服務(wù)器IP地址改為只讀數(shù)據(jù)庫(kù)服務(wù)器IP地址。6. 測(cè)試實(shí)施完成后為保證最終優(yōu)化效果，將對(duì)系統(tǒng)各個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行性能測(cè)試。測(cè)試將分為如下三個(gè)階段。6.1. 磁盤(pán)性能測(cè)試VG創(chuàng)建好后，確保磁盤(pán)可寫(xiě)的前提下使用dd命令對(duì)磁盤(pán)的讀、寫(xiě)分別進(jìn)行性能測(cè)試。讀、寫(xiě)測(cè)試將各進(jìn)行5次從而選出最合適的磁盤(pán)塊大小。使用10GB文件大小，每次創(chuàng)建塊大小分別為4k、8k、16k、32k和64k，并記錄每次測(cè)試的時(shí)間結(jié)果。6.2. 數(shù)據(jù)庫(kù)性能測(cè)試數(shù)據(jù)庫(kù)性能測(cè)試可以使