利用LVM卷鏡像技術(shù)實(shí)現(xiàn)數(shù)據(jù)在線遷移實(shí)踐

1、 利用LVM卷鏡像技術(shù)實(shí)現(xiàn)不停業(yè)務(wù)的數(shù)據(jù)在線遷移實(shí)踐核心存儲(chǔ)升級(jí)混閃V7000F 【摘要】隨著信息化、數(shù)字化的快速發(fā)展，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的遷移、災(zāi)備是數(shù)據(jù)庫(kù)整個(gè)運(yùn)維工作中的關(guān)鍵一環(huán)，是關(guān)系到公司數(shù)據(jù)安全的重要組成部分。本文以2019年某集團(tuán)公司ERP核心數(shù)據(jù)存儲(chǔ)升級(jí)為例，詳細(xì)介紹了在AIX操作系統(tǒng)中如何利用LVM卷鏡像技術(shù)實(shí)現(xiàn)不停業(yè)務(wù)的數(shù)據(jù)在線遷移，一是對(duì)相關(guān)操作做進(jìn)一步的復(fù)習(xí)鞏固，二是在將來(lái)類似有需要的場(chǎng)景中打下良好的知識(shí)基礎(chǔ)。一、背景介紹某公司ERP系統(tǒng)于2012年正式上線投入使用。相關(guān)存儲(chǔ)、服務(wù)器等設(shè)備早在2011年下半年就已上架安裝調(diào)試。至今運(yùn)行時(shí)間將近八年。隨著近年來(lái)業(yè)務(wù)系統(tǒng)的不斷

2、發(fā)展，數(shù)據(jù)核心存儲(chǔ)V7000（IBM第一代產(chǎn)品2076-124）的硬件性能逐漸成為應(yīng)用系統(tǒng)運(yùn)行中的瓶頸，數(shù)據(jù)庫(kù)磁盤(pán)利用率一直居高不下。由于采購(gòu)時(shí)間較早，設(shè)備的故障率也隨之逐年增加，相關(guān)部件已退出市場(chǎng)，二手備件無(wú)法保證質(zhì)量。一旦出現(xiàn)較嚴(yán)重故障或臨時(shí)維護(hù)停機(jī)，將直接影響核心生產(chǎn)系統(tǒng)的使用。因此，在2019年我們對(duì)ERP數(shù)據(jù)核心存儲(chǔ)系統(tǒng)進(jìn)行了一次全面升級(jí)改造。所有數(shù)據(jù)從舊設(shè)備到新設(shè)備實(shí)現(xiàn)了高速在線遷移，業(yè)務(wù)系統(tǒng)進(jìn)行了無(wú)縫銜接。整個(gè)遷移、切換過(guò)程關(guān)鍵設(shè)備零重啟，對(duì)用戶正常操作ERP畫(huà)面未造成任何影響。二、目的和意義存儲(chǔ)設(shè)備運(yùn)行更加穩(wěn)定新的IBM V7000存儲(chǔ)（2076-624）屬于V7000系列的第

3、三代產(chǎn)品，2016年9月投入市場(chǎng)。存儲(chǔ)系統(tǒng)的設(shè)計(jì)從控制器、數(shù)據(jù)通道、I/O接口，到磁盤(pán)環(huán)路都是采用冗余結(jié)構(gòu)，理論上不存在系統(tǒng)本身的單點(diǎn)故障問(wèn)題。該產(chǎn)品依靠其卓越的穩(wěn)定性、可靠性及獨(dú)特的人性化配置界面在市場(chǎng)占有率上一直位居前列，在同行中具有良好的口碑。設(shè)備性能顯著提高ERP核心存儲(chǔ)中存放的數(shù)據(jù)多為ERP應(yīng)用和DB2數(shù)據(jù)庫(kù)數(shù)據(jù)，數(shù)據(jù)處理類型多為OLTP聯(lián)機(jī)事務(wù)處理，對(duì)數(shù)據(jù)處理的響應(yīng)速度有較高的要求，因此新存儲(chǔ)應(yīng)優(yōu)先考慮其IOPS性能指標(biāo)，即單位時(shí)間內(nèi)的存儲(chǔ)系統(tǒng)能夠處理的IO請(qǐng)求數(shù)量，使新存儲(chǔ)有較高的隨機(jī)數(shù)據(jù)訪問(wèn)處理速度。另一方面，新存儲(chǔ)系統(tǒng)應(yīng)有較高的存儲(chǔ)緩存性能，較大的存儲(chǔ)緩存會(huì)顯著提高存儲(chǔ)的讀寫(xiě)

4、速度。舊的存儲(chǔ)系統(tǒng)配置為16GB緩存，24塊300GB 轉(zhuǎn)速為10000RPM的普通SAS硬盤(pán)，存儲(chǔ)機(jī)型的CPU和緩存性能較低，并且由于硬盤(pán)的轉(zhuǎn)速較低，存儲(chǔ)無(wú)法提供更多的IPOS讀寫(xiě)，存在一定的性能瓶頸，限制了存儲(chǔ)數(shù)據(jù)讀寫(xiě)訪問(wèn)速度。新的存儲(chǔ)系統(tǒng)配置為雙控制器，256GB高速緩存，8個(gè)16Gbps光纖接口，冗余電源等特性，存儲(chǔ)硬盤(pán)為6塊單盤(pán)1.92TB Flash固態(tài)閃存硬盤(pán)+8塊900GB 轉(zhuǎn)速為15000RPM的SAS硬盤(pán)，無(wú)論是從容量的擴(kuò)展性還是系統(tǒng)CPU、緩存性能方面都有了較大提升，完全能夠滿足當(dāng)前和未來(lái)五年內(nèi)的ERP數(shù)據(jù)量需求。專業(yè)知識(shí)應(yīng)用于生產(chǎn)實(shí)際的一次典型案例本次存儲(chǔ)系統(tǒng)升級(jí)過(guò)程中

5、的關(guān)鍵點(diǎn)是數(shù)據(jù)的在線遷移，而實(shí)現(xiàn)這一目標(biāo)的是AIX操作系統(tǒng)下的LVM Mirror卷鏡像技術(shù)。這是從專業(yè)理論知識(shí)運(yùn)用于生產(chǎn)實(shí)踐的一次典型案例，具有很強(qiáng)的指導(dǎo)意義。三、技術(shù)介紹LVM Mirror（Logical Volume Manager Mirror）：邏輯卷管理器的數(shù)據(jù)鏡像技術(shù)。這是一種雙磁盤(pán)系統(tǒng)數(shù)據(jù)同步復(fù)制機(jī)制，是基于IBM主機(jī)系統(tǒng)和IBM存儲(chǔ)系統(tǒng)相互配合使用的，是目前技術(shù)成熟度高，實(shí)施快速簡(jiǎn)便，應(yīng)用行之有效的數(shù)據(jù)冗余方式。ERP系統(tǒng)原拓?fù)浣Y(jié)構(gòu)：新增存儲(chǔ)設(shè)備后的拓?fù)洌盒掠成涞木碓贏IX系統(tǒng)中通過(guò)HACMP高可用集群軟件加入到原來(lái)的VG卷組中，通過(guò)卷鏡像技術(shù)實(shí)現(xiàn)數(shù)據(jù)的同步復(fù)制。為了實(shí)現(xiàn)數(shù)

6、據(jù)的同步，我們利用數(shù)據(jù)鏡像功能LVM，為已有的磁盤(pán)A（下圖所示之“VG中原邏輯卷LV”）上的生產(chǎn)數(shù)據(jù)添加一個(gè)拷貝，并將其鏡像設(shè)備指定為磁盤(pán)B（下圖所示之“VG中新增邏輯卷LV”）。正常工作模式下，數(shù)據(jù)的寫(xiě)入操作可以用下圖說(shuō)明：生產(chǎn)系統(tǒng)對(duì)磁盤(pán)A數(shù)據(jù)的任何更新都實(shí)時(shí)地寫(xiě)入磁盤(pán)B中，二者的更新方式可以選擇順序方式或者并行方式，建議使用并行方式（雙寫(xiě)模式）以增加整體性能。四、 方案選型與設(shè)計(jì)1、技術(shù)路線考慮到之前舊存儲(chǔ)磁盤(pán)讀寫(xiě)性能瓶頸問(wèn)題，尤其是數(shù)據(jù)庫(kù)讀寫(xiě)頻繁的情況下，數(shù)據(jù)庫(kù)所在hdisk的busy使用率一直居高不下。在選型中優(yōu)先考慮閃存盤(pán)。關(guān)于V7000升級(jí)到閃存，經(jīng)過(guò)調(diào)研了解，主要有三條路線如下：

7、成本較低，比較老的一代V7000可以新購(gòu)5030F來(lái)滿足閃存功能；二代及以上V7000可以直接加閃盤(pán)升級(jí)為V7000F。如果用戶已有虛擬機(jī)的功能，可以升級(jí)到V7000G3（V9100低配版）來(lái)實(shí)現(xiàn)閃存功能。如果對(duì)閃存的性能要求較高，做長(zhǎng)遠(yuǎn)的規(guī)劃，可以購(gòu)買(mǎi)起配容量較高的F900/FS9100（壓縮能力強(qiáng)），性價(jià)比高。2、適用場(chǎng)景V7000F：配置：最大八控制器；最大1024GB緩存；每控制器10核Intel CPU；64個(gè)前端FC接口；支持24塊盤(pán)2U擴(kuò)展柜；支持96塊盤(pán)5U擴(kuò)展柜；支持Flash。支持SAS、NL_SAS。適用于大部分的應(yīng)用場(chǎng)景，具有豐富的存儲(chǔ)功能。V7000F的性能與所配置的

8、閃存盤(pán)的數(shù)量有很大關(guān)系。由于其可以根據(jù)企業(yè)業(yè)務(wù)自身需求情況，配置閃存盤(pán)數(shù)量，所以對(duì)于業(yè)務(wù)壓力不是極端條件下的系統(tǒng)，此方案在性價(jià)比上非常不錯(cuò)。V7000G3：關(guān)于V7000G3，沒(méi)有找到太多詳細(xì)資料，個(gè)人對(duì)此產(chǎn)品不是十分了解。在此就放上找到的兩種產(chǎn)品資料圖，作為代表。F900：全閃存F900適用于用戶需要極致的IO響應(yīng)速度，對(duì)于存儲(chǔ)功能要求少的場(chǎng)景，或者結(jié)合SVC來(lái)使用。F900特別適用于關(guān)鍵應(yīng)用加速、AI模型訓(xùn)練等場(chǎng)景。第一代F900配置12個(gè)模塊的SPC-1測(cè)試為40多萬(wàn)IOPS，而且響應(yīng)時(shí)間都在0.5ms以內(nèi)。比較適合的場(chǎng)景如：在線交易處理（OLTP）在線分析處理（OLAP）虛擬桌面基礎(chǔ)架

9、構(gòu)（VDI）云規(guī)模的基礎(chǔ)架構(gòu)計(jì)算型應(yīng)用talkwithtrend社區(qū)（twt社區(qū)）內(nèi)有詳盡的F900技術(shù)手冊(cè)及應(yīng)用場(chǎng)景介紹，在此我就不進(jìn)行過(guò)多介紹了，有興趣的可以在社區(qū)進(jìn)行搜索。經(jīng)過(guò)充分考慮，在本方案中，新購(gòu)一臺(tái)IBM V7000作為新的核心存儲(chǔ)系統(tǒng)，原存儲(chǔ)充分利舊，作為容災(zāi)備用存儲(chǔ)。新存儲(chǔ)中創(chuàng)建與原存儲(chǔ)具有相同容量和數(shù)量的存儲(chǔ)卷，影射給主機(jī)。在主機(jī)操作系統(tǒng)中通過(guò)HACMP高可用軟件將新增邏輯卷加入到原卷組VG中做LVM的卷鏡像，數(shù)據(jù)同步的過(guò)程可全程在線操作，數(shù)據(jù)復(fù)制在后臺(tái)完成，整個(gè)過(guò)程無(wú)需對(duì)業(yè)務(wù)進(jìn)行停機(jī)。當(dāng)數(shù)據(jù)初次復(fù)制完成后，新購(gòu)存儲(chǔ)卷將與原來(lái)的存儲(chǔ)卷保持?jǐn)?shù)據(jù)同步的一致性關(guān)系，新業(yè)務(wù)產(chǎn)生的數(shù)

10、據(jù)將在兩套存儲(chǔ)中各寫(xiě)一份。五、具體實(shí)現(xiàn)1、遷移前的的準(zhǔn)備工作：機(jī)房現(xiàn)狀梳理：主要是為了充分了解機(jī)房實(shí)際運(yùn)行環(huán)境，規(guī)劃設(shè)備安裝位置，確定其他主機(jī)存儲(chǔ)設(shè)備狀態(tài)，包括小型機(jī)、光纖交換機(jī)等，收集交換機(jī)zone和端口狀態(tài)信息，并在了解當(dāng)前和未來(lái)具體技術(shù)需求后，確認(rèn)本次項(xiàng)目的技術(shù)實(shí)施方案，與業(yè)務(wù)單位協(xié)調(diào)實(shí)施計(jì)劃等。設(shè)備到貨安裝：新存儲(chǔ)到貨之后，協(xié)調(diào)倉(cāng)庫(kù)驗(yàn)貨簽收。在對(duì)設(shè)備進(jìn)行初步外觀檢驗(yàn)后，將設(shè)備運(yùn)送至機(jī)房并拆箱上架安裝，將設(shè)備安裝至機(jī)柜，并連線到光纖交換機(jī)，對(duì)新設(shè)備進(jìn)行加電初始化，在初始化步驟完成后，登錄存儲(chǔ)管理界面檢查系統(tǒng)硬件配置是否符合招標(biāo)及合同要求。光纖交換機(jī)配置：在新V7000設(shè)備連線后，需要對(duì)現(xiàn)

11、有的兩臺(tái)B24交換機(jī)的zone進(jìn)行配置，V7000的A控和B控分別連接兩臺(tái)光交，交換機(jī)端口使用12口和13口。V7000 A控1口連接B24_up的12口，2口連接B24_down的12口V7000 B控1口連接B24_up的13口，2口連接B24_down的13口在光交命令行中利用zonecreate命令進(jìn)行端口配置，cfgadd命令配置config文件，最后cfgsave保存。1.1、根據(jù)原來(lái)存儲(chǔ)系統(tǒng)的配置情況，記錄劃分的卷、唯一標(biāo)識(shí)號(hào)、與主機(jī)間的映射關(guān)系等。1.2、根據(jù)舊存儲(chǔ)上卷(LUN)的劃分情況，對(duì)新存儲(chǔ)進(jìn)行相關(guān)配置。為方便做鏡像，劃分卷時(shí)容量大小與舊存儲(chǔ)上卷大小保持一致。如果需要擴(kuò)

12、容，請(qǐng)新建卷。配置完成后映射給相關(guān)主機(jī)。新V7000的RAID配置：本次V7000實(shí)際配置硬盤(pán)包括：6塊1.92TB SSD硬盤(pán)，8塊900GB SAS硬盤(pán)。根據(jù)實(shí)際業(yè)務(wù)需求，分別創(chuàng)建兩個(gè)存儲(chǔ)池SSD_Pool和SAS_Pool。SSD硬盤(pán)和SAS硬盤(pán)分別保留一塊盤(pán)作為熱備盤(pán)，剩余硬盤(pán)分別創(chuàng)建RAID 5，然后分別加入至存儲(chǔ)池中。在RAID創(chuàng)建完成后，SSD存儲(chǔ)池可用容量約7TB，SAS存儲(chǔ)池可用容量約4.9TB。LUN配置：根據(jù)實(shí)際需求，在新V7000中創(chuàng)建LUN，用于后期LVM數(shù)據(jù)鏡像復(fù)制，故新創(chuàng)建的LUN大小和數(shù)量應(yīng)與現(xiàn)有V7000保持一致。如需擴(kuò)容，可新增LUN。創(chuàng)建主機(jī)：在zone劃

13、分完成后，在每臺(tái)主機(jī)系統(tǒng)中運(yùn)行cfgmgr命令掃描新光纖設(shè)備，而后在新V7000中創(chuàng)建主機(jī)，按照前期統(tǒng)計(jì)的每臺(tái)主機(jī)光纖卡的WWN號(hào)分別進(jìn)行添加。存儲(chǔ)卷映射：將新創(chuàng)建的LUN按照現(xiàn)有V7000存儲(chǔ)的映射關(guān)系對(duì)每個(gè)LUN進(jìn)行主機(jī)映射，映射操作完成后，在AIX操作系統(tǒng)中運(yùn)行cfgmgr命令即可掃描發(fā)現(xiàn)新硬盤(pán)，在掃描到磁盤(pán)后，在主機(jī)系統(tǒng)中查看磁盤(pán)狀態(tài)和鏈路是否正常，lsdev Cc disk狀態(tài)應(yīng)為可用狀態(tài)，磁盤(pán)多路徑鏈路應(yīng)為自動(dòng)聚合。微碼升級(jí)：為保障新購(gòu)V7000存儲(chǔ)的后期穩(wěn)定運(yùn)行，將新購(gòu)V7000存儲(chǔ)的微碼進(jìn)行升級(jí)，以降低存儲(chǔ)軟件運(yùn)行故障風(fēng)險(xiǎn)，升級(jí)存儲(chǔ)至最新穩(wěn)定版本7.8.1.7，升級(jí)過(guò)程約1個(gè)半

14、小時(shí)。至此，數(shù)據(jù)遷移前的各項(xiàng)準(zhǔn)備工作已完成。為了數(shù)據(jù)安全及檢測(cè)硬件設(shè)備運(yùn)行狀況是否穩(wěn)定，可讓新的V7000在沒(méi)有數(shù)據(jù)的情況下加電運(yùn)行一周進(jìn)行觀察。待一切都沒(méi)有問(wèn)題后再進(jìn)行數(shù)據(jù)遷移操作！2、數(shù)據(jù)遷移：本文以DB2數(shù)據(jù)庫(kù)數(shù)據(jù)同步為例，詳細(xì)講述整個(gè)操作過(guò)程：2.1、新存儲(chǔ)上劃分卷lun_db1lun_db2，卷容量大小建議與原存儲(chǔ)上卷相等，便于后面做鏡像。（圖中l(wèi)un_db3為以后擴(kuò)容卷）按照規(guī)劃，DB01上的數(shù)據(jù)庫(kù)卷運(yùn)行與SSD固態(tài)盤(pán)池中，其余文件系統(tǒng)運(yùn)行于SAS普通盤(pán)池中。如果需要擴(kuò)容，可以新建卷，等數(shù)據(jù)同步完畢后再擴(kuò)容。2.2、根據(jù)HA高可用規(guī)則，將共享卷映射給主機(jī)DB01。2.3、DB01小

15、機(jī)AIX系統(tǒng)中運(yùn)行cfgmgr v 刷新設(shè)備。lspv查看新映射過(guò)來(lái)的物理設(shè)備。新卷hdisk6和hdisk7無(wú)PVID號(hào)。此時(shí)，AP01已經(jīng)遷移完畢。hdisk2是原存儲(chǔ)上的apvg。hdisk5是新存儲(chǔ)上的卷。我們的目標(biāo)是將新卷hdisk6和hdisk7添加到dbvg中，利用hdisk3和hdisk4做mirror鏡像。2.4、利用命令chdev l hdisk6(disk7) a pv=yes給新磁盤(pán)賦予PVID號(hào)。PVID號(hào)是磁盤(pán)的全局唯一ID號(hào)。2.5、利用命令bootinfo s hdisk6(hdisk7)可以查看每個(gè)磁盤(pán)的大小。當(dāng)有多個(gè)大小不同的卷映射到同一小機(jī)時(shí)，借助此命令可

16、以幫助用戶區(qū)分不同的磁盤(pán) 。2.6、將hdisk6和hdisk7分別通過(guò)HA集群命令添加至dbvg中。 #smit cl_admin 進(jìn)入ha選擇需要增加卷的VG根據(jù)PVID號(hào)選擇需要加入VG中的新卷hdisk6。再來(lái)一遍添加hdisk7，此處不能同時(shí)選擇兩個(gè)或多個(gè)卷。2.7、驗(yàn)證是否已經(jīng)加入VG中。命令# lspv此時(shí)，也可以通過(guò)命令lsvg p dbvg 查看hdisk6和hdisk7的FREE PPs是否等于TOTAL PPs。（只是加入至dbvg中還沒(méi)有同步數(shù)據(jù)，所以全部空間空閑）2.8、dbvg內(nèi)部做鏡像，數(shù)據(jù)做同步。命令# smit cl_admin-Storage-Volume

17、Groups-Mirror a Volume Group選擇dbvg后，選擇需要同步的目標(biāo)盤(pán)（新盤(pán)） hdisk6和hdisk7 同步模式的時(shí)候，選擇不同步no sync（此時(shí)，因?yàn)閐bvg太大 最好/db2 、/db2backup分別進(jìn)行同步）鏡像完成后，選擇同步。# lsvg -l dbvg查看vg中的lv個(gè)數(shù)，通過(guò)LV逐個(gè)進(jìn)行數(shù)據(jù)同步。分別選擇db2lv、loglv01、db2backuplv進(jìn)行同步。2.9、數(shù)據(jù)同步過(guò)程中驗(yàn)證同步進(jìn)度。# lspv查看同步進(jìn)度 stale PPs圖為同步db2backuplv時(shí)的過(guò)程。stale PPs數(shù)逐漸變小，當(dāng)stale PPs為0時(shí)，同步完成。同步過(guò)程中隨時(shí)關(guān)注磁盤(pán)性能：數(shù)據(jù)從hdisk4讀出，寫(xiě)入至新卷hdisk7中。數(shù)據(jù)同步的過(guò)程中，新業(yè)務(wù)數(shù)據(jù)雙寫(xiě)。同步完畢后狀態(tài)：LPs:PPs=1:22.10、觀察一段時(shí)間，驗(yàn)證業(yè)務(wù)是否正常。2.11、unmirror vg，選擇dbvg中的原卷hdisk3和hdisk