某銀行核心業(yè)務(wù)雙活存儲架構(gòu)升級建設(shè)實(shí)踐分享

一、項(xiàng)目背景某銀行在2014年建設(shè)數(shù)據(jù)中心時(shí)采購了2套存儲設(shè)備，當(dāng)時(shí)容量規(guī)劃滿足是3至4年的需求，可用容量為45T，預(yù)計(jì)存放300臺虛擬機(jī)的數(shù)據(jù)，這些虛擬機(jī)運(yùn)行著除核心系統(tǒng)以外的所有關(guān)鍵業(yè)務(wù)。由于這兩套存儲設(shè)備已經(jīng)上線運(yùn)行了五年多時(shí)間，存儲設(shè)備的存儲空間使用率都接近80%安全值，因此我行啟動雙活存儲設(shè)備升級替換采購項(xiàng)目，采購兩套新存儲設(shè)備替換現(xiàn)網(wǎng)兩套存儲,并將核心業(yè)務(wù)的業(yè)務(wù)虛擬機(jī)和文件系統(tǒng)遷移至新采購的兩套上運(yùn)行。通過新老存儲的替換，滿足我行未來數(shù)據(jù)增長和業(yè)務(wù)發(fā)展需求。二、存儲架構(gòu)技術(shù)路線選型和功能測試（一）技術(shù)路線選擇我行在2014年通過兩套存儲設(shè)備構(gòu)建的銀行數(shù)據(jù)中心同城雙活的高等級災(zāi)備體系架構(gòu)，對于重要信息系統(tǒng)的安全穩(wěn)定運(yùn)行起到了關(guān)鍵作用。該套雙活存儲的災(zāi)備架構(gòu)經(jīng)受了各種考驗(yàn)，包括單臺光交機(jī)故障、裸光纖光衰異常等情況下也沒有影響生產(chǎn)主中心的系統(tǒng)運(yùn)行。雙活存儲架構(gòu)降低了日常運(yùn)維成本，各系統(tǒng)只需要維護(hù)一套生產(chǎn)環(huán)境，避免了人為運(yùn)維災(zāi)備失效時(shí)導(dǎo)致無法切換的問題。因此，我行通過災(zāi)備技術(shù)的跟蹤和對比，計(jì)劃未來繼續(xù)在數(shù)據(jù)中心采用雙活存儲的解決方案來構(gòu)建開放平臺的數(shù)據(jù)中心業(yè)務(wù)連續(xù)性架構(gòu)體系。（二）存儲功能測試（1）調(diào)研存儲廠商我行在調(diào)研主流存儲廠商時(shí)，重點(diǎn)關(guān)注同城雙活案例數(shù)量、是否支持對稱雙活、是否支持NAS、產(chǎn)品關(guān)鍵功能和廠商報(bào)價(jià)等多個(gè)方面，選擇了存儲業(yè)界主流廠商華為、EMC、HDS、HP等進(jìn)行調(diào)研和交流，并開展嚴(yán)格的POC測試。（2）設(shè)計(jì)測試案例和場景我行根據(jù)近幾年雙活存儲的實(shí)際運(yùn)維經(jīng)驗(yàn)以及雙活存儲的設(shè)計(jì)原理制定了全面的測試用例，常見的用例有：主機(jī)層、存儲層少量鏈路中斷，一臺存儲的單個(gè)引擎故障，主備中心的一條復(fù)制鏈路中斷等；極端情況下的用例有：主備中心任一臺存儲完全故障，主備中心的所有復(fù)制鏈路中斷，主機(jī)出現(xiàn)APD（所有路徑丟失）故障，主機(jī)出現(xiàn)PDL（連接存儲路徑永久丟失）故障，以及存儲和仲裁同時(shí)故障等這些日常運(yùn)維中不常見但有可能出現(xiàn)的場景。對所有故障測試場景都是采用直接斷電的形式進(jìn)行，最大程度的模擬突然停電等極端情況。測試包含硬件冗余性測試和性能測試。硬件冗余性和性能測試又分別包括單存儲和雙活存儲的測試。測試內(nèi)容如下：編號測試內(nèi)容1訪問CIFS共享2訪問NFS共享3NAS雙活的創(chuàng)建和刪除4NAS雙活主從切換5本地LUN和雙活LUN的性能測試6雙活LUN擴(kuò)容7雙活優(yōu)先站點(diǎn)存儲故障8雙活非優(yōu)先站點(diǎn)存儲故障9站點(diǎn)間FC拉遠(yuǎn)傳輸鏈路單鏈路故障10站點(diǎn)間FC拉遠(yuǎn)傳輸鏈路全部故障11仲裁服務(wù)器故障12仲裁服務(wù)器和優(yōu)先站點(diǎn)存儲同時(shí)故障13仲裁服務(wù)器和非優(yōu)先站點(diǎn)存儲同時(shí)故障14非優(yōu)先站點(diǎn)存儲和仲裁服務(wù)器同時(shí)故障15優(yōu)先站點(diǎn)存儲和仲裁服務(wù)器同時(shí)故障16非優(yōu)先站點(diǎn)存儲業(yè)務(wù)端口故障17優(yōu)先站點(diǎn)存儲業(yè)務(wù)端口故障18非優(yōu)先站點(diǎn)存儲到仲裁服務(wù)器鏈路故障19優(yōu)先站點(diǎn)存儲到仲裁服務(wù)器鏈路故障20仲裁服務(wù)器鏈路全部故障21雙活存儲復(fù)制鏈路單鏈路故障22雙活存儲復(fù)制鏈路全部故障23虛擬機(jī)APD24單存儲NMP和Ultrapath多路徑性能對比25雙活存儲NMP和Ultrapath多路徑性能對比26日志服務(wù)器系統(tǒng)性能測試27數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)性能測試28重刪壓縮性能測試29控制器故障測試30電源模塊故障測試31SAS級聯(lián)線纜故障測試32硬盤框級聯(lián)模塊故障測試33接口模塊故障測試34硬盤故障測試（3）POC測試結(jié)論通過POC測試，當(dāng)前主流存儲廠商基本都通過了上述功能和用例場景的測試，不同廠商的產(chǎn)品，在測試中表現(xiàn)的效果也有一些差異。（三）招標(biāo)采購?fù)ㄟ^公共招標(biāo)，最終華為公司的OceanStor18000系列高端存儲選型中標(biāo)了我行的存儲升級擴(kuò)容項(xiàng)目。以下章節(jié)將介紹我行使用兩套華為存儲OceanStor18000系列高端存儲設(shè)備，替換老的存儲設(shè)備，創(chuàng)建新的雙活集群，建立雙活容災(zāi)機(jī)制，保障我行的業(yè)務(wù)連續(xù)性。三、存儲架構(gòu)方案設(shè)計(jì)（一）雙活存儲組網(wǎng)架構(gòu)下圖是我行使用兩套華為高端存儲設(shè)備在兩個(gè)數(shù)據(jù)中心之間構(gòu)建雙活存儲架構(gòu)圖：1、四臺光纖交換機(jī)兩兩級聯(lián)，并承載主機(jī)到存儲的通信（塊業(yè)務(wù)）。2、兩套華為Oceanstor18000系列高端存儲之間通過光交交換機(jī)互聯(lián)，承載心跳通信和數(shù)據(jù)同步。3、兩臺10GE以太網(wǎng)交換機(jī)和與現(xiàn)網(wǎng)VMware仲裁業(yè)務(wù)網(wǎng)絡(luò)打通，組成仲裁網(wǎng)絡(luò)，當(dāng)兩端存儲系統(tǒng)間鏈路故障或設(shè)備故障時(shí)，由仲裁服務(wù)器根據(jù)仲裁結(jié)果決定由哪一端存儲繼續(xù)向主機(jī)提供業(yè)務(wù)。仲裁服務(wù)器配置兩個(gè)網(wǎng)口，分別處于不同的網(wǎng)段，一個(gè)網(wǎng)口與兩套華為OceanStor18000系列高端存儲的L1M0P0/L1M1P0/R1M0P0/R1M1P0網(wǎng)口通信，另一個(gè)網(wǎng)口與兩套華為OceanStor18000系列高端存儲的L1M0P0/L1M1P0/R1M0P0/R1M1P0網(wǎng)口通信。（二）存儲劃分規(guī)劃生產(chǎn)數(shù)據(jù)中心雙活存儲華為OceanStor18800FV5高端存儲初步規(guī)劃SAN業(yè)務(wù)使用約253T（RAID6）空間。同城數(shù)據(jù)中心另一臺雙活存儲華為OceanStor18800FV5高端存儲初步規(guī)劃SAN業(yè)務(wù)使用約253T（RAID6）空間，分別創(chuàng)建用于生產(chǎn)數(shù)據(jù)中心存儲進(jìn)行雙活容災(zāi)。四、實(shí)施經(jīng)驗(yàn)及難點(diǎn)分享（一）制訂應(yīng)用系統(tǒng)遷移計(jì)劃為了順利完成新存儲設(shè)備的升級替換，做好應(yīng)用系統(tǒng)的遷移計(jì)劃是非常重要的。我行制訂了應(yīng)用系統(tǒng)規(guī)則：先邊緣業(yè)務(wù)到核心業(yè)務(wù)、先簡單到復(fù)雜、宿主機(jī)資源合理利用、目標(biāo)存儲資源合理利用等原則。在此原則基礎(chǔ)上列出了業(yè)務(wù)遷移詳細(xì)計(jì)劃，主要包括兩個(gè)階段進(jìn)行，第一階段是遷移管理類業(yè)務(wù)，第二階段是遷移在線交易類業(yè)務(wù)。我們制定了首套搬遷業(yè)務(wù)為日志服務(wù)器系統(tǒng)，二套搬遷數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)。在完成了首套和二套業(yè)務(wù)系統(tǒng)的搬遷，驗(yàn)證了業(yè)務(wù)搬遷的可行性后，按照虛擬機(jī)的業(yè)務(wù)級別進(jìn)行搬遷。以我行應(yīng)用系統(tǒng)分類為基準(zhǔn)，依次搬遷四類業(yè)務(wù)、三類業(yè)務(wù)、二類業(yè)務(wù)、一類業(yè)務(wù)。每次搬遷結(jié)束預(yù)留一周的觀察時(shí)間，確認(rèn)業(yè)務(wù)運(yùn)行穩(wěn)定后再進(jìn)行下一次的業(yè)務(wù)搬遷。（二）實(shí)施數(shù)據(jù)遷移(1)SAN存儲數(shù)據(jù)遷移SAN存儲的遷移主要涉及VMware虛擬機(jī)的遷移。對于VMware虛擬機(jī)的遷移，使用VMware自身的StoragevMotion功能，StoragevMotion遷移對上層虛擬機(jī)和業(yè)務(wù)沒有影響，能夠平滑遷移，而且使用VMware多路徑，避免了主機(jī)停機(jī)。遷移之前在華為OceanStor18800FV5系列高端存儲上按照之前VMware各集群Datastor的大小劃分目標(biāo)Lun大小，掛載到VMware主機(jī)下，開始進(jìn)行vMotion遷移。(2)NAS存儲數(shù)據(jù)遷移NAS遷移借助于MigrationDirectorforNAS存儲數(shù)據(jù)遷移工具來完成，MigrationDirectorforNAS可實(shí)現(xiàn)不同存儲系統(tǒng)之間的數(shù)據(jù)遷移，保障遷移過程中的數(shù)據(jù)安全，同時(shí)也避免業(yè)務(wù)在遷移過程中長時(shí)間停機(jī)。完整的遷移過程至少包含1次遷移任務(wù)（首次遷移）和1次同步任務(wù)（增量數(shù)據(jù)同步遷移），業(yè)務(wù)切割前需要離線進(jìn)行最后一次同步。（三）存儲運(yùn)行狀態(tài)監(jiān)測1、在項(xiàng)目實(shí)施過程中，我們重點(diǎn)對兩套華為OceanStor18000系列高端存儲進(jìn)行了深度巡檢，檢查存儲的運(yùn)行狀況和穩(wěn)定性，及時(shí)對存儲進(jìn)行熱補(bǔ)丁的升級，保障新存儲設(shè)備上線后穩(wěn)定運(yùn)行。2、在數(shù)據(jù)遷移中和數(shù)據(jù)遷移完成后，我們對核心存儲OceanStor18800FV5進(jìn)行了性能分析，并輸出了性能分析報(bào)告，監(jiān)測OceanStor18800FV5在遷移過程中和數(shù)據(jù)全部遷移完成后的性能表現(xiàn)，都達(dá)到了預(yù)期的目標(biāo)。3、我們部署DME和eservice管理監(jiān)控工具來管理和監(jiān)控存儲運(yùn)行狀態(tài)，及時(shí)獲取存儲告警異常信息。4、在新存儲設(shè)備上線后，我們還每季度定期對存儲進(jìn)行巡檢，了解存儲的運(yùn)行狀態(tài)。五、風(fēng)險(xiǎn)管理將數(shù)據(jù)中心生產(chǎn)環(huán)境使用華為高端存儲升級替換原核心存儲是本行非常重大的升級操作。本行是首次在數(shù)據(jù)中心核心關(guān)鍵區(qū)域使用華為高端存儲設(shè)備替換原國外的存儲設(shè)備，并且實(shí)現(xiàn)雙活數(shù)據(jù)中心架構(gòu)，存在較大的操作風(fēng)險(xiǎn)和運(yùn)行風(fēng)險(xiǎn)。為了避免在核心存儲升級替換過程，以及后續(xù)使用過程中因新的存儲設(shè)備自身問題引起業(yè)務(wù)中斷等風(fēng)險(xiǎn)，本行認(rèn)真梳理了該升級替換項(xiàng)目可能存在的風(fēng)險(xiǎn)，并采取了相應(yīng)的風(fēng)險(xiǎn)控制措施：1、開展充分的技術(shù)測試和功能驗(yàn)證。本行制訂了詳細(xì)和周密的技術(shù)測試方案和功能驗(yàn)證方案，并且還搭建了接近生產(chǎn)環(huán)境實(shí)際情況的測試環(huán)境，用以驗(yàn)證新存儲設(shè)備的各項(xiàng)技術(shù)指標(biāo)和功能指標(biāo)。2、采用穩(wěn)妥的遷移替換策略，包括應(yīng)急預(yù)案和切實(shí)可行的回退方案。要重點(diǎn)關(guān)注新設(shè)備上線后的設(shè)備故障風(fēng)險(xiǎn)，要做好新存儲設(shè)備上發(fā)生數(shù)據(jù)丟失等極端突發(fā)情況的預(yù)案。3、實(shí)施前務(wù)必要做好環(huán)境調(diào)研和項(xiàng)目規(guī)劃工作。本次項(xiàng)目共歷經(jīng)現(xiàn)網(wǎng)情況調(diào)研，功能測試，存儲網(wǎng)絡(luò)改造，項(xiàng)目實(shí)施，數(shù)據(jù)遷移五個(gè)階段，前兩個(gè)階段所用工時(shí)只占到整個(gè)交付過程的1/3，但卻是最重要的階段，根據(jù)收集到的正確現(xiàn)網(wǎng)信息，對做出正確的規(guī)劃有指導(dǎo)性的意義。3、認(rèn)真細(xì)致的變更操作，重點(diǎn)是要在應(yīng)用系統(tǒng)在遷移前后，分別做好數(shù)據(jù)分析和記錄，要對比遷移前后的數(shù)據(jù)，及時(shí)做好參數(shù)優(yōu)化和方案調(diào)整。4、有效的項(xiàng)目管理。重點(diǎn)要做行內(nèi)和廠商的人力資源調(diào)配，以及組織和協(xié)調(diào)工作。六、總結(jié)我行在數(shù)據(jù)中心生產(chǎn)中首次使用華為高端存儲設(shè)備替換原來的設(shè)備，構(gòu)建起新的同城雙活數(shù)據(jù)中心雙活存儲架構(gòu)，解決了原雙活存儲空間不足和原存儲設(shè)備老舊等