文件類數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)優(yōu)化實(shí)踐經(jīng)驗(yàn)分享

對(duì)于很多中小金融機(jī)構(gòu)來講，由于歷史原因，企業(yè)的存儲(chǔ)形態(tài)往往較為單一，存儲(chǔ)系統(tǒng)并未做分類和分級(jí)建設(shè)。比如，對(duì)于集中式存儲(chǔ)來講，只有SAN存儲(chǔ)，而并未使用NAS存儲(chǔ)。這樣一來，對(duì)于文件共享場(chǎng)景，很多企業(yè)有用到GPFS來構(gòu)建分布式集群文件系統(tǒng)來滿足業(yè)務(wù)系統(tǒng)文件共享場(chǎng)景需求。實(shí)際上，GPFS是一種高性能的并行文件系統(tǒng)，其底座很多也是使用FC組網(wǎng)的SAN存儲(chǔ)。GPFS大多適用于高性能計(jì)算場(chǎng)景，或者是和企業(yè)其他IT技術(shù)生態(tài)捆綁使用。另一方面，GPFS在構(gòu)建同城或異地容災(zāi)時(shí)，也有一定的局限性，很多也是基于底層SAN存儲(chǔ)來做的數(shù)據(jù)級(jí)容災(zāi)。如果從企業(yè)的存儲(chǔ)系統(tǒng)發(fā)展來看，隨著企業(yè)存儲(chǔ)管理的精細(xì)化，可以看到，GPFS和NAS的使用場(chǎng)景也開始逐漸分流，兩種技術(shù)分別適用于不同的業(yè)務(wù)場(chǎng)景中，可以說兩者是“術(shù)業(yè)有專攻”。對(duì)于低時(shí)延的高性能場(chǎng)景或者是多業(yè)務(wù)系統(tǒng)之間文件交互場(chǎng)景，即插即用的NAS存儲(chǔ)可以說帶來了極大的便利。此外，集中式的NAS存儲(chǔ)也有成熟的雙活以及異步復(fù)制解決方案，很好的匹配了企業(yè)的文件高可用性建設(shè)需求。此外，在海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)優(yōu)化方面，對(duì)象存儲(chǔ)技術(shù)扮演了重要角色。近年來，對(duì)象存儲(chǔ)憑借其優(yōu)異的成本優(yōu)勢(shì)、強(qiáng)大的橫向和快速擴(kuò)展能力以及豐富的服務(wù)接口特性在國(guó)內(nèi)取得了快速發(fā)展，同時(shí)交付了很多成功案例。而對(duì)于傳統(tǒng)的銀行業(yè)，對(duì)象存儲(chǔ)也有不少落地案例。從應(yīng)用場(chǎng)景來看，主要用于對(duì)接ECM內(nèi)容管理平臺(tái)和備份系統(tǒng)的分層建設(shè)中。一、背景和必要性目前，我行的非結(jié)構(gòu)化數(shù)據(jù)主要存儲(chǔ)在構(gòu)建于傳統(tǒng)集中式塊存儲(chǔ)之上的IBMGPFS并行文件系統(tǒng)中。這些非結(jié)構(gòu)化數(shù)據(jù)的文件數(shù)量和容量隨著業(yè)務(wù)規(guī)模的發(fā)展呈逐年激增的趨勢(shì)，而這種使用存儲(chǔ)的方式靈活性不高，同時(shí)帶來了過高的成本開銷。GPFS構(gòu)建在FCSAN存儲(chǔ)之上，消耗了較多的SAN存儲(chǔ)資源以及中間的FC交換網(wǎng)絡(luò)資源。而從使用場(chǎng)景來看，GPFS主要用于前端的應(yīng)用服務(wù)器集群，隨著行里云平臺(tái)的廣泛使用，這種應(yīng)用服務(wù)器外聯(lián)FCSAN存儲(chǔ)的架構(gòu)也給應(yīng)用服務(wù)器入云帶來了制約，進(jìn)而由于消耗了更多的物理服務(wù)器也會(huì)帶來額外的成本開銷。另外，由于GPFS和數(shù)據(jù)庫(kù)類的應(yīng)用爭(zhēng)搶存儲(chǔ)資源，也給這些聯(lián)機(jī)交易類系統(tǒng)帶來了一定的性能沖擊。隨著行里的業(yè)務(wù)種類越來越豐富，不同類型數(shù)據(jù)的合理存放成為亟待解決的問題。針對(duì)上述問題，我行2018年引入了中低端NAS存儲(chǔ)設(shè)備，用于存儲(chǔ)文件類的數(shù)據(jù)，為數(shù)據(jù)的分類存儲(chǔ)提供了便利，使得存儲(chǔ)的使用方式更趨于合理化。然而，按照我行存儲(chǔ)資源池的分級(jí)架構(gòu)建設(shè)規(guī)劃，需要額外建設(shè)具備雙活能力的高端NAS存儲(chǔ)系統(tǒng)，滿足GPFS場(chǎng)景中重要業(yè)務(wù)系統(tǒng)的文件共享需求和同城雙活的高可用需求。為此，我行近兩年來構(gòu)建了高端NAS同城雙活架構(gòu)，同時(shí)，異地部署了一臺(tái)低端NAS存儲(chǔ)，進(jìn)而實(shí)現(xiàn)了依托NAS存儲(chǔ)復(fù)制技術(shù)的3DC高可用架構(gòu)。而現(xiàn)有的中低端NAS存儲(chǔ)，可以繼續(xù)承載GPFS場(chǎng)景中的一般重要業(yè)務(wù)系統(tǒng)的文件存儲(chǔ)需求。除了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)優(yōu)化之外，我行另一個(gè)需要逐步優(yōu)化的場(chǎng)景是系統(tǒng)間的文件交互。目前，我行使用專門的文件傳輸工具進(jìn)行各系統(tǒng)間的文件傳遞，軟件架構(gòu)較為復(fù)雜，同時(shí)運(yùn)維難度也略大。此外，由于各業(yè)務(wù)系統(tǒng)分布在不同的網(wǎng)絡(luò)區(qū)域，跨區(qū)的文件傳輸流量也會(huì)給各區(qū)域的邊界防火墻帶來性能壓力。為此，我們可以借助NAS存儲(chǔ)構(gòu)建文件交互平臺(tái)，不但省去了文件在各系統(tǒng)間的頻繁傳遞，提高業(yè)務(wù)系統(tǒng)效率，同時(shí)，依托NAS存儲(chǔ)的多網(wǎng)絡(luò)區(qū)域覆蓋能力，可以避免產(chǎn)生跨區(qū)流量，進(jìn)而規(guī)避對(duì)邊界防火墻的性能沖擊。下面兩張圖分別是NAS引進(jìn)前、后的文件類數(shù)據(jù)存儲(chǔ)系統(tǒng)高可用架構(gòu)圖：圖一構(gòu)建在SAN存儲(chǔ)復(fù)制技術(shù)上的文件高可用架構(gòu)圖二依托NAS存儲(chǔ)3DC方案構(gòu)建的文件高可用架構(gòu)實(shí)際上，在我行的整體存儲(chǔ)體系和存儲(chǔ)架構(gòu)規(guī)劃中，SAN存儲(chǔ)、NAS存儲(chǔ)和對(duì)象存儲(chǔ)有其各自的定位和應(yīng)用場(chǎng)景。SAN存儲(chǔ)適用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫(kù)類應(yīng)用，滿足其高并發(fā)、低延遲的高性能需求。NAS存儲(chǔ)適用于多服務(wù)器共享文件場(chǎng)景或構(gòu)建文件傳輸平臺(tái)，對(duì)性能要求沒有SAN存儲(chǔ)高，但成本要低。對(duì)象存儲(chǔ)適用于存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)（文件、影印件、音視頻等），當(dāng)文件數(shù)量達(dá)到數(shù)十億、存儲(chǔ)容量達(dá)到幾十PB以上的量級(jí)時(shí)，其性能和總體擁有成本較之于NAS更具優(yōu)勢(shì)。二、技術(shù)路線對(duì)比對(duì)于文件類數(shù)據(jù)存儲(chǔ)的解決方案，實(shí)際上我們從業(yè)界不難看到基本包括分布式集群文件系統(tǒng)、分布式NAS存儲(chǔ)、傳統(tǒng)集中式NAS存儲(chǔ)以及對(duì)象存儲(chǔ)等。這些存儲(chǔ)技術(shù)各具特色，分別適用不同的業(yè)務(wù)場(chǎng)景。比如分布式集群文件系統(tǒng)或者稱為并行文件系統(tǒng)解決方案，例如：GPFS、Cephfs、GlusterFS、HDFS、GFS等。對(duì)于這些集群文件系統(tǒng)，有些存在元數(shù)據(jù)節(jié)點(diǎn)，有些則是沒有元數(shù)據(jù)節(jié)點(diǎn)的對(duì)稱架構(gòu)，另外在文件的分片尺寸上也略有區(qū)別，但總體上來講，這些分布式文件系統(tǒng)或者是分布式NAS存儲(chǔ)基本適用于高性能計(jì)算場(chǎng)景或者是大文件處理場(chǎng)景中。而對(duì)于一般文件共享場(chǎng)景以及多系統(tǒng)文件交互場(chǎng)景，采用傳統(tǒng)集中式NAS存儲(chǔ)則更為便捷。如果從文件規(guī)模角度來看，對(duì)于文件數(shù)量在千萬級(jí)以下，文件容量在百TB級(jí)別，傳統(tǒng)NAS技術(shù)可以承載。而對(duì)于文件數(shù)量在億級(jí)別，文件容量在幾十PB以上的情況下，采用對(duì)象存儲(chǔ)則更能凸顯價(jià)值。對(duì)象存儲(chǔ)可以說是云存儲(chǔ)中一個(gè)重要技術(shù)分支，是近年來在國(guó)內(nèi)發(fā)展最快的存儲(chǔ)形態(tài)之一。無論是在傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè)都有很多落地案例。在架構(gòu)體系形態(tài)上，由于對(duì)象存儲(chǔ)用于存儲(chǔ)和處理海量的非結(jié)構(gòu)化數(shù)據(jù)，例如文件、圖片、音視頻、影印件等，所以要求其有強(qiáng)大的擴(kuò)展能力，而無疑采用分布式架構(gòu)更便于橫向、快速的擴(kuò)展。在應(yīng)用形態(tài)上，對(duì)象存儲(chǔ)暴露給前端的主要是S3協(xié)議，一種面向Web的RESTfulAPI接口，需要前端應(yīng)用針對(duì)這種特別的接口進(jìn)行定制化開發(fā)。而為了兼容老的應(yīng)用，對(duì)象存儲(chǔ)在前端還可以進(jìn)行特別“包裝”，從而可以提供豐富的NAS接口協(xié)議，甚至和Hadoop大數(shù)據(jù)平臺(tái)還有S3A接入適配協(xié)議。從對(duì)象存儲(chǔ)在銀行業(yè)的應(yīng)用場(chǎng)景來看，可以分為兩個(gè)大類，分別是業(yè)務(wù)系統(tǒng)處理和歷史數(shù)據(jù)備份及歸檔。在業(yè)務(wù)系統(tǒng)支持上，對(duì)象存儲(chǔ)可以對(duì)接ECM內(nèi)容管理平臺(tái)，作為后端的數(shù)據(jù)存儲(chǔ)系統(tǒng)。這樣一方面可以有效發(fā)揮其處理海量非結(jié)構(gòu)化數(shù)據(jù)的性能和成本優(yōu)勢(shì)。另一方面，對(duì)象存儲(chǔ)還可以提供豐富的業(yè)務(wù)附加功能，如業(yè)務(wù)元數(shù)據(jù)Metadata標(biāo)簽，便于對(duì)業(yè)務(wù)數(shù)據(jù)做標(biāo)記，提高業(yè)務(wù)數(shù)據(jù)快速檢索能力。另一個(gè)場(chǎng)景可以用在備份系統(tǒng)的分層建設(shè)中。對(duì)象存儲(chǔ)可以作為備份系統(tǒng)中磁帶介質(zhì)層的上層，用于作為近線備份的存儲(chǔ)，提升歷史數(shù)據(jù)的檢索效率。此外，在大數(shù)據(jù)平臺(tái)場(chǎng)景中，對(duì)象存儲(chǔ)憑借S3A適配協(xié)議可以實(shí)現(xiàn)和大數(shù)據(jù)平臺(tái)的對(duì)接，提供歷史數(shù)據(jù)歸檔能力。三、存儲(chǔ)分類分級(jí)建設(shè)通過項(xiàng)目實(shí)施，實(shí)現(xiàn)了我行NAS文件存儲(chǔ)資源池的分級(jí)建設(shè)。隨著NAS應(yīng)用的推廣和落地，逐漸降低了塊存儲(chǔ)使用成本，提高了存儲(chǔ)的使用靈活度，實(shí)現(xiàn)不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲(chǔ)。特別是借助高端NAS存儲(chǔ)設(shè)備構(gòu)建同城雙活架構(gòu)，實(shí)現(xiàn)了重要業(yè)務(wù)系統(tǒng)對(duì)于文件存儲(chǔ)的高可用需求。較之于先前的GPFS方案，在RPO同為0的情況下，RTO指標(biāo)得到極大提升。最后，利用NAS存儲(chǔ)構(gòu)建業(yè)務(wù)系統(tǒng)間文件交互平臺(tái)，顯著提升了業(yè)務(wù)處理效率。可以說，在企業(yè)IT基礎(chǔ)架構(gòu)優(yōu)化中，很難有一種技術(shù)可以完美替代另一種技術(shù)。就如同對(duì)象存儲(chǔ)的引入并不是對(duì)現(xiàn)有企業(yè)存儲(chǔ)架構(gòu)的徹底顛覆，而是一種技術(shù)的有力補(bǔ)充，分類分級(jí)建設(shè)的存儲(chǔ)資源池可以匹配各自適用的業(yè)務(wù)場(chǎng)景。傳統(tǒng)集中式SAN存儲(chǔ)以其高并發(fā)、低延遲的特性，適用于數(shù)據(jù)庫(kù)類業(yè)務(wù)場(chǎng)景。NAS文件存儲(chǔ)資源池用于解決文件共享或者是系統(tǒng)間的文件交互場(chǎng)景。而對(duì)于音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)的處理，采用對(duì)象存儲(chǔ)則更為合理。正是這些技術(shù)的相互補(bǔ)充，才得以最大化地發(fā)揮各種技術(shù)的效能，從而更好地支撐前端業(yè)務(wù)系統(tǒng)的穩(wěn)定、高效運(yùn)行。GPFS遷移實(shí)踐篇在計(jì)劃進(jìn)行GPFS向NAS轉(zhuǎn)型前，要對(duì)目標(biāo)NAS存儲(chǔ)做好規(guī)劃和設(shè)計(jì)。為了保證NAS存儲(chǔ)可以很好地支撐業(yè)務(wù)需求，同時(shí)確保NAS存儲(chǔ)系統(tǒng)自身的架構(gòu)健壯性和性能，可以從容量、性能、架構(gòu)以及規(guī)范等層面對(duì)NAS存儲(chǔ)進(jìn)行詳細(xì)設(shè)計(jì)。而對(duì)于GPFS向NAS的遷移，要以項(xiàng)目管理的方式進(jìn)行工作推進(jìn)。首先是人員的準(zhǔn)備，要明確各個(gè)條線的工作職責(zé)，從而便于各條線做好配合，進(jìn)而可以保證項(xiàng)目的交付質(zhì)量。對(duì)于具體的遷移工作，要按遷移前、遷移中和遷移后做好整個(gè)遷移工作的閉環(huán)管理。此外，要做好經(jīng)驗(yàn)總結(jié)，通過持續(xù)的PDCA，可以使后續(xù)的遷移工作更順暢和高效。一、目標(biāo)NAS存儲(chǔ)的規(guī)劃和設(shè)計(jì)在進(jìn)行GPFS向NAS技術(shù)轉(zhuǎn)型之前，要對(duì)目標(biāo)的NAS存儲(chǔ)做好規(guī)劃。可以從容量設(shè)計(jì)、性能設(shè)計(jì)、架構(gòu)設(shè)計(jì)、規(guī)范設(shè)計(jì)等方面對(duì)目標(biāo)NAS存儲(chǔ)提前進(jìn)行規(guī)劃。具體來講，對(duì)于容量設(shè)計(jì)方面，要以GPFS臺(tái)賬為依據(jù)，梳理GPFS文件總?cè)萘?，此外，需要考慮存儲(chǔ)容量年增長(zhǎng)率因素，評(píng)估出滿足業(yè)務(wù)至少3-5年的存儲(chǔ)容量需求。對(duì)于性能設(shè)計(jì)，可以利用存儲(chǔ)性能監(jiān)控工具，形成GPFS業(yè)務(wù)系統(tǒng)的性能基線，并充分考慮波峰（帶寬和OPS），以此作為存儲(chǔ)配置的依據(jù)。在做性能統(tǒng)計(jì)時(shí)，有幾個(gè)注意事項(xiàng)。一是GPFS業(yè)務(wù)系統(tǒng)在存儲(chǔ)上往往較為分散，不同的業(yè)務(wù)系統(tǒng)服務(wù)器會(huì)分布在不同的存儲(chǔ)設(shè)備上，這也是匯總性能數(shù)據(jù)的一個(gè)難點(diǎn)和要注意的地方。二是要特別關(guān)注交易量大的系統(tǒng)，抓住帶來存儲(chǔ)性能消耗的幾個(gè)關(guān)鍵系統(tǒng)。三是要建立典型業(yè)務(wù)高峰時(shí)點(diǎn)的性能基線，如季度結(jié)息、年終決算、雙十一等。四是在做性能分析時(shí)，要注意辨別共用存儲(chǔ)資源的情況。例如GPFS和數(shù)據(jù)庫(kù)業(yè)務(wù)共用存儲(chǔ)前端口的情況，在做性能數(shù)據(jù)收集時(shí)，要收集GPFS涉及LUN的性能，而不是端口的性能數(shù)據(jù)。因?yàn)槎丝趯儆诠灿觅Y源，除了GPFS流量，還包括數(shù)據(jù)庫(kù)業(yè)務(wù)貢獻(xiàn)的流量。對(duì)于架構(gòu)設(shè)計(jì)，存儲(chǔ)系統(tǒng)首先沒有單點(diǎn)故障，然后用于承載重要系統(tǒng)的NAS存儲(chǔ)構(gòu)建基于存儲(chǔ)復(fù)制技術(shù)的3DC架構(gòu)。此外，為了提升NAS存儲(chǔ)系統(tǒng)各張網(wǎng)絡(luò)的健壯性和性能，建議構(gòu)建功能獨(dú)立、物理隔離的網(wǎng)絡(luò)。對(duì)于業(yè)務(wù)網(wǎng)絡(luò)，可以通過LACP鏈路聚合的方式擴(kuò)充存儲(chǔ)側(cè)的網(wǎng)絡(luò)帶寬。最后，對(duì)于規(guī)范設(shè)計(jì)方面，要充分利用NAS存儲(chǔ)提供的租戶特性，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的安全隔離。有關(guān)NAS存儲(chǔ)的架構(gòu)設(shè)計(jì)將在后續(xù)的文章中進(jìn)行更詳細(xì)地說明。下圖是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D，從圖中可以看出，正是采用了四網(wǎng)分離的網(wǎng)絡(luò)架構(gòu)，即業(yè)務(wù)網(wǎng)絡(luò)、復(fù)制網(wǎng)絡(luò)、仲裁網(wǎng)絡(luò)、管理網(wǎng)絡(luò)分離，才得以保障各張網(wǎng)絡(luò)的高可用和高性能。圖三華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D二、遷移原則在GPFS向NAS遷移工作實(shí)施前，為了保證遷移質(zhì)量，同時(shí)提升遷移效率，首先制定了遷移的四大原則。第一是“先做減法”原則，一方面，對(duì)于已下線及待下線的系統(tǒng)，積極推動(dòng)系統(tǒng)下線流程，然后回收所用存儲(chǔ)資源。另一方面，推動(dòng)各業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)清理，降低數(shù)據(jù)遷移量。第二是“以靜制動(dòng)”原則，對(duì)于有改造計(jì)劃的系統(tǒng)，待系統(tǒng)改造完成后，再?zèng)Q定是否遷移或回收老系統(tǒng)所用存儲(chǔ)資源。第三是“分批推進(jìn)”原則，為了平穩(wěn)、高效地完成遷移任務(wù)，合理劃分遷移批次。此外，遷移工作要由易到難，從簡(jiǎn)到繁，不斷積累經(jīng)驗(yàn)。第四是“精細(xì)方案”原則，首先，遷移方案要做實(shí)做細(xì)，要做好遷移前、遷移中、遷移后整個(gè)遷移工作的閉環(huán)管理。此外，針對(duì)不同業(yè)務(wù)系統(tǒng)，需要定制最佳的個(gè)性化遷移方案。比如對(duì)于文件目錄很深、文件數(shù)量特別大的系統(tǒng)，可以采用分批次的遷移方案。三、遷移方案如前所述，為了做好整個(gè)數(shù)據(jù)遷移工作的閉環(huán)管理，下面將從遷移前的準(zhǔn)備工作、遷移實(shí)施過程以及遷移后的收尾工作等環(huán)節(jié)對(duì)遷移方案進(jìn)行展開陳述。（一）遷移前的準(zhǔn)備工作人員是項(xiàng)目實(shí)施的關(guān)鍵因素，在遷移項(xiàng)目中，各個(gè)技術(shù)條線要做到分工明確，進(jìn)而才可實(shí)現(xiàn)通力合作。系統(tǒng)條線作為提供和保障IT基礎(chǔ)設(shè)施的技術(shù)條線，將作為整個(gè)遷移項(xiàng)目的項(xiàng)目經(jīng)理角色，負(fù)責(zé)牽頭整個(gè)數(shù)據(jù)遷移項(xiàng)目。應(yīng)用條線配合確認(rèn)和推進(jìn)已下線和待下線系統(tǒng)的下線流程，同時(shí)，在數(shù)據(jù)遷移完成后，配合進(jìn)行必要的業(yè)務(wù)驗(yàn)證工作。網(wǎng)絡(luò)條線在遷移工作中負(fù)責(zé)開通相關(guān)的網(wǎng)絡(luò)訪問關(guān)系，提供網(wǎng)絡(luò)方面的技術(shù)支持。生產(chǎn)管理?xiàng)l線則負(fù)責(zé)組織落實(shí)相關(guān)變更的方案評(píng)審以及對(duì)外的監(jiān)管報(bào)備工作。決定遷移項(xiàng)目質(zhì)量的另一個(gè)關(guān)鍵因素是要有一份清晰且精準(zhǔn)的GPFS臺(tái)賬。關(guān)于臺(tái)賬的準(zhǔn)備，可以采用管理維度和技術(shù)維度相輔相成的策略。對(duì)于管理維度，日常運(yùn)維工作中形成的完整且及時(shí)更新的GPFS臺(tái)賬作為基線。而對(duì)于技術(shù)維度，一方面可以通過運(yùn)維自動(dòng)化平臺(tái)，編制GPFS文件系統(tǒng)信息導(dǎo)出腳本，形成GPFS全量信息報(bào)表。另一方面，可以借助CMDB平臺(tái)導(dǎo)出GPFS相關(guān)報(bào)表。通過上述管理和技術(shù)的融合，最終形成一份全量的GPFS臺(tái)賬，從而可以指導(dǎo)后續(xù)的遷移工作。（二）遷移實(shí)施目標(biāo)NAS存儲(chǔ)分配到位對(duì)于一般重要業(yè)務(wù)系統(tǒng)分配低端NAS存儲(chǔ)，NAS存儲(chǔ)采用本地部署方案，而對(duì)于重要系統(tǒng)則分配高端NAS存儲(chǔ)，采用NAS同城雙活架構(gòu)。數(shù)據(jù)遷移操作流程1.將分配的目標(biāo)NAS存儲(chǔ)掛載到臨時(shí)目錄上，如/qianyi2.將GPFS掛載點(diǎn)目錄下的內(nèi)容全部拷貝到上述的目標(biāo)路徑下3.待拷貝完成后，卸載掉GPFS以及目標(biāo)NAS文件系統(tǒng)4.將目標(biāo)NAS文件系統(tǒng)掛載到原GPFS掛載點(diǎn)上對(duì)于停機(jī)窗口充足的系統(tǒng)，建議在第二步開始前，停止使用GPFS的應(yīng)用程序。對(duì)于停機(jī)窗口有限的系統(tǒng)，第三步的拷貝可以使用rsync等支持增量拷貝以及斷點(diǎn)續(xù)傳的命令。對(duì)于目錄結(jié)構(gòu)深、海量小文件的系統(tǒng)，可以分批次進(jìn)行數(shù)據(jù)遷移，如先遷移近期使用的文件及目錄，后續(xù)再分批次遷移歷史文件。（三）遷移收尾工作數(shù)據(jù)遷移完成后，需要組織應(yīng)用人員進(jìn)行業(yè)務(wù)驗(yàn)證，驗(yàn)證新的目標(biāo)存儲(chǔ)可以正常承載業(yè)務(wù)運(yùn)行。為了應(yīng)對(duì)可能發(fā)生的遺漏文件的快速查找需求，需要將原GPFS目錄掛載到臨時(shí)目錄下，具體操作步驟如下：待新的NAS投產(chǎn)且平穩(wěn)運(yùn)行后，經(jīng)過一段時(shí)間的觀察期，可以組織對(duì)先前GPFS資源的回收。四、遇到的問題和解決方法在做數(shù)據(jù)遷移時(shí)，要充分考慮每個(gè)業(yè)務(wù)系統(tǒng)的文件生成和訪問特性。因?yàn)椴煌南到y(tǒng)對(duì)不同日期目錄的操作方式會(huì)有差異，這也是為什么要針對(duì)各個(gè)系統(tǒng)做定制化的遷移方案。比如，有的系統(tǒng)在數(shù)據(jù)遷移窗口期間不會(huì)訪問歷史日期目錄，只會(huì)在當(dāng)前日期目錄下生成文件。對(duì)于這樣的業(yè)務(wù)系統(tǒng)，我們可以利用短暫的窗口，先將GPFS和NAS的掛載點(diǎn)進(jìn)行切換。這樣一來，新的文件就會(huì)直接落地到NAS上，然后再遷移其他的目錄和文件。在windows操作系統(tǒng)中做數(shù)據(jù)拷貝時(shí)，我們往往會(huì)遇到內(nèi)存資源不足的情況，這個(gè)一般是與一次性拷貝的文件太多有關(guān)。對(duì)于這個(gè)問題，可以在每天的業(yè)務(wù)空閑時(shí)段，按目錄分批次進(jìn)行拷貝。對(duì)于windows操作系統(tǒng)，在掛載NAS存儲(chǔ)（映射網(wǎng)絡(luò)驅(qū)動(dòng)器）時(shí)，你會(huì)發(fā)現(xiàn)重啟服務(wù)器后，之前掛載的網(wǎng)絡(luò)驅(qū)動(dòng)器不見了。這是因?yàn)樵谟成渚W(wǎng)絡(luò)驅(qū)動(dòng)器時(shí)，沒有注意有些附加選項(xiàng)。如下圖，在映射網(wǎng)絡(luò)驅(qū)動(dòng)器時(shí)，注意要把“登錄時(shí)重新連接”選項(xiàng)勾選上。然后，注意選擇使用其他憑據(jù)連接，這樣會(huì)彈出訪問NAS存儲(chǔ)的用戶名和密碼，同時(shí)要注意選擇讓windows記住用戶名和密碼。圖四Windows映射網(wǎng)絡(luò)驅(qū)動(dòng)器另外，對(duì)于Linux或AIX操作系統(tǒng)，同樣也要注意把NFS的Mount掛載命令寫入開機(jī)自啟文件里，如對(duì)于SuseLinux操作系統(tǒng)，是/etc/init.d/after.local文件；對(duì)于紅帽Linux，是/etc/rc.d/rc.local;AIX一般可以寫入/etc/filesystems文件里。這里面如果是AIXHA場(chǎng)景，因?yàn)橐话鉔FS文件系統(tǒng)是隨服務(wù)IP一起的，所以可以把NFS的掛載和卸載命令寫入ha的啟停腳本里。在做數(shù)據(jù)遷移時(shí)，有時(shí)會(huì)遇到拷到目標(biāo)目錄中的文件時(shí)間戳、文件的屬主屬組或是權(quán)限會(huì)發(fā)生改變，這是因?yàn)樵趫?zhí)行拷貝時(shí)沒有用對(duì)選項(xiàng)。比如對(duì)于cp命令，注意使用-a選項(xiàng)，這個(gè)選項(xiàng)包含了-pall的功能，也就是拷貝時(shí)會(huì)保留文件或目錄的上述元數(shù)據(jù)信息。在數(shù)據(jù)遷移過程中，還有個(gè)典型問題，就是由于沒有更改GPFS的掛載點(diǎn)定義，而只是臨時(shí)將GPFG文件系統(tǒng)卸載掉。這樣一來，在系統(tǒng)重啟時(shí)，會(huì)造成GPFS和NAS的掛載點(diǎn)沖突。如果GPFS成功掛載了，那么新的業(yè)務(wù)文件就會(huì)寫入到GPFS文件系統(tǒng)中，進(jìn)而給整個(gè)遷移工作帶來麻煩。這也是前文提到的一定要做好遷移工作的閉環(huán)管理，注意按上文方法徹底調(diào)整GPFS的掛載點(diǎn)。五、遷移總結(jié)目前，GPFS遷移NAS的工作還在平穩(wěn)、高效地推進(jìn)中。通過項(xiàng)目實(shí)施，也收獲了不少經(jīng)驗(yàn)。從技術(shù)維度來看，一是對(duì)于目標(biāo)NAS存儲(chǔ)設(shè)備的架構(gòu)規(guī)劃要以目前業(yè)務(wù)系統(tǒng)的實(shí)際需求出發(fā)，特別注意性能基線的建立。二是要結(jié)合應(yīng)用場(chǎng)景，靈活使用存儲(chǔ)的特性，比如租戶隔離特性。三是在遷移前針對(duì)各個(gè)系統(tǒng)定制個(gè)性化的遷移方案，在遷移中注意文件屬性保留的拷貝選項(xiàng)，在遷移后要調(diào)整GPFS的配置，尤其是更改其掛載點(diǎn)。從管理維度來看，一是要將每一個(gè)存儲(chǔ)遷移工作以項(xiàng)目管理的方式進(jìn)行推進(jìn)，做好各技術(shù)和管理?xiàng)l線的職責(zé)分工，各專業(yè)條線通力合作，才能實(shí)現(xiàn)高質(zhì)量的項(xiàng)目交付。二是對(duì)于遷移工作，要“巧干”，首先制定工作原則。例如文中提到的“先做減法”、“以靜制動(dòng)”，這實(shí)際上也是對(duì)業(yè)務(wù)系統(tǒng)以及歷史數(shù)據(jù)生命周期管理的實(shí)踐和完善，借存儲(chǔ)遷移項(xiàng)目的契機(jī)，可以促進(jìn)對(duì)業(yè)務(wù)系統(tǒng)下線的推動(dòng)，同時(shí)完成歷史數(shù)據(jù)的清理。三是對(duì)遷移工作要做好閉環(huán)管理，特別要重視遷移后的收尾以及總結(jié)。NAS存儲(chǔ)使用經(jīng)驗(yàn)和效果篇數(shù)據(jù)只有做好分類存儲(chǔ)和管理，才能發(fā)揮基礎(chǔ)設(shè)施的最大效能。為此，行里從2018年開始引入中低端NAS存儲(chǔ)，到目前NAS存儲(chǔ)的3DC架構(gòu)落地，完備的NAS存儲(chǔ)資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺(tái)。通過近年來NAS存儲(chǔ)的推廣使用，逐漸降低了塊存儲(chǔ)使用成本，提高了存儲(chǔ)的使用靈活度，實(shí)現(xiàn)了不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲(chǔ)。如果說FC網(wǎng)絡(luò)是傳統(tǒng)集中式SAN存儲(chǔ)的核心，那么IP網(wǎng)絡(luò)無疑是NAS存儲(chǔ)的關(guān)鍵。因此，在配置NAS存儲(chǔ)時(shí)，特別是對(duì)于跨數(shù)據(jù)中心的NAS雙活架構(gòu)的搭建，提前規(guī)劃好各張不同功能的網(wǎng)絡(luò)就顯得尤為重要了。此外，通過結(jié)合業(yè)務(wù)使用場(chǎng)景，充分利用華為NAS存儲(chǔ)提供的租戶特性，不但實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)間的安全隔離，同時(shí)也實(shí)現(xiàn)了基于單個(gè)業(yè)務(wù)系統(tǒng)的細(xì)粒度災(zāi)備切換能力。一、技術(shù)方案從2018年開始引入中低端NAS存儲(chǔ)，到高端NAS雙活系統(tǒng)投產(chǎn)，以及如今的NAS3DC架構(gòu)的落地，完備的NAS存儲(chǔ)資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺(tái)。如上圖二是我行兩地三中心的NAS存儲(chǔ)架構(gòu)，最左面是采用本地部署模式的低端NAS存儲(chǔ)系統(tǒng)，右面部分是華為的兩地三中心NAS架構(gòu)，它是采用cascade串行級(jí)聯(lián)模式的數(shù)據(jù)復(fù)制架構(gòu)。下面將重點(diǎn)剖析NAS雙活架構(gòu)。兩臺(tái)華為高端18500雙活NAS設(shè)備分別部署在我行生產(chǎn)機(jī)房和同城災(zāi)備機(jī)房，構(gòu)建同城NAS雙活系統(tǒng)，為我行新核心、重要以及重要支撐系統(tǒng)提供文件交互、文件共享服務(wù)和文件高可用容災(zāi)服務(wù)。（一）網(wǎng)絡(luò)架構(gòu)如圖三是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D。整個(gè)網(wǎng)絡(luò)架構(gòu)共涉及4個(gè)網(wǎng)絡(luò)平面，分別是業(yè)務(wù)網(wǎng)絡(luò)平面、復(fù)制網(wǎng)絡(luò)平面、仲裁網(wǎng)絡(luò)平面以及管理網(wǎng)絡(luò)平面。每張網(wǎng)絡(luò)的拓?fù)浜凸δ芙榻B如下：業(yè)務(wù)網(wǎng)絡(luò)平面高端NAS雙活系統(tǒng)同時(shí)接入新核心區(qū)和業(yè)務(wù)三區(qū)，其中A、B控接入業(yè)務(wù)三區(qū)；C、D控接入新核心區(qū)，形成兩個(gè)故障漂移組（failgroup）。每個(gè)控制器通過2條10GbE光纖接入業(yè)務(wù)交換機(jī)，形成一個(gè)20GbE的端口組（LACP）。接入同一網(wǎng)絡(luò)區(qū)域的控制器之間采用A-A（雙active）互備的工作模式，當(dāng)任一個(gè)控制器出現(xiàn)硬件故障或業(yè)務(wù)網(wǎng)絡(luò)中斷時(shí)，存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將業(yè)務(wù)地址切換到另一個(gè)活動(dòng)的控制器上，切換時(shí)間控制在5秒以內(nèi)，對(duì)前端業(yè)務(wù)系統(tǒng)可以做到無感知。復(fù)制網(wǎng)絡(luò)平面每臺(tái)存儲(chǔ)通過4個(gè)40GbE的全互聯(lián)連接接入2臺(tái)40GbE的內(nèi)部復(fù)制交換機(jī)，兩中心的4臺(tái)復(fù)制交換機(jī)通過2條平行連接的10GbEDWDM線路連接，構(gòu)建了NAS同城雙活數(shù)據(jù)復(fù)制鏈路。通過存儲(chǔ)系統(tǒng)內(nèi)部的配置，共形成8條負(fù)載均衡的冗余ISL（InterSwitchLink）數(shù)據(jù)復(fù)制鏈路。仲裁網(wǎng)絡(luò)平面每臺(tái)存儲(chǔ)設(shè)備通過2塊仲裁網(wǎng)卡，和2臺(tái)仲裁物理服務(wù)器（HA主備架構(gòu)）構(gòu)建成2個(gè)獨(dú)立vlan的高可用仲裁網(wǎng)絡(luò)。對(duì)于仲裁模塊，從仲裁網(wǎng)絡(luò)鏈路到仲裁軟件，再到底層的仲裁服務(wù)器均實(shí)現(xiàn)了雙冗余，規(guī)避了仲裁系統(tǒng)的單點(diǎn)故障，從而極大提升了仲裁的高可用性。圖五復(fù)制和仲裁鏈路管理網(wǎng)絡(luò)平面每臺(tái)存儲(chǔ)通過2個(gè)管理網(wǎng)口接入網(wǎng)管網(wǎng)，用于存儲(chǔ)設(shè)備的日常管理和存儲(chǔ)監(jiān)控管理。如上所述，高端NAS雙活系統(tǒng)的網(wǎng)絡(luò)按照功能劃分為四個(gè)物理隔離的平行網(wǎng)絡(luò)平面，每個(gè)網(wǎng)絡(luò)平面只承載各自功能模塊的流量。這樣的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，既保證了各個(gè)網(wǎng)絡(luò)的安全性，也提升了每個(gè)網(wǎng)絡(luò)平面的吞吐性能。業(yè)務(wù)網(wǎng)絡(luò)平面既可以支持兩中心大二層打通的網(wǎng)絡(luò)架構(gòu)，也支持不打通大二層，使用各中心獨(dú)立IP地址的方案。為了遵從我行整體的網(wǎng)絡(luò)規(guī)劃，我們采用了后者即獨(dú)立IP的方案。兩種網(wǎng)絡(luò)架構(gòu)在存儲(chǔ)端的RTO指標(biāo)是一致的，而最主要的區(qū)別主要在于大二層打通的架構(gòu)可以獲得更好的主機(jī)端全局的RTO指標(biāo)。在大二層打通的情況下，當(dāng)發(fā)生站點(diǎn)切換時(shí)，主機(jī)側(cè)可以無感知的恢復(fù)NAS連接。而對(duì)于獨(dú)立IP的方案，需要主機(jī)側(cè)重新執(zhí)行NAS存儲(chǔ)的掛載。為了進(jìn)一步提升該方案中主機(jī)側(cè)的RTO指標(biāo)，利用我行自動(dòng)化災(zāi)備切換系統(tǒng)編排NAS站點(diǎn)切換流程，定制了各系統(tǒng)的切換腳本。腳本的核心邏輯是這樣的：第一，更改客戶端操作系統(tǒng)中的NAS自動(dòng)掛載命令。將主站點(diǎn)的掛載命令注釋掉，同時(shí)去掉從站點(diǎn)掛載命令的注釋。第二，卸載主站點(diǎn)的NAS掛載。如果遇到卸載失敗的情況，需要判斷是否有進(jìn)程占用，如果有應(yīng)用進(jìn)程占用導(dǎo)致無法卸載，則需要停止應(yīng)用程序再卸載主站點(diǎn)的NAS掛載。第三，掛載從站點(diǎn)的NAS。如果在第二步中停止了應(yīng)用程序，則需要在從站點(diǎn)的NAS成功掛載后啟動(dòng)應(yīng)用程序。對(duì)于回切流程，也按照上述同樣的邏輯進(jìn)行回切腳本設(shè)計(jì)。（二）軟件架構(gòu)在軟件層面，為了提升安全性和易管理性，華為高端NAS系統(tǒng)采用基于租戶的方式實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)邏輯隔離。租戶是文件系統(tǒng)、網(wǎng)絡(luò)邏輯端口的存儲(chǔ)資源集合。針對(duì)我行的實(shí)際業(yè)務(wù)場(chǎng)景，設(shè)計(jì)了兩類租戶，一類是業(yè)務(wù)系統(tǒng)交互，另一類是業(yè)務(wù)系統(tǒng)獨(dú)自使用。對(duì)于業(yè)務(wù)系統(tǒng)間交互的租戶，會(huì)按照業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)區(qū)域配置不同的邏輯端口，業(yè)務(wù)系統(tǒng)會(huì)使用同區(qū)域的網(wǎng)絡(luò)端口接入NAS存儲(chǔ)，從而提升存儲(chǔ)訪問效率，同時(shí)還能規(guī)避邊界網(wǎng)絡(luò)防火墻的跨區(qū)流量。除了安全性、易管理性和性能因素外，租戶也是華為高端NAS雙活系統(tǒng)細(xì)粒度站點(diǎn)級(jí)容災(zāi)的底層支撐要素。每個(gè)租戶在雙活架構(gòu)下會(huì)配置雙活租戶pair對(duì)，由于雙活租戶pair是雙活系統(tǒng)的最小單元，因此，可以實(shí)現(xiàn)基于單個(gè)業(yè)務(wù)系統(tǒng)的站點(diǎn)級(jí)災(zāi)備切換方案。下圖是雙活租戶pair的管理界面，從中可以清晰的看到雙活租戶pair以及文件系統(tǒng)雙活pair的運(yùn)行狀態(tài)。圖六雙活租戶PAIR和文件系統(tǒng)雙活PAIRNAS存儲(chǔ)的另一層數(shù)據(jù)保護(hù)是基于文件系統(tǒng)的快照功能。通過快照技術(shù)，可以實(shí)現(xiàn)一定時(shí)間段內(nèi)對(duì)文件歷史版本的回溯以及找回被誤刪除的文件等?？梢葬槍?duì)每個(gè)業(yè)務(wù)系統(tǒng)的需求定制不同的快照和快照保留策略。此外，可以靈活定制每個(gè)文件系統(tǒng)的快照預(yù)留空間，當(dāng)快照預(yù)留空間剩余不足時(shí)，最早的快照將被自動(dòng)清除。在數(shù)據(jù)備份方面，使用NDMP協(xié)議實(shí)現(xiàn)Server-Free的備份架構(gòu)。在這種架構(gòu)下，業(yè)務(wù)數(shù)據(jù)可以從NAS存儲(chǔ)端直接備份到磁帶庫(kù)中，而不通過前端客戶機(jī)操作系統(tǒng)中轉(zhuǎn)。因此，不但可以提升數(shù)據(jù)備份效率，更重要的是，可以大幅降低數(shù)據(jù)備份對(duì)業(yè)務(wù)系統(tǒng)的性能影響。二、NAS存儲(chǔ)使用規(guī)范NAS存儲(chǔ)在權(quán)限管理和控制方面，總體來說，主要包括客戶端授權(quán)以及用戶管理兩方面。在用戶管理方面，通過綜合考慮我行的實(shí)際業(yè)務(wù)特性、應(yīng)用場(chǎng)景和使用規(guī)模，最終選擇了本地用戶管理策略，也就是說NAS存儲(chǔ)未接入AD域或者使用L