基于華為NAS存儲在某車企業(yè)務系統(tǒng)上的應用實踐

一、概述當前各行各業(yè)都在數(shù)字化轉型，數(shù)據(jù)是企業(yè)最核心的資產(chǎn)。企業(yè)中的每個人都成了海量數(shù)據(jù)的生產(chǎn)者，每天都會產(chǎn)生海量數(shù)據(jù)，而其中大部分都是非結構化數(shù)據(jù)，包括文檔、文本、視頻、音頻、圖片、圖像等形式。一小部分數(shù)據(jù)隨著業(yè)務共享調(diào)用存儲在數(shù)據(jù)庫中，運行在傳統(tǒng)的SAN存儲設備上，既影響了數(shù)據(jù)庫性能指標，降低了響應速度，同時又大大提高了數(shù)據(jù)的管理成本。此外還有更大部分的數(shù)據(jù)散落在用戶個人的PC電腦、郵箱中，得不到統(tǒng)一管理，因此選擇一個易擴展、高性價比的存儲解決方案，將非結構化數(shù)據(jù)統(tǒng)一存儲，并提供高性能的訪問就變得異常緊迫。二、需求分析及難點

作為一家跨地區(qū)、跨行業(yè)、跨所有制的北京大型車企，我司內(nèi)部員工近4萬人，在全國各省市都擁有整車和零部件事業(yè)部及子公司，研發(fā)機構分布海外，合作的供應商、經(jīng)銷商、服務商共計近萬家，因此每天每時每刻都產(chǎn)生大量對公司有資產(chǎn)價值的、可重復利用的、具有安全私密性的非結構化文檔數(shù)據(jù)。通過分析，內(nèi)外協(xié)作產(chǎn)生的文檔數(shù)據(jù)至少100TB以上缺少集中管控，形式多以文檔、PDF、設計圖紙、音視頻、圖片為主，分散在各業(yè)務系統(tǒng)共享服務器上以及個人電腦、郵件中。從資源層面上，這些數(shù)據(jù)占用著存儲空間，但文件共享不便捷，文檔流轉效率低，大附件無法發(fā)送，未能形成軟資產(chǎn)留存；從知識層面上，這些內(nèi)容需要有效流傳并重復利用；因此急需建立一個有效的云盤系統(tǒng)，有效實現(xiàn)對數(shù)據(jù)的共享、協(xié)作、安全的集中管控。為了支撐云盤系統(tǒng)建設，滿足云盤應用部署對于存儲性能要求，保證云盤海量數(shù)據(jù)存儲的高可用性，計劃構建云盤基礎設施層的存儲建設。主要需求如下：存儲可用性指標：99.99%存儲數(shù)據(jù)災備指標：RTO（數(shù)據(jù)復原所需時長）：<2小時，RPO（數(shù)據(jù)恢復的程度）：<2小時存儲的容量：存儲需滿足業(yè)務數(shù)據(jù)增長的需求；存儲數(shù)據(jù)的安全：具備安全可靠的存儲基礎架構；存儲的管理：存儲設備的安裝和維護管理需簡單易用；存儲性價比：考慮項目預算，存儲的性價比需最優(yōu)。三、NAS存儲架構選型經(jīng)驗

搭建云盤配套的文件共享存儲資源池，目前主流的有NAS存儲、分布式NAS存儲和對象存儲三種路線，對象存儲需要業(yè)務應用進行改造適配，而部分數(shù)據(jù)為企業(yè)私有數(shù)據(jù)，且不支持數(shù)據(jù)的復雜目錄結構，因此本項目重點考慮NAS存儲，相比分布式存儲，集中式NAS存儲可以為前端服務器提供簡單的集中共享式文件訪問，且具備高性能和高可靠的優(yōu)勢，且支持橫向擴展NAS集群,具體優(yōu)勢如下：1.可靠性集中式NAS的存儲節(jié)點是專用的控制器，其上搭載的專用存儲操作系統(tǒng)成熟穩(wěn)定；分布式存儲采用廉價的PC服務器，安裝分布式存儲系統(tǒng)軟件，通過存儲管理、存儲服務、應用接口以及存儲訪問等多部分軟件和硬件組裝存儲系統(tǒng)，存在更多故障點；沒有針對寫緩存數(shù)據(jù)掉電情況下的數(shù)據(jù)一致性保護機制。2.性能NAS通過高速緩存完成寫數(shù)據(jù)，然后返回結束，后端再落盤，性能更優(yōu)；分布式存儲保證數(shù)據(jù)可用性通過保留多份數(shù)據(jù)副本實現(xiàn)，當本地寫以及所有備份副本均寫成功后，存儲節(jié)點將成功信息返回給前端，降低了寫的性能；分布式存儲寫數(shù)據(jù)完成是要等到數(shù)據(jù)落盤才返回，沒有寫緩存機制，寫的性能受限；分布式存儲節(jié)點失效或磁盤故障時，重構時間很長，嚴重影響性能。3.

數(shù)據(jù)保護集中式NAS存儲通過采用ROW大塊順序寫機制，開啟RAID保證多個物理硬盤的損壞數(shù)據(jù)不丟失，而對前端的寫操作沒有任何性能影響；集中式NAS存儲可以方便地通過以太網(wǎng)進行數(shù)據(jù)復制和容災，還可以利用增量復制、數(shù)據(jù)壓縮等多種手段節(jié)約傳輸效率，節(jié)約網(wǎng)絡帶寬；分布式存儲保證數(shù)據(jù)可用性是通過保留多份數(shù)據(jù)副本實現(xiàn)的，當本地寫以及所有備份副本均寫成功后，存儲節(jié)點將成功信息返回給前端，降低了寫的性能，得盤率低；分布式存儲采用服務器構建，很難進行遠程的基于存儲控制器的數(shù)據(jù)復制和容災。4.擴展性NAS控制器可以在線地進行增加磁盤來擴容也可以通過增加存儲控制器節(jié)點來橫向擴展集群容量和性能，以上擴展都完全無縫進行；分布式存儲節(jié)點是采用PC服務器加內(nèi)置磁盤的方式，由于內(nèi)置盤數(shù)量較少，意味著只是容量的增加而不需要更高的計算性能時也必須增加更多的服務器，擴展不靈活，增加成本。5.數(shù)據(jù)管理、存儲效率NAS具備多種數(shù)據(jù)管理和保護功能（RAID-DP、快照、克隆、復制)，通過存儲效率（精簡配置、數(shù)據(jù)縮減、快照）等節(jié)約存儲空間，降低成本；分布式存儲沒有企業(yè)數(shù)據(jù)管理功能。6.運維管理集中式NAS只需要管理存儲本身，而無需單獨管理其內(nèi)部部件，管理相對簡單；分布式存儲有一套基于WEB的管理平臺，但是因為要管理網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分，造成事實上的管理復雜。綜上，經(jīng)過綜合評估，最終確認使用2臺集中式NAS存儲，搭建主備高可用架構來滿足云盤業(yè)務系統(tǒng)數(shù)據(jù)存儲的需求。四、NAS存儲架構實踐技術方案及實施運維經(jīng)驗

從車企數(shù)據(jù)存儲的分析可以看出，要使整個企業(yè)內(nèi)部的數(shù)據(jù)得到統(tǒng)一管理和安全應用，就必須有一個安全、性價比好、應用方便、管理簡單的存儲系統(tǒng)來存儲和備份企業(yè)內(nèi)部的數(shù)據(jù)資料。NAS網(wǎng)絡存儲服務器是一款特殊設計的文件存儲和備份的服務器，它能夠將網(wǎng)絡中的數(shù)據(jù)資料合理有效、安全地管理起來，并且可以作為備份設備將數(shù)據(jù)庫和其它的應用數(shù)據(jù)時時自動備份到NAS上。云盤系統(tǒng)對NAS存儲配置測算模型：名稱數(shù)值單位基礎模型用戶總數(shù)10000人活躍用戶比例80%百分比每日高峰時長2小時高峰時業(yè)務占全天業(yè)務比例50%百分比典型用戶文件總數(shù)量2000個典型用戶文件總大小20GB典型用戶每天傳輸文件數(shù)量100個典型用戶每天傳輸文件總大小0.1GB典型用戶比例90%百分比高階用戶文件總數(shù)量20000個高階用戶文件總大小200GB高階用戶每天傳輸文件數(shù)量1000個高階用戶每天傳輸文件總大小1GB高階用戶比例10%百分比每次文件傳輸發(fā)生IO次數(shù)20次估算數(shù)據(jù)活躍用戶數(shù)8000人典型用戶數(shù)量7200人高階用戶數(shù)量800人每日傳輸文件數(shù)量1520000個每日傳輸文件總大小1520GB高峰時傳輸文件數(shù)量760000個高峰時傳輸文件總大小760GB注：假設每次文件傳輸發(fā)生IO次數(shù)按照20次測算；假設一個小文件，劃分16個目錄保存。根據(jù)云盤項目組提供的業(yè)務場景需求，對于存儲性能測算指標如下：

性能指標指標名稱數(shù)值單位底層存儲峰值IOPS2111.111IOPS底層存儲峰值帶寬864.7111Mbps底層存儲最小容量304000GB底層存儲單目錄文件數(shù)4864000個網(wǎng)盤內(nèi)預估文件數(shù)量30400000個商務招標階段共有包括聯(lián)想、DellEMC、華為以及HP四家中高端NAS產(chǎn)品參與競標，項目組從NAS存儲功能、性能以及擴展性、商務成本方面，進行了綜合對比，可以看出華為企業(yè)NAS存儲設備性價比更優(yōu)，尤其是提供的性能（緩存指標）和擴展性方面更加突出。評價指標項聯(lián)想EMC華為HPDM7000HUnity500OceanStor

56003Par8000+FlieControllerNAS網(wǎng)關功能支持協(xié)議支持NFS/CIFS/HTTP/FC等協(xié)議支持NFS/CIFS/HTTP/FC等協(xié)議支持NFS/CIFS/HTTP/FC等協(xié)議支持NFS/CIFS/HTTP/FC等協(xié)議RAID支持類型支持RAID0/1/5/6支持RAID0/1/5/6支持RAID0/1/5/6支持RAID0/1/5/6存儲可用容量80TB滿足滿足滿足滿足硬件冗余滿足滿足滿足滿足支持磁盤混合模式支持支持支持支持提供寫緩存掉電保護支持支持支持支持去重、壓縮、碎片化整理支持支持支持支持數(shù)據(jù)異步復制免費提供免費提供免費提供免費提供整體緩存能力支持4T的整體緩存能力整體緩存能力可支持2TB支持4T的整體緩存能力整體緩存能力可支持2TB性能存儲控制器緩存256G緩存128G緩存256G緩存128G緩存擴展性存儲空間擴展能力最高支持8PB最高支持4PB最高支持16PB最高支持4PB通過對比最終選購了華為OceanStor5600和OceanStor5300存儲，構建承載公司非結構化數(shù)據(jù)的存儲資源池，滿足云盤項目的需求指標，通過存儲間的數(shù)據(jù)復制實現(xiàn)數(shù)據(jù)的容災。配置信息如下：序號設備品牌及型號配置描述1HuaweiOceanStor5600OceanStor5600(3U,雙控,交流\240V高壓直流,256GB緩存)，4端口8GbFCI/O模塊，4端口SmartIOI/O模塊(SFP+,10GbEth/FCoE)，4端口4*12GbSASI/O模塊(MiniSASHD)，4TB7.2KRPMNLSAS硬盤單元(3.5")*35，960GBSSDSAS硬盤單元(2.5")*42HuaweiOceanStor5300OceanStor5300(2U,雙控,交流\240V高壓直流,64GB緩存)，4端口SmartIOI/O模塊(SFP+,10GbEth/FCoE)，10TB7.2KRPMNLSAS硬盤單元(3.5")*12部署架構如下：為了驗證存儲功能的有效性、以及存儲切換和數(shù)據(jù)備份恢復后是否會對業(yè)務產(chǎn)生影響，上線之初，分別進行了如下兩個場景的驗證：1.場景一：模擬主存儲失效后，手工切換備份存儲，驗證數(shù)據(jù)的完整性2.場景二：模擬主存儲上部分數(shù)據(jù)丟失或損壞，手工從備份存儲上恢復數(shù)據(jù)至主存儲上模擬場景一：主存儲失效，備存儲接管（1）網(wǎng)盤：停止上傳、下載模塊服務

./stop_container.shdatacenter4（2）網(wǎng)盤：卸載主NAS

umount/data/ball/dirmap/datacenter/cell/object（3）NAS存儲：切換為備NAS①服務器上先umount主存儲的掛載點；[root@database/]#umount/data/ball/dirmap/search②登陸從存儲控制臺，選擇“數(shù)據(jù)保護”，選擇“遠程復制”③選擇“遠程復制pair”，找到對應的備份文件系統(tǒng)，如“search2”，選中文件系統(tǒng)后，選中“更多”-分裂④分裂后，再選擇“屬性”，更改為“可讀寫”權限⑤更改后，再次選中“更多”-“主從切換⑥選擇“資源分配”，選中“共享”⑦選中“創(chuàng)建”，選擇相應的文件系統(tǒng)，如：search2_bk⑧增加客戶端列表，在名稱或IP地址處可增加單個IP地址，也可以輸入“*”，代表所有主機⑨回到服務器端，掛載備存儲上共享出的文件系統(tǒng)[root@database]#showmount–e從存儲的業(yè)務IP地址[root@database]#mkdir/guo[root@database]#mount-tnfs-overs=3,proto=tcp,rsize=1048576,wsize=1048576,hard,intr,timeo=600備存儲IP:/Search2_bk/guo網(wǎng)盤：掛載備NASMount-tnfs-overs=3,proto=tcp,rsize=1048576,wsize=1048576,hard,intr,timeo=600備存儲IP:/Datacenter/data/ball/dirmap/datacenter/cell/object（4）網(wǎng)盤：啟動服務datacenter容器

./run_container.shdatacenter4

dockerexec-itdatacenter4bash（5）網(wǎng)盤：驗證文件下載、預覽（6）網(wǎng)盤：數(shù)據(jù)差異檢查（7）驗證完成后，網(wǎng)盤停止服務./stop_container.shdatacenter4網(wǎng)盤：卸載備NASumount/data/ball/dirmap/datacenter/cell/object（8）NAS：切換主NAS，恢復原來的掛載狀態(tài)。

模擬場景二：主存儲上文件系統(tǒng)的部分數(shù)據(jù)文件丟失或損壞：（1）在主存儲的/data/ball/dirmap/datacenter/cell/object文件系統(tǒng)下創(chuàng)建hello.txt文件（2）在主存儲上做數(shù)據(jù)同步：（3）同步完成后，在備存儲上做分裂（4）更改備存儲上文件系統(tǒng)的權限為“可讀寫”（5）在備存儲上創(chuàng)建共享：（6）在服務器上掛載備存儲上的備份文件系統(tǒng)，找到丟失或損壞的文件（7）恢復主從存儲的復制關系：①卸載從存儲上的備份文件系統(tǒng)：#umount/guo②在從存儲上刪除共享③更改從存儲上備份文件系統(tǒng)的權限為：“只讀”④在主存儲上做數(shù)據(jù)同步⑤在從存儲上查看pari狀態(tài)為“正?！蓖ㄟ^場景驗證，華為