竣工北方民族存儲實施

1、北方民族大學(xué)數(shù)據(jù)中心 Netapp實施文檔信亦宏達網(wǎng)絡(luò)技術(shù)（2014-8）Chengyuhong文檔信息項目名稱： 北方民族大學(xué)數(shù)據(jù)中心系統(tǒng)實施 文檔版本信息作者行動日期V1.2起草2014 年 07 月 28 日V1.3修訂更新2014 年 08 月 18 日目錄文檔概述4項目實施計劃53 項目實施. 6系統(tǒng)架構(gòu)7系統(tǒng)架構(gòu)概要7業(yè)務(wù)邏輯示意圖8各安裝點設(shè)備信息：94.4 FAS32204.5 FAS3250 4.6 E5460網(wǎng)絡(luò)背板以及接口示意圖10網(wǎng)絡(luò)背板以及接口示意圖10背板示意圖114.7 FAS與盤柜背板連接圖（E 系列內(nèi)置盤）11系統(tǒng)設(shè)計與實施規(guī)范14操作系統(tǒng)安裝14網(wǎng)絡(luò)配置14

2、4.105 網(wǎng)絡(luò)與空間劃分14基本配置規(guī)劃145.1 網(wǎng)絡(luò)配置規(guī)劃表14Netapp網(wǎng)絡(luò)5.3.1網(wǎng)絡(luò)端口參考：16控制17管理端口（E0M/SP）175.3.2 數(shù)據(jù)傳輸端口17系統(tǒng)實施步驟18機房準備和網(wǎng)絡(luò)環(huán)境186.2初始化196.2.1 FAS3220 初始化配置（舉例）19磁盤空間劃分21為機頭分配磁盤216.3.2 Netapp卷分配236.3.3 設(shè)置卷屬性256.4的劃分266.4.1 Unix 上的劃分（舉例）266.4.2 Vmware ESX server 上的劃分28開機順序29關(guān)機順序291 文檔概述本項目實施方案專為北方民族大學(xué)Netapp項目定制，包含與項目實施相

3、關(guān)的設(shè)計方案、規(guī)劃原則、實施步驟等方面的技術(shù)方案信息。2 項目實施計劃序號步驟實施方時間1準備電源和網(wǎng)絡(luò)環(huán)境客戶到貨前2設(shè)備驗收，硬件上架客戶/Netapp1D3硬件測試和初始化Netapp1D4為數(shù)據(jù)庫服務(wù)器劃分卷和Netapp2D5測試系統(tǒng)運行客戶/Netapp3D6測試數(shù)據(jù)遷移Netapp/客戶2D7系統(tǒng)運行觀測客戶/Netapp3D8項目驗收客戶/Netapp1D9項目進入階段Netapp3 項目實施Netappchengsh項目經(jīng)理毛速4 系統(tǒng)架構(gòu)客戶新購置三臺IBM 刀片服務(wù)器，配置32個刀片服務(wù)器。因刀片服務(wù)器中沒用本地硬盤，用戶計劃通過購置USB U盤刀片服務(wù)器充當(dāng)?shù)镀?wù)器的

4、系統(tǒng)盤符。32個刀片服務(wù)器通過安裝Vmware ESXi5.5實現(xiàn)虛擬環(huán)境。本次新購置的FAS320、FAS3250用于虛擬化的，后期通過數(shù)據(jù)遷移并將之前老的NetApp FAS3220也融入至本次的新Vmware虛擬化環(huán)境中。本次除NetApp FAS外，還采購了一臺NetApp E5460用于學(xué)院的和服務(wù)的數(shù)據(jù)存儲。4.1 系統(tǒng)架構(gòu)概要NetApp系統(tǒng)是一套系統(tǒng)，架構(gòu)既能夠整合用戶現(xiàn)有SAN環(huán)境也同樣可以對前段用戶提供NAS方式；NetApp系統(tǒng)通過采用數(shù)據(jù)去重，自動精簡配置，靈活卷等功能充分利用空間，利用率；NetAppVSC管理控制臺和Vmware等環(huán)境能夠完美融合，用戶可以通過操作V

5、mware中的管理控制臺VCenter就可以對NetApp進行管理操作，同時在VCenter中就可以操作NetApp的高級功能進行虛擬機的備份，恢復(fù)，快速克隆，自動精簡配置等操作。所有數(shù)據(jù)系統(tǒng)通過NetApp的管理界面進行管理，同時數(shù)據(jù)去重，快照，恢復(fù)，以及備份，數(shù)據(jù)歸檔等所有操作也都可以通過該管理界面進行集中管理。4.2 業(yè)務(wù)邏輯示意圖4.3 各安裝點設(shè)備信息：安 裝地點主要應(yīng)用設(shè)備型號容量詳細配置服務(wù)年限設(shè)備數(shù)量民族大學(xué)信息中心4樓VmwareFAS322030TBBSAN+NAS 雙活控制器，整體設(shè)計無單點故障，24GB 緩存，4 個 8Gb FC 主機接口，4 個 10Gb/s萬兆FC

6、oE 主機接口， 4 個 1Gb/s千兆NAS 主機接口，4 個 4Gb/s FC 磁盤接口，4 個 6Gb/s SAS 磁盤接口，可擴展閃存和端口 等，單臺支持 480 塊磁盤和 1920TB 以上擴展能力，支持自動容量擴展功能。3 年軟硬件保修1民族大學(xué)信息中心4樓民族大學(xué)信息中心4樓VmwareFAS3250E546030TB100TBAN+NAS 雙活控制器，整體設(shè)計無單點故障，40GB 緩存，4 個 8Gb FC 主機接口，4 個 10Gb/s 萬兆 FCoE 主機接口， 4 個 10Gb/s 萬兆NAS 主機接口，4 個 1Gb/s 千兆 iSCSI 主機接口，4 個 4Gb/s

7、FC磁盤接口，4 個 6Gb/s SAS 磁盤接口，可擴展閃存和端口等，支持 720 塊磁盤和 2880TB 以上擴展能力，支持自動容量擴展功能。雙主動冗余 SAN 控制器，整體設(shè)計無單點故障，控制器緩存 24GB，緩存掉電保護，配置 8個 8Gb/s FC 主機接口，4 個 10Gb/s iSCSI 主機接口，雙控制器最大支持 384 塊硬盤，支持SSD、 SAS、NL-SAS 等磁盤類型3 年軟硬件保修3 年軟硬件保修114.4 FAS3220網(wǎng)絡(luò)背板以及接口示意圖上圖是 FAS3220A 的背板圖標記是網(wǎng)絡(luò)數(shù)據(jù)口，這兩個端口綁定需要一個 IP，如果不綁定具體 IP 使用情況在協(xié)商（建議這

8、兩個端口做綁定）標記的是管理口，需要兩個 IP，用于日常管理和帶外管理（SP）上述端口紅色標記部分中，如果端口綁定模式是 Mulit 模式則需要在接入4.5 FAS3250網(wǎng)絡(luò)背板以及接口示意圖上圖是 FAS3250A 的背板圖標記是網(wǎng)絡(luò)數(shù)據(jù)口，這兩個端口綁定需要一個 IP，如果不綁定具體 IP 使用情況在協(xié)商（建議這兩個端口做綁定）標記的是管理口，需要兩個 IP，用于日常管理和帶外管理（SP）上述端口紅色標記部分中，如果端口綁定模式是 Mulit 模式則需要在接入背板接口說明：4.6 E5460背板示意圖設(shè)備安裝后，完成硬件加電測試：- 確認Filer所有的機柜的電源開關(guān)都在關(guān)閉狀態(tài)- 請客

9、戶確認Filer的輸入電壓要求：火線-零線 電壓為 200V240V火線-地線 電壓為 200V240V零線-地線 電壓約 1V左右，小于2V-設(shè)置好仿真終端 （9600，8，N，1）-連接Filer機頭Console口和仿真終端之間的RS232串口線-打開Filer的磁盤柜的所有電源-打開Filer的機頭的所有電源-觀察仿真終端上的Filer加電自檢的顯示-確認Filer自檢信息正常-確認Filer機頭和磁盤柜前面板和后面板的指示燈正常系統(tǒng)設(shè)計與實施規(guī)范4.8 操作系統(tǒng)安裝ONTAP 版本： FAS3220、FAS3250 均安裝 DataONTAP 穩(wěn)定版本 8.1.3p1。命名規(guī)則：機器

10、名為 FAS3220-A，F(xiàn)AS3220-B;FAS3250-A，F(xiàn)AS3250-B.時區(qū)設(shè)置：Asia/Shanghai4.9 網(wǎng)絡(luò)配置網(wǎng)口分配：參考網(wǎng)絡(luò)規(guī)劃表。IP 分配：由客戶決定。Vif 設(shè)置：連接兩臺交換機的換機支持靜態(tài) 802.3采用 single_mode.連接一臺交換機的ad 協(xié)議,設(shè)置 port channel)采用 multi_mode(需確認交4.10空間劃分磁盤分配：每個 NetApp FAS上各部署一個 Aggregate，留下 1 塊磁盤作為熱備盤RAID 級別：FAS32XX 上所有 Aggregate 采用 RaidDP（雙校驗盤）方式。FAS32XX 通過接管

11、其他空間，所以 FAS32XX 上的 Aggregate 采用 Raid0。在滿足目前業(yè)務(wù)要求的情況下，盡量預(yù)留較多的熱備盤?？煺疹A(yù)留空間：用于兩網(wǎng)交換的 Aggregate 采用默認的 5%，Vol 關(guān)閉快照預(yù)留空間、關(guān)閉快照自動執(zhí)行功能。卷配置： 所有卷語言為 zh.GBK根卷 vol0 的大小采用 250G，使用缺省參數(shù)，保留 snapshot。數(shù)據(jù)卷容量根據(jù)北方民族大學(xué)原有的 IBM配置進行匹配，并適量擴充。5 網(wǎng)絡(luò)與基本配置規(guī)劃5.1 網(wǎng)絡(luò)配置規(guī)劃表FAS3220 和 FAS3250 控制器的 2 個網(wǎng)口組成 vif，以 Single Mode 連接到臺交換機，以提供網(wǎng)絡(luò)冗余；或者以

12、 Multi Mode 連接到一臺交換機實現(xiàn)負載均衡。NetApp FAS3220 和 FAS3250的用戶名 root ：admin123E5460FAS 系列只需要安裝管理即可，登錄時候無需用戶名和共享方式例如：個人電腦開始-運行輸入跳出窗口輸入用戶名：administrator：admin123控制器名稱端口名稱IP 地址子網(wǎng)掩碼對方控制器IP 地址接口速度是否啟用巨幀F(xiàn)AS3220-AE0aAuto否E0bSpAuto否FAS3220-BE0aAuto否E0bSpAuto否FAS3250-AE0aAuto否E0bSpAuto否FAS3250-BE0aAuto否E0bSpAuto否FAS

13、3220-A2E0aAuto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否虛擬端口配置控制器名稱虛擬端口名稱虛擬端口類型 (single, multi, lacp)負載均衡類型(rr,mac,ip)成員端口優(yōu)先端口FAS3220-AVif01singleipE0a/e0bE0aFAS3220-BVif01singleipE0a/e0bE0aFAS3250-AVif01singleipE0a/e0bE0aFAS3250-BVif01singleipE0a/e0bE0aFAS3220-A2Vif01singleipE0a/e0bE0aFAS3220-B2Vif01s

14、ingleipE0a/e0bE0aFAS3240-A2Vif01singleipE0a/e0bE0aFAS3240-B2Vif01singleipE0a/e0bE0aFAS3240-A2E0a172.20.297Auto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否E5460A 控制器0網(wǎng)關(guān)：B 控制器1網(wǎng)關(guān)：5.2Netapp網(wǎng)絡(luò)端口參考：5.3 網(wǎng)絡(luò)控制5.3.1管理端口（E0M/SP）FAS3220 和 FAS3250 的 sp 口需要配置兩個 IP 地址一個用于日常管理、一個用于帶外管理5.3.2 數(shù)據(jù)傳輸端口序號源 IP源端口目的 IP目的端口協(xié)議備注

15、1.1056610566TCP2.1056610566TCP協(xié)議UDP 端口TCP 端口HTTP80HTTPS443RSH514SSH22NET23SNMP161162SYSLOG514CIFS445SMTP25SNAPVAULT10565-10566NETBIOS137-138139NDMP10000NTP123123&DNS5353TIME SERVICE3737系統(tǒng)實施步驟機房準備和網(wǎng)絡(luò)環(huán)境注：本次項目有 FAS3220 一套，F(xiàn)AS3250 一套，另外并之前老的 FAS3220 和 FAS3240 存儲整合到現(xiàn)有的 Vmware 虛擬機環(huán)境中。以下為 NetApp 物理規(guī)格要求，需客戶

16、在安裝前準備相關(guān)環(huán)境：A:室內(nèi)溫度變化范圍: (20C25C)，濕度 20-80%B: NetApp 設(shè)備硬件尺寸和重量.FAS3220：FAS3250：Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 c

17、m)Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)FAS3240注意：請確認系統(tǒng)后部到墻至少 3 英尺（91.44 厘米）空間。該空間確保您能夠連接系統(tǒng)后面板的線纜。它還確保您在拆卸或安裝硬件時，

18、能夠從 Filer 后部拉出承載主機板的抽屜。C: NetApp 設(shè)備散熱要求：D.網(wǎng)線和交換機：6.2初始化請客戶提供初始化需要的 IP 地址和網(wǎng)關(guān)地址，并提供 DNS 服務(wù)器的 IP 地址和 Autosupport 郵件信息，參見網(wǎng)絡(luò)規(guī)劃表。以下為 FAS3220（FAS3250 初始化配置與 FAS3220 一樣）初始化配置過程，先用 Console 線連接到 FAS3220的 Console 口，然后打開磁盤柜電源，一分鐘后打開控制柜電源，就可以進入初始化了。（備注：以下配置中的IP、網(wǎng)關(guān)、DNS 等均是舉例，實際信息需以客戶提供 IP 等信息為準）6.2.1 FAS3220 初始化配

19、置（舉例）初始化Filer setup設(shè)備規(guī)格要求10Base-TX/100Base- TX/1000Base6 類（或超 5 類）非雙絞線(UTP)，RJ-45 接頭網(wǎng)絡(luò)交換機建議支持交換機級聯(lián)和 802.3 QD 靜態(tài)協(xié)議硬件型號散熱量（BTU/hr）FAS32202116FAS32502089DS42433052DS22463800Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.

20、5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)6.3 磁盤空間劃分6.3.1 為機頭分配磁盤項目采購的空間配置如下：配置 RLM 模塊This system will send event messages and kly reports to Network Appliance Technical Support. To disable this feature, enter options autosupport.support.enable of

21、f within 24 hours. Enabling Autosupport can significantly speed problem determination and resolution should a problem occur on your system. For further information on Autosupport, please see: htt/autosupport/Press the return key to continue.The RemoAN Module (RLM) provides remote management capabili

22、ties including console redirection, logging ander control.It also extends autosupport by sendingadditional system event alerts. Your autosupport settings are used for sending these alerts viaover the RLM LANerface.Would you like to configure the RLM LANerface y: yWould you like to enable DHCP on the

23、 RLM LANerface y: n Please enter the IP address for the RLM : Please enter the netmask for the RLM : Please enter the IP address for the RLM gateway : Thhost is required by your system to send RLM alerts and local autosupport.Please enter the name or IP address of thhost :host You may use the autosu

24、pport options to configure alert destinations.The initial aggregate currently contains 3 disks; you may add more disks to it later using the aggr addd.Verifyinghost settings for RLM use.Thu Oct 22 16:25:18 CST sh-FAS3220A: rlm.driver.host:warning: RLM setup unable to acshost specified in options aut

25、osupport.host.Thu Oct 22 16:25:19 CST sh-FAS3220A: work.failure:warning: The network configuration of the RemoAN Module (RLM) failed due to cable or network errors.Now type reboot for changes to take effect.FAS3220autosupport配置options autosupport.enable onoptions autosupport.from *.com options autos

26、upport.hostx options autosupport.noteto *options autosupport.performance_data.enable off options autosupport.support.transport smtp options autosupport.to*.comFAS3220 磁盤劃分：FAS3250 磁盤劃分：FAS3220（舊）磁盤劃分：機頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機頭Aggr071664bit1B 機頭aggr081664bit1機頭Aggr磁盤數(shù)量RaidSize可用容量(

27、含卷快照空間)注釋Spare 盤數(shù)量A 機頭aggr0201664-bit1Agg131664-bit1B 機頭aggr0271664-bit1機頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機頭Aggr0201664bit1Agg131664bit1B 機頭aggr0271664bit1設(shè)備型號控制器型號、數(shù)量磁盤柜型號、數(shù)量磁盤類型、數(shù)量FAS3220FAS3220A 雙控制器DS4243， 1 個DS2246， 1 個24 塊 900GB 10K RPM SAS磁盤24 塊 2TB 7200 RPM SATA磁盤FAS3250FAS3250 雙控制器

28、DS4243， 1 個DS2246， 1 個24 塊 900GB 10K RPM SAS磁盤24 塊 1TB 7200 RPM SATA磁盤FAS3220（ 之前老存儲）FAS3220A 雙控制器DS2246，1 個154 塊 600GB 10K RPM SAS磁盤FAS3250（ 之前老存儲）FAS3250 雙控制器DS4243， 1 個24 塊 1TB 7200 RPM SATA磁盤FAS3240（舊的） 磁盤劃分：6.3.2 Netapp卷分配FAS3220、FAS3250主要用于Vmware以及、個人數(shù)據(jù)共享等、E5460主要是為提供 設(shè)備。FAS3220的卷劃分方案如下：控制器數(shù)據(jù)卷

29、卷空間空間FAS3240（舊的存儲）ABshi_1_vol3050GB3TBshi_2_vol3050GB3TBshi_SAS_2_vol1705GB1.7shi_6_vol3050GB3TBshi_SAS_1_vol11305GB1.3TBshi_5_vol3050GB3TB控制器數(shù)據(jù)卷卷空間空間FAS3220ABFAS3220A_SATA1_vol4222GB4TBFAS3220A_SATA2_vol4222GB4TBFAS3220B_SAS1_vol4222GB4TBFAS3220B_SAS2_vol4222GB4TBFAS3220B_SAS3_vol4222GB4TBFAS3220B_

30、SANboot01_vol2GB2gbFAS3250ABFAS3250A_SATA1_vol4222GB4TBFAS3250A SATA2_YIKATONG_vol10111GB10TBFAS3250A_SATA3_vol4222GB4TBFAS3250B_SAS1_vol4222GB4TBFAS3250B_SAS2_vol4222GB4TBFAS3250B_SAS3_vol4222GB4TB機頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機頭aggr0121664-bit1B 機頭aggr0121664-bit1E4560配置情況：創(chuàng)建了 5 個 Rai

31、d5，創(chuàng)建 10 個 10TB 的，剩余空間保留。然后將這 10的物理服務(wù)器上，這兩臺物理服務(wù)個通過光纖直連方式至兩臺器安裝 Vmware ESXi 5.5 做虛擬化應(yīng)用。目前計劃將這 10 個 10TB 的通過設(shè)備的方式直接給服務(wù)器里面的虛擬機應(yīng)用。FAS3220舊的ABFAS3220A2_SAS13040GBNFS 卷FAS3220A2_SAS13040GBNFS 卷FAS3220B2_SAS12500GBNFS 卷6.3.3 設(shè)置卷屬性FAS3220 FAS3220 FAS3220FAS3220vol vol volvolsize vol0 250goptions optionsopti

32、onscreate_ucode on nosnap onnosnapdir onFAS3220FAS3220snap reserve snap sched 000 06.4的劃分本次實施將完成基于 Windows 和 Linux的劃分：1.基于 Unix 的 FCP 2.基于 ESX server 的6.4.1 Unix 上的劃分。劃分。劃分（舉例）任務(wù)命令或界面1 確保光纖交換機的zone設(shè)置正確，以便端可認到AIX主機 的 HBA 卡 WWN號光纖線連接好，光纖交換機配置好后可在端發(fā)現(xiàn)主機 WWN 號：FAS3220iscsi initiator show.ibm:ata-ixt5cbsi

33、uuj（CRTL+C，后有用）2 通過 setup 向?qū)В瑸閷?yīng)的客戶機創(chuàng)建。FAS3220setup劃分This setup will take you through the steps needed to creaUNsand to make them acsiby initiators. You can type C (Control-C) at any time to abort the setup and no unconfirmed changes will be made to the system.Do you want to create a? y: yMultiprotocol type of(image/solaris/windows/hpux/aix/linux/netware/vmware) image: aix設(shè)置Apath must be absolute. Acan only reside in a volume or qtree root. For exle, to create awith name 0he qtree root /vol/vol1/q0, specify the pas /vol/vol1/q0/ 0.Ent