Brocade博科SAN網(wǎng)絡(luò)設(shè)計方案

1、Brocade網(wǎng)絡(luò)項目設(shè)計方案Contents一.文檔目標(biāo)3二.SAN網(wǎng)絡(luò)設(shè)計原則3三.SAN網(wǎng)絡(luò)架構(gòu)拓?fù)浣ㄗh4四.SAN總體架構(gòu)介紹5五.設(shè)備選型6六.交換機(jī)高端功能簡介7七.數(shù)據(jù)中心SAN的組成及擴(kuò)展8八.SAN網(wǎng)絡(luò)配置規(guī)范10九.FIRMWARE建議12一. 文檔目標(biāo)為了配合 數(shù)據(jù)擴(kuò)展特制定本技術(shù)指引。本指引將會包括以下內(nèi)容： 更好地規(guī)劃、合理地使用SAN架構(gòu)及相關(guān)資源 針對 未來業(yè)務(wù)發(fā)展帶來的SAN架構(gòu)擴(kuò)展提出原則 對現(xiàn)有的設(shè)備端口資源以及未來可能投入的新資源進(jìn)行合理的配置規(guī)劃 對SAN設(shè)備相關(guān)的安全策略和監(jiān)控管理提出相應(yīng)規(guī)范二. SAN網(wǎng)絡(luò)設(shè)計原則對于金融服務(wù)環(huán)境等要求最高可靠性、性

2、能和彈性的任何基礎(chǔ)架構(gòu)來說，存儲網(wǎng)絡(luò)架構(gòu)都是基本的組成要素。事實多次證明，如果在這些方面投機(jī)取巧走捷徑，那么將來發(fā)生本可避免的故障時，企業(yè)將付出更大的代價。一旦產(chǎn)生故障除了極高的宕機(jī)成本以外，還會導(dǎo)致生產(chǎn)率下降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場聲譽(yù)受損等后果。所以博科對于SAN網(wǎng)絡(luò)架構(gòu)非常重視，根據(jù)博科20多年的存儲網(wǎng)絡(luò)經(jīng)驗，建議按以下原則設(shè)計存儲網(wǎng)絡(luò)。1. 最小化所管理Fabric架構(gòu)的數(shù)量 - Fabric架構(gòu)越少就越容易管理。2. 最小化每個Fabric架構(gòu)中交換機(jī)數(shù) - 使用如大型導(dǎo)向器可簡化管理，將可能的Fabric架構(gòu)中斷情況降至最低。3. 限制Fabric架構(gòu)規(guī)模

3、- Fabric架構(gòu)規(guī)模應(yīng)加以限制4. 使用高可用性高的交換機(jī) - 即使SAN擁有冗余架構(gòu)可用于故障切換，也沒有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問題。5. 避免大負(fù)載比，防止造成擁塞或性能降低 - 任何負(fù)載比都應(yīng)適當(dāng)?shù)丶右栽O(shè)計。6. 大型環(huán)境采用核心-邊緣模式 - 核心-邊緣設(shè)計模式可支持更大型多Fabric架構(gòu)的創(chuàng)建，有助于簡化日常管理任務(wù)，便于解決問題。7. 針對存儲流量進(jìn)行設(shè)計 - 在SAN環(huán)境中響應(yīng)時間是以毫秒甚至納秒及進(jìn)行衡量的，牢靠的SAN設(shè)計必須提供可靠且一致的I/O響應(yīng)。8. 資源就近訪問原則 - 主機(jī)訪問存儲或存儲間訪問因采用就近原則，即使用盡可能少的跳數(shù)完成訪問。三. SAN網(wǎng)絡(luò)

4、架構(gòu)拓?fù)浣ㄗhSAN 網(wǎng)絡(luò)架構(gòu)拓?fù)浒ňW(wǎng)絡(luò)邊緣的設(shè)備、網(wǎng)絡(luò)核心的交換機(jī)以及將它們連接起來的線纜。拓?fù)浣Y(jié)構(gòu)一般根據(jù)交換機(jī)互連方式進(jìn)行描述，如環(huán)狀、核心-邊緣、邊緣-核心-邊緣或全網(wǎng)狀。4.1 邊緣-核心拓?fù)溥吘?核心拓?fù)鋵?Initiator（服務(wù)器）部署在邊緣層，將存儲（目標(biāo)）部署在核心層。服務(wù)器和存儲設(shè)備位于不同的交換機(jī)上，這種拓?fù)淇商峁┕芾砗啽阈院统錾男阅埽瑥倪吘壍胶诵牡牧髁恐煌ㄟ^一跳。4.2 邊緣-核心-邊緣拓?fù)溥吘?核心-邊緣拓?fù)鋵?Initiator 部署在一個邊緣層，將存儲設(shè)備部署在另一個邊緣層，將核心用于交換機(jī)互連或連接全網(wǎng)絡(luò)范圍的設(shè)備，這種架構(gòu)允許獨立擴(kuò)展計算和存儲資源，流量只

5、需要經(jīng)過兩跳就可以從邊緣通過核心傳輸?shù)搅硪粋€邊緣設(shè)備。4.3 全網(wǎng)狀拓?fù)淙W(wǎng)狀拓?fù)淇梢詫⒎?wù)器和存儲設(shè)備部署在任何地方，因為任意源和目的地之間的通信只需要一跳。Brocade推薦 使用核心-邊緣拓?fù)?。這種拓?fù)涮峁┝艘源鎯橹行牡目蓴U(kuò)展基礎(chǔ)設(shè)施，F(xiàn)abric的核心端通常是由一個或更多導(dǎo)向器級交換機(jī)組成，提供了集中化的存儲連接。邊緣端是由Fabric架構(gòu)交換機(jī)或?qū)蚱鹘M成，通過ISL連接到核心端。見下圖： 如圖所示，存儲端口是由核心導(dǎo)向器提供支持，同時邊緣交換機(jī)提供多臺服務(wù)器到核心資源的扇入。這種設(shè)計允許路徑上不同級別服務(wù)器進(jìn)行連接，滿足了不同應(yīng)用的帶寬需求。架構(gòu)特點： 主機(jī)訪問存儲跳數(shù)為1跳，延

6、時較低 可實現(xiàn)按需橫向擴(kuò)展（Core或邊緣） 存儲可接入在不同的核心上，實現(xiàn)最大的負(fù)載均衡 流量分布在不同的核心及邊緣降低的級聯(lián)線的需求，有效的提升了ISL的使用效率 網(wǎng)絡(luò)中無單點交換機(jī)故障四. SAN總體架構(gòu)介紹為了適應(yīng)新一代業(yè)務(wù)的增長，在新一代SAN架構(gòu)設(shè)計時，以保證未來五年內(nèi)的業(yè)務(wù)增長為前提，為 公司定下了核心-邊緣的SAN架構(gòu)，同時兼顧未來的同城災(zāi)備中心，為將來的擴(kuò)展奠定基礎(chǔ)。 當(dāng)前架構(gòu)為雙機(jī)房架構(gòu)，其中A機(jī)房和B機(jī)房又分布在同一樓層，存儲會分布在2個機(jī)房內(nèi)。5.1 數(shù)據(jù)中心SAN網(wǎng)絡(luò)架構(gòu)生產(chǎn)SAN網(wǎng)絡(luò)架構(gòu)為 的核心架構(gòu)，當(dāng)前使用的設(shè)備為博科的6510交換機(jī)且為單機(jī)應(yīng)用，無論從性能還是

7、功能上均無法滿足用戶的業(yè)務(wù)增長需求。依據(jù)最佳實踐，Brocade提出以核心-邊緣建設(shè)生產(chǎn)數(shù)據(jù)中心的SAN網(wǎng)絡(luò)，以滿足 的業(yè)務(wù)擴(kuò)展，見以下拓?fù)鋱D（單邊）：從整個拓?fù)鋪砜?，核?邊緣架構(gòu)在提供了極佳的應(yīng)用冗余性外，SAN網(wǎng)絡(luò)同時實現(xiàn)了集中存儲到應(yīng)用體系的轉(zhuǎn)換，使主機(jī)和存儲各自的設(shè)計和擴(kuò)展變的相對獨立。五. 設(shè)備選型鑒于機(jī)房的設(shè)備布局及業(yè)務(wù)需求， 決定使用6520來作為整個SAN網(wǎng)絡(luò)的核心交換機(jī)。 6520硬件Brocade 6520 交換機(jī)可交付市場領(lǐng)先的 16 Gbps 光纖通道技術(shù)和支持高度虛擬化環(huán)境的先進(jìn)功能，進(jìn)而滿足超大規(guī)模私有云存儲環(huán)境的需求。 Brocade 6510設(shè)計用于實現(xiàn)最高的

8、靈活性和最有效的投資保護(hù)，支持48，62，96 端口配置，而且可在高效的 2U 高度下支持 2、 4、 8、 10 或 16 Gbps 的速度。六. 交換機(jī)高端功能簡介 生產(chǎn)設(shè)備將會分布在A機(jī)房與B機(jī)房，因此數(shù)據(jù)傳遞可靠性尤為重要，Brocade傳輸功能保證數(shù)據(jù)快速準(zhǔn)確的在數(shù)據(jù)中心中傳遞，業(yè)界首屈一指的Fabric Vision功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網(wǎng)絡(luò)監(jiān)控及管理更簡單，更智能，更有效，確保數(shù)據(jù)安全無憂。 Fabric VisionSAN管理的目標(biāo)是希望構(gòu)建靈活的存儲區(qū)域網(wǎng)絡(luò)，靈活滿足高密度虛擬化、閃存和云基礎(chǔ)架構(gòu)動態(tài)多變的可擴(kuò)展性和性能要求。為實現(xiàn)這些目標(biāo)，需要全新的工具來

9、幫助確保不停機(jī)運(yùn)行，快速識別潛在擁塞點，最大限度地提高應(yīng)用性能并簡化管理。Brocade Fabric Vision技術(shù)是對第五代光纖通道技術(shù)的擴(kuò)展，可提供無與倫比的存儲網(wǎng)絡(luò)洞察力和可視性，利用強(qiáng)大的內(nèi)置監(jiān)控、管理和診斷工具幫助企業(yè)。 提供強(qiáng)大的內(nèi)置監(jiān)控、管理和診斷工具，簡化管理、延長正常運(yùn)行時間并降低成本 通過One Touch方式利用15年的SAN最佳實踐經(jīng)驗，借助預(yù)先定義的基于閥值的規(guī)則、操作和策略簡化監(jiān)控解決方案部署 利用主動監(jiān)控和高級診斷工具避免50%的常見網(wǎng)絡(luò)故障。 通過自動化測試和診斷工具消除近50%的維護(hù)成本。 通過內(nèi)置監(jiān)控和診斷功能消除對昂貴的第三方工具的需求，幫助節(jié)約大量的

10、資本支出。七. 數(shù)據(jù)中心SAN的組成及擴(kuò)展7.1 SAN網(wǎng)絡(luò)的組成SAN架構(gòu)由核心（Core）交換機(jī)、邊緣（Edge）交換機(jī)及相關(guān)線路組成。根據(jù)最佳實踐，我們先定義每個SAN網(wǎng)絡(luò)遵循的規(guī)模限制： 交換機(jī)個數(shù)<=10 端口數(shù)<=2000SAN網(wǎng)絡(luò)的規(guī)模限制是為了保證網(wǎng)絡(luò)的穩(wěn)定性以及更好的進(jìn)行運(yùn)維管理服務(wù)。7.2 SAN網(wǎng)絡(luò)的擴(kuò)展性下圖是目前設(shè)計的單邊SAN網(wǎng)絡(luò)內(nèi)最大規(guī)模交換機(jī)數(shù)連接示意圖，可以看到：網(wǎng)絡(luò)內(nèi)交換機(jī)采用冗余鏈路設(shè)計，每個SAN網(wǎng)絡(luò)最大有2臺核心Core交換機(jī)（按需擴(kuò)展）和8臺邊緣Edge交換機(jī)（按需擴(kuò)展）。7.3 SAN網(wǎng)絡(luò)的擴(kuò)展原則SAN的設(shè)計是按5-7年設(shè)計，但是SA

11、N的建設(shè)是按需擴(kuò)展的，隨著未來業(yè)務(wù)的發(fā)展可能會帶來SAN網(wǎng)絡(luò)的擴(kuò)展需求，對此Brocade有著如下定義：在既定SAN網(wǎng)絡(luò)內(nèi)某體系需要擴(kuò)展時，如果某SAN網(wǎng)絡(luò)仍有相應(yīng)擴(kuò)展空間則進(jìn)行縱向擴(kuò)展；如某SAN網(wǎng)絡(luò)已達(dá)規(guī)模上限時則采取橫向擴(kuò)展。以下為擴(kuò)展基本原則即流程圖：7.4 總結(jié)根據(jù)以上內(nèi)容，以下是對SAN網(wǎng)絡(luò)擴(kuò)展的總結(jié)： 當(dāng)端口需要擴(kuò)展時，依據(jù)接入設(shè)備（存儲/主機(jī)）選擇接入核心還是邊緣交換機(jī)。 當(dāng)核心/邊緣交換機(jī)端口不足時首先選擇擴(kuò)展板卡方式進(jìn)行擴(kuò)展 當(dāng)核心/邊緣交換機(jī)無縱向擴(kuò)展選擇時，通過橫向擴(kuò)展方式進(jìn)行擴(kuò)展，即新增交換機(jī)。 所有核心/邊緣交換機(jī)接入需采用雙路冗余接入方式。八. SAN網(wǎng)絡(luò)配置規(guī)范

12、8.1 管理網(wǎng)絡(luò)的界定為了統(tǒng)一起見，我們對管理網(wǎng)絡(luò)進(jìn)行如下界定：1. 管理網(wǎng)絡(luò)是指專門開辟一個用于管理的網(wǎng)絡(luò)，主要用于SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、SAN存儲設(shè)備的管理和調(diào)試等,包括BNA SAN網(wǎng)絡(luò)管理系統(tǒng)均使用管理網(wǎng)絡(luò)，地址段為的某個網(wǎng)段。2. 管理網(wǎng)絡(luò)區(qū)可以設(shè)置有多個網(wǎng)段。SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、SAN存儲設(shè)備的管理和調(diào)試、BNA SAN網(wǎng)絡(luò)管理系統(tǒng)可以分別使用不同的網(wǎng)段。3. 如果網(wǎng)段之間設(shè)備需要相互通信，則需要相關(guān)的網(wǎng)段能互連互通。8.2 SAN網(wǎng)絡(luò)設(shè)備管理IP地址規(guī)劃推薦如下管理IP地址規(guī)劃：1. 在同一個SAN網(wǎng)中光纖交換機(jī)的管理端口設(shè)在同一個網(wǎng)段內(nèi)。2. 使用SAN網(wǎng)當(dāng)?shù)氐乃?/p>

13、有管理網(wǎng)絡(luò)的IP地址，地址段為的某個網(wǎng)段。3. 對于普通的SAN交換機(jī)，一臺交換機(jī)分配1個管理IP地址；對于導(dǎo)向器設(shè)備，每臺導(dǎo)向器需要3個管理IP地址，2個分配給CP板，1個分配給chassis。在導(dǎo)向器實際管理中，我們使用分配給chassis的IP地址作為管理地址。8.3 SAN 交換機(jī)級聯(lián)端口利用規(guī)劃 SAN交換機(jī)端口連接規(guī)劃需要充分考慮過載比和實際使用環(huán)境。所謂的過載比，是指邊緣交換機(jī)所連接的服務(wù)器的數(shù)量與邊緣交換機(jī)到核心交換機(jī)的ISL數(shù)量比值，簡稱ISL過載比，或邊緣交換機(jī)所連接的服務(wù)器的帶寬綜合與邊緣交換機(jī)到核心交換機(jī)的ISL帶寬總和的比值，簡稱為帶寬過載比，還有一種過載比是服務(wù)器與

14、存儲端口數(shù)量的比值。下面我們以ISL過載比進(jìn)行SAN交換機(jī)端口連接規(guī)劃。1. 一般情況下，邊緣交換機(jī)到核心交換機(jī)之間按7:1過載比進(jìn)行規(guī)劃。對一般數(shù)據(jù)庫和應(yīng)用服務(wù)器以及文件服務(wù)器等，其過載比一般建議7:1。2. 帶寬要求不高的按15:1過載比進(jìn)行規(guī)劃，一般服務(wù)器以及使用FC的客戶端，15：1一般都能 勝任。3. 個別帶寬要求較高的按3:1過載比進(jìn)行規(guī)劃，例如核心數(shù)據(jù)庫和存儲端口的過載比一般建議3:1。8.4 別名的規(guī)劃1. 為了日常管理的清晰和方便推薦使用別名2. 賦予別名名稱一定的含義，如服務(wù)器SVR,存儲SG，物理磁帶庫LIB等3. 別名名稱的規(guī)定和ZONE的名稱的規(guī)定相同8.5 ZONE

15、 的規(guī)劃以下是依據(jù)ZONE劃分的最佳實踐提出如下ZONE的設(shè)置規(guī)范：1. 對于每臺主機(jī)的（initiator） 1個端口，對應(yīng)1個或數(shù)個存儲端口（target）一起構(gòu)成1個ZONE。2. 采用硬件分區(qū)技術(shù)， ZONE的成員要么都是PWWN，要么都是FC 端口(Domain ID, Port Index)。3. 推薦在核心交換機(jī)上配置ZONE。4. 推薦FOS（Fabric OS）版本最高的交換機(jī)上配置ZONE。5. 不同的Fabric ZONE的配置信息可以相同，相互獨立。6. 推薦將交換機(jī)的Default ZONE設(shè)置成NoAccess。7. 博科交換機(jī)的ZONE的命名為英文字母、阿拉伯?dāng)?shù)字和下劃線，必須以英文字母開頭，總長度不能超過64位，要區(qū)分英文字母大小寫。ZONE命名原則如下：Zone名稱由前端設(shè)備名稱別名、后端設(shè)備名稱2部分構(gòu)成。名稱依次連接，不留空格，其表示