Brocade博科SAN網絡設計方案

1、Brocade 網絡工程設計方案Contents一. 文檔目標 2二. SAN網絡設計原那么2三. SAN網絡架構拓撲建議3四. SAN總體架構介紹4五 . 設備選型 5六 . 交換機高端功能簡介 6七. 數(shù)據(jù)中心SAN的組成與擴展6八. SAN網絡配置規(guī)8九. FIRMWAR 建議 10文檔目標為了配合 數(shù)據(jù)擴展特制定本技術指引。本指引將會包括以下容：? 更好地規(guī)劃、合理地使用SAN架構與相關資源?針對未來業(yè)務開展帶來的SAN架構擴展提出原那么? 對現(xiàn)有的設備端口資源以與未來可能投入的新資源進展合理的 配置規(guī)劃? 對SANK備相關的平安策略和監(jiān)控管理提出相應規(guī)SAN網絡設計原那么對于金融效勞

2、環(huán)境等要求最高可靠性、性能和彈性的任何根底架構 來說，存儲網絡架構都是根本的組成要素。事實屢次證明，如果在這些 方面投機取巧走捷徑，那么將來發(fā)生本可防止的故障時，企業(yè)將付出更 大的代價。一旦產生故障除了極高的宕機本錢以外，還會導致生產率下 降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場聲譽受損等后 果。所以博科對于SAN網絡架構非常重視，根據(jù)博科20多年的存儲網絡 經歷，建議按以下原那么設計存儲網絡。1. 最小化所管理 Fabric 架構的數(shù)量 - Fabric 架構越少就越容易 管理。2. 最小化每個 Fabric 架構換機數(shù) - 使用如大型導向器可簡化管理， 將可能的 Fabric 架

3、構中斷情況降至最低。3. 限制 Fabric 架構規(guī)模 - Fabric 架構規(guī)模應加以限制4. 使用高可用性高的交換機-即使SAN擁有冗余架構可用于故障切換，也沒有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問題。5. 防止大負載比，防止造成擁塞或性能降低 - 任何負載比都應適 當?shù)丶右栽O計。6. 大型環(huán)境采用核心 -邊緣模式 - 核心-邊緣設計模式可支持更大 型多 Fabric 架構的創(chuàng)立，有助于簡化日常管理任務，便于解決 問題。7. 針對存儲流量進展設計 - 在 SAN 環(huán)境中響應時間是以毫秒甚至 納秒與進展衡量的，牢靠的SAN設計必須提供可靠且一致的I/O 響應。8. 資源就近訪問原那么 - 主機訪問存

4、儲或存儲間訪問因采用就近 原那么，即使用盡可能少的跳數(shù)完成訪問。SAN網絡架構拓撲建議SAN 網絡架構拓撲包括網絡邊緣的設備、網絡核心的交換機以與將 它們連接起來的線纜。拓撲結構一般根據(jù)交換機互連方式進展描述，如 環(huán)狀、核心 - 邊緣、邊緣 -核心- 邊緣或全網狀。4.1 邊緣 - 核心拓撲邊緣 -核心拓撲將 Initiator 效勞器部署在邊緣層，將 存儲目標部署在核心層。效勞器和存儲設備位于不同的交換 機上，這種拓撲可提供管理簡便性和出色的性能， 從邊緣到核心 的流量只通過一跳。4.2 邊緣 - 核心- 邊緣拓撲邊緣 -核心- 邊緣拓撲將 Initiator部署在一個邊緣層，將存儲設備部署

5、在另一個邊緣層， 將核心用于交換機互連或連接全 網絡圍的設備， 這種架構允許獨立擴展計算和存儲資源， 流量只 需要經過兩跳就可以從邊緣通過核心傳輸?shù)搅硪粋€邊緣設備。4.3 全網狀拓撲全網狀拓撲可以將效勞器和存儲設備部署在任何地方， 因為 任意源和目的地之間的通信只需要一跳。Brocade 推薦使用核心 - 邊緣拓撲。這種拓撲提供了以存儲為中 心的可擴展根底設施， Fabric 的核心端通常是由一個或更多導向器 級交換機組成，提供了集中化的存儲連接。邊緣端是由 Fabric 架構 交換機或導向器組成，通過 ISL 連接到核心端。見以下圖：Storage (Server如以下圖，存儲端口是由核心導

6、向器提供支持， 同時邊緣交換機提 供多臺效勞器到核心資源的扇入。這種設計允許路徑上不同級別 效勞器進展連接，滿足了不同應用的帶寬需求。架構特點：?主機訪問存儲跳數(shù)為1 跳,延時較低?可實現(xiàn)按需橫向擴展Core或邊緣?存儲可接入在不同的核心上，實現(xiàn)最大的負載均衡?流量分布在不同的核心與邊緣降低的級聯(lián)線的需求，有效的提升了 ISL的使用效率?網絡中無單點交換機故障四.SAN總體架構介紹為了適應新一代業(yè)務的增長，在新一代 SAN架構設計時，以保證未 來五年的業(yè)務增長為前提，為 公司定下了核心-邊緣的SAN架構，同時 兼顧未來的同城災備中心，為將來的擴展奠定根底。當前架構為雙機房架構，其中 A機房和B

7、機房又分布在同一樓層， 存儲會分布在2個機房。5.1數(shù)據(jù)中心SAN網絡架構生產SAN網絡架構為 的核心架構，當前使用的設備為博科 的6510交換機且為單機應用，無論從性能還是功能上均無法滿 足用戶的業(yè)務增長需求。依據(jù)最正確實踐，Brocade提出以核心-邊緣建立生產數(shù)據(jù) 中心的SAN網絡，以滿足的業(yè)務擴展，見以下拓撲圖單邊：A機房B機房(fW652065106510從整個拓撲來看，核心-邊緣架構在提供了極佳的應用冗余 性外，SAN網絡同時實現(xiàn)了集中存儲到應用體系的轉換，使主機 和存儲各自的設計和擴展變的相對獨立。五設備選型鑒于機房的設備布局與業(yè)務需求，決定使用6520來作為整個SAN網絡的核心

8、交換機。?6520硬件Brocade 6520交換機可交付市場領先的16 Gbps光纖通道 技術和支持高度虛擬化環(huán)境的先進功能，進而滿足超大規(guī)模私有 云存儲環(huán)境的需求。Brocade 6510設計用于實現(xiàn)最高的靈活性 和最有效的投資保護，支持48, 62, 96端口配置，而且可在高效 的2U高度下支持2、4、8、10或16 Gbps的速度。六. 交換機高端功能簡介生產設備將會分布在A機房與B機房，因此數(shù)據(jù)傳遞可靠性尤為重 要， Brocade 傳輸功能保證數(shù)據(jù)快速準確的在數(shù)據(jù)中心中傳遞，業(yè)界首 屈一指的Fabric Vision 功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網絡監(jiān)控與管理更簡單，更

9、智能，更有效，確保數(shù)據(jù)平安無憂。? Fabric VisionSAN管理的目標是希望構建靈活的存儲區(qū)域網絡，靈活滿足高密 度虛擬化、閃存和云根底架構動態(tài)多變的可擴展性和性能要求。為 實現(xiàn)這些目標，需要全新的工具來幫助確保不停機運行，快速識別 潛在擁塞點， 最大限度地提高應用性能并簡化管理。 Brocade Fabric Vision 技術是對第五代光纖通道技術的擴展，可提供無與倫比的存 儲網絡洞察力和可視性，利用強大的置監(jiān)控、管理和診斷工具幫助 企業(yè)。? 提供強大的置監(jiān)控、管理和診斷工具，簡化管理、延長正常 運行時間并降低本錢? 通過One Touch方式利用15年的SAN最正確實踐經歷，借

10、助預先定義的基于閥值的規(guī)那么、操作和策略簡化監(jiān)控解決 方案部署? 利用主動監(jiān)控和高級診斷工具防止 50%的常見網絡故障。? 通過自動化測試和診斷工具消除近 50%的維護本錢。? 通過置監(jiān)控和診斷功能消除對昂貴的第三方工具的需求，幫 助節(jié)約大量的資本支出。七. 數(shù)據(jù)中心SAN的組成與擴展7.1SAN網絡的組成SAN架構由核心Core交換機、邊緣Edge交換機與相關線 路組成。根據(jù)最正確實踐，我們先定義每個 SAN網絡遵循的規(guī)模限制：? 交換機個數(shù) <=10? 端口數(shù) <=2000SAN網絡的規(guī)模限制是為了保證網絡的穩(wěn)定性以與更好的進展 運維管理效勞。7.2SAN網絡的擴展性以下圖是目

11、前設計的單邊 SAN網絡最大規(guī)模交換機數(shù)連接示 意圖，可以看到：網絡交換機采用冗余鏈路設計， 每個SAN網絡最 大有2臺核心Core交換機按需擴展和8臺邊緣Edge交換機按 需擴展。核心7.3SAN網絡的擴展原那么SAN的設計是按5-7年設計，但是SAN的建立是按需擴展的， 隨著未來業(yè)務的開展可能會帶來SAN網絡的擴展需求，對此Brocade 有著如下定義：在既定SAN網絡某體系需要擴展時，如果某 SAN網 絡仍有相應擴展空間那么進展縱向擴展；如某SAN網絡已達規(guī)模上限時那么采取橫向擴展。以下為擴展根本原那么即流程圖:7.4總結 根據(jù)以上容，以下是對SAN網絡擴展的總結：? 當端口需要擴展時，

12、依據(jù)接入設備存儲 / 主機選擇接入核心 還是邊緣交換機。? 當核心 / 邊緣交換機端口缺乏時首先選擇擴展板卡方式進展擴 展? 當核心 / 邊緣交換機無縱向擴展選擇時， 通過橫向擴展方式進展 擴展，即新增交換機。? 所有核心 / 邊緣交換機接入需采用雙路冗余接入方式。八. SAN網絡配置規(guī)8.1 管理網絡的界定為了統(tǒng)一起見，我們對管理網絡進展如下界定：1.2. 管理網絡區(qū)可以設置有多個網段。SAN網絡設備的管理和調試、 SAN存儲設備的管理和調試、BNA SAN網絡管理系統(tǒng)可以分別 使用不同的網段。3. 如果網段之間設備需要相互通信，那么需要相關的網段能互連 互通。8.2 SAN網絡設備管理IP

13、地址規(guī)劃推薦如下管理 IP 地址規(guī)劃：1. 在同一個SAN網中光纖交換機的管理端口設在同一個網段。2.3.對于普通的SAN交換機，一臺交換機分配1個管理IP地址； 對于導向器設備， 每臺導向器需要 3個管理 IP 地址， 2個分配 給CP板，1個分配給chassis。在導向器實際管理中，我們使 用分配給 chassis 的 IP 地址作為管理地址。8.3 SAN交換機級聯(lián)端口利用規(guī)劃SAN交換機端口連接規(guī)劃需要充分考慮過載比和實際使用環(huán)境。所謂的過載比，是指邊緣交換機所連接的效勞器的數(shù)量與邊緣交換機到核心交換機的 ISL 數(shù)量比值，簡稱 ISL 過載比，或邊緣交換機所連接的效勞器的帶寬綜合與邊

14、緣交換機到核心交換機的ISL帶寬總和的比值，簡稱為帶寬過載比，還有一種過載比是效勞器與存儲端口數(shù)量 的比值。下面我們以ISL過載比進展SAN交換機端口連接規(guī)劃。1. 一般情況下，邊緣交換機到核心交換機之間按 7:1過載比進展規(guī)劃。對一般數(shù)據(jù)庫和應用效勞器以與文件效勞器等，其過載比一般建議7:1。2. 帶寬要求不高的按15:1過載比進展規(guī)劃，一般效勞器以與使用FC的客戶端，15： 1 一般都能 勝任。3. 個別帶寬要求較高的按3:1過載比進展規(guī)劃，例如核心數(shù)據(jù)庫和存儲端口的過載比一般建議 3:1 o8.4別名的規(guī)劃1. 為了日常管理的清晰和方便推薦使用別名2. 賦予別名名稱一定的含義，如效勞器

15、SVR存儲SG物理磁帶庫LIB等3. 別名名稱的規(guī)定和ZONE勺名稱的規(guī)定一樣8.5 ZONE的規(guī)劃以下是依據(jù)ZONE劃分的最正確實踐提出如下ZONE勺設置規(guī)：1. 對于每臺主機的initiator1個端口，對應1個或數(shù)個存儲端口 target丨一起構成1個ZONE2. 采用硬件分區(qū)技術，ZONE的成員要么都是PWVVN要么都是FC 端口(Domain ID, Port Index)。3. 推薦在核心交換機上配置ZONE4. 推薦FOS Fabric OS丨版本最高的交換機上配置 ZONE5. 不同的Fabric ZONE的配置信息可以一樣，相互獨立。6. 推薦將交換機的 Default ZONE設置成NoAccesso7. 博科交換機的ZONE勺命名為英文字母、阿拉伯數(shù)字和下劃線， 必須以英文字母開頭，總長度不能超過 64位，要區(qū)分英文字 母大小寫。ZONE命名原那么如下：Zone名稱由前端設備名稱別名、后端設備名稱 2局部構成。名稱 依次連接，不留空格，其表示