SAN技術白皮書.doc

SAN技術白皮書1.SAN存儲區(qū)域網(wǎng)介紹41.2 目前的現(xiàn)狀及對SAN的需求41.2 SAN的特點51.3 SAN的幾種主要形式72. SAN設備互連112.1什么是光纖通道網(wǎng)（Fabric）112.2 Fabric和AL是如何連接的132.3 什么是Stealth模式?153. RAID磁盤陣列193.1 RAID級的意義193.2 磁盤陣列的術語243.3 磁盤陣列的分類294. SAN中的硬件設備和工具304.1 HBA (主機總線適配器)304.2 Hub（集線器）304.3 Switching Hub（交換集線器）314.4 Fabric Switch（網(wǎng)絡交換器）324.5 FC-SCSI Bridge（FC-SCSI網(wǎng)橋）324.6 Connector連接器類型334.7 GBIC （千兆位接口轉換器）334.8 MIA(介質接口適配器)354.9 Fiber和Copper354.10 RAID（磁盤陣列）364.11 Tape Library（帶庫）375. SAN中的管理軟件385.1 SAN中的管理軟件385.2 存儲資源管理軟件385.3 RAID管理軟件396. SAN的典型應用407. 設計SAN時應考慮的問題427.1 根據(jù)應用需要來規(guī)劃SAN437.2 設備之間的距離確定采用的電纜類型437.3 SAN中設備數(shù)量及是否有SCSI設備457.4 預期達到的目標和最大流量467.5 網(wǎng)絡安全性和冗余（備份）467.6 SAN管理及災難恢復487.7 性能價格比498. SAN設計案例508.1 SAN在數(shù)據(jù)庫各份中的應用508.2 SAN用于集群系統(tǒng)共享存儲設備518.3 SAN提供跨平臺數(shù)據(jù)共享521.SAN存儲區(qū)域網(wǎng)介紹1.2 目前的現(xiàn)狀及對SAN的需求現(xiàn)在的計算機網(wǎng)絡系統(tǒng)，基本都是以服務器為中心的處理模式，存儲設備（包括磁盤陣列，磁帶庫，光盤庫等）作為服務器的外設使用，例如我們經(jīng)常見到這樣的典型應用：在一個計算機網(wǎng)絡系統(tǒng)中，有三個服務器，其中一個NT服務器（NT指的是計算機操作系統(tǒng)的核心），一個SUN Solaris（SolarisSolaris 是Sun Microsystems研發(fā)的計算機 操作系統(tǒng)。它被認為是UNIX操作系統(tǒng)的衍生版本之一。）服務器，一個HP UX服務器（HP-UX就是HP公司自己開發(fā)的適合自己的服務器產(chǎn)品的UNIX。），分別帶有各自的存儲設備，其結構如圖1-1所示。SCSISCSISCSI圖1-1 以前的服務器/存儲器互連結構 從圖中看到，NT服務器，SUN服務器，HP服務器各帶一個磁盤陣列，磁帶庫安裝在HP服務器上，當服務器之間交換數(shù)據(jù)或向磁帶庫備份時，都是通過局域網(wǎng)（LAN）進行，特別是當NT服務器和SUN服務器向磁帶庫備份時，將占用大量的網(wǎng)絡開銷，嚴重影響網(wǎng)絡的性能。傳統(tǒng)的存儲設備一般都是SCSI接口，其帶寬在40MB/s左右，傳輸較慢。這樣，針對目前的網(wǎng)絡環(huán)境，下列的需求變得越來越迫切： 能夠共享的大容量、高速度存儲設備。 不占用LAN資源的大量數(shù)據(jù)傳輸和備份。 通過上面的分析，一個概念呼之欲出：網(wǎng)絡存儲。這種網(wǎng)絡不同于傳統(tǒng)的局域網(wǎng)和廣域網(wǎng)，它是將所有的存儲設備連接在一起構成存儲網(wǎng)絡. 目前技術的發(fā)展已為我們提供了可能,光纖通道（Fibre Channel）的存儲設備(千兆速度的存取),光纖通道的Switch等設備的出現(xiàn)將存儲領域推向了網(wǎng)絡化的新階段。誕生了存儲區(qū)域網(wǎng)（Storage Area Network）。 SAN以光纖通道（FC）為基礎,實現(xiàn)了存儲設備的共享; 突破現(xiàn)有的距離限制和容量限制;服務器通過存儲網(wǎng)絡直接同存儲設備交換數(shù)據(jù),釋放了寶貴的LAN資源。1.2 SAN的特點（1）大容量存儲設備數(shù)據(jù)共享 在目前的計算機應用中，要求的存儲量越來越大。如數(shù)據(jù)庫中存儲了大量的圖片文件，網(wǎng)絡服務中存儲了多個用戶的多種數(shù)據(jù)，視頻制作中有大量的聲音和圖像文件等等都需要數(shù)百個GB甚至幾個TB的磁盤存儲容量。SAN提供了大容量存儲設備共享的解決方案。（2）高速計算機要求高速存儲設備通道 計算機主頻每年都要翻一倍，內存容量和存儲設備容量也在不斷提高。這就要求存儲設備的傳輸速度必須適應計算機整體性能。光纖通道正是為了打破這一瓶頸提出來的。SAN采用光纖網(wǎng)，不但提供了主機和存儲設備之間Gigabit/s的高速互連，而且在設備數(shù)量（可達數(shù)十個）和傳輸距離上（可達10千米）有較大的提高。對于基于Client/Server或Internet/Intrannet結構的大容量數(shù)據(jù)的頻繁訪問及快速處理，奠定了完備的物理基礎。（3）靈活的存儲設備配置要求 主機和存儲設備的分離是當今計算機發(fā)展的一大趨勢。這主要是由于存儲容量的不斷擴大，存儲設備已不再是某個計算機的外設，而是很多計算機的共享設備。采用SAN技術傳輸距離可達10千米。通過FC-AL的Hub（HUB是一個多端口的轉發(fā)器,當以HUB為中心設備時,網(wǎng)絡中某條線路產(chǎn)生了故障,并不影響其它線路的工作。）和Switch SWITCH是交換機，它的前身是網(wǎng)橋。交換機是使用硬件來完成以往網(wǎng)橋使用軟件來完成過濾、學習和轉發(fā)過程的任務。SWITCH速度比HUB快，這是由于HUB不知道目標地址在何處，發(fā)送數(shù)據(jù)到所有的端口。而SWITCH中有一張轉發(fā)表，如果知道目標地址在何處，就把數(shù)據(jù)發(fā)送到指定地點，如果它不知道就發(fā)送到所有的端口。這樣過濾可以幫助降低整個網(wǎng)絡的數(shù)據(jù)傳輸量，提高效率。但然交換機的功能還不止如此，它可以把網(wǎng)絡拆解成網(wǎng)絡分支、分割網(wǎng)絡數(shù)據(jù)流，隔離分支中發(fā)生的故障，這樣就可以減少每個網(wǎng)絡分支的數(shù)據(jù)信息流量而使每個網(wǎng)絡更有效，提高整個網(wǎng)絡效率。目前有使用SWITCH代替HUB的趨勢?？梢越⑿切瓦B接。在SAN上的設備、主機、存儲設備和磁帶設備，不但在物理位置安排上十分靈活，而且可以將不同用途的設備劃分為不同的區(qū)，分別建立虛擬專用網(wǎng)。使得主機訪問SAN上的存儲設備十分方便。（4）快速數(shù)據(jù)備份 數(shù)據(jù)備份對于大型存儲設備是非常必要的，由于重要的數(shù)據(jù)都在存儲設備中，數(shù)據(jù)的丟失會造成不可估量的損失。所以在數(shù)據(jù)庫等的應用中，進行數(shù)據(jù)備份是必要的日常維護工作。傳統(tǒng)的數(shù)據(jù)備份有兩種方式，一種數(shù)據(jù)備份是通過數(shù)據(jù)鏡像的方法，將一個存儲設備通過LAN/WAN鏡像到另一個存儲設備，在一個存儲設備上的數(shù)據(jù)修改要及時傳輸?shù)搅硪粋€存儲設備上。極大地增加了LAN的負擔。另一種數(shù)據(jù)備份是通過磁帶，備份時占用了大量的LAN資源，而且需要進行多個小時才能完成。存儲量越大備份的時間就越長。SAN提供了理想的快速備份工具，如果兩個存儲設備（如一臺磁盤陣列，一臺磁帶庫）都在SAN上，進行數(shù)據(jù)備份式鏡像十分理想，可以不占用LAN/WAN的帶寬，直接通過SAN存儲網(wǎng)絡進行備份。如果進行磁帶備份，還可以將要備份的設備隔離開來，不受其它設備干擾。完全實現(xiàn)LAN free Backup。（5）兼容以前的存儲設備 新建立的SAN不但可以連接光纖通道設備，而且可以連接SCSI設備。有兩種類型的Bridge可以完成FC到SCSI的變換。主機模式的FC-SCSI Bridge可以將計算機通過SCSI接口連接到光纖通道SAN上。存儲模式的FC-SCSI Bridge可以將SCSI存儲設備，如外接磁盤，磁盤陣列和磁帶機及帶庫連接到光纖通道SAN上。這樣保護了用戶以前的投資。（6）數(shù)據(jù)的高可靠性和安全性 數(shù)據(jù)的可靠性和安全性，在當前的應用中顯得十分重要。存儲設備中的單點故障可能引起巨大的經(jīng)濟損失。在以前的SCSI設備中，SCSI的損壞可能引起多個存儲設備失效。在SAN中可以采用雙環(huán)的方式，建立存儲設備和計算機之間的多條通路。提高了數(shù)據(jù)的可用性。建立虛擬專用網(wǎng)絡可以提高數(shù)據(jù)的可靠性和安全性；同時在SAN中也可以通過建立雙機容錯，多機集群，實現(xiàn)RAID校驗等方式進一步保證數(shù)據(jù)的安全性和作業(yè)的連續(xù)性。1.3 SAN的幾種主要形式 SAN主要包括以下幾種連接方式：點對點（Point to Point），仲裁環(huán)（Arbitrated Loop），和交換網(wǎng)（Switch Fabric）。（1）點對點的SAN 點對點的SAN是在兩個設備間的簡單的專用連接，一般用于一臺服務器和一臺存儲設備。這種連接適用于極小的服務器/存儲設備的配置。一般情況下，點對點連接不使用可以在設備間傳輸一組光纖通道（FC）協(xié)議的集線器（Hub），而是直接通過介質（銅纜或是光纖）從一個設備連接到另一個設備。見圖1-2所示。圖4-2 點對點的SAN點對點連接是SAN的一種特殊形式，也是一種最簡單的結構。兩個節(jié)點之間傳輸速度可達千兆，不需要額外的軟件支持。由于傳輸介質是獨享的，甚至不需要專用的協(xié)議來協(xié)調設備間的操作?？梢员ＷC最大的傳輸率和可靠性。 如果有多個設備需要連接在一起，如兩臺服務器，三個磁盤陣列，需要對點對點連接方案進行擴展。由于多個設備的引入，介質不再是受兩個節(jié)點設備控制的獨享介質，而是多個設備的共享介質，所以必須使用某種協(xié)議來進行協(xié)調。（2）仲裁環(huán)（FC-AL）-星形連接的SAN SAN的基本形式是光纖通道仲裁環(huán)FC_AL（Fibre Channel Arbitrated Loop），它是一個具有千兆位傳輸速率的可共享介質，它可以連接多達127個節(jié)點，每個節(jié)點也可以連接到交換網(wǎng)(switched fabric)上。 仲裁環(huán)(AL)類似于令牌環(huán)或FDDI，在該環(huán)(Loop)中通信的兩個節(jié)點只在數(shù)據(jù)交換的時候共享介質，然后將控制權交給其它節(jié)點。仲裁環(huán)(AL)上的節(jié)點通過使用一組光纖通道(FC)命令子集來控制跟環(huán)(Loop)的對話，并且使用特殊的序列來給節(jié)點分配仲裁環(huán)口地址（AL_PA）。在節(jié)點之間，仲裁環(huán)(AL)很原始地將收發(fā)接口連接起來，這些節(jié)點組成了一個可擴展的環(huán)形拓撲結構，類似于早期的令牌環(huán)。但是，這種連接方式不可避免地要面對在點對點LAN拓撲結構中所面對的同樣的問題。在點對點鏈上的任意一點的損壞將使整個網(wǎng)絡癱瘓，并且在環(huán)形結構中很難排除這種故障。由于對一個節(jié)點來說，從另一個節(jié)點來的線，通過該節(jié)點到第三個節(jié)點，所以環(huán)形布線對于分布在不同位置的節(jié)點來說是比較麻煩的。如同在LAN中的集線器（Hub）一樣，通過仲裁環(huán)集線器(Hub), 將仲裁環(huán)的網(wǎng)口集中起來,實現(xiàn)了仲裁環(huán)(Loop)的星型連接。 典型的仲裁環(huán)集線器提供7-12個網(wǎng)口，并可通過級聯(lián)建立大型仲裁環(huán)Loop。就像在以太網(wǎng)和令牌網(wǎng)中所使用的集線器一樣，仲裁環(huán)集線器(Hub)提供更大的靈活性,可管理性和可靠性。仲裁環(huán)集線器(Hub)在每個口上使用了旁路電路，以便隔離損壞的節(jié)點，避免了損壞的節(jié)點干擾整個仲裁環(huán)（Loop）的數(shù)據(jù)通信。 一些集線器(Hub)在每一個口上提供了狀態(tài)和診斷指示燈（LED），并且提供了復雜的環(huán)（Loop）的完整性及SNMP管理。仲裁環(huán)（AL Loop）在其節(jié)點之間共享千兆光纖通道速率。為確保速度和可靠性，一般在一個環(huán)（Loop）上應保持10個節(jié)點以下。圖4-3給出了一個用集線器連接起來的仲裁環(huán)。 圖1-3 星型連接的SAN（3）交換網(wǎng)（Switch Fabric）-網(wǎng)狀連接的SAN 一個復雜的SAN可以是由多個光纖通道交換器Switch，Hub和Bridge互連起來的網(wǎng)絡（Fabric）。Fabric switch是一個具有交換功能的，網(wǎng)口和網(wǎng)口之間并行進行千兆傳輸?shù)目刂破?。它類似于LAN中使用的Switch。 一個典型的光纖通道交換器（FC switch）提供8-16個網(wǎng)口，并且每個網(wǎng)口是完全的千兆位速度。同以前用的以太網(wǎng)交換器（Ethernet switch）建立的模式相仿，一個光纖通道交換器（FC switch）的網(wǎng)口可以支持一個單個節(jié)點或多個節(jié)點的共享環(huán)。由于一個交換器（switch）為了正確地路由每一個口信息幀，因此需要更強的處理能力，內存和微代碼。多個交換器連接起來形成了一個大交換網(wǎng)（fabric）。如圖1-4所示在127個仲裁環(huán)節(jié)點地址中，一個地址被保留用于連接仲裁環(huán)到光纖通道交換器（FC switch）上。所以一個仲裁環(huán)（Loop）可以加入到一個更大的網(wǎng)中或是由多個交換器（switch）和仲裁環(huán)（Loop）建立的網(wǎng)（fabric）上。仲裁環(huán)集線器和交換器的結合在分配帶寬和設計存儲網(wǎng)絡分區(qū)上提供很大靈活性。所謂存儲網(wǎng)絡分區(qū)，如同建立虛擬專用網(wǎng)絡，在網(wǎng)口的基礎上將一些網(wǎng)口和另一些網(wǎng)口分開，這樣以來可以用一個交換器（switch），使得一個服務器共享一些資源，而另一個服務器共享另一些資源。同時也可以使兩個服務器共享一些資源。而相互之間不受干擾。這一特點在大型存儲網(wǎng)絡使用中有很高的實用價值。圖1-4 交換網(wǎng)（Switching Fabric）圖1-5 交換集線器(Switching Hub) 光纖通道交換集線器（switching Hub）是一種能夠提供仲裁環(huán)（AL）和網(wǎng)絡交換的優(yōu)點的變種技術。一個交換集線器通過管理一個或多個仲裁環(huán)分區(qū)（AL segment）的地址空間，來建立更大型的邏輯環(huán)（Loop）。這樣允許在物理上分立的環(huán)（Loop）上節(jié)點可以透明地跟另一個節(jié)點通信，而保持了每一個環(huán)（Loop）上的高可用帶寬。交換集線器優(yōu)化和擴充了仲裁環(huán)的性能，以及價格優(yōu)勢。它還給出一些網(wǎng)絡交換（switching）的優(yōu)點。交換集線器（Hub）在多個物理仲裁環(huán)（AL）上提供了并行的千兆存取。2. SAN設備互連存儲網(wǎng)絡如同局域網(wǎng)（LAN）一樣，主機連接到LAN需要有網(wǎng)卡，主機連接到SAN上通過主機內部的HBA；在LAN中網(wǎng)線可以是光纖或銅纜，在SAN中也可以用光纖或銅纜；在SAN中，設備可以用環(huán)形結構連接起來，可以用Hub建立星型連接，也可以通過多個Switch建立網(wǎng)狀結構的SAN。從邏輯上來看，SAN是由一個或多個仲裁環(huán)（Arbitrated Loop）組成。仲裁環(huán)是共享介質并且在多個設備之間共享1Gigabit/s的帶寬，是目前為止最普遍的存儲網(wǎng)絡結構。幾乎所有的主機總線適配器（HBA）和光纖通道存儲設備都支持專用仲裁環(huán)（non-fabric AL）結構，但支持一個網(wǎng)絡（fabric）互連在一定程度上將增加的設備復雜性。實現(xiàn)存儲網(wǎng)絡化，可能將多個交換器（switch） 和仲裁環(huán)互連在一起，要求交換器（switch）能適應仲裁環(huán)設備，而并不要求仲裁環(huán)具有網(wǎng)絡（fabric）連接功能。理想狀態(tài)下，不但網(wǎng)絡（fabric）而且仲裁環(huán)設備應能夠共享一個交換器（switch）,并享用它的每個交換器網(wǎng)口1Gigabit/s的帶寬，還可以在邏輯上將網(wǎng)口組織在一起用于高速傳輸。通過Stealth交換模式, 交換器（switch）可以完成這一功能。2.1什么是光纖通道網(wǎng)（Fabric）在光纖通道術語中，網(wǎng)絡(fabric)是由交換器(switch)組成的網(wǎng)絡拓撲結構。每個Switch網(wǎng)口提供1 Gigabit Gigabit是數(shù)據(jù)存儲的單位，通常用符號Gbit或Gb表示。/s（2 Gigabit/s全雙工）的帶寬，所以從一個網(wǎng)口到另一個，或從一個switch到另一個switch的數(shù)據(jù)交換都具有1Gigabit/s的吞吐量。并且由于在每一個switch的網(wǎng)口之間可以同時傳輸，總傳輸能力可以達到數(shù)千兆位/秒。SAN正是在這種光纖通道網(wǎng)的基礎上建立起來的。通過光纖通道網(wǎng)，將多個主機和存儲設備互連在一起。雖然激烈的競爭，精心的設計和先進的制造技術正在使每個switch網(wǎng)口的造價下降，但是相對于其它的光纖通道(FC)拓撲結構來說，F(xiàn)abric還是比較昂貴的。是否將fabric網(wǎng)口用到單個結點是由應用來決定的。音頻/視頻后期制作，數(shù)據(jù)采集，災難恢復和磁帶備份等應用,要求專用的高速連接來傳輸關鍵（mission-critical）數(shù)據(jù), 而不受外來打擾。非數(shù)據(jù)密集型應用最好通過仲裁環(huán)集線器(AL hubs)將設備連接到主干網(wǎng)的switch網(wǎng)口上來實現(xiàn)。為了適應高帶寬的應用，可以連接單個結點的switch網(wǎng)口被稱做F_Port（Fabric Port）。F_Port提供合理使用switch的交換并優(yōu)化吞吐量的特殊服務。一個連接到fabric的結點或稱F_Node將進行一個到switch的登錄,這是為了登記它在某個特定口上的存在。它的標識是一個24位地址，該地址和該結點唯一的64位WWN(World Wide Name)相關,并且成為該switch路由表的一部分。Switch也可以提供一個SNS(Simple Name Service)，該服務和提供服務的節(jié)點的硬件地址相關，例如:標識一個結點為RAID設備。如果不用SNS，為了找到在網(wǎng)絡中的存儲設備，主機必須在24位地址范圍（16百萬地址）內進行查詢。在fabric中的switch提供SNS服務,要求端節(jié)點(HBA和磁盤陣列控制器)的設備驅動程序能夠進行fabric登錄。由于主機總線適配器(HBA)和磁盤被設計為適應專用仲裁環(huán)(AL),而不是公共網(wǎng)絡fabric連接,在存儲網(wǎng)絡中，Switch一般提供了支持專用仲裁環(huán)(AL)連接的接口。圖2-1示出了一個典型的SAN結構。圖2-1 典型的光纖通道存儲網(wǎng)（SAN）2.2 Fabric和AL是如何連接的一個支持仲裁環(huán)(AL)設備的交換器(switch)網(wǎng)口被稱為一個FL_Port (Fabre Channel Arbitrated Loop Port)。對于仲裁環(huán)(AL)設備的識別符不同于一個網(wǎng)絡(fabric)設備。其中24位的高位兩個字節(jié)標識公共環(huán)(loop)地址，低字節(jié)表示設備的仲裁環(huán)(AL)口地址（AL_PA）。對于仲裁環(huán)(AL)設備，如果高位兩個字節(jié)為非零，這個環(huán)(loop)設備是連接到網(wǎng)絡(fabric)上的公共環(huán)(loop)節(jié)點。如果頭兩個字節(jié)為零，這個環(huán)(loop)設備是專用環(huán)(loop)節(jié)點并且正常情況下不能同switch的其他設備通信。Stealth模式允許專用環(huán)(loop)設備加入到有switch的設備中。16位環(huán)標識符 AL_PA23 8 7 0 圖2-2 24位地址標識符 當仲裁環(huán)(AL)設備連接到一個switch口時，為了同網(wǎng)絡(Fabric)中的其它資源通信，它要進行網(wǎng)絡(fabric)登錄。如果進行了登記，這個環(huán)(loop)是一個公共環(huán)(loop)，并且頭兩個字節(jié)被賦值為一個唯一的地址。Switch和網(wǎng)絡(Fabric)中的其它節(jié)點靠它來識別這個環(huán)(loop)。如果沒有登錄，頭兩個字節(jié)為零，那么這個環(huán)(loop)是專用環(huán)。如果沒有Stealth模式，專用環(huán)(loop)設備不能進行同網(wǎng)絡(fabric)中的其它部分通信。連接FL_Port的主要優(yōu)點是將單獨的，高性能的節(jié)點（主要是主機和RAID）和共享loop段混合在同一個結構中。需要專用帶寬的設備能夠同在共享1Gigabit/s段上的資源進行通信。將設備分配給專用或共享的網(wǎng)口,提供了靈活地擴展存儲網(wǎng)絡化設計的選擇，而且資源可以根據(jù)應用的要求變化來分布。在一些switch中，要求FL_Port具有不同的硬件和軟件安裝特性。由于單個switch網(wǎng)口在硬件上被限制為或是連接節(jié)點,或是連接環(huán)（loop），這樣就可能限制設備的分布和帶寬。目前已經(jīng)有一些交換器（switch）產(chǎn)品可以隨意連接仲裁環(huán)（AL）或專用網(wǎng)絡（fabric）設備。2.3 什么是Stealth模式?由于支持專用仲裁環(huán)(AL)在今天存儲網(wǎng)絡(fabric)中是至關重要的,Stealth模式已經(jīng)在一些switch產(chǎn)品中得到了應用。Stealth 模式的交換器(switch)允許專用，非fabric仲裁環(huán)(AL)設備連接到任意一個switch口上,并且可以同在這 個switch上的其他設備進行全速通信。為了同switch上的其他設備進行通信，仲裁環(huán)設備不需要進行fabric登錄，所以能夠適應非fabric的主機總線適配器（HBA）和磁盤陣列。這樣不需要升級和替換現(xiàn)有的適配器或控制器就可將仲裁環(huán)（AL）產(chǎn)品引入到當今的fabric中。在Stealth模式中，switch對待所有的連接設備，無論它是單獨占一個switch網(wǎng)口還是做為連接到仲裁環(huán)集線器（AL hub）上的一部分，好像它們是在一個大的邏輯AL上的一部分。不但直接連接的設備,而且專用仲裁環(huán)（AL）設備，在這個虛擬環(huán)（loop）配置中都得到了支持。 Stealth模式交換具有下列優(yōu)點： 支持直接連接和loop設備連接 在一個fabric拓撲結構中，支持專用仲裁環(huán)（AL）主機和目標設備（盤，帶） 多個1Gigabit/s段的帶寬分配 可以連接大量的AL設備 限制loop初始化廣播的策略 將引起初始化的設備和目標設備進行隔離，因而簡化了設備分布與連接采用Stealth模式的優(yōu)點是，由于連接的專用環(huán)（loop）設備不知道它們連接到了網(wǎng)絡（fabric）上，所以它們可以利用已證明的，穩(wěn)定的仲裁環(huán)（AL）協(xié)議在switch上進行初始化數(shù)據(jù)交換。對于環(huán)初始化（Loop Initialization Primitive 簡稱LIP），仲裁和幀傳輸，好像所有設備是共享1Gigabit/s傳輸?shù)囊徊糠?。在實際中，Stealth模式交換處理是在口對口的基礎上干涉環(huán)（loop）的處理，并且在多個1Gigabit/s段上交換數(shù)據(jù)。 圖2-3 Stealth模式的switch 配置。 每個連到switch中主機和RAID具有1Gigabit/s的連接。對于典型的存儲設備讀寫數(shù)據(jù)操作，一個8口交換器（switch）以Stealth模式進行操作能支持4個并行的仲裁環(huán)（AL）交換或是一個累計4Gigabit/s的吞吐量。更多的系統(tǒng)帶寬和可擴展性靠級聯(lián)switch來實現(xiàn)。在這個帶寬上，允許網(wǎng)絡設計者可以按應用的要求來分布仲裁環(huán)（AL）設備，而不存在共享介質仲裁環(huán)（AL）共享1Gigabit/s帶寬所蘊含的限制。stealth模式交換使得專用高帶寬的磁帶設備成為可能，而在仲裁環(huán)（AL）中是不可能的。由于邏輯仲裁環(huán)（AL）實際上是由一些1Gigabit/s段所組成，Stealth模式支持了大型存儲網(wǎng)絡配置。單個仲裁環(huán)（AL）的地址空間適合126個節(jié)點，建立大型的物理環(huán)（loop）是不合理的。1Gigabit/s的總帶寬由126個活動節(jié)點平分，對每個節(jié)點會產(chǎn)生不到1兆的吞吐量并且嚴重打擊了實現(xiàn)仲裁環(huán)（AL）的目的。典型的仲裁環(huán)（AL）配有5-30個設備。使用Stealth模式的switch進行存儲網(wǎng)絡配置，在多個段上支持100多個節(jié)點是合理的并且克服了仲裁環(huán)的局限，不使性能下降。在一般的仲裁環(huán)（AL）環(huán)境中，設備通過環(huán)初始化序列或LIP來獲取它們的仲裁環(huán)口地址（Arbitrated Loop Port Address簡稱AL_PA）,每當一個設備加入到一個環(huán)（loop）中時,它發(fā)出一個LIP。這樣引起所有的設備掛起當前的工作，并獲得一個新的或以前的口地址。一旦環(huán)（loop）分配了地址，高級協(xié)議查詢允許主機識別它們的目標陣列。雖然這一過程很快，但它對環(huán)loop活動也會產(chǎn)生混亂。在Stealth模式中，AL_PA的分配是由switch來控制的。Stealth stealth【音標】：stel模式的交換器（switch）可以配置成限制LIP環(huán)初始化序列的傳播。以便一個節(jié)點的引入或刪除不會影響所有的設備。例如：如果有一個新設備，它已經(jīng)連接到了hub上，并該hub連接到了switch的網(wǎng)口上，當該設備啟動時，環(huán)初始化序列（LIP）可以被限制在該口的設備上。在其它網(wǎng)口上的主機和磁盤陣列可以繼續(xù)交換數(shù)據(jù)而不受打擾。支持非打擾存取，對于磁帶備份，視頻和數(shù)字記錄等應用是很關鍵的。通過限制環(huán)初始化，Stealth模式提供非中斷高速連接來保證應用的完整性。環(huán)初始化的廣播是可以配置的參數(shù)，它可以在switch網(wǎng)口一級進行開啟和關閉。 采用圖形化配置工具可以很方便地以Stealth模式定義每個口的設備類型。一個口可以支持對于stealth操作的單個或多個設備，主機和目標設備可以在網(wǎng)口一級被隔離來取得最大的吞吐量。Stealth模式也可以簡化設備的物理分布，一個數(shù)據(jù)中心可能希望集群服務器，磁盤陣列和磁帶子系統(tǒng)在物理上分別放置在不同的地方。如果這些設備連接到一個仲裁環(huán)集線器（AL hub）上，獨占的電纜必須連接到各個地方的設備上來建立一個擴展的星型互連。采用stealth模式的交換器（switch），主機和磁盤陣列可以分配到集線器（hub）的不同段上，有效地降低了電纜的復雜性并提高了吞吐量。 圖2-4 由于stealth模式交換允許在fabric中并行交換， 交換器（switch）能夠級聯(lián)起來建立大型的虛擬環(huán)（loop）。 對于磁帶備份和帶庫應用是理想的解決方案。 JBOD(Just Bundle Of Disks)譯成中文可以是簡單磁盤捆綁或者“磁盤簇”，通常又稱為Span。以三個硬盤組成的Span為例，其數(shù)據(jù)存儲方式如圖所示：Span是在邏輯上把幾個物理磁盤一個接一個串聯(lián)到一起，從而提供一個大的邏輯磁盤。Span上的數(shù)據(jù)簡單的從第一個磁盤開始存儲， 當?shù)谝粋€磁盤的存儲空間用完后， 再依次從后面的磁盤開始存儲數(shù)據(jù)。Span存取性能完全等同于對單一磁盤的存取操作。Span也不提供數(shù)據(jù)安全保障。它只是簡單的提供一種利用磁盤空間的方法，Span的存儲容量等于組成Span的所有磁盤的容量的總和。結論：Stealth模式的交換器（switch）解決了在同時支持fabric和AL設備時出現(xiàn)的主要矛盾：Switch要求fabric登錄同大部分HBA和存儲陣列不能進行fabric登錄的矛盾。這樣的存儲網(wǎng)絡產(chǎn)品在支持真正fabric的同時，還要適應非fabric的設備的要求。Stealth模式是將光纖通道主機適配器（FC HBA），磁盤陣列，F(xiàn)C-SCSI橋接器（bridge）和仲裁環(huán)集線器（AL hub）集成在一起的唯一可行的解決方案。光纖通道交換器（FC switch）通過分區(qū)還支持虛擬專用存儲網(wǎng)絡，并且是可完全在SNMP SNMP(Simple Network Management Protocol,簡單網(wǎng)絡管理協(xié)議)的前身是簡單網(wǎng)關監(jiān)控協(xié)議(SGMP)，用來對通信線路進行管理。SNMP的目標是管理互聯(lián)網(wǎng)Internet上眾多廠家生產(chǎn)的軟硬件平臺，因此SNMP受Internet標準網(wǎng)絡管理框架的影響的基礎上進行管理。 在選擇SAN設備時，必需明確HBA和存儲設備控制器是適應AL的還是適應Fabric的。Switch的網(wǎng)口是F_Port還是FL_Port, 還是兩者都支持。明確了這些才能將設備正確地接入到SAN網(wǎng)絡中。3. RAID磁盤陣列 RAID是Redundant Array of Inexpensive Disks的縮寫, 可直譯為“廉價冗余磁盤矩陣”。磁盤陣列是由許多硬盤按一定的規(guī)則，如分條（Striping）、分塊（Declustering）、交叉存取（Interleaving）等組成的一個快速、高可靠、超大容量以及超強I/O吞吐能力的智能存儲子系統(tǒng)。它在陣列控制器的管理和控制下，實現(xiàn)快速、并行或交叉存取，并有較強的容錯能力。從用戶的觀點看，磁盤陣列雖然是由幾個甚至是上百個盤組成，但仍可以認為是一個單一的磁盤，其容量可以高達幾十TB。使用RAID存儲子系統(tǒng)具有以下優(yōu)點：(1) 可以將許多磁盤用一個邏輯卷來表示；(2) 可以將數(shù)據(jù)分割成許多條帶（strips）存儲在多個盤上，這樣并行讀寫這些盤上的數(shù)據(jù)提高了磁盤的訪問速度。采用RAID技術，隨著磁盤的增加，可以增加訪問速度。(3) 可以通過數(shù)據(jù)鏡像或校驗碼來提供容錯技術。3.1 RAID級的意義 RAID技術是高效磁盤讀寫算法，標準的RAID寫操作，包括如：RAID4或RAID5中所必需的校驗計算，需包括以下幾個步驟： 從校驗盤中讀取數(shù)據(jù) 從目標數(shù)據(jù)盤中讀取數(shù)據(jù) 以舊校驗數(shù)據(jù)，新數(shù)據(jù)及已存在數(shù)據(jù)，生成新的校驗數(shù)據(jù) 將新校驗數(shù)據(jù)寫入校驗盤 將新數(shù)據(jù)寫入目標數(shù)據(jù)盤 磁盤陣列使用了將RAID寫操作過程流水線化技術，極大提高了讀寫性能，這些技術都使用到了磁盤陣列控制器上的緩存，其容量可已高達128MB，甚至更高。 當主機將一個待寫入陣列RAID組中的數(shù)據(jù)發(fā)送到陣列時，陣列控制器將該數(shù)據(jù)保存在緩存中并立即報告主機該數(shù)據(jù)的寫入工作已完成。該數(shù)據(jù)寫入到陣列硬盤的工作由陣列控制器完成，該數(shù)據(jù)可繼續(xù)存放在Cache中直到Cache滿，而且要為新數(shù)據(jù)騰出空間而必須刷新時或陣列需停機時，控制器會及時將該數(shù)據(jù)從Cache寫入陣列硬盤中。 這種緩存回寫技術使得主機不必等待RAID校驗計算過程的完成，即可處理下一個讀寫任務，這樣，主機的讀寫效率大為增加。當主機命令將一個數(shù)據(jù)寫入硬盤，則陣列控制器將該數(shù)據(jù)寫入緩存最上面的位置，只有新數(shù)據(jù)才會被控制器按緩存的方式最后寫入硬盤。下面將分別介紹各個級別的RAID校驗技術。 (1) JBOD單個磁盤控制 JBOD表示一束磁盤。控制器將每個磁盤驅動器視為一個獨立的磁盤來操作，所以每一個磁盤驅動器是一個獨立的邏輯盤，JBOD不提供數(shù)據(jù)冗余。 (2)RAID0磁盤條帶化這種技術稱為“Stripping”，即將數(shù)據(jù)條帶化，又稱數(shù)據(jù)分塊，即把數(shù)據(jù)分成若干相等大小的小塊，并把它們寫到陣列上不同的硬盤上，這種把數(shù)據(jù)分布在多個盤上，在讀寫時是以并行的方式對各硬盤同時進行操作。從理論上講，其容量和數(shù)據(jù)傳輸率是單個硬盤的N倍。N為構成RAID0的硬盤總數(shù)。當然，若陣列控制器有多個硬盤通道時，對多個通道上的硬盤進行RAID0操作，I/O性能會更高。因此常用于圖象，視頻等領域，RAID0 I/O傳輸率較高，提供了高性能的數(shù)據(jù)訪問，但是沒有提供數(shù)據(jù)冗余。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1邏輯盤物理硬盤物理硬盤條帶化圖 3-1 RAID0 (3)RAID1磁盤鏡像 即每個工作盤都有一個鏡像盤，所以采用RAID1在磁盤陣列中必須有偶數(shù)個盤。每次寫數(shù)據(jù)時必須同時寫入鏡像盤，讀數(shù)據(jù)時只從工作盤讀出，一旦工作盤發(fā)生故障立即轉入鏡像盤，從鏡像盤中讀出數(shù)據(jù)。當更換故障盤后，數(shù)據(jù)可以重構，恢復工作盤正確數(shù)據(jù)，這種陣列可靠性很高，但其有效容量減小到總容量一半以下，因此RAID1常用于對容錯要求極嚴的應用場合，如財政、金融等領域。Block8Block7鏡像4Block4鏡像3Block3鏡像2Block2鏡像1Block1邏輯盤物理硬盤物理硬盤鏡像Block67Block5Block4Block3Block2Block1圖 3-2 RAID1 (4)RAID(0+1)磁盤條帶化和鏡像Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1邏輯盤物理硬盤物理硬盤條帶化鏡像8鏡像7鏡像6鏡像5鏡像4鏡像3鏡像2鏡像1條帶化鏡像 RAID(0+1)將RAID0和RAID1結合起來，同時具有條帶化和數(shù)據(jù)鏡像。由于RAID(0+1)采用了硬盤的全冗余，它允許多個硬盤故障，并且提高了數(shù)據(jù)的訪問速度。圖 3-3 RAID(0+1)注意：在LEC磁盤陣列中，如果多于2塊磁盤被分配用于RAID1，那么控制器將自動采用RAID(0+1)，而顯示的是RAID1。 (5)RAID3磁盤條帶化并具有專用校驗盤 RAID3采用了條帶化技術并且具有專用的校驗盤，一個硬盤驅動器被專門用于校驗數(shù)據(jù)的存儲。為單盤容錯并行傳輸。即采用Stripping技術將數(shù)據(jù)分塊，對這些塊進行異或校驗，校驗數(shù)據(jù)寫到最后一塊硬盤上。它的特點是有一個盤為校驗盤，數(shù)據(jù)以位或字節(jié)的方式存于各盤（分散記錄在組內相同扇區(qū)的各個硬盤上）。當一個硬盤發(fā)生故障，除故障盤外，寫操作將繼續(xù)對數(shù)據(jù)盤和校驗盤進行操作。而讀操作是通過對剩余數(shù)據(jù)盤和校驗盤的異或計算重構故障盤上應有的數(shù)據(jù)來進行的。RAID3的優(yōu)點是并行I/O傳輸和單盤容錯，當一個硬盤驅動器出現(xiàn)故障時，控制器可以從專用校驗硬盤驅動器上恢復/重新生成故障硬盤丟失的數(shù)據(jù)，具有很高可靠性。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7Block6Block5Block4Block3Block2Block1邏輯盤物理硬盤物理硬盤條帶化校驗7,8校驗5,6校驗3,4校驗1,2專用校驗盤圖 3-4 RAID3 (6)RAID5磁盤條帶化并具有分布式校驗 RAID5同RAID3類似，但是校驗數(shù)據(jù)不是放在一個專用的校驗硬盤上，而校驗信息是分散在不同的硬盤驅動器上。是一種旋轉奇偶校驗獨立存取的陣列方式，按某種規(guī)則把奇偶校驗信息均勻地分布在陣列所屬的硬盤上，所以在每塊硬盤上，既有數(shù)據(jù)信息也有校驗信息。這一改變解決了爭用校驗盤的問題，使得在同一組內并發(fā)進行多個寫操作。所以RAID5即適用于大數(shù)據(jù)量的操作，也適用于各種事務處理，它是一種快速、大容量和容錯分布合理的磁盤陣列。當有N塊陣列盤時，用戶空間為N-1塊盤容量。當出現(xiàn)故障時，控制器可以從其他硬盤中恢復/重新生成故障硬盤的丟失數(shù)據(jù)。Block8Block7Block6Block5Block4Block3Block2Block1Block8Block7校驗5,6Block5Block3校驗3,4Block2Block1邏輯盤物理硬盤物理硬盤條帶化和分布式校驗校驗7,8Block6Block4校驗1,2物理硬盤圖 3-5 RAID5另外還有其他一些RAID級，由于不常使用或以被淘汰，這里不再贅述。3.2 磁盤陣列的術語 (1)物理驅動器 Physical Drives 物理驅動器就是指在磁盤陣列中的物理硬盤，它連接到磁盤陣列的內部SCSI或FC-AL上。物理硬盤圖 3-6 物理驅動器 (2) 邏輯驅動器 Logical Drives 在磁盤陣列中，將一些物理硬盤組合為一個邏輯驅動器或稱為邏輯盤。邏輯盤對計算機來說就像一個本地的大硬盤。RAID級是在邏輯盤的基礎上來設定的。邏輯盤物理硬盤 圖 3-7 邏輯盤 (3) 邏輯卷 Logical Volume 邏輯卷的概念類似于邏輯盤。一個邏輯卷是由一個或多個邏輯盤組成，這些邏輯盤可以是相同的RAID級或不同的RAID級。邏輯卷可以最多被分為8個分區(qū)Partitions。對計算機來講，它看到的是一個未分區(qū)的邏輯卷或是一個分區(qū)的邏輯卷的一個分區(qū)來作為一個物理硬盤。物理硬盤邏輯盤邏輯盤邏輯盤物理硬盤物理硬盤邏輯卷圖 3-8 邏輯卷 (4)備用驅動器 Spare Drives 局部備用驅動器是一個分配給一個特定邏輯盤的空閑硬盤。當所分配的邏輯盤中的一個硬盤出現(xiàn)故障時，本地備用硬盤將成為該邏輯盤的成員，并且自動啟動重建工作，恢復損壞的數(shù)據(jù)。邏輯盤物理硬盤局部備用盤LS圖3-9 局部備用盤 全局備用驅動器或硬盤不是服務于一個特定的邏輯盤。當任何一個邏輯盤的成員出現(xiàn)故障時，全局備用硬盤將加入到那個邏輯盤中并且自動啟動重建工作。邏輯盤1邏輯盤2邏輯盤3全局備份盤GS替換任意邏輯盤中的故障盤GS1GS2圖3-10 全局備用盤一般的磁盤陣列都提供這兩種備用磁盤的方法。 (5) SCSI接口 SCSI是Small Computer Systems Interface的縮寫，是一種工業(yè)標準的總線接口。它是計算機和磁盤陣列的主要接口之一。SCSI接口分為以下幾種： NARROW SCSI：窄口SCSI，50芯電纜和插頭，可串接7個SCSI設備。 WIDE SCSI：寬口SCSI，68芯電纜和插頭，可串接15臺。SCSI接口電平方式劃分為單端和插分： 單端SCSI電纜不超過6米，F(xiàn)ast SCSI不超過3米。 插分SCSI電纜不超過25M。SCSI有不同的版本： SCSI-1: 8位數(shù)據(jù)傳輸，傳輸速率 5MB/秒，支持同步/異步設備。 SCSI-2: Fast SCSI，8位數(shù)據(jù)傳輸，傳輸速率10MB/秒 . Wide SCSI，16位數(shù)據(jù)傳輸，傳輸速率20MB/秒。 SCSI-3: Ultra SCSI，8位數(shù)據(jù)傳輸，傳輸速率20MB/秒。 Ultra Wide，16位數(shù)據(jù)傳輸，傳輸速率40MB/秒。 支持光纖通道 LVD Ultra2 Wide SCSI，16位數(shù)據(jù)傳輸，傳輸速率80MB/秒 (6) SCSI Terminator(終結器) SCSI bus兩端需要終結器（Terminator）來終結。硬盤上一般有終結器使能跳線，標記為TE。 (7) SCSI ID 每一臺SCSI外圍設備都需要分配不同的SCSI ID，以便主機可以訪問這些外圍設備，如：磁盤陣列中要為每一條SCSI總線上的硬盤分配不同的ID，以便形成邏輯盤，每個邏輯盤也要分配不同的ID，以便主機識別。硬盤上一般都有ID跳線，見硬盤上部說明或指示。(8) LUN 邏輯單元號（Logical Unit Number）邏輯盤可以象普通磁盤一樣進行分區(qū)，每一個分區(qū)可以定義一個LUN。LUN一般從0開始。UNIX下生成設備特殊文件時，有可能需要該LUN號，請同系統(tǒng)管理員聯(lián)系識別磁盤的方法。 (9) 光纖通道光纖磁盤陣列采用光纖接口,光纖接口一般支持點對點連接和仲裁環(huán)連接甚至可以連接到光纖網(wǎng)Fabric中.每一個光纖仲裁環(huán)可以連接127個光纖設備.一般光纖接口采用SC連接器.光纖通道的傳輸速率為1000Mb/s,并采用SCSI-3通信協(xié)議進行通信。（10）各類磁盤設備接口比較各類SCSI總線帶寬速率比較SCSI BusBus WidthSCSI Bus Sync. FrequencyMax. Bus ThroughputSCSI-18-bitAsynchronous5MB/Sec(Fast)SCSI-28-bit10MHz10MB/Sec(Fast)Wide SCSI-216-bit10MHz20MB/SecUltra SCSI-28-bit20MHz20MB/SecUltra Wide SCSI-216-bit20MHz40MB/SecUltra2 Wide SCSI 16-bit40MHz80MB/SecFibre1-Bit1GHz100-200MB/Sec各類SCSI總線接口性能比較SCSI BusSingle-EndedDifferentialLVDFibre*Maximum DevicesSCSI-16m25m-8SCSI-23m25m-8Wide SCSI-23m25m-16Ultra SCSI-21.5m25m-8Ultra SCSI-23m-4Ultra Wide SCSI-2-25-16Ultra-Wide SCSI-21.5-8Ultra-Wide SCSI-23m-4Ultra2-Wide SCSI-12m-16Fibre(Copper cable)-30m126Fibre(Fiber-Optic Cable-10km1263.3 磁盤陣列的分類 按采用的通道方式劃分磁盤陣列可分為: SCSI接口磁盤陣列，通過SCSI通道同主機進行連接。 光纖接口磁盤陣列，通過光纖仲裁環(huán)連接到計算機的HBA上。 每種接口細分，又可分為若干種。請參閱有關手冊的詳細說明。一般選用什么樣的接口要根據(jù)要求的傳輸距離、速度和設備的數(shù)量來定。 按機箱的樣式劃分可分為： 塔式磁盤陣列。 19”機架式磁盤陣列。 塔式磁盤陣列一般用于容量要求比較小的場合。而19”機架式磁盤陣列用于大型數(shù)據(jù)處理。圖 3-11 塔式和機架式磁盤陣列