網(wǎng)絡(luò)存儲(chǔ)主要技術(shù)

1、第1章 絡(luò)存儲(chǔ)主要技術(shù)1.1 概述存儲(chǔ)系統(tǒng)是整個(gè)IT系統(tǒng)的基石，是IT技術(shù)賴以存在和發(fā)揮效能的基礎(chǔ)平臺(tái)。早先的存儲(chǔ)形式是存儲(chǔ)設(shè)備（通常是磁盤）與應(yīng)用服務(wù)器其他硬件直接安裝于同一個(gè)機(jī)箱之內(nèi)，并且該存儲(chǔ)設(shè)備是給本臺(tái)應(yīng)用服務(wù)器獨(dú)占使用的。隨著服務(wù)器數(shù)量的增多，磁盤數(shù)量也在增加，且分散在不同的服務(wù)器上，查看每一個(gè)磁盤的運(yùn)行狀況都需要到不同的應(yīng)用服務(wù)器上去查看。更換磁盤也需要拆開(kāi)服務(wù)器，中斷應(yīng)用。于是，一種希望將磁盤從服務(wù)器中脫離出來(lái)，集中到一起管理的需求出現(xiàn)了。不過(guò)，一個(gè)問(wèn)題：如何將服務(wù)器和盤陣連接起來(lái)？面臨這樣的問(wèn)題，有廠商提出了SCSI協(xié)議，通過(guò)專用的線纜將服務(wù)器的總線和存儲(chǔ)設(shè)備連接起來(lái)，通過(guò)專門

2、的SCSI指令來(lái)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。后來(lái)發(fā)展到FC協(xié)議。這樣，多個(gè)服務(wù)器可以通過(guò)SCSI線纜或光纖建立與存儲(chǔ)系統(tǒng)的連接。這樣的方式，我們稱之為直接附加存儲(chǔ)（DAS）。1.2 DAS：直接附加存儲(chǔ)DAS（Direct Attached Storage直接附加存儲(chǔ)）是指將存儲(chǔ)設(shè)備通過(guò)SCSI線纜或光纖通道直接連接到服務(wù)器上。一個(gè)SCSI環(huán)路或稱為SCSI通道可以掛載最多16臺(tái)設(shè)備； FC可以在仲裁環(huán)的方式下支持126個(gè)設(shè)備； DAS方式實(shí)現(xiàn)了機(jī)內(nèi)存儲(chǔ)到存儲(chǔ)子系統(tǒng)的跨越，但是缺點(diǎn)依然有很多：u 擴(kuò)展性差，服務(wù)器與存儲(chǔ)設(shè)備直接連接的方式導(dǎo)致出現(xiàn)新的應(yīng)用需求時(shí)，只能為新增的服務(wù)器單獨(dú)配置存儲(chǔ)設(shè)備，造成重復(fù)投

3、資。u 資源利用率低，DAS方式的存儲(chǔ)長(zhǎng)期來(lái)看存儲(chǔ)空間無(wú)法充分利用，存在浪費(fèi)。不同的應(yīng)用服務(wù)器面對(duì)的存儲(chǔ)數(shù)據(jù)量是不一致的，同時(shí)業(yè)務(wù)發(fā)展的狀況也決定這存儲(chǔ)數(shù)據(jù)量的變化。因此，出現(xiàn)了部分應(yīng)用對(duì)應(yīng)的存儲(chǔ)空間不夠用，另一些卻有大量的存儲(chǔ)空間閑置。u 可管理性差，DAS方式數(shù)據(jù)依然是分散的，不同的應(yīng)用各有一套存儲(chǔ)設(shè)備。管理分散，無(wú)法集中。異構(gòu)化嚴(yán)重，DAS方式使得企業(yè)在不同階段采購(gòu)了不同型號(hào)不同廠商的存儲(chǔ)設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，導(dǎo)致維護(hù)成本據(jù)高不下。1.3 SAN：存儲(chǔ)區(qū)域網(wǎng)絡(luò)1.3.1 什么是SAN？SAN（Storage Aera Network ）存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是一種通過(guò)網(wǎng)絡(luò)方式連接存儲(chǔ)設(shè)備

4、和應(yīng)用服務(wù)器的存儲(chǔ)構(gòu)架，這個(gè)網(wǎng)絡(luò)專用于主機(jī)和存儲(chǔ)設(shè)備之間的訪問(wèn)。當(dāng)有數(shù)據(jù)的存取需求時(shí)，數(shù)據(jù)可以通過(guò)存儲(chǔ)區(qū)域網(wǎng)絡(luò)在服務(wù)器和后臺(tái)存儲(chǔ)設(shè)備之間高速傳輸。1.3.2 SAN的誤區(qū)SAN的發(fā)展歷程較短，從90年代后期興起，由于當(dāng)時(shí)以太網(wǎng)的帶寬有限，而FC協(xié)議在當(dāng)時(shí)就可以支持1Gb的帶寬，因此早期的SAN存儲(chǔ)系統(tǒng)多數(shù)由FC存儲(chǔ)設(shè)備構(gòu)成，導(dǎo)致很多用戶誤以為SAN就是光纖通道設(shè)備，其實(shí)SAN代表的是一種專用于存儲(chǔ)的網(wǎng)絡(luò)架構(gòu)，與協(xié)議和設(shè)備類型無(wú)關(guān)，隨著千兆以太網(wǎng)的普及和萬(wàn)兆以太網(wǎng)的實(shí)現(xiàn)，人們對(duì)于SAN的理解將更為全面。1.3.3 SAN的組成SAN由服務(wù)器，后端存儲(chǔ)系統(tǒng)，SAN連接設(shè)備組成；后端存儲(chǔ)系統(tǒng)由SAN

5、控制器和磁盤系統(tǒng)構(gòu)成，控制器是后端存儲(chǔ)系統(tǒng)的關(guān)鍵，它提供存儲(chǔ)接入，數(shù)據(jù)操作及備份，數(shù)據(jù)共享、數(shù)據(jù)快照等數(shù)據(jù)安全管理，及系統(tǒng)管理等一系列功能。后端存儲(chǔ)系統(tǒng)為SAN解決方案提供了存儲(chǔ)空間。使用磁盤陣列和RAID策略為數(shù)據(jù)提供存儲(chǔ)空間和安全保護(hù)措施。連接設(shè)備包括交換機(jī)，HBA卡和各種介質(zhì)的連接線。 SAN的優(yōu)點(diǎn)：u 設(shè)備整合，多臺(tái)服務(wù)器可以通過(guò)存儲(chǔ)網(wǎng)絡(luò)同時(shí)訪問(wèn)后端存儲(chǔ)系統(tǒng)，不必為每臺(tái)服務(wù)器單獨(dú)購(gòu)買存儲(chǔ)設(shè)備，降低存儲(chǔ)設(shè)備異構(gòu)化程度，減輕維護(hù)工作量，降低維護(hù)費(fèi)用；u 數(shù)據(jù)集中，不同應(yīng)用和服務(wù)器的數(shù)據(jù)實(shí)現(xiàn)了物理上的集中，空間調(diào)整和數(shù)據(jù)復(fù)制等工作可以在一臺(tái)設(shè)備上完成，大大提高了存儲(chǔ)資源利用率；u 高擴(kuò)展性，

6、存儲(chǔ)網(wǎng)絡(luò)架構(gòu)使得服務(wù)器可以方便的接入現(xiàn)有SAN環(huán)境，較好的適應(yīng)應(yīng)用變化的需求；總體擁有成本低，存儲(chǔ)設(shè)備的整合和數(shù)據(jù)集中管理，大大降低了重復(fù)投資率和長(zhǎng)期管理維護(hù)成本；1.3.4 FC SAN的問(wèn)題u 兼容性差，F(xiàn)C協(xié)議發(fā)展時(shí)間短，開(kāi)發(fā)和產(chǎn)品化的大廠商較少，而且廠商之間各自遵循內(nèi)部標(biāo)準(zhǔn)，導(dǎo)致不同廠商的FC產(chǎn)品之間兼容性和互操作差，即使同一廠商的不同版本不同型號(hào)的FC產(chǎn)品也存在類似的問(wèn)題；u 成本高昂，F(xiàn)C SAN的成本包括先期設(shè)備成本和長(zhǎng)期維護(hù)成本，由于FC協(xié)議在成熟度和互聯(lián)性上無(wú)法與以太網(wǎng)相比，導(dǎo)致FC協(xié)議只能局限于存儲(chǔ)系統(tǒng)應(yīng)用，無(wú)法實(shí)現(xiàn)大規(guī)模推廣，這直接導(dǎo)致了FC產(chǎn)品價(jià)格的昂貴；同樣與FC-S

7、AN相關(guān)的所有產(chǎn)品都身價(jià)高昂，無(wú)論是備份軟件的FC-SAN模塊，甚至SCSI硬盤簡(jiǎn)單更換連接口成為FC硬盤，都要翻上幾倍的價(jià)錢；另外兼容性差也導(dǎo)致了用戶無(wú)法自己維護(hù)FC設(shè)備，必須購(gòu)買昂貴的廠商服務(wù)，如果用戶的環(huán)境中包括多種FC存儲(chǔ)設(shè)備，用戶每年花在FC-SAN的系統(tǒng)保修服務(wù)的費(fèi)用占當(dāng)年采購(gòu)成本的15%左右。如果再算上系統(tǒng)安裝部署階段的專業(yè)服務(wù)費(fèi)用支出，以5年計(jì)算，整個(gè)服務(wù)費(fèi)用支出與系統(tǒng)采購(gòu)達(dá)到1:1！u 擴(kuò)展能力差，F(xiàn)C-SAN高昂的成本和協(xié)議封閉，使得產(chǎn)品的開(kāi)發(fā)、升級(jí)、擴(kuò)容代價(jià)高昂。從2000年以來(lái)，存儲(chǔ)市場(chǎng)中最大的中端部分就一直5年不變地維持著前端兩個(gè)存儲(chǔ)控制器，后端兩個(gè)（最多四個(gè)）光纖環(huán)

8、路的結(jié)構(gòu)。不僅產(chǎn)品本身無(wú)法進(jìn)行性能和處理能力擴(kuò)展，產(chǎn)品型號(hào)向上的升級(jí)付出的代價(jià)幾乎相當(dāng)于購(gòu)買一套新的設(shè)備；u 異構(gòu)化嚴(yán)重，各廠商按照自有標(biāo)準(zhǔn)開(kāi)發(fā)各種功能，如快照、復(fù)制、鏡像等，導(dǎo)致不同廠商存儲(chǔ)設(shè)備之間功能無(wú)法互通，結(jié)果又出現(xiàn)的DAS方式的各種問(wèn)題，重復(fù)投資、難以管理的局面SAN的出現(xiàn)，從根本上是要建立一個(gè)開(kāi)放、高性能、高可靠、高可擴(kuò)展性的存儲(chǔ)資源平臺(tái)，從而能夠應(yīng)對(duì)快速的業(yè)務(wù)變化和數(shù)據(jù)增長(zhǎng)，然而以上問(wèn)題使得用戶使用網(wǎng)絡(luò)存儲(chǔ)的目標(biāo)產(chǎn)生了嚴(yán)重的偏離，很多用戶甚至開(kāi)始質(zhì)疑為什么要放棄DAS而使用昂貴復(fù)雜的FC-SAN。1.3.5 IP SANIP網(wǎng)絡(luò)是一個(gè)開(kāi)放，高性能，高可擴(kuò)展，可靠性高的網(wǎng)絡(luò)平臺(tái)。u

9、 IP網(wǎng)是國(guó)際互連網(wǎng)，企業(yè)內(nèi)部網(wǎng)絡(luò)的主要形式。經(jīng)過(guò)多年發(fā)展，IP網(wǎng)絡(luò)實(shí)現(xiàn)了最高的可管理性和互操作性。u TCP/IP協(xié)議彈性強(qiáng)，適應(yīng)網(wǎng)絡(luò)的各種變化，無(wú)需停止服務(wù)即可實(shí)網(wǎng)絡(luò)變更。u 1G的以太網(wǎng)已經(jīng)普及，2006年會(huì)擴(kuò)展到10G。FC在2008年才能到4G。u 不同廠家的IP網(wǎng)設(shè)備兼容性好。網(wǎng)絡(luò)設(shè)備采購(gòu)成本低廉。u 以太網(wǎng)知識(shí)普及，以太網(wǎng)多年的發(fā)展培養(yǎng)了無(wú)數(shù)的網(wǎng)絡(luò)管理人員。IP SAN的基本想法是通過(guò)高速以太網(wǎng)絡(luò)連接服務(wù)器和后端存儲(chǔ)系統(tǒng)。將SCSI指令和數(shù)據(jù)塊經(jīng)過(guò)高速以太網(wǎng)傳輸，繼承以太網(wǎng)的優(yōu)點(diǎn)，實(shí)現(xiàn)建立一個(gè)開(kāi)放、高性能、高可靠性，高可擴(kuò)展的存儲(chǔ)資源平臺(tái)。IP SAN將數(shù)據(jù)塊和SCSI指令通過(guò)T

10、CP/IP協(xié)議承載，通過(guò)千兆/萬(wàn)兆專用的以太網(wǎng)絡(luò)連接應(yīng)用服務(wù)器和存儲(chǔ)設(shè)備，這樣的解決方案稱為IP SAN。IP SAN遵循IETF的iSCSI標(biāo)準(zhǔn)，通過(guò)以太網(wǎng)實(shí)現(xiàn)對(duì)存儲(chǔ)空間的塊級(jí)訪問(wèn)，由于早先以太網(wǎng)速度，數(shù)據(jù)安全性以及系統(tǒng)級(jí)高容錯(cuò)要求等問(wèn)題，這一標(biāo)準(zhǔn)經(jīng)歷了三年的認(rèn)證過(guò)程，在包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等眾多家廠商的努力，和萬(wàn)兆/千兆以太網(wǎng)10GBit Ethernet支撐下，IP SAN/iSCSI已解決了網(wǎng)絡(luò)瓶頸，數(shù)據(jù)安全和容錯(cuò)等問(wèn)題，進(jìn)入了實(shí)用階段。IP SAN繼承了IP網(wǎng)絡(luò)的優(yōu)點(diǎn)：u 實(shí)現(xiàn)彈性擴(kuò)展的存儲(chǔ)網(wǎng)

11、絡(luò)，能自適應(yīng)應(yīng)用的改變。u 已經(jīng)驗(yàn)證的傳輸設(shè)備保證運(yùn)行的可靠性u(píng) 以太網(wǎng)從1G向10G及更高速過(guò)渡，只需通過(guò)簡(jiǎn)單的升級(jí)便可得到極大的性能提升，并保護(hù)投資u IP跨長(zhǎng)距離擴(kuò)展能力，輕松實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)復(fù)制和災(zāi)難恢復(fù)u 大量熟悉的網(wǎng)絡(luò)技術(shù)和管理的人才減少培訓(xùn)和人力成本將以太網(wǎng)的經(jīng)濟(jì)性引入存儲(chǔ) 降低用戶總體擁有成本。1.4 NAS：網(wǎng)絡(luò)附加存儲(chǔ)NAS（Network Attached Storage網(wǎng)絡(luò)附加存儲(chǔ)），是一種文件共享服務(wù)。擁有自己的文件系統(tǒng)，通過(guò)NFS或CIFS對(duì)外提供文件訪問(wèn)服務(wù)。 NAS包括存儲(chǔ)器件（例如硬盤驅(qū)動(dòng)器陣列、CD或DVD驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器或可移動(dòng)的存儲(chǔ)介質(zhì)）和專用服務(wù)器。專用

12、服務(wù)器上裝有專門的操作系統(tǒng)，通常是簡(jiǎn)化的unix/linux操作系統(tǒng)，或者是一個(gè)特殊的win2000內(nèi)核。它為文件系統(tǒng)管理和訪問(wèn)做了專門的優(yōu)化。專用服務(wù)器利用NFS或CIFS，充當(dāng)遠(yuǎn)程文件服務(wù)器，對(duì)外提供文件級(jí)的訪問(wèn)。NAS的優(yōu)點(diǎn)：u NAS可以即插即用。u NAS通過(guò)TCP/IP網(wǎng)絡(luò)連接到應(yīng)用服務(wù)器，因此可以基于已有的企業(yè)網(wǎng)絡(luò)方便連接。u 專用的操作系統(tǒng)支持不同的文件系統(tǒng)，提供不同操作系統(tǒng)的文件共享。u 經(jīng)過(guò)優(yōu)化的文件系統(tǒng)提高了文件的訪問(wèn)效率，也支持相應(yīng)的網(wǎng)絡(luò)協(xié)議。即使應(yīng)用服務(wù)器不再工作了，仍然可以讀出數(shù)據(jù)。 NAS的缺點(diǎn)：1、NAS設(shè)備與客戶機(jī)通過(guò)企業(yè)網(wǎng)進(jìn)行連接，因此數(shù)據(jù)備份或存儲(chǔ)過(guò)程中會(huì)

13、占用網(wǎng)絡(luò)的帶寬。這必然會(huì)影響企業(yè)內(nèi)部網(wǎng)絡(luò)上的其他網(wǎng)絡(luò)應(yīng)用。共用網(wǎng)絡(luò)帶寬成為限制NAS性能的主要問(wèn)題。2、NAS的可擴(kuò)展性受到設(shè)備大小的限制。增加另一臺(tái)NAS設(shè)備非常容易，但是要想將兩個(gè)NAS設(shè)備的存儲(chǔ)空間無(wú)縫合并并不容易，因?yàn)镹AS設(shè)備通常具有獨(dú)特的網(wǎng)絡(luò)標(biāo)識(shí)符，存儲(chǔ)空間的擴(kuò)大上有限。3、NAS訪問(wèn)需要經(jīng)過(guò)文件系統(tǒng)格式轉(zhuǎn)換，所以是以文件一級(jí)來(lái)訪問(wèn)。不適和Block級(jí)的應(yīng)用，尤其是要求使用裸設(shè)備的數(shù)據(jù)庫(kù)系統(tǒng)。1.5 SAN和NASSAN和NAS經(jīng)常被視為兩種競(jìng)爭(zhēng)技術(shù)，實(shí)際上，二者能夠很好地相互補(bǔ)充，以提供對(duì)不同類型數(shù)據(jù)的訪問(wèn)。SAN針對(duì)海量、面向數(shù)據(jù)塊的數(shù)據(jù)傳輸，而NAS則提供文件級(jí)的數(shù)據(jù)訪問(wèn)和共享服務(wù)。 盡管這兩種技術(shù)類似，但嚴(yán)格意義上講NAS其實(shí)只是一種文件服務(wù)。NAS和SAN不僅各有應(yīng)用場(chǎng)合，也相互結(jié)合，許多SAN部署于NAS后臺(tái)，為NAS設(shè)備提供高性能海量存儲(chǔ)空間。NAS和SAN結(jié)合中出現(xiàn)了NAS網(wǎng)關(guān)這個(gè)部件。NAS網(wǎng)關(guān)主要由專為提供文件服務(wù)而優(yōu)化的操作系統(tǒng)和相關(guān)硬件組成，可以看作是一個(gè)專門的文件管理器。NAS網(wǎng)關(guān)連接到后