虛擬存儲技術及其在數(shù)字圖書館中的應用

1、2007年10月275圖書館論壇LibraryTribuneOct,2007Vol127No15虛擬存儲技術及其在數(shù)字圖書館中的應用康健明(華南農業(yè)大學圖書館,廣東廣州510640)摘要數(shù)字圖書館的發(fā)展使館藏數(shù)字化資源急劇增長,圖書館對存儲的需求激增。文章在介紹虛擬存儲技術原理、優(yōu)勢、實現(xiàn)方法的基礎上,闡述了虛擬存儲技術在數(shù)字圖書館建設中的應用。關鍵詞虛擬存儲;數(shù)字圖書館;存儲整合中圖分類號G25017文獻標識碼A文章編號1002-1167(2007)05-0092-03伴隨著圖書館建設自動化、網絡化、數(shù)字化的進程,館藏資源日趨多元化,以現(xiàn)有館藏數(shù)字化、網絡數(shù)據(jù)庫、電子期刊以及電子圖書為代表的

2、數(shù)字資源數(shù)量越來越多,數(shù)據(jù)量日益膨脹,間的需求越來越大。不同時期購進的DAS、,虛擬存儲技術首當其沖,成為滿足這種需求的理想解決方法。,這樣系(,可以,保障了用戶以往購買的存儲(4)虛擬存儲技術可以通過管理軟件,為網絡系統(tǒng)提供一些其它有用功能,如無需服務器的遠程鏡像、數(shù)據(jù)快照(Snapshot)等。2虛擬存儲技術的實現(xiàn)方法從系統(tǒng)的觀點看,虛擬存儲存在三種不同的方法:基于主機的虛擬存儲;基于存儲設備的虛擬存儲;基于網絡的虛擬存儲。而該如何選用虛擬化存儲類型,將取決于特定需求,以及所選用的虛擬化類型。211基于主機的虛擬存儲1虛擬存儲技術簡介1所謂虛擬存儲,就是把多個存儲介質模塊(如硬盤、RAID

3、)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(StoragePool)中得到統(tǒng)一管理,從主機和工作站的角度,看到就不是多個硬盤,而是一個分區(qū)或者卷,就好象是一個超大容量(如1T以上)的硬盤。這種可以將多種、多個存儲設備統(tǒng)一管理起來,基于主機的虛擬存儲依賴于代理或管理軟件,它們安裝在一個或多個主機上,實現(xiàn)存儲虛擬化的控制和管理,這會占用主機的處理時間,因此,這種方法的可擴充性較差,實際運行的性能不是很好;基于主機的方法因為有可能導致不經意間越權訪問到受保護的數(shù)據(jù)而影響到系統(tǒng)的穩(wěn)定性和安全性;基于主機的方法還可能由于不同存儲廠商軟硬件的差異而帶來不必要的互操作性開銷,所以這種方法的靈活

4、性也比較差。但是,基于主機的虛擬化方法因無需附加硬件、最容易實現(xiàn)、成本最低,較適合于一些存儲需求不高的網6絡環(huán)境選用,是一種性價比不錯的方法。為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲系統(tǒng),被稱之為虛擬存儲。從專業(yè)的角度來看,虛擬存儲實際上是邏輯存儲,是一種智能、有效的管理存儲數(shù)據(jù)的方式。虛擬存儲克服了物理存儲的局限,因為它可以把物理設備變成完全不同的邏輯鏡像呈現(xiàn)給客戶,既充分利用了物理設備的優(yōu)勢,如高性能、高可用,又打破了物理設備本身不可克服的局限性。從用戶的角度來看,也許可以用一句更簡單的話來概括使用存儲空間而不是使用物理存儲硬件(磁盤、磁帶),管理存儲空間而不是管理物理存儲硬件,這就是虛擬

5、2存儲的概念。212基于存儲設備的虛擬化基于存儲設備的存儲虛擬化方法依賴于提供相關功能的存儲模塊。如果沒有第三方的虛擬軟件,基于存儲的虛擬化通常只能提供一種不完全的存儲虛擬化解決方案。對于包含多廠商存儲設備的SAN存儲系統(tǒng),這種方法的運行效果并不是很好?；诖鎯Φ奶摂M3-5跟目前主流的存儲技術DAS、NAS、SAN、iSCSI架構比較,虛擬存儲技術具有以下特點與優(yōu)勢:(1)虛擬存儲提供了一個大容量存儲系統(tǒng)集中管理的手段,由網絡中的一個環(huán)節(jié)進行統(tǒng)一管理,避免了由于存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統(tǒng),當增加新的存儲設備時,整個系統(tǒng)都需要重新進行繁瑣的配置工作,才可以使這個“

6、新成員”加入到存儲系統(tǒng)之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網絡管理員對存儲系統(tǒng)進行較為簡單的系統(tǒng)配置更改,客戶端無需任何操作,感覺上只是存儲系統(tǒng)的容量增大了。(2)虛擬存儲大大提高存儲系統(tǒng)整體訪問帶寬。存儲系統(tǒng)是由化方法也有一些優(yōu)勢:在存儲系統(tǒng)中這種方法較容易實現(xiàn),容易和某個特定存儲供應商的設備相協(xié)調,所以更容易管理,同時它對用戶或管理人員都是透明的。但是,因為缺乏足夠的軟件進行支持,這就使得解決方案更難以客戶化(Customzing)和監(jiān)控。213基于網絡的虛擬存儲基于網絡的虛擬化存儲方法是在網絡設備之間實現(xiàn)存儲虛擬化7功能,具體有3種方式:第一種是基于互聯(lián)設備的虛擬化。該方

7、法如果是對稱的,則控制信息和數(shù)據(jù)走在同一條通道上。如果是不對稱的,則控制信息和數(shù)據(jù)走在不同的通道上。非對稱式虛擬存儲多個存儲模塊組成,而虛擬存儲系統(tǒng)可以很好地進行負載平衡,把922007年10月圖書館論壇Oct,2007比對稱式更具有可擴展性,因為數(shù)據(jù)和控制信息的路徑是分離的。基于互聯(lián)設備的虛擬化方法能夠在專用服務器上運行,使用標準操作系統(tǒng)。該方法運行在標準操作系統(tǒng)中,具有主機易使用、設備便宜等優(yōu)勢,但在異構操作系統(tǒng)間的互操作性仍是一個問題。第二種是基于交換機的虛擬化?；诮粨Q機的存儲虛擬化系統(tǒng)以軟件方式提供管理模塊,該方法不存在基于設備或基于主機環(huán)境中可能遇到的安全性問題,在異構環(huán)境中也能提

8、供更多的互操作性。但是,交換機仍然是一個瓶頸,也可能成為故障的敏感點。第三種是基于路由器的虛擬化。該方法是在路由器固件上實現(xiàn)存儲虛擬化功能。路由器被放置于每個主機到存儲網絡的數(shù)據(jù)通道中,用來截取網絡中任何一個從主機到存儲系統(tǒng)的命令。由于路由器潛在地為每一臺主機服務,大多數(shù)控制模塊存在于路由器的固件中,相對于基于主機和基于互聯(lián)設備的方法,此方法的性能更好、效果更佳?；诼酚善鞯姆椒ㄒ部梢栽诋悩嫴僮飨到y(tǒng)和多供應商存儲環(huán)境之間提供互操作性。但是,當連接主機到存儲網的路由器出現(xiàn)故障時,仍可能導致主機上的數(shù)據(jù)不能被訪問。虛擬存儲架構中,圖書館業(yè)務系統(tǒng)、數(shù)據(jù)庫鏡像站、電子資源應用服務使用的是由高速存儲控制

9、設備HighSpeedTrafficDirectors(HSTD)虛擬的某個或幾個盤符。由于采用大容量高速緩存,多端口并行技術,顯著提高了數(shù)據(jù)傳輸速度,消除了I/O瓶頸,從整體上提高了系統(tǒng)的可用帶寬。(2)存儲控制:高速存儲控制設備(HSTD)將存儲池中的物理硬盤虛擬為邏輯存儲單元(LUN),并進行端口映射(指定某一個LUN能被哪些端口所見),主機端將各可見的存儲單元映射為操作系統(tǒng)可識別的盤符。(3)存儲池:作為存儲池的RAID磁盤陣列組合,將不同產商、不同型號、不同時期購置的存儲產品集合成一個整體,通過高速存儲控制設備(HSTD)提供給應用服務器使用。虛擬存儲技術實際應用主要考慮如下幾個因素

10、:總體帶寬性能、可管理性、安全性、系統(tǒng)成本。當然,這些因素之,如經濟的配合,是一個需要,為我們在構建數(shù)字圖書館存儲3虛擬存儲技術在數(shù)字圖書館的應用,求,隨著資源數(shù)量、應用類型、服務方式的不斷增加,使得存儲設備的訪問帶寬問題成為了系統(tǒng)的一個主要性能瓶頸。館藏資源數(shù)字化以及購買的各種應用數(shù)據(jù)庫具有安全性、數(shù)據(jù)量存儲大及實時性強等特點。這就要求應用于數(shù)字圖書館的存儲技術和產品必須具有足夠的帶寬并且穩(wěn)定性要好。由于虛擬存儲技術在資源數(shù)字化存儲整合的特點與優(yōu)勢,國內各級圖書館對其給予極大的關注,并且開始應用這類技術。目前虛擬存儲的發(fā)展尚無統(tǒng)一標準,從虛擬化存儲的拓撲結構8來講主要有兩種方式:即對稱式與非

11、對稱式。對稱式虛擬存儲技4虛擬存儲技術在數(shù)字圖書館存儲系統(tǒng)建設中的作用數(shù)字圖書館的建設和運作對數(shù)據(jù)的共享備份和高速存儲訪問具有很高的要求,虛擬存儲系統(tǒng)能夠有效地適應數(shù)字圖書館數(shù)據(jù)的海量存儲和數(shù)據(jù)的不斷增長,同時又能夠滿足當今網絡環(huán)境復雜性和擴展性的不斷提高,對海量數(shù)據(jù)進行存儲和備份。具有海量存儲能力的虛擬存儲系統(tǒng)是數(shù)字圖書館建設和運作的重要保障。411拓展存儲空間、滿足數(shù)據(jù)增長的需求虛擬存儲技術把數(shù)字圖書館現(xiàn)有的各類存儲設備虛擬成一個高性能、大容量的新存儲,可以更有效地利用容量,它能夠使系統(tǒng)性能最大化,消除數(shù)據(jù)存取瓶頸,縮短尋道距離,因此加快了訪問時間。滿足了包括以文獻整體為揭示對象的書目數(shù)據(jù)

12、庫,以文獻篇目、目次為揭示對象的篇名書目數(shù)據(jù)庫,以文獻內容的圖像掃描或文字識別為處理手段而形成的全文數(shù)據(jù)庫和以文字、音頻、視頻結9合為特征的多媒體數(shù)據(jù)庫,以及一些網絡數(shù)據(jù)庫、電子圖書等數(shù)術是指虛擬存儲控制設備與存儲軟件系統(tǒng)、交換設備集成為一個整體,內嵌在網絡數(shù)據(jù)傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立于數(shù)據(jù)傳輸路徑之外。從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合數(shù)字圖書館應用。字化資源對存儲空間的需求。412方便數(shù)據(jù)的統(tǒng)一管理、提高數(shù)據(jù)安全性虛擬存儲技術把數(shù)字圖書館購買的DAS、NAS、SAN架構存儲匯集成一個“虛擬存儲池”,數(shù)字圖書館的音頻、

13、視頻、文字、圖片等各種格式的數(shù)據(jù)存放在這個“虛擬存儲池”中,所有基于網絡的RAID、分布式I/O、數(shù)據(jù)冗余、配置冗余、硬盤組、邏輯卷、動態(tài)的多個路徑、分層存儲、在線的高速備份等有關的問題都由虛擬存儲管理系統(tǒng)來處理,實現(xiàn)了無縫的存儲和數(shù)據(jù)管理。這種管理方式避免了因存儲環(huán)境發(fā)生故障引起的數(shù)據(jù)損壞、丟失等問題;發(fā)生故障時還能提供快速、高效、靈活的本地或遠程恢復,提高了數(shù)據(jù)的安全性。413使前臺應用與后臺數(shù)據(jù)分離得以實現(xiàn)數(shù)字圖書館系統(tǒng)現(xiàn)有的主機系統(tǒng)和存儲系統(tǒng)也具有多類型的特圖1對稱式虛擬存儲解決方案如圖1所示,對稱式虛擬存儲方案具有如下特點:(1)前臺應用:與傳統(tǒng)應用服務直接掛接存儲不同,在對稱式點,

14、操作系統(tǒng)包括Windows、Linux、Unix等,主流類型硬件設備的主機廠商和存儲廠商來源不一。某個前臺應用單獨掛接一個存儲或幾個前臺應用共享一個大型存儲使得應用與數(shù)據(jù)的管理混雜,應用與數(shù)據(jù)的再調整相對困難。虛擬存儲技術對現(xiàn)有系統(tǒng)的高兼容性,932007年10月圖書館論壇Oct,2007可以實現(xiàn)多機種服務器環(huán)境中的集中化存儲,裝有不同操作系統(tǒng)的不同服務器可以與一個龐大的集中化存儲池連接并同時共享該存儲池,這樣簡化了存儲容量和應用服務的管理,滿足服務器上的應用服務能夠提供負載均衡和故障切換功能,同時也充分發(fā)揮現(xiàn)有系統(tǒng)的性能。從而提供一個高性能、安全、穩(wěn)定、可靠、可擴展的存儲網絡和應用服務平臺。

15、414便于存儲空間的再分配應用平臺的能力。虛擬存儲技術可以減少存儲系統(tǒng)的管理開銷,實現(xiàn)存儲系統(tǒng)的數(shù)據(jù)共享,提供透明的高可用性和可擴展性,能夠很好地解決數(shù)字圖書館海量數(shù)據(jù)的存儲需求,也能很好地實現(xiàn)與原有存儲系統(tǒng)的整合。因此,具有傳輸速率高、數(shù)據(jù)吞吐量大、容錯能力強、穩(wěn)定性高并且能夠整合存儲空間等優(yōu)勢的虛擬存儲技術,無疑將成為建設未來數(shù)字圖書館存儲系統(tǒng)的主流架構。參考文獻1杜國芳.虛擬存儲技術及其在數(shù)字化圖書館中的應用J.現(xiàn)代情報,2005,(1):98-100.2虛擬存儲技術EB/OL.2001-12-19.ii.數(shù)字圖書館建設進程中,書目數(shù)據(jù)庫、電子圖書、電子期刊、網絡數(shù)據(jù)庫等數(shù)字資源的數(shù)據(jù)每

16、年以幾十G、幾百G或TB級增加,初期規(guī)劃的存儲空間已無法滿足某些數(shù)據(jù)庫的需求,有的數(shù)據(jù)庫因數(shù)據(jù)增長慢又占用了多余的存儲空間,存儲空間的再分配成為存儲管理的難處。利用虛擬存儲技術,用戶可以將存儲器分割成一些“虛擬磁盤”,隨時隨地需要存儲容量,都能將這些“虛擬磁盤”分配給服務器。而且,用戶在用完之后可以將這些存儲容量返還給存儲池,方便了存儲體積擴充,也簡化了數(shù)據(jù)管理。415保護以前投資3Feiry.存儲虛擬化詳解:存儲技術基礎EB/OL.2006-03-15.4.淺析虛擬存儲EB/OL.2006-01-17.5E.2006-01-17.http:/htm.數(shù)字圖書館建設過程中,信息資源增長迅速,的

17、數(shù)量也在不斷增多,次投資到位,技術的可管理性、安全性、可擴展性等性能,可以把數(shù)字圖書館因資金問題在不同時期購買的不同架構、不同類型、不同廠商的存儲產品集成為一個新的存儲系統(tǒng),提高整體存儲性能的同時,也保護了以往的投資。數(shù)字圖書館發(fā)展過程中數(shù)字化信息的潛在增長趨勢,要求存儲系統(tǒng)不僅要具有很強的增容能力,而且應具有支持不同協(xié)議、不同:走近存儲虛擬化EB/OL.2006-10-26.7鮑智明.存儲虛擬化在數(shù)字圖書館建設中的應用J.情報探索,2005,(9):80-82.8鄧永紅.詳述虛擬存儲技術J.有線電視技術,2004,(21):1-7.9董曉莉,張建剛.虛擬存儲技術在未來數(shù)字圖書館中的應用J.現(xiàn)

18、代圖書情報技術,2006,(8):18-22.VirtualStorageTechnologyandItsApplicationtoDigitalLibraryKANGJian-ming(LibraryofSouthChinaUniversityofAgriculture,Guangzhou510640,China)Abstract:Thedevelopmentofdigitallibrarymakestheresourcesofdigitalcollectiongrowupsharply,whichleadsthelibrariesdemandsofstorageincreaserapidly.Thisarticleintroducestheprinciples,advantagesandactualizationofvirtualstoragetechnology,andexpoundstheapplicationsofvirtualstoragetechnol2ogyintheconstructionofdigitallibrary.Keywords:virtualstorage;digitallibrary;storageconformit