基于云計算的數(shù)字圖書館資源存儲研究

基于云計算的數(shù)字圖書館資源存儲研究

隨著計算機和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)字圖書館信息資源的出現(xiàn)了大量的數(shù)據(jù)類型和復雜的服務(wù)器類型，以及讀者的需求?，F(xiàn)代數(shù)字圖書館面對的存儲對象遠遠超出了目前傳統(tǒng)圖書館的范圍,傳統(tǒng)的存儲技術(shù)如硬盤存儲、光盤存儲等都已無法滿足數(shù)字信息迅猛增長的存儲需求,現(xiàn)有的網(wǎng)絡(luò)存儲技術(shù)如NAS、SAN等也不能有效地緩解存儲壓力。顯然,這些特點給數(shù)據(jù)存儲系統(tǒng)提出了很高的要求,而云計算存儲技術(shù)的出現(xiàn)為數(shù)字圖書館資源存儲提供了新的解決途徑。1數(shù)字圖書館數(shù)據(jù)存儲的不足與傳統(tǒng)圖書館館藏資源相比,數(shù)字圖書館資源有其自身的特點。從存儲的角度來考慮,數(shù)字圖書館資源具有以下幾個主要特點:存儲容量大;媒體形式多樣;動態(tài)性;異構(gòu)性。盡管近些年來,隨著數(shù)字圖書館建設(shè)進程的加快和存儲技術(shù)的發(fā)展,已經(jīng)在資源存儲方面取得了很大的進步,在存儲容量、擴展速度、共享性等方面也得到了改善,但是仍然存在以下問題:數(shù)據(jù)擴展性不高;異構(gòu)性、兼容性較差;數(shù)據(jù)的存儲速率無法滿足大數(shù)據(jù)量、大并發(fā)訪問的要求。數(shù)字圖書館資源存儲的特點使其對數(shù)據(jù)存儲有著很特殊的要求,主要為:管理和維護大量的存儲數(shù)據(jù)的同時,要求確保數(shù)據(jù)的一致性、安全性、可靠性和可擴充性;要求實現(xiàn)對物理上分布的數(shù)據(jù)資源進行統(tǒng)一的集中管理;要求實現(xiàn)數(shù)據(jù)資源的動態(tài)存儲;要求實現(xiàn)對異構(gòu)的數(shù)據(jù)進行同構(gòu)的訪問。目前數(shù)字圖書館應(yīng)用比較廣泛的DAS、NAS、SAN和ISCSI等網(wǎng)絡(luò)存儲系統(tǒng)在一定程度上解決了數(shù)據(jù)存儲集中共享的問題,他們有各自的優(yōu)缺點,并且適用環(huán)境各不相同,表1比較了這四種存儲方案。從表中我們可以看出它們總是不能全面解決數(shù)字圖書館的存儲問題。2云存儲的定義云計算(CloudComputing)是在分布式處理,并行處理,網(wǎng)格計算等基礎(chǔ)上提出的一種新型商業(yè)計算模型,是一種新興的共享基礎(chǔ)架構(gòu)的方法。它把存儲在大量分布式計算機產(chǎn)品中的大量數(shù)據(jù)和處理器資源整合在一起協(xié)同工作,是相關(guān)的計算分布在大量的分布式計算機上,而非本地計算機或遠程服務(wù)器中,從而使有關(guān)的數(shù)據(jù)中心的運行和互聯(lián)網(wǎng)相似。云計算將巨大的系統(tǒng)連接池連在一起提供各種服務(wù),從而使有關(guān)的用戶可以很方便地將資源切換到具體的應(yīng)用上,根據(jù)自己的需要訪問計算機和存儲體系。云計算環(huán)境下的存儲,這里暫且說成云存儲,它的概念與云計算類似,它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設(shè)備,那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)(如圖1所示)。云存儲不是存儲,而是服務(wù),對使用者來講,并不是指某一個具體的設(shè)備,而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲,是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合,通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。與本文前面提到的四種存儲系統(tǒng)相比較,云存儲的優(yōu)勢主要體現(xiàn)在三個方面:首先,高可靠性,這將使云存儲系統(tǒng)使用者不用經(jīng)常更換新的硬件;其次,低成本,云存儲本質(zhì)上是規(guī)模化經(jīng)濟,因此在成本上進行了有效的控制;第三,自動容錯能力,因為成本低,存儲組件的損耗率相對比較高,云存儲廠商在軟件層做到了很高的自動容錯能力,而不是依賴硬件本身的容錯。概括起來講,云存儲不僅能滿足大容量、容錯性和高效性這些最基本存儲需求,還能滿足自主控制、透明訪問、異構(gòu)性、動態(tài)性等特殊存儲需求。3云數(shù)據(jù)庫技術(shù)從云存儲的特性分析中我們得出云存儲技術(shù)能全面、靈活地解決數(shù)字圖書館面臨的存儲問題。云存儲提供快速簡單的對于容量、性能、服務(wù)質(zhì)量和連接協(xié)議的可升級性,可對所有圖書和多媒體數(shù)據(jù)進行統(tǒng)一查看和管理,還可優(yōu)化分布式的電子圖書館遠程數(shù)據(jù)訪問的性能。云存儲架構(gòu)可實現(xiàn)數(shù)據(jù)庫和圖書館之間更緊密的應(yīng)用整合,提供更高的數(shù)據(jù)保護,并可以更簡單地管理數(shù)據(jù)資源,這些優(yōu)勢極大降低了數(shù)字圖書館建設(shè)在購買、擴容和管理時的費用。下面筆者針對數(shù)字圖書館資源存儲的幾個主要問題,探討云計算存儲方案在解決其問題時所涉及的關(guān)鍵技術(shù)。3.1存儲模式不合理近幾年來,數(shù)字圖書館信息資源呈幾何級數(shù)增長,其存儲的數(shù)據(jù)總量達到海量規(guī)模,在傳統(tǒng)存儲模式下不能滿足其存儲容量不斷增長需求。但在云計算環(huán)境下,利用其高性能的海量數(shù)據(jù)通道,把整個系統(tǒng)的各個主要功能模塊連成一體,不僅保證它們之間海量數(shù)據(jù)傳輸?shù)膶崟r性、可靠性和安全性,而且提供統(tǒng)一的數(shù)據(jù)交換界面,有效地支持系統(tǒng)功能的模塊化和相對獨立性。3.2基于云計算的數(shù)字圖書館系統(tǒng)模型數(shù)字圖書館系統(tǒng)在不同時刻對資源的需求是不同的,某個時間段可能因為訪問人數(shù)的激增造成對某部分的計算資源需求增加,一段時間后可能需求又有所下降,而這些都是無法預知的,所以資源需求具有很高的動態(tài)性。圖2是基于云計算的數(shù)字圖書館模型圖?；谠朴嬎愕臄?shù)字圖書館以云計算服務(wù)器為核心,動態(tài)部署虛擬的硬件服務(wù)器。用戶在使用時,通過Web云接入,實現(xiàn)“無處不在”的訪問,同時也和Web云上的用戶共享流量和計算能力,可以動態(tài)地提供請求和反饋信息。云計算服務(wù)器由用戶動態(tài)請求驅(qū)動,動態(tài)部署虛擬硬件提供存儲和計算能力。在部署的同時針對多功能負載進行優(yōu)化,同時負責數(shù)據(jù)安全性和完整性。運行在“云”中的服務(wù)器集群則根據(jù)云計算服務(wù)器的控制任務(wù),提供用戶需要的資源。對于用戶而言,所有的數(shù)據(jù)存儲和管理都由“云”來完成,用戶不再需要關(guān)心如何獲取和管理數(shù)據(jù),只需要關(guān)心如何使用這些數(shù)據(jù)即可。同時由于云計算提供的強大的分布式計算和存儲能力,為復雜網(wǎng)絡(luò)應(yīng)用提供可能,用戶體驗大大提升。3.3云計算存儲的標準化由于數(shù)字圖書館系統(tǒng)具有主機系統(tǒng)多類型、數(shù)據(jù)存儲格式復雜等特點,使得資源存儲在實現(xiàn)功能、性能和訪問接口上變化很大。但無論數(shù)據(jù)存儲接口如何變化,無論數(shù)據(jù)存儲在什么位置,用戶都要求無縫訪問所有數(shù)據(jù),而不必關(guān)心存儲設(shè)備所處的位置、采用何種存儲系統(tǒng)以及資源如何配置。云計算環(huán)境下的存儲方案就能滿足這些要求,它結(jié)合虛擬存儲技術(shù)、開放的標準規(guī)范將異構(gòu)的存儲變成統(tǒng)一的虛擬存儲。(1)虛擬存儲技術(shù)。在云計算存儲環(huán)境中,可以將物理分布的各類存儲系統(tǒng)和設(shè)備虛擬成單一的存儲系統(tǒng),提供統(tǒng)一的、透明的、安全的訪問和管理機制,從而使物理上分布的存儲服務(wù)器可以自主地接入到云計算中,通過中間層的存儲虛擬化技術(shù)形成統(tǒng)一的訪問接口。虛擬化存儲系統(tǒng)在原有存儲系統(tǒng)上增加了虛擬化層,將多個存儲單元抽象成一個虛擬存儲池,存儲用戶通過虛擬化層提供的接口向虛擬存儲池提出虛擬I/O請求,虛擬化層對這些請求進行處理后將相應(yīng)的請求映射到具體的存儲單元,它可以減少存儲系統(tǒng)的管理開銷,將多個獨立的存儲單元統(tǒng)一成一個邏輯的存儲系統(tǒng),有效實現(xiàn)多個存儲系統(tǒng)的數(shù)據(jù)共享。數(shù)字圖書館采用NAS/SAN的存儲模式只能實現(xiàn)存儲資源與計算資源的物理層面分離,而無法實現(xiàn)邏輯層面的分離。(2)管理云存儲的標準規(guī)范。云存儲的本質(zhì)在于解決異構(gòu)環(huán)境下的資源共享問題,要解決各個存儲節(jié)點的相互訪問兼容性問題,統(tǒng)一標準的建立是必要的。主流的云計算存儲標準有SNIA,DMTF、SMIS-S、OCC(OpenCloudConsortium)、OVF。4注意云計算資源存儲雖然云存儲技術(shù)能有效解決數(shù)字圖書館資源存儲問題,但是在實際的存儲技術(shù)應(yīng)用和項目建設(shè)中還需要考慮一些問題。4.1數(shù)字圖書館的丟失數(shù)據(jù)安全對圖書館至關(guān)重要,任何數(shù)據(jù)的丟失對數(shù)字圖書館都是很大的損失。如何選擇有效的安全策略和安全保護機制、如何解決數(shù)據(jù)復制造成的數(shù)據(jù)需要進一步研究。4.2數(shù)據(jù)丟失、遷移、權(quán)限的改變導致結(jié)果不正確云計算環(huán)境會無可避免地在各個層次上出現(xiàn)異常和錯誤,比如數(shù)據(jù)丟失、遷移、權(quán)限的改變導致結(jié)果不正確,數(shù)據(jù)不一致等。但數(shù)字圖書館又需要365×24小時的服務(wù),所以需要其自行解決和處理,提供正確、健康的數(shù)據(jù)服務(wù)。4.3存儲機制和存儲資源數(shù)字圖書館建設(shè)資金有限,如何充分利用現(xiàn)有的存儲設(shè)備,整合現(xiàn)有的存儲機制和存儲資源,保護現(xiàn)有投資來降低成本也是我們關(guān)心的問題;如何提高數(shù)字圖書館資源存儲性價比也是我們要注意的問題。4.4云計算機對知識產(chǎn)權(quán)的保護由于基于云計算的數(shù)字圖書館是開放式的存儲環(huán)境,著作權(quán)作為一種私權(quán)在云計算環(huán)境下的任何不當使用,都會帶來巨大的負面效果,所以云存儲環(huán)境下的知識產(chǎn)權(quán)及著作權(quán)保