云存儲(chǔ)在圖書(shū)館中的應(yīng)用

云存儲(chǔ)在圖書(shū)館中的應(yīng)用

近年來(lái)，隨著計(jì)算機(jī)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)等高科技的蓬勃發(fā)展，存儲(chǔ)技術(shù)和存儲(chǔ)模式不斷變化。事實(shí)上就在幾年前,圖書(shū)館技術(shù)部門(mén)對(duì)存儲(chǔ)技術(shù)關(guān)注的并不是很多,這是因?yàn)樵趫D書(shū)館自動(dòng)化建設(shè)的初期,技術(shù)人員關(guān)注的熱點(diǎn)是圖書(shū)館的計(jì)算機(jī)自動(dòng)化管理,也就是如何使圖書(shū)館的采訪、編目、流通等傳統(tǒng)業(yè)務(wù)實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)化,而這些傳統(tǒng)業(yè)務(wù)所產(chǎn)生的相應(yīng)數(shù)據(jù)無(wú)非是館藏書(shū)目數(shù)據(jù)、讀者數(shù)據(jù)以及流通日志等一些基礎(chǔ)數(shù)據(jù)1,這些數(shù)據(jù)雖然數(shù)量大,但對(duì)存儲(chǔ)容量和存儲(chǔ)技術(shù)的要求不是很高。但這兩年來(lái)隨著數(shù)字化圖書(shū)館建設(shè)進(jìn)程的推進(jìn),大量的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)鏡像站、隨書(shū)光盤(pán)、在線視頻等新型服務(wù)產(chǎn)品的出現(xiàn),直接導(dǎo)致了電子資源數(shù)據(jù)的幾何級(jí)數(shù)激增,此外隨著要求圖書(shū)館資源整合和提供一站式服務(wù)的呼聲越來(lái)越高,傳統(tǒng)的存儲(chǔ)方案已經(jīng)力不從心,而且代價(jià)昂貴。本文將對(duì)圖書(shū)館網(wǎng)絡(luò)存儲(chǔ)引進(jìn)“云存儲(chǔ)”概念做一些探討。1圖書(shū)館數(shù)據(jù)的分類圖書(shū)館存儲(chǔ)的數(shù)據(jù)類型各異,因此對(duì)存儲(chǔ)的需求也有所不同,從圖書(shū)館的日常業(yè)務(wù)和讀者服務(wù)模式來(lái)看,主要有以下3大類。1.1傳統(tǒng)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)效率和存儲(chǔ)穩(wěn)定性有待提高主要包括歷年來(lái)紙本書(shū)刊館藏目錄數(shù)據(jù)、歷年來(lái)紙本書(shū)刊采訪數(shù)據(jù)、歷年來(lái)紙本書(shū)刊流通數(shù)據(jù)等。以上海大學(xué)圖書(shū)館目前館藏300萬(wàn)件、每年引進(jìn)新書(shū)9萬(wàn)冊(cè)、續(xù)訂中外文報(bào)刊3000多種為例,可以看出傳統(tǒng)業(yè)務(wù)數(shù)據(jù)的量比較大,但數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單且每年的數(shù)據(jù)增量基本穩(wěn)定,所以這類數(shù)據(jù)對(duì)存儲(chǔ)的可靠性、穩(wěn)定性、安全性以及存取性能要求很高2,對(duì)存儲(chǔ)容量和采用的存儲(chǔ)技術(shù)要求不高。1.2電子資源的總量和增量所需的增量將增主要包括歷年來(lái)引進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)鏡像站、電子圖書(shū)、電子期刊以及多媒體資源等。隨著數(shù)字化圖書(shū)館和網(wǎng)絡(luò)技術(shù)的發(fā)展,電子資源已經(jīng)成為高校圖書(shū)館文獻(xiàn)資源的重要組成部分,在高校圖書(shū)館文獻(xiàn)信息服務(wù)中所占的比重日益提高。各高校對(duì)電子資源的引進(jìn)日漸頻繁,經(jīng)費(fèi)投入巨大,因此電子資源的數(shù)據(jù)量和每年增量都非常龐大。以上海大學(xué)圖書(shū)館為例,新館建成以來(lái)就不斷加大電子資源建設(shè)力度,電子資源數(shù)量從無(wú)到目前的40余種,涵蓋了世界上全部知名的高質(zhì)量電子資源。此外,上海大學(xué)擁有學(xué)生30000余人,每日對(duì)電子資源的訪問(wèn)量也非常巨大。以上數(shù)據(jù)可以分為兩個(gè)部分,一部分是電子資源本身的數(shù)據(jù)量,這類數(shù)據(jù)的索引和全文數(shù)據(jù)因數(shù)據(jù)庫(kù)商存有數(shù)據(jù)備份,對(duì)存儲(chǔ)的安全性要求相對(duì)低些,但是數(shù)據(jù)本身結(jié)構(gòu)復(fù)雜,需要存儲(chǔ)容量巨大,圖書(shū)館需要不斷擴(kuò)容存儲(chǔ)設(shè)備來(lái)適應(yīng)數(shù)據(jù)量激增的嚴(yán)峻形勢(shì);另外一部分是訪問(wèn)鏡像和網(wǎng)絡(luò)數(shù)據(jù)庫(kù)時(shí)所產(chǎn)生的一系列的統(tǒng)計(jì)數(shù)據(jù)和讀者信息,這類統(tǒng)計(jì)數(shù)據(jù)對(duì)圖書(shū)館管理決策、服務(wù)評(píng)價(jià)以及成本分析意義重大,數(shù)據(jù)庫(kù)商本身沒(méi)有備份,因此這部分統(tǒng)計(jì)數(shù)據(jù)對(duì)存儲(chǔ)的安全性要求較高,一旦丟失的話將無(wú)法彌補(bǔ)修復(fù)。1.3交互數(shù)據(jù)庫(kù)的建立包括圖書(shū)館自建的特色數(shù)據(jù)庫(kù)數(shù)據(jù)以及隨書(shū)光盤(pán)上載的光盤(pán)數(shù)據(jù)等。以上海大學(xué)為例,自建了“錢(qián)偉長(zhǎng)數(shù)據(jù)庫(kù)”、“上海作家作品數(shù)據(jù)庫(kù)”等,隨書(shū)光盤(pán)也配置有專門(mén)的服務(wù)器來(lái)進(jìn)行上載,對(duì)讀者提供交互服務(wù)。這類數(shù)據(jù)量中等,但屬于各圖書(shū)館特色館藏或獨(dú)家擁有,因此對(duì)存儲(chǔ)的安全性要求較高,如果數(shù)據(jù)丟失,損失很大。2圖書(shū)館網(wǎng)絡(luò)存儲(chǔ)技術(shù)隨著數(shù)字圖書(shū)館的數(shù)據(jù)存儲(chǔ)幾何級(jí)數(shù)增長(zhǎng),網(wǎng)絡(luò)存儲(chǔ)技術(shù)得到了應(yīng)用和推廣,目前主流的、前沿的網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要有以下3種3。2.1期應(yīng)用較普遍它是傳統(tǒng)的數(shù)字圖書(shū)館的資源系統(tǒng)進(jìn)行數(shù)據(jù)共享的存儲(chǔ)方案。服務(wù)器與存儲(chǔ)器設(shè)備基本一一對(duì)應(yīng),這種連接方式在圖書(shū)館發(fā)展的早期應(yīng)用較為普遍,因?yàn)樵缙诘臄?shù)字圖書(shū)館對(duì)存儲(chǔ)資源的要求并不高。但隨著數(shù)字圖書(shū)館的不斷發(fā)展,這種存儲(chǔ)技術(shù)暴露出了一些明顯的缺點(diǎn)。由于存儲(chǔ)設(shè)備與服務(wù)器一一對(duì)應(yīng),系統(tǒng)的擴(kuò)展能力有限;每臺(tái)服務(wù)器直接和存儲(chǔ)設(shè)備連接,數(shù)據(jù)的存儲(chǔ)、備份占用了很大的網(wǎng)絡(luò)帶寬,增加了LAN負(fù)擔(dān)。以上種種缺點(diǎn)使DAS只能應(yīng)用于單機(jī)或兩臺(tái)主機(jī)的集群環(huán)境中,因此它只適合小型數(shù)字圖書(shū)館。2.2投資更快的帶寬它是一種專用網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)\備份器。它以數(shù)據(jù)為中心,將存儲(chǔ)設(shè)備與服務(wù)器徹底分離,由于數(shù)據(jù)不再通過(guò)服務(wù)器內(nèi)存轉(zhuǎn)發(fā),而直接在客戶機(jī)和存儲(chǔ)設(shè)備間傳送,因而具有更快的響應(yīng)速度和更高的數(shù)據(jù)帶寬。因其物理位置靈活,可縮短用戶訪問(wèn)時(shí)間,也提高了網(wǎng)絡(luò)吞吐量和系統(tǒng)性能。另外,NAS還支持異構(gòu)平臺(tái),網(wǎng)絡(luò)用戶可以使用不同的操作系統(tǒng)和存儲(chǔ)設(shè)備進(jìn)行通訊。但使用NAS設(shè)備存儲(chǔ)備份數(shù)據(jù)時(shí),要進(jìn)行帶寬消耗,而且它對(duì)數(shù)據(jù)的備份也不是集中化的。這些缺點(diǎn)注定NAS技術(shù)只能用來(lái)解決存儲(chǔ)容量不足的問(wèn)題,而在管理超大容量的信息時(shí)很難有滿意的性能,只在中小型圖書(shū)館有較好的應(yīng)用前景。2.3存儲(chǔ)設(shè)備比較它是存儲(chǔ)技術(shù)進(jìn)入網(wǎng)絡(luò)時(shí)代的產(chǎn)物,它提供了靈活的存儲(chǔ)連接,服務(wù)器可以訪問(wèn)存儲(chǔ)區(qū)域網(wǎng)上的任何存儲(chǔ)設(shè)備,如磁帶庫(kù)、磁盤(pán)陣列。同時(shí)存儲(chǔ)設(shè)備之間、存儲(chǔ)設(shè)備同SAN交換機(jī)之間也可以進(jìn)行通信。SAN技術(shù)具備可擴(kuò)展性極強(qiáng)、易存儲(chǔ)、可靠性強(qiáng)的優(yōu)勢(shì),實(shí)現(xiàn)了服務(wù)器和存儲(chǔ)設(shè)備在物理上的分離,使不在機(jī)房的存儲(chǔ)變得很容易。隨著數(shù)字圖書(shū)館資源的全面整合,它更適合在大型數(shù)字圖書(shū)館中投入使用。3云存儲(chǔ)的概念和圖書(shū)館應(yīng)用程序的優(yōu)勢(shì)3.1持續(xù)整合多種類型存儲(chǔ)云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念,是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。IBM大中華區(qū)云計(jì)算中心項(xiàng)目總監(jiān)朱近之指出:云存儲(chǔ)不是一個(gè)設(shè)備,而是一種服務(wù),具體說(shuō)來(lái),它是把數(shù)據(jù)存儲(chǔ)和訪問(wèn)作為一種服務(wù)并通過(guò)網(wǎng)絡(luò)提供給用戶。云計(jì)算是提供計(jì)算能力,相應(yīng)的,云存儲(chǔ)是提供存儲(chǔ)能力4。下圖是云存儲(chǔ)系統(tǒng)架構(gòu)模型5。3.2云存儲(chǔ)與現(xiàn)有技術(shù)的比較從技術(shù)上看,存儲(chǔ)虛擬化也好,還是集群存儲(chǔ)、SAN+NAS等都是一種技術(shù),云存儲(chǔ)和它們之間雖沒(méi)有必然的聯(lián)系,但是從架構(gòu)上看,云存儲(chǔ)會(huì)更好地利用到現(xiàn)有的存儲(chǔ)技術(shù),更好進(jìn)行了發(fā)揮,對(duì)外提供統(tǒng)一的存儲(chǔ)外包服務(wù),充分體現(xiàn)著云存儲(chǔ)的優(yōu)勢(shì)。3.2.1提高數(shù)據(jù)安全隨著2009年末哥本哈根環(huán)境大會(huì)的召開(kāi),綠色和環(huán)保的概念越來(lái)越深入人心。然而隨著數(shù)據(jù)量的幾何增長(zhǎng),全世界30%的數(shù)據(jù)中心都面臨能源消耗過(guò)大的問(wèn)題,隨之而來(lái)就是能源成本增加的壓力。維護(hù)和保養(yǎng)系統(tǒng),減少熱排放,節(jié)省電力,提高計(jì)算機(jī)和存儲(chǔ)的利用率對(duì)于美國(guó)著名的谷歌公司都成為了重要的問(wèn)題,目前谷歌公司已經(jīng)發(fā)現(xiàn)的是6:十多萬(wàn)臺(tái)計(jì)算機(jī)的發(fā)熱,對(duì)于環(huán)境的影響;巨大的電力消耗,成為日常開(kāi)支的負(fù)擔(dān);保障十多萬(wàn)臺(tái)計(jì)算機(jī)的故障自動(dòng)切換、自修復(fù)的操作系統(tǒng),網(wǎng)絡(luò)管理成為提高維護(hù)能力的關(guān)鍵;故障最多的是風(fēng)扇,每天壞大約1000個(gè)磁盤(pán),低利用率時(shí)如何節(jié)約電力。云存儲(chǔ)具有具備相對(duì)穩(wěn)定的基礎(chǔ)技術(shù)、系統(tǒng)架構(gòu)、高性能的網(wǎng)絡(luò)環(huán)境,有助于提高硬件設(shè)備的利用率,節(jié)省能源,減少熱量,有利于環(huán)保。3.2.2存儲(chǔ)設(shè)備的選擇在多數(shù)圖書(shū)館的技術(shù)中心,基本上都是一個(gè)應(yīng)用對(duì)應(yīng)一個(gè)服務(wù)器,導(dǎo)致這些服務(wù)器的平均利用率很低,幾年就被淘汰,形成了大量的電子垃圾,極不利于環(huán)保和節(jié)能,并且浪費(fèi)了大量的圖書(shū)館經(jīng)費(fèi)。云存儲(chǔ)提供了一些誘人的優(yōu)勢(shì)。它是現(xiàn)收現(xiàn)付的模式,不需要基礎(chǔ)建設(shè)投資,并且不需要為未來(lái)的存儲(chǔ)需求購(gòu)買(mǎi)多余的設(shè)備。你可以對(duì)存儲(chǔ)設(shè)備進(jìn)行動(dòng)態(tài)的擴(kuò)展,并且只需為你所使用的部分支付費(fèi)用,從而大大縮減了圖書(shū)館的硬件成本和自動(dòng)化系統(tǒng)建設(shè)成本。云存儲(chǔ)提供了可靠、安全的數(shù)據(jù)存儲(chǔ)中心,用戶不用擔(dān)心數(shù)據(jù)丟失、軟件更新、病毒入侵等問(wèn)題。因?yàn)樵凇霸啤敝?有專業(yè)的IT團(tuán)隊(duì)來(lái)管理信息,有先進(jìn)的數(shù)據(jù)中心來(lái)保存數(shù)據(jù),嚴(yán)格的權(quán)限管理策略可以幫助用戶與指定的人共享數(shù)據(jù)6。云存儲(chǔ)的這種服務(wù)外包商業(yè)模式使得圖書(shū)館這種非IT單位,不再需要非常專業(yè)的高級(jí)編程或者軟件開(kāi)發(fā)人員,這就很好地解決了圖書(shū)館界有經(jīng)驗(yàn)的專業(yè)技術(shù)人員高流通率問(wèn)題,圖書(shū)館可以對(duì)一般技術(shù)人員重新配置或消減,從而節(jié)約了圖書(shū)館的人力資本,同時(shí)使得數(shù)據(jù)的維護(hù)更加專業(yè)化,服務(wù)的質(zhì)量和水平也得到提高。3.2.3定制相應(yīng)的云服務(wù)事實(shí)上,圖書(shū)館作為“云”的使用者,并不需要知道云存儲(chǔ)和云計(jì)算的具體技術(shù)細(xì)節(jié)或者系統(tǒng)架構(gòu),它只要付費(fèi)定制相應(yīng)的云服務(wù)即可。云計(jì)算對(duì)用戶端設(shè)備的要求低,用戶只要有一臺(tái)可以上網(wǎng)的電腦,有一個(gè)瀏覽器,就可以在瀏覽器中直接編輯存儲(chǔ)在“云”中的文檔。3.2.4圖書(shū)館管理更加靈活和人性化在云存儲(chǔ)系統(tǒng)中,圖書(shū)館的數(shù)據(jù)只有一份,保存在“云”中,所有符合權(quán)限的電子設(shè)備只要通過(guò)互聯(lián)網(wǎng)連接到“云”,就可以不受物理地址和時(shí)間限制的訪問(wèn)所有資源。這就很好地解決了很多高校不同校區(qū)的訪問(wèn)權(quán)問(wèn)題,以及校內(nèi)校外的訪問(wèn)權(quán)問(wèn)題,云存儲(chǔ)不再受物理IP地址的局限,使得師生校內(nèi)、家中訪問(wèn)學(xué)校圖書(shū)館資源變得隨心所欲,使圖書(shū)館的服務(wù)更加靈活和人性化。通過(guò)以上的分析,可以看出在有限的經(jīng)費(fèi)條件下,把握存儲(chǔ)技術(shù)的發(fā)展方向,構(gòu)建一個(gè)既具有前瞻性,又能整合現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)和存儲(chǔ)設(shè)備,性能穩(wěn)定、安全可靠、維護(hù)方便的網(wǎng)絡(luò)存儲(chǔ)方案,就顯得十分重要,而云存儲(chǔ)的應(yīng)用,恰恰是一個(gè)很好的解決方案。4考慮到圖書(shū)館對(duì)“云存儲(chǔ)”的擔(dān)憂和解決方案4.1分間保護(hù)自己的外墻。請(qǐng)把其作為圖書(shū)館最大的疑惑就是數(shù)據(jù)是否安全?數(shù)據(jù)和系統(tǒng)都“生活”在別處,自家的防火墻沒(méi)法保護(hù)它。這引發(fā)了圖書(shū)館人對(duì)于云存儲(chǔ)提供者可靠程度的高度關(guān)注。如果“云”出現(xiàn)了問(wèn)題,存在里面的圖書(shū)館歷年來(lái)購(gòu)買(mǎi)的資源以及相關(guān)數(shù)據(jù)全都付之東流,可謂損失慘重。4.2云存儲(chǔ)供應(yīng)商對(duì)于云存儲(chǔ)來(lái)說(shuō),圖書(shū)館只是個(gè)使用者,按需訂購(gòu)其服務(wù)的角色。所以如果選擇云存儲(chǔ),也就要選擇適合本館的云存儲(chǔ)供應(yīng)商,供應(yīng)商之間應(yīng)該有競(jìng)爭(zhēng)機(jī)制,供應(yīng)商之間可以替代或者兼容,這就需要云存儲(chǔ)供應(yīng)商所提供的服務(wù)能夠遵循于共同的標(biāo)準(zhǔn)。沒(méi)有共同的標(biāo)準(zhǔn),就不可能實(shí)現(xiàn)從一家供應(yīng)商到另一家供應(yīng)商之間的零成本轉(zhuǎn)移,壟斷的“私有云”無(wú)法真正保證圖書(shū)館的利益和權(quán)利,因此制定一個(gè)開(kāi)放性的標(biāo)準(zhǔn)顯得尤為重要。4.3構(gòu)之間的法律抗?fàn)幇褦?shù)據(jù)保存在別的地方,一些類型的信息可能會(huì)面臨安全或者服從法律的問(wèn)題,機(jī)構(gòu)之間也有可能會(huì)出現(xiàn)法律的紛爭(zhēng)7。比如讀者信息,它們也需要考慮保存這些記錄的要求,圖書(shū)館可以選擇繼續(xù)在自己的系統(tǒng)中保存一些信息,把不那么敏感的數(shù)據(jù)處理交給云,比如說(shuō)托管圖書(shū)館網(wǎng)站、備份多媒體收藏,或者儲(chǔ)存以及檢索書(shū)目數(shù)據(jù)。4.4云存儲(chǔ)是否可提供足夠的訪問(wèn)性如果執(zhí)行大規(guī)模數(shù)據(jù)請(qǐng)求或數(shù)據(jù)恢復(fù)操作,那么云存儲(chǔ)是否可提供足夠的訪問(wèn)性?如果我們的本地?cái)?shù)據(jù)發(fā)生了災(zāi)難性的損失,云服務(wù)商是否可以將數(shù)據(jù)再傳輸回來(lái)?4.5云計(jì)算的10個(gè)挑戰(zhàn)和相應(yīng)的解決方案請(qǐng)閱讀以下列表85數(shù)字圖書(shū)館云服務(wù)中心存在的問(wèn)題事實(shí)上,“云”為CALIS三期建設(shè)提供了新的思路和可行的技術(shù)路線,即設(shè)計(jì)和開(kāi)發(fā)CALIS數(shù)字圖書(shū)館云服務(wù)平臺(tái)(稱為Nebula平臺(tái)),構(gòu)建多級(jí)CA