云存儲技術的介紹與發(fā)展

1、云存儲技術的介紹與發(fā)展摘要云存儲是在云計算(cloud computing)概上延伸和發(fā)屐出來的 一個新的概，是指通過集群應用、網格拄術或分布式文件系統(tǒng)等功 能，將網絡中大各種同類型的存儲設備通過應用軟件集合起來協(xié) 同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。本文以 云存儲拄術的現狀、發(fā)屐趨勢、架構、等方面對其進介紹。正文一、么旻云存儲，與傳統(tǒng)存儲有么異版云存儲是在云、計算概上延伸和發(fā)屐出來的一個新的概，是并 通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大各 種同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提 供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。當、計算系統(tǒng)運算和處

2、 的核心是大數據的存儲和管時，、計算系統(tǒng)中就需要配置大的存儲設備，那么、計算系統(tǒng)就轉變成為一個、存儲系統(tǒng)，所以、存儲 是一個以數據存儲和管為核心的、計算系統(tǒng)。當我們使用某一個獨的存儲設備時，我們必須非常清楚這個存 儲設備是么型號，么接口和樣輸協(xié)議，必須清楚地知道存儲系統(tǒng) 中有多少塊磁盤，分別是么型號、多大容，必須清楚存儲設備和 服務器之間采用么樣的連接線纜。為保證數據安全和業(yè)務的連續(xù)性，我們還需要建相應的數據備份系統(tǒng)和容災系統(tǒng)。除此之外對 存儲設備進定期地狀態(tài)監(jiān)控、維護、軟硬件新和升級也是必須 的。如果采用云存儲，那么上面所提到的一對使用者來講需要。云狀存儲系統(tǒng)中的所有設備對使用者來講是完全透

3、明的，任何地方的任何一個經過授權的使用者可以通過一根接入線纜與云存 儲連接，對云存儲進數據訪問。云存儲是存儲，而是服務就如同云狀的廣域網和互聯(lián)網一樣，云存膏對使用者來講，是 布某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所 構成的集合體。使用者使用云存儲，并是使用某一個存儲設備，而 是使用整個云存儲系統(tǒng)帶來的-種數據訪問服務。所以嚴格來講，云 存儲是存儲，而是一種服務。云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實 現存儲設備向存儲服務的轉變。二、解三言儲的發(fā)展現狀IDC研究表明，從2006到 2010，全球信息總將增長 6倍 以上，以161EB增加到988EB(1EB=

4、1024PB)。-些新推出的磁盤陣 中已經普遍采用 750GB或1TB的SATA硬盤。目前已知存儲密最 高的磁盤陣可以在 4U空間內提供高達42TB的存儲容，這在以前 是根本無法想像的。最新-代LTO-4磁帶的單盒磁帶存儲容也達到1.6TB(壓縮比為2 ： 1)。技術的斷進步必將推動存儲向高容發(fā)展，而重復數 據刪除、壓縮等技術的引入，可以進一步提升存儲空間的用。以 性能方面看，FC磁盤陣已經逐步過渡到 4Gb時代，而8Gb FC又在 向數#中心用戶招手；萬兆IP存儲再 是紙上談兵；在 InfiniBand 領域，已經有廠商推出 40Gb InfiniBand適配器產品。現有的網絡存儲架構，比如

5、SAN或NAS還能夠有效支撐無處在 的云計算環(huán)境嗎？有人表示懷疑。其主要論據是：面對pb級的海 存儲需求，傳統(tǒng)的SAN或NAS在容和性能的擴展上會存在瓶頸；云 計算這種新型的服務模式必然要求存儲架構保持極低的成本，而現有 的一些高端存儲設備顯然還能滿足這種需求。以谷歌公司的實踐來看，它們在現有的云計算環(huán)境中并沒有采用 SAN架構，而是使用 可擴展的分布式文件系統(tǒng) Google File System(GFS)。這是-種高效的集群存儲技術。近幾 逐漸興起的集群存儲技術，僅輕松突破 SAN的性能瓶頸，而且可 以實現性能與容的線性擴展， 這對于追求高性能、高可用性的企業(yè) 用戶來說是-個新選擇。隨著一

6、些專注于集群存儲業(yè)務的廠商，比如Panasas、Isilon、 龍存科技等在中國市場的快速發(fā)展，集群存儲技術的應用會加普 及。雖然集群存儲在處非結構化數據方面優(yōu)勢十分明顯，但以目前 情況看，集群存儲太可能在短時間內完全取代傳統(tǒng)的網絡存儲方 式，SAN和NAS仍會有用武之地。需要強調的是，虛擬化是實現云計算遠景目標的一頊核心技術， 因為云計算本身就是一個能提供虛擬化和高可用性的新一代計算平 臺。以目前的市場情況看，服務器虛擬化已經是如火如荼，而存儲虛 擬化的發(fā)展相對慢-些。2007底，EMC推出 SAN存儲虛擬化產品Invista2.0。與上一 代產品相比，Invista 2.0支持的存儲容擴大

7、 5倍，進一步提升 可用性，強化數據保護機制和管功能，提高使用效，增強可擴 展性。此外，Invista 2.0還通過 VMware認證，可以讓用戶在VMware 的架構中妥善地管、分享和保護信息。存儲公司3PAR營銷副總裁Craig Nunes表示：“為有效支持云 計算，基礎架構必須具備幾個關鍵特征。有先，這些系統(tǒng)必須是自治 的，也就是說，它們必須內嵌自動化技術，消除人工部署和管,允 許系統(tǒng)自己智能地響應應用的要求。如果系統(tǒng)需要人為干預來分配和 管資源，那么它就能充分地滿足云計算的要求。其次，云計算架 構必須是敏捷的，能夠對需求信號或變化的工作負載做出及時反應。 換話說，內嵌的虛擬化技術和集群

8、技術，必須能夠應寸業(yè)務增長或 服務等級要求的快速變化。如果系統(tǒng)需要花幾個小時、幾天或幾個星 期的時間來響應新的應用或用戶需求，那么這個系統(tǒng)也就能滿足云 計算的要求。SaaS也是Storage as a Service的縮寫，意為存儲即服務。在 云計算環(huán)境下，存儲再是冰冰的硬件設備，而是一種服務。 這會會改變今后用戶的存儲采購方式，以采購硬件轉變?yōu)橘徺I存儲 服務？ Craig Nunes表示：“在大型企業(yè)內，管是采用云計算模式 還是自建一個公用數據中心，終端用戶的IT要求終將以服務方式來 滿足。三、實施云存儲面臨的問題和夾晉的關鍵技術云存儲系統(tǒng)是一個多設備、多應用、多服務協(xié)同工作的集合體， 它的

9、實現要以多種拄術的發(fā)展為前提。1、寬帶網絡的發(fā)展真正的云存儲系統(tǒng)將會是一個多區(qū)域分布、遍布全國、甚至于遍 布全球的龐大公用系統(tǒng)，使用者需要通過ADSL、DDN等寬帶接入設備 來連接云存儲，而是通過 FC、SCSI或以太網線纜直接連接一臺獨 的、私有的存儲設備上。只有寬帶網絡得到充足的發(fā)展，使用者才 有可能獲得足夠大的數據傳輸帶寬，實現大容數據的傳輸，真正享受到云存儲服務，否則只能是空談。2、WEB2.0 技術Web2.0拄術的核心是分享。只有通過web2.0拄術，云存儲的使 用者才有可能通過PC、手機、移動多媒體等多種設備，實現數據、 文檔、圖片和視音頻等內容的集中存儲和資共享。Web2.0拄

10、術的 發(fā)展使得使用者的應用方式和可得服務加靈活和多樣。3、應管存儲的發(fā)展云存儲僅僅是存儲，多的是應用。應用存儲是一種在存儲設音中集成應用軟件功能的存儲設備，它僅具有數據存儲功能，還 具有應用軟件功能，可以看作是服務器和存儲設備的集合體。應用存 儲技術的發(fā)展可以大減少云存儲中服務器的數， 從而低系統(tǒng)建 設成本，減少系統(tǒng)中由服務器造成單點故障和性能瓶頸，減少數據傳 輸環(huán)節(jié)，提供系統(tǒng)性能和效，保證整個系統(tǒng)的高效穩(wěn)定運。4、集群拄術、網格技術和分布式文件系統(tǒng)云存儲系統(tǒng)是一個多存儲設備、多應用、多服務協(xié)同工作的集合 體，任何一個單點的存儲系統(tǒng)是云存儲。既然是由多個存儲設備構成的，同存儲設備之間就需要通過

11、集 群技術、分布式文件系統(tǒng)和網格計算等技術，實現多個存儲設備之間 的協(xié)同工作，使多個的存儲設備可以對外提供同一種服務，并提供 大強好的數據訪問性能。如果沒有這些技術的存在，云存儲就可能真正實現，所謂的云存儲只能是一個一個的派系統(tǒng)，能形成 云狀結構。5、CDN內容分發(fā)、P2P拄術、數據壓縮拄術CDN吝分發(fā)、P2P技術、數據壓縮技術、重復數據刪除技術、數 據加密技術、CDN吝分發(fā)系統(tǒng)、數據加密技術保證云存儲中的數 據會被未授權的用戶所訪問，同時，通過各種數據備份和吝災技術 保證云存儲中的數據會丟失， 保證云存儲自身的安全和穩(wěn)定。如果 云存儲中的數據安全得到保證，想來也沒有人敢用云存儲，否則， 保存

12、的數據是很快丟失，就是全國人民知道。6、言儲虛擬化拄術、言儲網絡化管拄術云存儲中的存儲設備數龐大且分布多在同地域，如何實現同廠商、同型號甚至于同類型（如 FC存儲和IP存儲）的多臺 設備之間的邏輯卷管、存儲虛擬化管和多等冗余管將會是一 個巨大的難題，這個問題得到解決，存儲設備就會是整個云存儲系 統(tǒng)的性能瓶頸，結構上也無法形成一個整體，而且還會帶來后期容 和性能擴展難等問題。云存儲中的存儲設備數龐大、分布地域廣造成的另外一個問題 就是存儲設備運營管問題。雖然這些問是對云存儲的使用者來講根 本需要關心， 但對于云存儲的運營單位來講，卻必須要通過實可 和有效的手段來解決集中管難、狀態(tài)監(jiān)控難、故障維護

13、難、人 成本高等問題。因此，云存儲必須要具有一個高效的類似與網絡管 軟件一樣的集中管平臺，可實現云存儲系統(tǒng)中設有存儲設備、服務 器和網絡設備的集中管和狀態(tài)監(jiān)控。四、三存儲的架杓云存儲是一種架構，而是一種服務。你是否擁有或租賃這種 架構是一個或要問題。以根本上來看，通過添加標準硬件和共享標準 網絡（公共互聯(lián)網或私有的企業(yè)內部網）的訪問，云存儲很容擴展云 容和性能。事實證明，管數百臺服務器，使得其感覺上去就像是 一個單一的、大型的存儲池設備是一頊相當具有挑戰(zhàn)性的工作。早期 的供應商（如Amazon）承擔這-重任，并通過在線出租的形式來和 。其它供應商（如Google）雇用大的工程師在其防火墻內部來

14、 實施這種管，并且定制存儲節(jié)點以在其上運應用程序。由于摩爾 定 （Moore s Law）壓低磁盤和 CPU的商品價格，云存儲漸漸成 為數據中心中一頊具有高突破性的技術。這十夾，集群 NAS系統(tǒng)已經出現好轉。本文綜述構建一個 云存儲或大規(guī)?？蓴U展的NAS系統(tǒng)的各種同架構方法，對于那些尋 求構建私有云存儲以滿足其消費的企業(yè)IT管者或是-寸于那些尋求 構建公共云存儲產品從而以服務的形式來提供存儲的服務提供商夾 說，這些方法與他們息息相關。架構方法分為兩類：一種是通過服務 來架構；另一種是通過軟件或硬件設備來架構。傳統(tǒng)的系統(tǒng)用緊耦合對稱架構，這種架構的設計旨在解決 HPC（高性能計算、超級運算）問題

15、，現在其正在向外擴展成為云存儲 從而滿足快速呈現的市場需求。下一代架構已經采用松弛耦合非寸 稱架構，集中元數據和控制操作，這種架構并非常適合高性能 HPC， 但是這種設計旨在解決云部署的大容存儲需求。各種架構的摘要信 息如下：1）緊耦A寸稱（TCS）架杓構建TCS系統(tǒng)是為解決單一文件性能所面臨的挑戰(zhàn)，這種挑戰(zhàn)限 制傳統(tǒng) NAS系統(tǒng)的發(fā)展。HPC系統(tǒng)所具有的優(yōu)勢迅速壓倒存儲， 因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。 業(yè)內對此的回應是創(chuàng)建用TCS架構的產品，很多節(jié)點同時伴隨著分布式鎖管 （鎖定文件同部分的寫操作 ）和緩存一致性功能。這種解 決方案對于單文件吞吐問題很有效，

16、幾個同業(yè)的很多 HPC客戶 已經采用這種解決方案。這種解決方案很先進，需要一定程的技 術經驗才能安裝和使用。2）松弛耦臺共寸稱（LCA）架杓LCA系統(tǒng)采用同的方法來向外擴展。它是通過我某個策來使每個節(jié)點知道每個動所執(zhí)的操作，而是用-個數據徑之外的中央元數據控制服務器。集中控制提供很多好處，允許進新層 次的擴展： 存儲節(jié)點可以將重點放在提供讀寫服務的要求上，而需要 來自網絡節(jié)點的確認信息。節(jié)點可以用同的商品硬件 CPU和存儲配置，而且仍然在云 存儲中發(fā)揮作用。用戶可以通過用硬件性能或虛擬化實夾調整云存儲。消除節(jié)點之間共享的大狀態(tài)開銷也可以消除用戶計算機互聯(lián) 的需要，如光纖通道或infiniban

17、d，從而進一步低成本。異構硬件的混合和匹配使用戶能夠在需要的時候在當前經濟規(guī) 模的基礎上擴大存儲，同時還能提供永久的數據可用性。擁有集中元數據意味著，存儲節(jié)點可以旋轉地進深層次應用 程序歸檔，而且在控制節(jié)點上，元數據經常是可用的。五、三存儲選擇雖然在可擴展的NAS平臺上有很多送拌，但是通常來說，他們表現 為種服務、一種硬件設備或一種軟件解決方案，每一種送拌有它 們自身的優(yōu)勢和勢：服務模式：最普遍的情況下，當你考慮云存儲的時候，你就會 想到其所提供的服務產品。這種模式很容開始，其可擴展性幾乎是 瞬間的。根據定義，你擁有一份異地數據的備份。然而，帶寬是有限 的，因此要考慮你的恢復模型。你必須要滿足

18、你網絡之外的數據的需求0HW模式：這種部署位于防火墻背后，并且其提供的吞吐要比公共的內部網絡好。購買整合的硬件存儲解決方案非常方，而且， 如果廠商在安裝/管上做的好的話，其往往伴隨有機架和堆棧模型。 但是，這樣你就會放棄某些摩爾定的優(yōu)勢，因為你會受到硬件設備的限制。SW 模式: SW 模式具有 HW模式所具有的優(yōu)勢。另外，它還具有 HW所沒有的價格競爭優(yōu)勢。然而，其安裝/管過程序要謹慎關注， 因為安裝某些SW的確非常困難，或者可能需要其他條件來限制人們 選擇HW，而選擇SW。、發(fā)展趨蟄云存儲已經成為未來存儲發(fā)屐的一種趨勢。但隨著云存儲技術的 發(fā)屐，各類搜、應用技術和云存儲相結合的應用，還需以安

19、全性、 攜性及數據訪問等角進改進。(1)安全性以云計算誕生，安全性一直是企業(yè)實施云計算首要考慮的問題之 一。同樣在云存儲方面，安全仍是首要考慮的問題，對于想要進云 存儲的客戶來說，安全性通常是首要的商業(yè)考慮和技術考慮。但是許 多用戶對云存儲的安全要求甚至高于它們自己的架構所能提供的安 全水平。既如此，面對如此高的現實的安全要求，許多大型、可信賴的云存儲廠商也在努滿足它們的要求，構建比多數企業(yè)數據中心安全得多的數據中心。用戶可以發(fā)現，云存儲具有少的安全和高的安全環(huán)節(jié)，云存儲所能提供的安全性水平要比用戶自己的數 據中心所能提供的安全水平還要高。(2)攜性一些用戶在托管存儲的時候還要考慮數據的攜性。-般情況下 這是有保證的，-些大型服務提供商所提供的解決方案承諾其數據 攜性可媲美最好的傳統(tǒng)本地存儲。有的云存儲結合強大的攜功 能，可以將整個數據集傳送到你所選擇的任何媒介，甚至是專門的存 儲設備(3)性能村可用性過去的-些托管存儲和遠程存儲總是存在著延遲時間過長的問 題。同樣地，互聯(lián)網本身的特性就嚴重威脅服務的可用性。最新一代 云存