課程設(shè)計大報告

課程設(shè)計大報告云存儲關(guān)鍵技術(shù)班級：021151學(xué)號：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明時間：2014年9月云存儲關(guān)鍵技術(shù)綜述班級：021151學(xué)號：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明0前言隨著海量存儲系統(tǒng)的出現(xiàn)與并行文件系統(tǒng)、分布式文件系統(tǒng)的發(fā)展，云存儲系統(tǒng)建立在云計算技術(shù)基礎(chǔ)之上，以其成本低、可拓展的特點，將成為未來主要的存儲方式。本文是一篇關(guān)于云存儲關(guān)鍵技術(shù)的綜述。開始部分從4個角度定義了云存儲，接著有云存儲架構(gòu)的介紹，包括一些基本概念，然后就是本文的核心部分云存儲關(guān)鍵技術(shù)，分為7大技術(shù)進(jìn)行闡述。包括有虛擬化，分布式存儲，數(shù)據(jù)備份、縮減、遷移、壓縮及內(nèi)容分布網(wǎng)絡(luò)技術(shù)，最后還有提到云存儲的優(yōu)勢、安全問題和云存儲的現(xiàn)狀及發(fā)展。1

云存儲的定義1.1

定義1

云存儲系統(tǒng)以傳統(tǒng)的分布式存儲技術(shù)為基礎(chǔ)，利用高吞吐率網(wǎng)絡(luò)技術(shù)為依托，一方面高效地整合管理網(wǎng)絡(luò)存儲資源，另一方面對外提供友好的接口，發(fā)布便捷的網(wǎng)絡(luò)數(shù)據(jù)存儲服務(wù)。1.2

定義2

從狹義上來說，云存儲是指通過虛擬化、分布式技術(shù)、集群應(yīng)用、網(wǎng)格技術(shù)、負(fù)載均衡等技術(shù)，將網(wǎng)絡(luò)中大量的存儲設(shè)備通過軟件集合起來高效協(xié)同工作，共同對外提供低成本、高擴展性的數(shù)據(jù)存儲服務(wù)。

從廣義上來講，云存儲可以理解為按需提供的虛擬存儲資源，如同云計算的Paas、Iaas服務(wù)一樣，可稱為數(shù)據(jù)存儲即服務(wù)（Data

Storage

As

a

Service，DaaS），即基于指定的服務(wù)水平請求，通過網(wǎng)絡(luò)提供適當(dāng)?shù)奶摂M存儲和相關(guān)數(shù)據(jù)服務(wù)。1.3

定義3

云存儲不是指某一個具體的設(shè)備，而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲，并不是使用某一個存儲設(shè)備，而是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。1.4

定義4

云存儲就是將儲存資源放到網(wǎng)絡(luò)上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網(wǎng)的裝置方便地存取數(shù)據(jù)。綜合以上定義，云存儲系統(tǒng)應(yīng)具有以下通用特征：★高可擴展性：云存儲系統(tǒng)可支持海量數(shù)據(jù)處理，資源可以實現(xiàn)按需擴展；★低成本：云存儲系統(tǒng)應(yīng)具備高性價比的特點，低成本體現(xiàn)在兩方面，更低的建設(shè)成本和更低的運維成本；★無接入限制：相比傳統(tǒng)存儲，云存儲強調(diào)對用戶存儲的靈活支持，服務(wù)域內(nèi)存儲資源可以隨處接入，隨時訪問；★易管理：少量管理員可以處理上千節(jié)點和PB級存儲，更高效的支撐大量上層應(yīng)用對存儲資源的快速部署需求。2

云存儲架構(gòu)

云存儲是由一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等組成的復(fù)雜系統(tǒng)。以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲的架構(gòu)如下圖所示：3.2

云存儲中的分布式存儲技術(shù)

分布式存儲是通過網(wǎng)絡(luò)使用服務(wù)商提供的各個存儲設(shè)備上的存儲空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在各個存儲設(shè)備上。目前比較流行的分布式存儲技術(shù)為：分布式塊存儲、分布式文件系統(tǒng)存儲、分布式對象存儲和分布式表存儲。3.2.1

分布式塊存儲

塊存儲就是服務(wù)器直接通過讀寫存儲空間中的一個或一段地址來存取數(shù)據(jù)。由于采用直接讀寫磁盤空間來訪問數(shù)據(jù)，相對于其他數(shù)據(jù)讀取方式，塊存儲的讀取效率最高，一些大型數(shù)據(jù)庫應(yīng)用只能運行在塊存儲設(shè)備上。分布式塊存儲系統(tǒng)目前以標(biāo)準(zhǔn)的Intel/Linux

硬件組件作為基本存儲單元，組件之間通過千兆以太網(wǎng)采用任意點對點拓?fù)浼夹g(shù)相互連接，共同工作，構(gòu)成大型網(wǎng)格存儲，網(wǎng)格內(nèi)采用分布式算法管理存儲資源。此類技術(shù)比較典型的代表是IBM

XIV

存儲系統(tǒng)，其核心數(shù)據(jù)組件為基于Intel

內(nèi)核的磁盤系統(tǒng)，卷數(shù)據(jù)分布到所有磁盤上，從而具有良好的并行處理能力；放棄RAID技術(shù)，采用冗余數(shù)據(jù)塊方式進(jìn)行數(shù)據(jù)保護，統(tǒng)一采用SATA盤，從而降低了存儲成本。3.2.2

分布式文件系統(tǒng)存儲

文件存儲系統(tǒng)可提供通用的文件訪問接口，如POSIX、NFS、CIFS、FTP等，實現(xiàn)文件與目錄操作、文件訪問、文件訪問控制等功能。目前的分布式文件系統(tǒng)存儲的實現(xiàn)有軟硬件一體和軟硬件分離兩種方式。主要通過NAS虛擬化，或者基于X86硬件集群和分布式文件系統(tǒng)集成在一起，以實現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)處理能力。

軟硬件一體方式的實現(xiàn)基于X86硬件，利用專有的、定制設(shè)計的硬件組件，與分布式文件系統(tǒng)集成在一起，以實現(xiàn)目標(biāo)設(shè)計的性能和可靠性目標(biāo)；產(chǎn)品代表Isilon，IBM

SONAS

GPFS。

軟硬件分離方式的實現(xiàn)基于開源分布式文件系統(tǒng)對外提供彈性存儲資源，軟硬件分離方式，可采用標(biāo)準(zhǔn)PC服務(wù)器硬件；典型開源分布式文件系統(tǒng)有GFS、HDFS。3.2.3

分布式對象存儲

對象存儲是為海量數(shù)據(jù)提供Key-Value這種通過鍵值查找數(shù)據(jù)文件的存儲模式；對象存儲引入對象元數(shù)據(jù)來描述對象特征，對象元數(shù)據(jù)具有豐富的語義；引入容器概念作為存儲對象的集合。對象存儲系統(tǒng)底層基于分布式存儲系統(tǒng)來實現(xiàn)數(shù)據(jù)的存取，其存儲方式對外部應(yīng)用透明。這樣的存儲系統(tǒng)架構(gòu)具有高可擴展性，支持?jǐn)?shù)據(jù)的并發(fā)讀寫，一般不支持?jǐn)?shù)據(jù)的隨機寫操作。最典型的應(yīng)用實例就是亞馬遜的S3（Amazon

Simple

Storage

Service）。對象存儲技術(shù)相對成熟，對底層硬件要求不高，存儲系統(tǒng)可靠性和容錯通過軟件實現(xiàn)，同時其訪問接口簡單，適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)，如：郵箱、網(wǎng)盤、相冊、音頻視頻存儲等3.2.4

分布式表存儲

表結(jié)構(gòu)存儲是一種結(jié)構(gòu)化數(shù)據(jù)存儲，如傳統(tǒng)數(shù)據(jù)庫相比，它提供的表空間訪問功能受限，但更強調(diào)系統(tǒng)的可擴展性。提供表存儲的云存儲系統(tǒng)的特征就是同時提供高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲和計算架構(gòu)。

提供表存儲的云存儲系統(tǒng)有兩類接口訪問方式。一類是標(biāo)準(zhǔn)的xDBC、SQL數(shù)據(jù)庫接口，一類是Map-reduce的數(shù)據(jù)倉庫應(yīng)用處理接口。前者目前以開源技術(shù)為主，尚未有成熟的商業(yè)軟件，后者已有商業(yè)軟件和成功的商業(yè)應(yīng)用案例。3.2.5

分布式存儲總結(jié)

如今分布式存儲系統(tǒng)已經(jīng)得到了快速的發(fā)展，其技術(shù)已經(jīng)較為成熟。先進(jìn)的分布式存儲系統(tǒng)必須具備下面幾個特性：高性能、高可靠性、高可擴展性、透明性以及自治性?！锔咝阅埽簩τ诜植际较到y(tǒng)中的每一個用戶都要盡量減小網(wǎng)絡(luò)的延遲和因網(wǎng)絡(luò)擁塞、網(wǎng)絡(luò)斷開、節(jié)點

退出等問題造成的影響；★高可靠性：高可靠性是大多數(shù)系統(tǒng)設(shè)計時重點考慮的問題。分布式環(huán)境通常都有高可靠性需求，用戶將文件保存到分布式存儲系統(tǒng)的基本要求是數(shù)據(jù)可靠；★高可擴展性：分布式存儲系統(tǒng)需要能夠適應(yīng)節(jié)點規(guī)模和數(shù)據(jù)規(guī)模的擴大；★透明性：需要讓用戶在訪問網(wǎng)絡(luò)中其他節(jié)點中的數(shù)據(jù)時能感到像是訪問自己本機的數(shù)據(jù)一樣；★自治性：分布式存儲系統(tǒng)需要擁有一定的自我維護和恢復(fù)功能。3.3

云存儲中的數(shù)據(jù)備份3.3.1

副本數(shù)據(jù)布局

一種被廣泛采用的副本布局方式是通過集中式的存儲目錄來定位數(shù)據(jù)對象的存儲位置。這種方法可以利用存儲目錄中存放的存儲節(jié)點信息，將數(shù)據(jù)對象的多個副本放置在不同機架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。谷歌文件系統(tǒng)(Google

File

System，GFS)、Hadoop

分布式文件系統(tǒng)(

Hadoop

Distributed

File

System，HDFS)等著名的分布式文件系統(tǒng)都采用了這種數(shù)據(jù)布局方式，然而，基于集中式存儲目錄的數(shù)據(jù)放置方式存在以下兩個缺陷:

1.隨著存儲目錄的增長，查找數(shù)據(jù)對象所需的開銷也會越來越大;2.為提高數(shù)據(jù)對象的定位速度，一般情況下都會將存儲目錄存放在服務(wù)器內(nèi)存中，對于PB

級的云存儲系統(tǒng)來說，文件的數(shù)量可能達(dá)到上億級，這導(dǎo)致存儲目錄將會占用上百GB的內(nèi)存。因此，當(dāng)數(shù)據(jù)對象數(shù)量達(dá)到上億級別時，基于集中式存儲目錄的數(shù)據(jù)放置方法在存儲開銷和數(shù)據(jù)定位的時間開銷上都是難以接受的，此外，還會大大限制系統(tǒng)的擴展性。

另一種副本布局方法是基于哈希算法的副本布局方法，它完全摒棄了記錄數(shù)據(jù)對象映射信息的做法?；诠Ｋ惴ǖ母北静季址椒ㄐ枰獫M足以下要求:

1.均衡性：根據(jù)節(jié)點權(quán)重為存儲節(jié)點分配數(shù)據(jù)對象。2.動態(tài)自適應(yīng)性：當(dāng)系統(tǒng)中的節(jié)點數(shù)量發(fā)生變化時，需遷移的數(shù)據(jù)量

應(yīng)該盡量少。3.低性能開銷。4.高效性：確定副本位置所需的時間開銷盡可能小，理想情況下為O(

1)

。3.3.2傳統(tǒng)的備份策略

典型的用戶備份流程是這樣的：每天都要在凌晨進(jìn)行一次增量備份，然后每周末凌晨進(jìn)行全備份。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災(zāi)難，用戶可以恢復(fù)到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。那么，能不能縮小備份時間單位呢？比如，可不可以每半天進(jìn)行一次增量備份呢？答案是非常困難。因為每次進(jìn)行備份的數(shù)據(jù)量都很大的情況下，備份時間窗口很大，需要繁忙的業(yè)務(wù)系統(tǒng)停機很長時間才能做到。因此，為了確保數(shù)據(jù)的更高安全性，用戶必須對在線系統(tǒng)實行在線實時復(fù)制，盡可能多地采用快照等磁盤管理技術(shù)維持?jǐn)?shù)據(jù)的高可用性，這樣勢必需要增加很大一部分投資。3.3.3

連續(xù)數(shù)據(jù)保護

連續(xù)數(shù)據(jù)保護（CDP）是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨立于初始數(shù)據(jù)進(jìn)行保存的方法，而且該方法可以實現(xiàn)過去任意一個時間點的數(shù)據(jù)恢復(fù)。CDP系統(tǒng)可能基于塊、文件或應(yīng)用，并且為數(shù)量無限的可變恢復(fù)點提供精細(xì)的可恢復(fù)對象。因此，所有的CDP解決方案都應(yīng)當(dāng)具備以下幾個基本的特性：數(shù)據(jù)的改變受到連續(xù)的捕獲和跟蹤；所有的數(shù)據(jù)改變都存儲在一個與主存儲地點不同的獨立地點中；恢復(fù)點目標(biāo)是任意的，而且不需要在實際恢復(fù)之前事先定義。所以，CDP可以提供更快的數(shù)據(jù)檢索、更強的數(shù)據(jù)保護和更高的業(yè)務(wù)連續(xù)性能力，而與傳統(tǒng)的備份解決方案相比，CDP的總體成本和復(fù)雜性都要低。盡管一些廠商推出了CDP產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護，比如有的產(chǎn)品備份時間間隔為一小時，那么在這一小時內(nèi)仍然存在數(shù)據(jù)丟失的風(fēng)險，因此，嚴(yán)格地講，它們還不是完全意義上的CDP產(chǎn)品，目前我們只能稱之為類似CDP產(chǎn)品。3.4

云存儲中的數(shù)據(jù)縮減技術(shù)

為應(yīng)對數(shù)據(jù)存儲的急劇膨脹，企業(yè)需要不斷購置大量的存儲設(shè)備來滿足不斷增長的存儲需求。權(quán)威調(diào)查機構(gòu)的研究發(fā)現(xiàn)，企業(yè)購買了大量的存儲設(shè)備，但是利用率往往不足５０％，存儲投資回報率水平較低。數(shù)據(jù)量的急劇增長為存儲技術(shù)提出了新的問題和要求，怎樣低成本高效快速地解決無限增長的信息的存儲和計算問題擺在科學(xué)家的面前。通過云存儲技術(shù)不僅解決了存儲中的高安全性、可靠性、可擴展、易管理等存儲的基本要求，同時也利用云存儲中的數(shù)據(jù)縮減技術(shù)，滿足海量信息爆炸式增長趨勢，一定程度上節(jié)約企業(yè)存儲成本，提高效率。3.4.1

自動精簡配置

自動精簡配置是一種存儲管理的特性，核心原理是“欺騙”操作系統(tǒng)，讓操作系統(tǒng)認(rèn)為存儲設(shè)備中有很大的存儲空間，而實際的物理存儲空間則沒有那么大。傳統(tǒng)配置技術(shù)為了避免重新配置可能造成的業(yè)務(wù)中斷，常常會過度配置容量。在這種情況下，一旦存儲分配給某個應(yīng)用，就不可能重新分配給另一個應(yīng)用，由此就造成了已分配的容量沒有得到充分利用，導(dǎo)致了資源的極大浪費。而精簡配置技術(shù)帶給用戶的益處是大大提高了存儲資源的利用率，提高了配置管理效率，實現(xiàn)高自動化的數(shù)據(jù)存儲。

自動精簡配置技術(shù)是利用虛擬化方法減少物理存儲空間的分配，最大限度提升存儲空間利用率。這種技術(shù)節(jié)約的存儲成本可能會非常巨大，并且使存儲的利用率超９０％。通過“欺騙”操作系統(tǒng)，造成的好像存儲空間有足夠大，而實際物理存儲空間并沒有那么大。自動精簡配置技術(shù)的應(yīng)用會減少已分配但未使用的存儲容量的浪費，在分配存儲空間時，需要多少存儲空間系統(tǒng)則按需分配。自動精簡配置技術(shù)優(yōu)化了存儲空間的利用率，擴展了存儲管理功能，雖然實際分配的物理容量小，但可以為操作系統(tǒng)提供超大容量的虛擬存儲空間。隨著數(shù)據(jù)存儲的信息量越來越多，實際存儲空間也可以及時擴展，無需用戶手動處理。利用自動精簡配置技術(shù)，用戶不需要了解存儲空間分配的細(xì)節(jié)，這種技術(shù)就能幫助用戶在不降低性能的情況下，大幅度提高存儲空間利用效率；需求變化時，無需更改存儲容量設(shè)置通過虛擬化技術(shù)集成存儲，減少超量配置，降低總功耗。自動精簡配置這項技術(shù)最初由3Par公司開發(fā)，目前支持自動精簡配置的廠商正在快速增加。這項技術(shù)已經(jīng)成為選擇存儲系統(tǒng)的關(guān)鍵標(biāo)準(zhǔn)之一。但是并不是所有的自動精簡配置的實施都是相同的。隨著自動精簡配置的存儲越來越多，物理存儲的耗盡成為自動精簡配置環(huán)境中經(jīng)常出現(xiàn)的風(fēng)險。因此，告警、通知和存儲分析成為必要的功能，并且對比傳統(tǒng)環(huán)境，其在自動精簡配置的環(huán)境中扮演了更主要的角色。3.4.2

自動存儲分層

自動存儲分層（AST）技術(shù)主要用來幫助數(shù)據(jù)中心最大程度地降低成本和復(fù)雜性。在過去，進(jìn)行數(shù)據(jù)移動主要依靠手工操作，由管理員來判斷這個卷的數(shù)據(jù)訪問壓力或大或小，遷移的時候也只能一個整卷一起遷移。自動存儲分層技術(shù)的特點則是其分層的自動化和智能化。傳統(tǒng)配置方式與自動存儲分層方式比較是一個整卷一起遷移。新技術(shù)的特點則是其分層的自動化和智能化。自動存儲分層是存儲上減少數(shù)據(jù)的另外一種機制。一個磁盤陣列能夠把活動數(shù)據(jù)保留在快速、昂貴的存儲上，把不活躍的數(shù)據(jù)遷移到廉價的低速層上，以限制存儲的花費總量。自動存儲分層的重要性隨著固態(tài)存儲在當(dāng)前磁盤陣列中的采用而提升，并隨著云存儲的來臨而補充內(nèi)部部署的存儲。自動存儲分層使用戶數(shù)據(jù)保留在合適的存儲層級，因此減少了存儲需求的總量并實質(zhì)上減少了成本，提升了性能。數(shù)據(jù)從一層遷移到另一層的粒度越精細(xì)，可以使用的昂貴存儲的效率就越高。子卷級的分層意味著數(shù)據(jù)是按照塊來分配而不是整個卷，而字節(jié)級的分層比文件級的分層更好。如何控制數(shù)據(jù)在層間移動的內(nèi)部工作規(guī)則，決定需要把自動分層放在正確的位置的努力程度。一些系統(tǒng)，是根據(jù)預(yù)先定義的什么時候移動數(shù)據(jù)和移動到哪一層。相反的，Net

App公司和Oracle公司（在Sun

ZFS

Storage

7000系列中）倡導(dǎo)存儲系統(tǒng)應(yīng)該足夠智能，能重復(fù)數(shù)據(jù)刪除，能自動的保留數(shù)據(jù)在其合適的層，而不需要用戶定義的策略。3.4.3

重復(fù)數(shù)據(jù)刪除

物理存儲設(shè)備在使用一段時間后必然會出現(xiàn)大量重復(fù)的數(shù)據(jù)?！爸貜?fù)刪除”技術(shù)（De-duplication）作為一種數(shù)據(jù)縮減技術(shù)可對存儲容量進(jìn)行優(yōu)化。它通過刪除數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。使用De-dupe技術(shù)可以將數(shù)據(jù)縮減到原來的1/20-1/50。由于大幅度減少了對物理存儲空間的信息量，進(jìn)而減少傳輸過程中的網(wǎng)絡(luò)帶寬、節(jié)約設(shè)備成本、降低能耗。重復(fù)數(shù)據(jù)刪除技術(shù)原理De-dupe按照消重的粒度可以分為文件級和數(shù)據(jù)塊級?？梢酝瑫r使用２種以上的hash算法計算數(shù)據(jù)指紋，以獲得非常小的數(shù)據(jù)碰撞發(fā)生概率。具有相同指紋的數(shù)據(jù)塊即可認(rèn)為是相同的數(shù)據(jù)塊，存儲系統(tǒng)中僅需要保留一份。這樣，一個物理文件在存儲系統(tǒng)中就只對應(yīng)一個邏輯表示。Net

App公司為其所有的系統(tǒng)提供重復(fù)數(shù)據(jù)刪除選項，并且可以針對每個卷進(jìn)行激活。Net

App公司的重復(fù)數(shù)據(jù)刪除并不是實時執(zhí)行的。相反，它是使用預(yù)先設(shè)置的進(jìn)程執(zhí)行的，一般是在閑暇時間執(zhí)行，通過掃描把重復(fù)的4KB數(shù)據(jù)塊替換為相應(yīng)的指針。與Net

App公司相似，Oracle公司在其Sun

ZFS

Storage7000系列系統(tǒng)中也具備塊級別重復(fù)數(shù)據(jù)刪除的功能。與Net

App公司不同的是，去重是在其寫入磁盤時實時執(zhí)行的。戴爾公司獲得了內(nèi)容感知的去重和壓縮技術(shù)，并企圖把這種技術(shù)整合到其所有的存儲系統(tǒng)中。3.4.4

數(shù)據(jù)壓縮

數(shù)據(jù)壓縮技術(shù)是提高數(shù)據(jù)存儲效率最古老最有效的方法之一。為了節(jié)省信息的存儲空間和提高信息的傳輸效率，必須對大量的實際數(shù)據(jù)進(jìn)行有效的壓縮。數(shù)據(jù)壓縮作為對解決海量信息存儲和傳輸?shù)闹С旨夹g(shù)受到人們極大的重視。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲算法存儲到更小的空間中去。隨著目前CPU處理能力的大幅提高，應(yīng)用實時壓縮技術(shù)來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實。這項新技術(shù)就是最新研發(fā)出的在線壓縮（RACE），它與傳統(tǒng)壓縮技術(shù)不同。對RACE技術(shù)，當(dāng)數(shù)據(jù)在首次寫入時即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存儲的情形，特別是多任務(wù)工作時更加明顯。該技術(shù)還可以在數(shù)據(jù)寫入到存儲系統(tǒng)前壓縮數(shù)據(jù)，進(jìn)一步提高了存儲系統(tǒng)中的磁盤和緩存的性能和效率。壓縮算法分為無損壓縮和有損壓縮。相對于有損壓縮來說，無損壓縮的占用空間大，壓縮比不高，但是它有效地保存了原始信息，沒有任何信號丟失。但是隨著限制無損格式的種種因素逐漸被消除，使得無損壓縮格式具有廣闊的應(yīng)用前景。數(shù)據(jù)壓縮中使用的LZS算法基于LZ77實現(xiàn)，主要由２部分構(gòu)成，滑窗（Sliding

Window）和自適應(yīng)編碼（Adaptive

Coding）。壓縮處理時，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長度替代待處理數(shù)據(jù)，從而實現(xiàn)壓縮編碼。如果滑窗中沒有與待處理數(shù)據(jù)塊相同的字段，或偏移值及長度數(shù)據(jù)超過被替代數(shù)據(jù)塊的長度，則不進(jìn)行替代處理。LZS算法的實現(xiàn)非常簡潔，處理比較簡單，能夠適應(yīng)各種高速應(yīng)用。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲的數(shù)據(jù)量，一般情況下可實現(xiàn)2:1～3:1的壓縮比。壓縮和去重是互補性的技術(shù)，提供去重的廠商通常也提供壓縮。而對于虛擬服務(wù)器卷、電子郵件附件、文件和備份環(huán)境來說，去重通常更加有效，壓縮對于隨機數(shù)據(jù)效果更好，像數(shù)據(jù)庫。換句話說，在數(shù)據(jù)重復(fù)性比較高的地方，去重比壓縮有效。3.5

云存儲中的內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)

云存儲是構(gòu)建于互聯(lián)網(wǎng)之上的，何如降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)傳輸率是關(guān)系到云存儲性能的關(guān)鍵問題。盡管有一些通過本地高速緩存、廣域網(wǎng)優(yōu)化等技術(shù)來解決問題的研究工作，但離實際的應(yīng)用需求還有一定的距離。內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對現(xiàn)有的Internet

進(jìn)行改造。基本思想是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。通過在網(wǎng)絡(luò)各處放置節(jié)點服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實時地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點的連接和負(fù)載情況、響應(yīng)時間、到用戶的距離等信息將用戶的請求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點上。目的是使用戶可就近取得所需內(nèi)容，解決Internet

網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的速度。3.6

云存儲中的數(shù)據(jù)遷移

當(dāng)我們從一個物理環(huán)境和單個陣列過渡到完全虛擬化的、高度動態(tài)的存儲環(huán)境時，數(shù)據(jù)的遷移就成了云存儲方案中最為基礎(chǔ)、關(guān)鍵的步驟，它在整個方案中占有了舉足輕重的作用。把企業(yè)的數(shù)據(jù)轉(zhuǎn)移到云中，針對不同的實際情況這里有兩種方法：1.當(dāng)企業(yè)的數(shù)據(jù)吞吐量較大但是數(shù)據(jù)量不是特別多，對傳輸延遲也沒過多要求時，云供應(yīng)商可以提供從企業(yè)到供應(yīng)商某個存儲節(jié)點之間的私人鏈接，方便企業(yè)遷移數(shù)據(jù)。企業(yè)可以根據(jù)自己的時間，在不影響公司正常運行的情況下做數(shù)據(jù)的轉(zhuǎn)移安排；2.當(dāng)企業(yè)的數(shù)據(jù)可以提供拷貝，那么我們可以采用sneaker-net

的方式，即人工網(wǎng)絡(luò)模式，將數(shù)據(jù)通過磁盤、移動存儲設(shè)備等從企業(yè)服務(wù)器拷入到云數(shù)據(jù)中心或者從云數(shù)據(jù)中心拷貝出來。

如果企業(yè)對當(dāng)前云供應(yīng)商提供的服務(wù)不滿意需要更換服務(wù)商，

如何在兩家服務(wù)商的云之間轉(zhuǎn)移數(shù)據(jù)？

這應(yīng)該是當(dāng)前一個很棘手的問題。由于目前云存儲還處在初級階段，各個云供應(yīng)商都采用自己的加密或傳輸機制，因此沒有一個規(guī)范和約束的統(tǒng)一標(biāo)準(zhǔn)。很多云存儲供應(yīng)商無法直接將客戶數(shù)據(jù)遷移到另一家供應(yīng)商。當(dāng)服務(wù)出現(xiàn)故障時，數(shù)據(jù)將返還給客戶，然后客戶要再找另一家云供應(yīng)商，或者將數(shù)據(jù)存儲在本地服務(wù)器。所以希望各個云供應(yīng)商提供一組云數(shù)據(jù)管理的應(yīng)用編程接口API，讓不同云供應(yīng)商之間的數(shù)據(jù)遷移更加便捷。3.7

云存儲中的數(shù)據(jù)容錯技術(shù)

數(shù)據(jù)容錯技術(shù)是云存儲研究領(lǐng)域的一項關(guān)鍵技術(shù),良好的容錯技術(shù)不但能夠提高系統(tǒng)的可用性和可靠性,而且能夠提高數(shù)據(jù)的訪問效率。數(shù)據(jù)容錯技術(shù)一般都是通過增加數(shù)據(jù)冗余來實現(xiàn)的,以保證即使在部分?jǐn)?shù)據(jù)失效以后也能夠通過訪問冗余數(shù)據(jù)滿足需求。冗余提高了容錯性，但是也增加了存儲資源的消耗。因此,在保證系統(tǒng)容錯性的同時，要盡可能地提高存儲資源的利用率，以降低成本。目前,常用的容錯技術(shù)主要有基于復(fù)制(replication)的容錯技術(shù)和基于糾刪碼(erasure

code)的容錯技術(shù)兩種?；趶?fù)制的容錯技術(shù)簡單直觀,易于實現(xiàn)和部署,但是需要為每個數(shù)據(jù)對象創(chuàng)建若干同樣大小的副本存儲空間開銷很大；基于糾刪碼的容錯技術(shù)則能夠把多個數(shù)據(jù)塊的信息融合到較少的冗余信息中，因此能夠有效地節(jié)省存儲空間,但是對數(shù)據(jù)的讀寫操作要分別進(jìn)行編碼和解碼操作,需要一些計算開銷。當(dāng)數(shù)據(jù)失效以后,基于復(fù)制的容錯技術(shù)只需要從其他副本下載同樣大小的數(shù)據(jù)即可進(jìn)行修復(fù)；基于糾刪碼的技術(shù)則需要下載的數(shù)據(jù)量一般遠(yuǎn)大于失效數(shù)據(jù)大小,修復(fù)成本較高。3.7.1

基于復(fù)制的容錯技術(shù)

基于復(fù)制的容錯技術(shù)對一個數(shù)據(jù)對象創(chuàng)建多個相同的數(shù)據(jù)副本,并把得到的多個副本散布到不同的存儲節(jié)點上。當(dāng)若干數(shù)據(jù)對象失效以后,可以通過訪問其他有效的副本獲取數(shù)據(jù)?；趶?fù)制的容錯技術(shù)主要關(guān)注兩方面的研究:(1)

數(shù)據(jù)組織結(jié)構(gòu)：數(shù)據(jù)組織結(jié)構(gòu)主要研究大量數(shù)據(jù)對象及其副本的

管理方式;(2)

數(shù)據(jù)復(fù)制策略：數(shù)據(jù)復(fù)制策略主要研究副本的創(chuàng)建時機、副本的

數(shù)量、副本的放置等問題.3.7.2

基于糾刪碼的容錯技術(shù)

基于復(fù)制的容錯技術(shù)存儲開銷巨大，要提供冗余度為k

的容錯能力,就必須另外創(chuàng)建k個副本，存儲空間的開銷也增大了k

倍?；诰幋a的容錯技術(shù)通過對多個數(shù)據(jù)對象進(jìn)行編碼產(chǎn)生編碼數(shù)據(jù)對象，進(jìn)而降低完全復(fù)制帶來的巨大的存儲開銷。RAID技術(shù)中使用最廣泛的RAID5

通過把數(shù)據(jù)條帶化(stripping)分布到不同的存儲設(shè)備上以提高效率，并采用一個校驗數(shù)據(jù)塊使之能夠容忍一個數(shù)據(jù)塊的失效。但是隨著節(jié)點規(guī)模和數(shù)據(jù)規(guī)模的不斷擴大,只容忍一個數(shù)據(jù)塊的失效已經(jīng)無法滿足應(yīng)用的存儲需求。糾刪碼(erasure-coding)技術(shù)是一類源于信道傳輸?shù)木幋a技術(shù)，因為能夠容忍多個數(shù)據(jù)幀的丟失,被引入到分布存儲領(lǐng)域,使得基于糾刪碼的容錯技術(shù)成為能夠容忍多個數(shù)據(jù)塊同時失效的、最常用的基于編碼的容錯技術(shù)。4

云存儲的優(yōu)勢

云存儲的優(yōu)勢主要體現(xiàn)在以下幾個方面：★高可擴展性：云存儲架構(gòu)采用的是并行擴容方式，當(dāng)容量不夠

時，只需采購新的存儲服務(wù)器，容量即可增加，而且?guī)缀鯖]有上限控制?！镓?fù)載均衡：云存儲能自動將工作任務(wù)均勻分配到不同的存儲服務(wù)器上，從而可避免因個別存儲服務(wù)器工作量過大而造成性能瓶頸，這樣可使整個存儲系統(tǒng)發(fā)揮最大的功效?！锶菀坠芾恚簩υ拼鎯芾碚邅碚f，即使再多的存儲服務(wù)器也只是一臺存儲設(shè)備，管理人員只需在整體硬盤容量快用完時，增加采購存儲服務(wù)器即可。而每臺存儲服務(wù)器的使用狀況都可以很方便地在一個管理界面上看到?！锶菀资褂茫喝绻銓?shù)據(jù)存儲在云存儲系統(tǒng),你就可以從任何有互

聯(lián)網(wǎng)接入的地方得到這些數(shù)據(jù)。你根本不需要隨身攜帶一個物理存儲設(shè)備或使用相同的計算機來保存和檢索你的信息。5

云存