《云計算與大數(shù)據(jù)技術(shù)應(yīng)用》數(shù)據(jù)中心與云存儲技術(shù)

云計算與大數(shù)據(jù)技術(shù)應(yīng)用

《云計算與大數(shù)據(jù)技術(shù)應(yīng)用》

數(shù)據(jù)中心與云存儲技術(shù)數(shù)據(jù)中心與云存儲技術(shù)4.1

數(shù)據(jù)中心的概念4.1.1數(shù)據(jù)中心的定義、作用及分類4.1.2云計算、大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢4.2云存儲概述4.2.1云存儲的概念4.2.2云存儲系統(tǒng)的結(jié)構(gòu)4.2.3云存儲的實現(xiàn)基礎(chǔ)4.2.4云存儲的特性4.3云存儲與云計算4.4云存儲發(fā)展的關(guān)注點4.1.1數(shù)據(jù)中心的定義、作用及分類數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施，它不僅包括計算機系統(tǒng)和其他與之配套的網(wǎng)絡(luò)、存儲等設(shè)備，還包含冗余的數(shù)據(jù)通信連接設(shè)備、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置。Google在其發(fā)布的《TheDatacenterasaComputer》一書中，將數(shù)據(jù)中心定義為：多功能的建筑物，能容納多個服務(wù)器以及通信設(shè)備，這些設(shè)備被放置在一起是因為它們具有相同的對環(huán)境的要求以及物理安全上的需求，并且這樣放置便于維護，而并不僅僅是一些服務(wù)器的集合。目前，IT巨頭們，包括Google、微軟等等都已投入巨資到數(shù)據(jù)中心建設(shè)中，根據(jù)數(shù)據(jù)中心的作用，可以將數(shù)據(jù)中心分為企業(yè)數(shù)據(jù)中心和互聯(lián)網(wǎng)數(shù)據(jù)中心兩類。

企業(yè)數(shù)據(jù)中心（EnterpriseDataCenter，EDC），通過實現(xiàn)統(tǒng)一的數(shù)據(jù)定義與命名規(guī)范、集中的數(shù)據(jù)環(huán)境，從而達到數(shù)據(jù)共享與利用的最終目標。如果是具體的企業(yè)或單位，數(shù)據(jù)中心就是業(yè)務(wù)數(shù)據(jù)存儲技術(shù)+數(shù)據(jù)倉庫，當然，有的單位只有數(shù)據(jù)倉庫，如科研單位，他們不做業(yè)務(wù)處理，只有分析需求。企業(yè)數(shù)據(jù)中心按規(guī)模劃分為部門級數(shù)據(jù)中心、企業(yè)級數(shù)據(jù)中心、互聯(lián)網(wǎng)數(shù)據(jù)中心以及主機托管數(shù)據(jù)中心等。通過這些規(guī)模從小到大的數(shù)據(jù)中心，企業(yè)可以運行各種應(yīng)用。一個典型的企業(yè)數(shù)據(jù)中心的設(shè)備通常包括：主機設(shè)備、數(shù)據(jù)備份設(shè)備、數(shù)據(jù)存儲設(shè)備、高可用系統(tǒng)、數(shù)據(jù)安全系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等。這些組件需要放在一起，確保它們能作為一個整體進行運行?；ヂ?lián)網(wǎng)數(shù)據(jù)中心（InternetDataCenter，IDC）。如果是互聯(lián)網(wǎng)公司，其數(shù)據(jù)中心就和普通企業(yè)和單位的數(shù)據(jù)中心不同，因為互聯(lián)網(wǎng)的信息實在龐大，不可能將所有信息都存儲到數(shù)據(jù)中心的數(shù)據(jù)庫中，數(shù)據(jù)中心也處理不了那么多的信息，所以互聯(lián)網(wǎng)環(huán)境下的數(shù)據(jù)中心的作用就是加強互聯(lián)網(wǎng)數(shù)據(jù)的處理速度和效果?；ヂ?lián)網(wǎng)數(shù)據(jù)中心為互聯(lián)網(wǎng)內(nèi)容提供商、企業(yè)、媒體以及各類網(wǎng)站提供了大規(guī)模、高質(zhì)量、安全可靠的專業(yè)化服務(wù)器托管、空間租用、網(wǎng)絡(luò)帶寬等服務(wù)。IDC

是對商戶、入駐企業(yè)或網(wǎng)站服務(wù)器群托管的場所，是各種模式電子商務(wù)賴以安全運作的基礎(chǔ)設(shè)施架構(gòu)，也是支持企業(yè)及其商業(yè)聯(lián)盟（包括了分銷商、供應(yīng)商、客戶等）實施價值鏈管理的安全平臺。4.1.1數(shù)據(jù)中心的定義4.1.2云計算大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢（1）規(guī)模化：大型數(shù)據(jù)中心更受市場青睞近年來，數(shù)據(jù)中心的建設(shè)規(guī)模不斷擴大，許多地域的超大型數(shù)據(jù)中心規(guī)劃建設(shè)規(guī)模甚至達到數(shù)十萬平方米。從市場接受度來看，數(shù)據(jù)中心行業(yè)正在進行洗牌，用戶更愿意選擇技術(shù)力量雄厚、服務(wù)體系上乘的數(shù)據(jù)中心廠商。未來的數(shù)據(jù)中心將朝著全球化、國際化方向規(guī)模發(fā)展。（2）虛擬化：傳統(tǒng)數(shù)據(jù)中心將開展資源云端遷移傳統(tǒng)的數(shù)據(jù)中心之間，服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、數(shù)據(jù)庫資源等都是相互獨立的，彼此之間毫無關(guān)聯(lián)。虛擬化技術(shù)改變了不同數(shù)據(jù)中心間資源互不相關(guān)的狀態(tài)，隨著虛擬化技術(shù)的深入應(yīng)用，服務(wù)器虛擬化已由理念走向?qū)嵺`，逐漸地向應(yīng)用程序領(lǐng)域拓展延伸，未來將有更多的應(yīng)用程序向云端遷移。所以，傳統(tǒng)的數(shù)據(jù)中心將進化為云數(shù)據(jù)中心。（3）綠色化：傳統(tǒng)數(shù)據(jù)中心將向綠色數(shù)據(jù)中心轉(zhuǎn)變不斷上漲的能源成本和不斷增長的計算需求，使得數(shù)據(jù)中心的能耗問題引發(fā)越來越高的關(guān)注度。數(shù)據(jù)中心建設(shè)過程中落實節(jié)地、節(jié)水、節(jié)電、節(jié)材和環(huán)境保護的基本建設(shè)方針，“節(jié)能環(huán)保，綠色低碳”必將成為下一代數(shù)據(jù)中心建設(shè)的主題詞。4.1.2云計算大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢（4）集中化：傳統(tǒng)數(shù)據(jù)中心將步入整合縮減階段分散辦公的現(xiàn)狀，帶來了相互分散的應(yīng)用系統(tǒng)布局。然而，現(xiàn)實存在對分支機構(gòu)數(shù)據(jù)進行集中處理的需求，遠程辦公又受困于網(wǎng)絡(luò)無法互通等問題，致使總部與分支機構(gòu)之間難以實現(xiàn)順暢通信和資源共享。因此，數(shù)據(jù)中心集中化成為一種必需。未來，隨著科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)中心整合集中化之勢態(tài)愈加明顯。（5）低成本：數(shù)據(jù)的價值逐漸凸顯并且成本更低虛擬化技術(shù)提高了資源的利用率，簡化了數(shù)據(jù)中心的管理維度并有效節(jié)省了維護成本，成本降低的同時還能實現(xiàn)數(shù)據(jù)的價值最大化。4.2.1

云存儲的概念云存儲是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。數(shù)據(jù)被存儲在多種虛擬服務(wù)器上，通常由第三方的組織來管理。而不是用專門的服務(wù)器來管理，當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大件的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。以大化小，化整為零的思想為云存儲技術(shù)的誕生帶來了思路。通過分布式技術(shù)將大數(shù)據(jù)分散到各個服務(wù)器上進行存儲，最后再將這些服務(wù)器聯(lián)系起來，協(xié)同工作，組成一個大型的集群系統(tǒng)，以及后期的訪問通過虛擬技術(shù)訪問云端上的數(shù)據(jù)，這是也要求一個快速安全的訪問與維護技術(shù)，通過不同層的存儲技術(shù)，在存儲數(shù)據(jù)上的分工合作，即保障了數(shù)據(jù)的完整與安全性，又能夠使得云存儲系統(tǒng)能夠完成不同的數(shù)據(jù)格式的訪問，以及不同級別的訪問，并且保留一個接口層，為以后的新興的技術(shù)留出可擴展的空間。因此云存儲是一種基于網(wǎng)絡(luò)的數(shù)據(jù)存儲模式，是在云計算概念上延伸和發(fā)展出來的一個新的概念。不同層次的結(jié)構(gòu)模型為云存儲的高效分工帶來了更大的便利.4.2.2云存儲系統(tǒng)的結(jié)構(gòu)云存儲不像傳統(tǒng)的存儲設(shè)備，傳統(tǒng)的存儲設(shè)備只是一個硬件，而云存儲是一個復(fù)雜的系統(tǒng)，包括：交換機、路由器、網(wǎng)絡(luò)適配器、光纜、繼電器、放大器、中繼器等硬件，還有更多的操作系統(tǒng)、系統(tǒng)軟件、工具軟件以及應(yīng)用軟件等大量的軟件系統(tǒng)。這里是以存儲設(shè)備為中心，通過一些必要的應(yīng)用軟件接口可以提供外界的存儲需求和訪問需求。云存儲系統(tǒng)的結(jié)構(gòu)模型由四層組成，它們分別是：存儲層、基礎(chǔ)管理層、應(yīng)用接口層以及訪問層等，如圖所示。4.2.2云存儲系統(tǒng)的結(jié)構(gòu)1.存儲層存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備，可以是NAS和ISCSI等IP存儲設(shè)備，也可以是SCSI或SAS等DAS存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且多分布在不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。云存儲系統(tǒng)對外提供多種不同的存儲服務(wù)，各種服務(wù)的數(shù)據(jù)統(tǒng)一存放在云存儲系統(tǒng)中，形成一個海量數(shù)據(jù)池。從大多數(shù)網(wǎng)絡(luò)服務(wù)后臺數(shù)據(jù)組織方式來看，傳統(tǒng)基于單服務(wù)器的數(shù)據(jù)組織難以滿足廣域網(wǎng)多用戶條件下的吞吐性能和存儲容量需求：基于P2P架構(gòu)的數(shù)據(jù)組織需要龐大的節(jié)點數(shù)量和復(fù)雜編碼算法保證數(shù)據(jù)可靠性。相比而言，基于多存儲服務(wù)器的數(shù)據(jù)組織方法能夠更好滿足在線存儲服務(wù)的應(yīng)用需求，在用戶規(guī)模較大時，構(gòu)建分布式數(shù)據(jù)中心能夠為不同地理區(qū)域的用戶提供更好的服務(wù)質(zhì)量。云存儲的數(shù)據(jù)存儲層將不同類型的存儲設(shè)備互連起來，實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理，同時實現(xiàn)對存儲設(shè)備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴展，實質(zhì)上是一種面向服務(wù)的分布式存儲系統(tǒng)。存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護。4.2.2云存儲系統(tǒng)的結(jié)構(gòu)2.基礎(chǔ)管理層基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大、更強、更好的數(shù)據(jù)訪問性能。內(nèi)容分發(fā)（ContentDeliveryNetwork，CDN）系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份、容災(zāi)技術(shù)和措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。3.應(yīng)用接口層應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。云存儲平臺面向用戶的部分，包括數(shù)據(jù)存儲服務(wù)、公共資源使用、數(shù)據(jù)備份功能等接口服務(wù)。按照用戶的業(yè)務(wù)需求，開發(fā)對應(yīng)的應(yīng)用接口，提供業(yè)務(wù)訪問需求。授權(quán)用戶可以在任何地方，通過公共的Web服務(wù)應(yīng)用接口登錄，利用云存儲系統(tǒng)，獲取云存儲服務(wù)，對系統(tǒng)資源進行管理和訪問。應(yīng)用接口層拓展性強，云存儲服務(wù)商，可以根據(jù)用戶的實際業(yè)務(wù)類型，隨時開發(fā)相應(yīng)的應(yīng)用接口，如網(wǎng)絡(luò)硬盤和視頻點播、視頻監(jiān)控、遠程數(shù)據(jù)備份等應(yīng)用。

4.2.2云存儲系統(tǒng)的結(jié)構(gòu)4.訪問層任何一個授權(quán)用戶都可以通過標準的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。用戶訪問層主要功能包括訪問控制、身份識別與驗證、安全隔離等。云存儲用戶應(yīng)用程序，可以全新開發(fā)和移植現(xiàn)有的應(yīng)用程序方式實現(xiàn)。云存儲服務(wù)商均為獨立實體，會有個性化的云存儲服務(wù)提供方式，因此，云存儲服務(wù)系統(tǒng)的訪問方式和訪問手段，不同的服務(wù)系統(tǒng)會有所差異。4.2.3

云存儲的實現(xiàn)基礎(chǔ)從云存儲結(jié)構(gòu)模型可知，云存儲系統(tǒng)是一個多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，它的實現(xiàn)要以多種技術(shù)的發(fā)展為前提。1.寬帶網(wǎng)絡(luò)的發(fā)展真正的云存儲系統(tǒng)將會是一個多區(qū)域分布、遍布全國、甚至于遍布全球的龐大公用系統(tǒng)，使用者需要通過ADSL、DDN等寬帶接入設(shè)備來連接云存儲。只有寬帶網(wǎng)絡(luò)得到充足的發(fā)展，使用者才有可能獲得足夠大的數(shù)據(jù)傳輸帶寬，實現(xiàn)大量容量數(shù)據(jù)的傳輸，真正享受到云存儲服務(wù)，否則只能是空談。2.Web2.0技術(shù)的出現(xiàn)Web2.0技術(shù)的核心是分享。只有通過Web2.0技術(shù)，云存儲的使用者才有可能通過PC、手機、移動多媒體等多種設(shè)備，實現(xiàn)數(shù)據(jù)、文檔、圖片和視音頻等內(nèi)容的集中存儲和資料共享。3.應(yīng)用存儲的發(fā)展云存儲不僅僅是存儲，更多的是應(yīng)用。應(yīng)用存儲是一種在存儲設(shè)備中集成了應(yīng)用軟件功能的存儲設(shè)備，它不僅具有數(shù)據(jù)存儲功能，還具有應(yīng)用軟件功能，可以看作是服務(wù)器和存儲設(shè)備的集合體。應(yīng)用存儲技術(shù)的發(fā)展可以大量減少云存儲中服務(wù)器的數(shù)量，從而降低系統(tǒng)建設(shè)成本，減少系統(tǒng)中由服務(wù)器造成單點故障和性能瓶頸，減少數(shù)據(jù)傳輸環(huán)節(jié)，提供系統(tǒng)性能和效率，保證整個系統(tǒng)的高效穩(wěn)定運行。4.集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)云存儲系統(tǒng)是一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，任何一個單點的存儲系統(tǒng)都不是云存儲。4.2.3

云存儲的實現(xiàn)基礎(chǔ)既然是由多個存儲設(shè)備構(gòu)成的，不同存儲設(shè)備之間就需要通過集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)多個存儲設(shè)備之間的協(xié)同工作，多個存儲設(shè)備可以對外提供同一種服務(wù)，提供更大更強更好的數(shù)據(jù)訪問性能。如果沒有這些技術(shù)的存在，云存儲就不可能真正實現(xiàn)，所謂的云存儲只能是一個一個的獨立系統(tǒng)，不能形成云狀結(jié)構(gòu)。集群（cluster）技術(shù)是一種較新的技術(shù)，通過集群技術(shù)，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益，其任務(wù)調(diào)度則是集群系統(tǒng)中的核心技術(shù)。集群是一組相互獨立的、通過高速網(wǎng)絡(luò)互聯(lián)的計算機，它們構(gòu)成了一個組，并以單一系統(tǒng)的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的服務(wù)器。集群配置是用于提高可用性和可縮放性。網(wǎng)格計算通過共享網(wǎng)絡(luò)將不同地點的大量計算機相聯(lián)，從而形成虛擬的超級計算機,將各處計算機的多余處理器能力合在一起，可為研究和其他數(shù)據(jù)集中應(yīng)用提供巨大的處理能力。有了網(wǎng)格計算，那些沒有能力購買價值數(shù)百萬美元的超級計算機的機構(gòu)，也能利用其巨大的計算能力。分布式文件系統(tǒng)（DistributedFileSystem）是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)的設(shè)計基于客戶機/服務(wù)器模式。一個典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。另外，對等特性允許一些系統(tǒng)扮演客戶機和服務(wù)器的雙重角色。 4.2.3

云存儲的實現(xiàn)基礎(chǔ)5.CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。如果云存儲中的數(shù)據(jù)安全得不到保證，想來也沒有人敢用云存儲,否則，保存的數(shù)據(jù)不是很快丟失了，就是全國人民都知道了。P2P（Peer-to-Peer，對等）又被稱為“點對點”?！皩Φ取奔夹g(shù)是一種網(wǎng)絡(luò)新技術(shù)依賴網(wǎng)絡(luò)中參與者的計算能力和帶寬，而不是把依賴都聚集在較少的幾臺服務(wù)器上。P2P還是英文PointtoPoint（點對點）的簡稱。它是下載術(shù)語，意思是在你自己下載的同時，自己的電腦還要繼續(xù)做主機上傳，這種下載方式，人越多速度越快但缺點是對硬盤損傷比較大（在寫的同時還要讀），還有對內(nèi)存占用較多，影響整機速度數(shù)據(jù)壓縮技術(shù)是指在不丟失有用信息的前提下，縮減數(shù)據(jù)量以減少存儲空間，提高其傳輸、存儲和處理效率，或按照一定的算法對數(shù)據(jù)進行重新組織，減少數(shù)據(jù)的冗余和存儲的空間的一種技術(shù)方法。數(shù)據(jù)壓縮包括有損壓縮和無損壓縮。在計算機科學(xué)和信息論中，數(shù)據(jù)壓縮或者源編碼是按照特定的編碼機制用比未經(jīng)編碼少的數(shù)據(jù)位元（或者其它信息相關(guān)的單位）表示信息的過程。如，如果我們將“compression”編碼為“comp”那么這篇文章可以用較少的數(shù)據(jù)位表示。一種流行的壓縮實例是許多計算機都在使用的ZIP文件格式，它不僅僅提供了壓縮的功能，而且還作為歸檔工具（Archiver）使用，能夠?qū)⒃S多文件存儲到同一個文件中。4.2.3

云存儲的實現(xiàn)基礎(chǔ)重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤的備份系統(tǒng)，旨在減少存儲系統(tǒng)中使用的存儲容量。它的工作方式是在某個時間周期內(nèi)查找不同文件中不同位置的重復(fù)可變大小數(shù)據(jù)塊。重復(fù)的數(shù)據(jù)塊用指示符取代。高度冗余的數(shù)據(jù)集（如備份數(shù)據(jù)）從數(shù)據(jù)重復(fù)刪除技術(shù)的獲益極大；用戶可以實現(xiàn)10比1至50比1的縮減比。而且，重復(fù)數(shù)據(jù)刪除技術(shù)可以允許用戶的不同站點之間進行高效，經(jīng)濟的備份數(shù)據(jù)復(fù)制。數(shù)據(jù)加密技術(shù)是一門歷史悠久的技術(shù)，指通過加密算法和加密密鑰將明文轉(zhuǎn)變?yōu)槊芪?，而解密則是通過解密算法和解密密鑰將密文恢復(fù)為明文。它的核心是密碼學(xué)。數(shù)據(jù)加密目前仍是計算機系統(tǒng)對信息進行保護的一種最可靠的辦法。它利用密碼技術(shù)對信息進行加密，實現(xiàn)信息隱蔽，從而起到保護信息的安全的作用。4.2.3

云存儲的實現(xiàn)基礎(chǔ)6.存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)云存儲中的存儲設(shè)備數(shù)量龐大且分布多在不同地域，如何實現(xiàn)不同廠商、不同型號甚至于不同類型（如FC（FibreChannel）存儲和IP存儲）的多臺設(shè)備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題，這個問題得不到解決，存儲設(shè)備就會是整個云存儲系統(tǒng)的性能瓶頸，結(jié)構(gòu)上也無法形成一個整體，而且還會帶來后期容量和性能擴展難等問題。云存儲中的存儲設(shè)備數(shù)量龐大、分布地域廣造成的另外一個問題就是存儲設(shè)備運營管理問題。雖然這些問題對云存儲的使用者來講根本不需要關(guān)心，但對于云存儲的運營單位來講，卻必須要通過切實可行和有效的手段來解決集中管理難、狀態(tài)監(jiān)控難、故障維護難、人力成本高等問題。因此，云存儲必須要具有一個高效的類似與網(wǎng)絡(luò)管理軟件一樣的集中管理平臺，可實現(xiàn)云存儲系統(tǒng)中設(shè)有存儲設(shè)備、服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中管理和狀態(tài)監(jiān)控。4.2.4

云存儲的特性隨著云端數(shù)據(jù)越來越豐富、用戶數(shù)據(jù)量越來越龐大，云存儲成為信息存儲領(lǐng)域的一個研究熱點，這里就云存儲的特性做一些闡述。1.可靠性云存儲采取將多個小文件分為多個副本的存儲模式來實現(xiàn)數(shù)據(jù)的冗余可靠，數(shù)據(jù)存放在多個不同的節(jié)點上，任意其他的節(jié)點發(fā)生數(shù)據(jù)故障，云存儲系統(tǒng)將會自動將數(shù)據(jù)備份到新的存儲節(jié)點上，保證數(shù)據(jù)的完整性和可靠性；而對于大文件的存儲，系統(tǒng)將通過超安存編解碼算法來保障數(shù)據(jù)的可靠性，任意多個存儲數(shù)據(jù)節(jié)點被破壞時，系統(tǒng)能夠通過超安存算法進行自動解碼恢復(fù)，此算法適合于對數(shù)據(jù)安全性要求極高的場合，有效地提高了磁盤上的空間利用率；而對于元數(shù)據(jù)管理節(jié)點而言，則采用雙機鏡像熱備份的高可用方式容錯。當其中一臺服務(wù)器出現(xiàn)了問題，可以自動的無縫銜接到另外一臺服務(wù)器上，確保服務(wù)器不間斷的提供服務(wù)。2.安全性云存儲服務(wù)商往往資金雄厚，大量專業(yè)技術(shù)人員的日常管理和維護可以保障云存儲系統(tǒng)運行安全，通過嚴格的權(quán)限管理，運用數(shù)據(jù)加密、加密傳輸、防篡改、防攻擊、實時監(jiān)測等技術(shù)，降低了病毒和網(wǎng)絡(luò)黑客人侵破壞的風(fēng)險，確保數(shù)據(jù)不會丟失，為用戶提供安全可靠的數(shù)據(jù)存儲環(huán)境。4.2.4

云存儲的特性3.管理方便因為大部分的數(shù)據(jù)都遷移到了云存儲上之后，所有的數(shù)據(jù)的升級維護任務(wù)由云存儲服務(wù)提供商來完成，大大地降低了企業(yè)存儲系統(tǒng)上運營維護的成本，并且云存儲服務(wù)具有強大的課擴展性，當企業(yè)的發(fā)展加速以后，如果發(fā)覺自己公司現(xiàn)有的存儲空間不足，就會考慮擴寬存儲服務(wù)器的容量來滿足現(xiàn)有業(yè)務(wù)的存儲需求，而云存儲服務(wù)的特性就可以很方便地在原有基礎(chǔ)上擴展服務(wù)空間，滿足需求。4.可擴展性擴展存儲需求（向上和向下）課改善用戶成本，提高云存儲提供商的復(fù)雜性，不僅要為存儲本身提供可擴展性（功能擴展），而且必須為存儲帶寬提供可擴展性（負載擴展）。云存儲的另外一個關(guān)鍵特性是數(shù)據(jù)的地理分布（地理可擴展性），支持經(jīng)由一組云存儲數(shù)據(jù)中心（通過遷移）使數(shù)據(jù)最接近于用戶。對于只讀數(shù)據(jù)，也可以進行復(fù)制和分布（使用內(nèi)容傳遞網(wǎng)絡(luò)完成）。在內(nèi)部，一個云存儲架構(gòu)必須能夠擴展。服務(wù)器和存儲必須能夠在不影響用戶的情況下重新調(diào)整大小。正如在可管理性部分所討論的，自主計算是云存儲架構(gòu)所必需的。4.2.4

云存儲的特性5.數(shù)據(jù)訪問在現(xiàn)在的云存儲技術(shù)當中，在運行大量的數(shù)據(jù)請求和數(shù)據(jù)恢復(fù)的程序的時候能否提供足夠的訪問性還是有質(zhì)疑的。在目前的服務(wù)商已經(jīng)可以把要大量傳輸出去的文件，直接快速的傳送給用戶，在將來的發(fā)展技術(shù)條件下就可以解決訪問性的問題。另一方面，云服務(wù)提供商還可以給出一個可以模擬云訪問的地址，在應(yīng)用中就不需要重新設(shè)定就可以使自己的網(wǎng)管設(shè)備繼續(xù)正常運行。在不遠的將來，規(guī)模比較大的運營商可以建設(shè)更多的區(qū)域性設(shè)備，讓數(shù)據(jù)在傳輸上更快速，更安基于屬性加密的云存儲方案全，假使用戶的自有設(shè)備發(fā)生了問題引起的數(shù)據(jù)損毀，云服務(wù)商也能快速的將數(shù)據(jù)找回并且回傳給用戶中心。4.3云存儲與云計算云存儲是一個致力于向用戶提供一種在線的互聯(lián)網(wǎng)服務(wù)，云計算為用戶節(jié)省了設(shè)備部署與存儲的開銷。只需要向云服務(wù)提供商支付一定的費用，就可以直接享受由整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問的服務(wù)，可以說云存儲是云計算系統(tǒng)的基石，是一個配置了大容量存儲空間的一個云計算系統(tǒng)。圖11-2為傳統(tǒng)數(shù)據(jù)中心的典型的拓補圖，可以看到傳統(tǒng)數(shù)據(jù)中心中，包含了幾個基礎(chǔ)組件：服務(wù)器、網(wǎng)絡(luò)和存儲。存儲實際上應(yīng)對場景的不同，包含了NAS（NetworkAttachedStorage，網(wǎng)絡(luò)附屬存儲。提供文件共享空間，存放非結(jié)構(gòu)化數(shù)據(jù)）和SAN（StorageAreaNetwork，存儲區(qū)域網(wǎng)絡(luò)。提供塊數(shù)據(jù)的訪問，通常用于存放結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫、郵件等業(yè)務(wù)應(yīng)用的數(shù)據(jù)）。企業(yè)級存儲通常還包含了備份或容災(zāi)體系，如圖所示，其中還有專門的備份存儲。云計算出現(xiàn)以后，對數(shù)據(jù)中心提出了新的挑戰(zhàn)和要求，不過仍然包含服務(wù)器、網(wǎng)絡(luò)和存儲這三大基礎(chǔ)組件，但是對于組件的呈現(xiàn)形態(tài)，以及控制方式有了很大的變化，即軟件定義的數(shù)據(jù)中心（SoftwareDefinedDataCenter，SDDC）。SDDC可以視為私有云的云計算平臺的最佳落地方式，而軟件定義的存儲（SoftwareDefinedStorage，SDS）是其中的重要組成部分。實際上可以說：軟件定義為云而生。結(jié)合NIST對云計算的定義可知，云計算對于新一代存儲提出了如下要求：存儲即服務(wù)（StorageasaService），存儲資源池化能夠快速而彈性地部署存儲資源，存儲資源可以按量計費。而這些要求，剛好與軟件定義存儲的特征十分吻合。云計算時代所需要的企業(yè)級存儲，即軟件定義存儲，當今IT正在逐漸踏入軟件定義的世界。4.3云存儲與云計算4.3云存儲與云計算云計算是在分布式計算（DistributedComputing）、并行計算（Parallelcomputing）和網(wǎng)格計算（Gridcomputing）的基礎(chǔ)上演變過來的，是通過龐大的網(wǎng)絡(luò)計算程序自主的將一個大的應(yīng)用程序分解為幾個較小的小程序，然后通過網(wǎng)格計算的多個服務(wù)器將分析處理過后的數(shù)據(jù)返還給用戶。云計算技術(shù)的產(chǎn)生，可以讓用戶感受到和“超級計算機”同樣的在幾秒中之內(nèi)就可以處理以千兆為單位的信息量的高效的網(wǎng)絡(luò)服務(wù)。云計算系統(tǒng)把數(shù)據(jù)的計算和處理當成系統(tǒng)的核心系統(tǒng)，目的是為了把PC上或者服務(wù)器上獨立的數(shù)據(jù)計算轉(zhuǎn)移到數(shù)量眾多的服務(wù)器“云”中，讓“云”來計算用戶提交的運算申請，并且給出運算結(jié)果。云存儲的前身是云計算，在云計算的基礎(chǔ)上添加了存儲空間變化而來的，是云計算其中的一種。云計算系統(tǒng)中如果配置了大量數(shù)據(jù)存儲設(shè)備，那么云計算就可以對大量的進行計算和處理的數(shù)據(jù)進行存儲和管理，同時在基礎(chǔ)管理層也相應(yīng)的添加了許多功能，這些功能的目的是為了加強存儲數(shù)據(jù)的管理和保護數(shù)據(jù)的安全。剩下其他部分在功能上則是沒有區(qū)別的。這樣就把云計算系統(tǒng)變成了云存儲系統(tǒng)。4.4云存儲發(fā)展的關(guān)注點云存儲已經(jīng)成為未來存儲發(fā)展的一種趨勢。但隨著云存儲技術(shù)的發(fā)展，各類搜索、應(yīng)用技術(shù)和云存儲相結(jié)合的應(yīng)用