云計(jì)算產(chǎn)品及技術(shù)方案分析報(bào)告.doc

云計(jì)算產(chǎn)品及技術(shù)方案分析報(bào)告北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室2010年11月19日目錄1 引言42 云計(jì)算產(chǎn)品分類43 國外的主流產(chǎn)品43.1 Amazon云計(jì)算方案43.1.1 介紹43.1.2 Amazon Web Services（AWS）43.1.3 彈性計(jì)算云EC253.1.4 簡單存儲服務(wù)S353.1.5 數(shù)據(jù)庫服務(wù)SimpleDB63.2 Google云計(jì)算方案73.2.1 介紹73.2.2 Google App Engine73.2.3 計(jì)算服務(wù)MapReduce73.2.4 存儲服務(wù)GFS（Google File System）83.2.5 數(shù)據(jù)庫服務(wù)Data Store83.3 Mirosoft云計(jì)算方案93.3.1 介紹93.3.2 Windows Azure93.3.3 計(jì)算服務(wù)93.3.4 存儲服務(wù)Blob/Table存儲103.3.5 數(shù)據(jù)庫SQL服務(wù)（SDS）113.4 IBM藍(lán)云113.4.1 概述113.4.2 云計(jì)算架構(gòu)113.4.3 云計(jì)算相關(guān)產(chǎn)品123.5 Platform云計(jì)算方案123.5.1 介紹123.5.2 Platform ISF（Infrastructure Sharing Facility）計(jì)算服務(wù)123.6 VMware(EMC)云計(jì)算方案143.6.1 介紹143.6.2 VMware vSphere143.6.3 云存儲服務(wù)EMC Atoms164 國內(nèi)云存儲產(chǎn)品164.1 美地森164.2 友友系統(tǒng)174.2.1 DataCell介紹174.2.2 DataCell FS174.2.3 DataCell DB194.2.4 其他相關(guān)產(chǎn)品205 幾種開源云平臺205.1 Hadoop（Apache基金會）205.2 Ecualyptus項(xiàng)目（加利福尼亞大學(xué)）215.3 AbiCloud（Abiquo公司）215,.4 MongoDB(10gen)215.5 Enomalism彈性計(jì)算平臺215.6 Nimbus（網(wǎng)格中間件Globus）216 國內(nèi)外主要云計(jì)算標(biāo)準(zhǔn)化組織和論壇226.1 分布式管理任務(wù)組（DMTF）226.2 開放網(wǎng)格論壇（OGF）226.3 結(jié)構(gòu)化信息標(biāo)準(zhǔn)促進(jìn)組織（OASIS）226.4 全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會SOA標(biāo)準(zhǔn)化工作室226.5 其他227 相關(guān)對比分析221 引言 當(dāng)前，云計(jì)算技術(shù)成為IT領(lǐng)域的研究熱點(diǎn)。目前的云計(jì)算產(chǎn)品和技術(shù)方案層出不窮，國內(nèi)外研究機(jī)構(gòu)、IT軟硬件廠家、標(biāo)準(zhǔn)化組織、開源軟件組織都在十分積極的推出云計(jì)算產(chǎn)品和技術(shù)解決方案。本報(bào)告在學(xué)習(xí)和了解相關(guān)云計(jì)算技術(shù)資料、產(chǎn)品白皮書以及軟件手冊的基礎(chǔ)上，希望對現(xiàn)有產(chǎn)品和技術(shù)解決方案給予歸納、整理和分析，實(shí)現(xiàn)對各類產(chǎn)品的清晰認(rèn)識，以便于選擇和使用。2 云計(jì)算產(chǎn)品分類 云計(jì)算產(chǎn)品大體分軟件和硬件產(chǎn)品兩大類。其中硬件產(chǎn)品是主要依賴于大型服務(wù)器設(shè)備的提供商實(shí)現(xiàn)的面向云特征的具有分布式并行計(jì)算能力的設(shè)備，代表有IBM、SUM、曙光機(jī)等。軟件產(chǎn)品是云計(jì)算產(chǎn)品的主流，包括虛擬機(jī)管理平臺、數(shù)據(jù)存儲平臺、分布式計(jì)算平臺等，主要有的平臺有Google應(yīng)用軟件引擎（Google App Engine）、微軟的Azure平臺、亞馬遜網(wǎng)絡(luò)服務(wù)（Amazon AWS）、IBM藍(lán)云、Platform Computing的ISF以及VMware的云產(chǎn)品。同時(shí)，國內(nèi)的友友系統(tǒng)和美地森公司在云存儲方面也走在了云技術(shù)發(fā)展的前沿。 3 國外的主流產(chǎn)品 從Google提出云計(jì)算技術(shù)，到現(xiàn)在，國際上幾乎所有一線的IT企業(yè)都積極參與進(jìn)入這塊新興領(lǐng)域，并依據(jù)自己傳統(tǒng)的技術(shù)領(lǐng)域和市場策略提出自己的云計(jì)算架構(gòu)。他們通過深挖技術(shù)基礎(chǔ)，把大量以前的產(chǎn)品和技術(shù)的云計(jì)算特征挖掘出來，如軟件的虛擬化、分布式存儲系統(tǒng)，在此基礎(chǔ)上建立自己的云計(jì)算產(chǎn)品線。3.1 Amazon云計(jì)算方案3.1.1 介紹專業(yè)IT企業(yè)提供的云計(jì)算多多少少會限制在自己提供的系統(tǒng)之上，亞馬遜公司不是IT系統(tǒng)制定者而是應(yīng)用者，所以Amazon平臺是開放的。技術(shù)特征：彈性虛擬平臺核心技術(shù)：虛擬化技術(shù)Xen企業(yè)服務(wù)：EC2 S3 SimpleDB SQS開源情況：開源3.1.2 Amazon Web Services（AWS）平臺類型：PaaS IaaS SaaS虛擬化技術(shù)：Xen支持語言：多種語言運(yùn)行環(huán)境：位于云端的Amazon平臺 應(yīng)用程序間的隔離：不同的應(yīng)用運(yùn)行在不同的虛擬機(jī)實(shí)現(xiàn)隔離開發(fā)限制：較少（支持所有操作系統(tǒng)、開源代碼或商業(yè)軟件）可擴(kuò)展性：手動(dòng)或通過編程自動(dòng)增加所需要虛擬機(jī)數(shù)量計(jì)費(fèi)方式：按實(shí)際使用量付費(fèi)（EC2計(jì)算服務(wù)0.10.8美元/小時(shí)，S3存儲服務(wù)每GB大約0.15美元/月） 收費(fèi)機(jī)制較復(fù)雜 有免費(fèi)體驗(yàn)（EC2 今年11月1日可以申請一年免費(fèi)體驗(yàn)）服務(wù)類型：任意選擇服務(wù)組合，服務(wù)耦合度低實(shí)現(xiàn)功能：較多3.1.3 彈性計(jì)算云EC2服務(wù)類型：IaaS虛擬機(jī)的使用：用戶根據(jù)需要設(shè)置虛擬機(jī)的硬件配置模型：1個(gè)AMI+若干實(shí)例（每個(gè)用戶最多20個(gè)實(shí)例）容錯(cuò)機(jī)制：彈性IP地址（與用戶賬號綁定） 當(dāng)正在使用的實(shí)例出現(xiàn)故障，用戶只需將彈性IP地址重新映射到一個(gè)新的實(shí)例 易用性：稍差（Amazon提供模塊供用戶組建自己的程序）運(yùn)行環(huán)境：用戶自行提供運(yùn)行程序所需的AMI（Amazon機(jī)器映像）構(gòu)建自己的服務(wù)器平臺靈活性：很好 允許用戶對運(yùn)行的實(shí)例數(shù)量和類型自行配置 允許用戶選擇實(shí)例運(yùn)行的地理位置安全性：很好 基于密鑰對機(jī)制的SSH方式訪問 可配置的防火墻機(jī)制 允許用戶對其應(yīng)用程序進(jìn)行監(jiān)控適用的應(yīng)用程序：任意3.1.4 簡單存儲服務(wù)S3概述：架構(gòu)在Dynamo之上，提供一個(gè)字節(jié)到數(shù)GB字節(jié)的支持，大概有520億對象。結(jié)構(gòu)：桶對象 兩級模式擴(kuò)展性：增加桶中的對象數(shù)量進(jìn)行擴(kuò)充 手動(dòng)或編程自動(dòng)擴(kuò)容容錯(cuò)性：冗余存儲 數(shù)據(jù)監(jiān)聽回傳 Merkle哈希樹存儲限制：對象（5GB）桶（100個(gè)/用戶） 不限制桶中對象的個(gè)數(shù)數(shù)據(jù)交互：用戶從獲得授權(quán)的對象中取得數(shù)據(jù)數(shù)據(jù)緩存：對Master中元數(shù)據(jù)進(jìn)行緩存數(shù)據(jù)一致性：最終一致性模型 后一次操作直接覆蓋前一次操作安全性：身份認(rèn)證(基于HMAC-SHA1的數(shù)字簽名) 訪問控制列表負(fù)載均衡數(shù)據(jù)恢復(fù)3.1.5 數(shù)據(jù)庫服務(wù)SimpleDB概述：非傳統(tǒng)的關(guān)系模型系統(tǒng)結(jié)構(gòu)：域條目屬性值 四級模式查詢語言：支持有限的SQL 數(shù)據(jù)類型：結(jié)構(gòu)化數(shù)據(jù)可擴(kuò)展性：超級可擴(kuò)展性查詢功能：查詢結(jié)果只包含條目名稱不包括相應(yīng)的屬性值 相應(yīng)時(shí)間不能超過5秒，否則報(bào)錯(cuò)安全策略：每一個(gè)容器數(shù)據(jù)在微軟數(shù)據(jù)中心有多個(gè)備份 數(shù)據(jù)更新時(shí)間：有延遲 新數(shù)據(jù)復(fù)制到其他服務(wù)器上存在延遲其他功能：很少 沒有事務(wù)（Transaction）的概念 不支持Join操作 實(shí)際存儲的數(shù)據(jù)類型過于單一（所有的數(shù)據(jù)都以字符串形式存儲）備注：用戶相對大的數(shù)據(jù)存儲在S3中 SDB中只保存指向某個(gè)特定文件位置的指針3.2 Google云計(jì)算方案3.2.1 介紹建立在其搜索引擎技術(shù)的基礎(chǔ)上，是一個(gè)沒有“端”的系統(tǒng)：用戶通過一個(gè)簡單的搜索框完成對海量計(jì)算的搜索技術(shù)特性：存儲及運(yùn)算水平擴(kuò)充能力核心技術(shù)：平行分散技術(shù)MapReduce，BigTable，GFS企業(yè)服務(wù)：Google App Engine開源情況：不開源3.2.2 Google App Engine平臺類型：PaaS（用戶在其上開發(fā)軟件，在Google基礎(chǔ)設(shè)施上運(yùn)行，無需服務(wù)器維護(hù)）應(yīng)用服務(wù)器：Python應(yīng)用服務(wù)器群 低端服務(wù)器虛擬化技術(shù)：沒有應(yīng)用支持語言：只支持Python、Java運(yùn)行環(huán)境：Google提供在云端的應(yīng)用程序環(huán)境 功能完整的本地開發(fā)環(huán)境，開發(fā)人員可以在本地模擬Google App Engine環(huán)境應(yīng)用程序間的隔離：通過沙盒實(shí)現(xiàn)（同時(shí)也給程序員帶來很多限制）開發(fā)限制：較多 開發(fā)語言支持少 沙盒的使用帶來的限制可擴(kuò)展性：自動(dòng)擴(kuò)充所需資源并進(jìn)行復(fù)雜均衡計(jì)費(fèi)方式：每一個(gè)Google賬戶有一定額度的免費(fèi)流量和空間支持 存在收費(fèi)項(xiàng)目服務(wù)類型：所有服務(wù)捆綁在一起，耦合度高用戶通過特定API來使用相應(yīng)服務(wù)實(shí)現(xiàn)功能：較少3.2.3 計(jì)算服務(wù)MapReduce服務(wù)類型：PaaS虛擬機(jī)的使用：沒有應(yīng)用模型：1個(gè)Master+若干Worker（分別執(zhí)行map和reduce）容錯(cuò)機(jī)制：Master周期設(shè)置檢查點(diǎn)，任務(wù)失敗，從最近的檢查點(diǎn)恢復(fù)并重新執(zhí)行 Master失效，整個(gè)MapReduce重新運(yùn)行 Worker失效，其任務(wù)調(diào)度到其他Worker重新執(zhí)行通用性：很好運(yùn)行環(huán)境：Google自身提供，用戶無法自行調(diào)配靈活性：稍差（現(xiàn)只是搜索企業(yè)的選擇）適用的應(yīng)用程序：可以并行處理的程序3.2.4 存儲服務(wù)GFS（Google File System）概述：面向不可信服務(wù)器節(jié)點(diǎn)的分布式文件系統(tǒng)，文件分塊存儲結(jié)構(gòu)：1個(gè)Master（儲存元數(shù)據(jù)）+眾多ChunkServer（儲存文件塊）服務(wù)器：大量分散的普通廉價(jià)服務(wù)器擴(kuò)展性：動(dòng)態(tài)插入節(jié)點(diǎn)（ChunkServer）（普通電腦），自動(dòng)擴(kuò)容容錯(cuò)性：ChunkServer冗余備份（3份） Master癱瘓，有Shadow作為替補(bǔ)訪問效率：高效 通過GFS上層的BigTable實(shí)現(xiàn)存儲限制：無特別限制數(shù)據(jù)交互：一般情況下，Application 和ChunkServer在同一臺服務(wù)器上Application與ChunkServer進(jìn)行數(shù)據(jù)交互 可以被多個(gè)用戶同時(shí)訪問數(shù)據(jù)緩存：對Master中元數(shù)據(jù)進(jìn)行緩存數(shù)據(jù)一致性負(fù)載均衡數(shù)據(jù)恢復(fù)備注：不完全適應(yīng)海量小文件存儲3.2.5 數(shù)據(jù)庫服務(wù)Data Store概述：分布式存儲數(shù)據(jù)庫，隨著應(yīng)用程序訪問量的增加而增加系統(tǒng)結(jié)構(gòu)：Model實(shí)體組實(shí)體 三級模式查詢語言：GQL數(shù)據(jù)類型：結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)可擴(kuò)展性：無限擴(kuò)展查詢功能：查詢結(jié)果以Model類的實(shí)例形式來返回實(shí)體 返回的結(jié)果不能超過1000條事務(wù)功能：通過樂觀鎖定實(shí)現(xiàn)事務(wù)的并發(fā)控制 一個(gè)事務(wù)操作一個(gè)實(shí)體組，同一組內(nèi)的實(shí)體存儲在一起（應(yīng)用程序可以在實(shí)體創(chuàng)建時(shí)將實(shí)體分配到組） 數(shù)據(jù)庫在一個(gè)事務(wù)中執(zhí)行多種操作，有一個(gè)操作失敗則回滾整個(gè)事務(wù)數(shù)據(jù)更新時(shí)間：有延遲，但不是常態(tài)3.3 Mirosoft云計(jì)算方案3.3.1 介紹“云+端”云計(jì)算構(gòu)想最新的Windows Server被設(shè)計(jì)成可讓應(yīng)用在數(shù)據(jù)中心和云之間遷移，但是只有在兩者是非常相似的Windows Server環(huán)境下才可以實(shí)現(xiàn)。技術(shù)特性：整合其所用軟件及數(shù)據(jù)服務(wù)核心技術(shù)：大型應(yīng)用軟件開發(fā)技術(shù)企業(yè)服務(wù)：Azure平臺開源情況：不開源3.3.2 Windows Azure平臺類型：PaaS虛擬化技術(shù)：Hyper-V支持語言：C#，.NET平臺，PHP，Python等多種語言運(yùn)行環(huán)境：支持在云中和本地系統(tǒng)中的應(yīng)用程序服務(wù)類型：可以任意選擇服務(wù)組合，耦合度低應(yīng)用程序間的隔離：不同的應(yīng)用在不同的虛擬機(jī)上開發(fā)限制：較少計(jì)費(fèi)方式：按實(shí)際使用量付費(fèi) 存儲與計(jì)算分開計(jì)費(fèi) 定價(jià)機(jī)制過于僵硬，成本過高可擴(kuò)展性：需要手動(dòng)或者編程自動(dòng)增加所需要的虛擬機(jī)數(shù)量 用戶也可以選擇增加虛擬機(jī)的功率實(shí)現(xiàn)功能：較多3.3.3 計(jì)算服務(wù)服務(wù)類型：PaaS虛擬機(jī)的使用：根據(jù)用戶上傳的配置文件XML，系統(tǒng)自動(dòng)分配、配置虛擬機(jī) 虛擬機(jī)分為Web和Worker角色模型：若干Web（提供Wen服務(wù)，與用戶交互）+若干Worker（類似于Windows服務(wù)）運(yùn)行環(huán)境：程序運(yùn)行在系統(tǒng)自動(dòng)為用戶生成的裝有Windows Server 2008的虛擬機(jī)上負(fù)載均衡：當(dāng)有用戶請求時(shí)，根據(jù)需決定是否運(yùn)行新的Web角色 根據(jù)負(fù)載大小自動(dòng)擴(kuò)展或減少Worker上實(shí)例運(yùn)行的數(shù)量靈活性：較好易用性：較好適用的應(yīng)用程序：任意可在Windows Server2008上運(yùn)行的程序尤其支持運(yùn)行有大量并行用戶的大型應(yīng)用程序 3.3.4 存儲服務(wù)Blob/Table存儲概述：用來存儲大型數(shù)據(jù)對象結(jié)構(gòu)：容器Blob兩級模式（Blob中的數(shù)據(jù)再分成Block） TablePartition（分區(qū)）Row（實(shí)體）擴(kuò)展性：增加容器中的Blob數(shù)量進(jìn)行擴(kuò)充 手動(dòng)或編程自動(dòng)擴(kuò)容容錯(cuò)性：冗余備份 只傳輸出錯(cuò)的Block訪問效率：Blob訪問控制策略 Table分成多個(gè)分區(qū)，存儲在多個(gè)服務(wù)器，提高訪問效率 存儲限制：Blob的大小有限制（50GB） 對容器和Blob的數(shù)量沒有限制數(shù)據(jù)交互：用戶從獲得授權(quán)的Blob中取得數(shù)據(jù)數(shù)據(jù)緩存：Table相同分區(qū)的實(shí)體存儲在一起進(jìn)行高效緩存 數(shù)據(jù)一致性：Timestamp（時(shí)間戳） 單表一致性（事務(wù)性的快照隔離） 跨表一致性 負(fù)載均衡：數(shù)據(jù)恢復(fù)備注：Blob適宜存儲無結(jié)構(gòu)數(shù)據(jù) Table適宜存儲結(jié)構(gòu)性很強(qiáng)的數(shù)據(jù) 另有：Queue存儲應(yīng)用程序各個(gè)部分之間的交互信息（例如Web和Worker的通信）3.3.5 數(shù)據(jù)庫SQL服務(wù)（SDS）概述：非傳統(tǒng)的關(guān)系模型系統(tǒng)結(jié)構(gòu)：Authority容器實(shí)體 三級模式（ACE模型）查詢語言：SQL數(shù)據(jù)類型：結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)可擴(kuò)展性：全球可擴(kuò)展性查詢功能：查詢對象為容器查詢結(jié)果返回若干數(shù)量的實(shí)體 返回的結(jié)果不能超過500頁安全策略：每一個(gè)容器數(shù)據(jù)在微軟數(shù)據(jù)中心有多個(gè)備份 數(shù)據(jù)更新時(shí)間：沒有延遲其他功能：很多3.4 IBM藍(lán)云3.4.1 概述高端服務(wù)器戰(zhàn)略（X86刀片服務(wù)器）為用戶在自己已有的IT環(huán)境中建立自己的私有云，并提供與公有云的無縫連接；同時(shí)，IBM也提供可供用戶及合作伙伴直接使用的云服務(wù)和軟件技術(shù)特性：整合其所有軟件及硬件服務(wù)核心技術(shù)：網(wǎng)格技術(shù)、分布式存儲、動(dòng)態(tài)負(fù)載企業(yè)服務(wù)：虛擬資源池提供，企業(yè)云計(jì)算整合方案開源情況：不開源3.4.2 云計(jì)算架構(gòu)3.4.3 云計(jì)算相關(guān)產(chǎn)品 IBM WebSphere CloudBurst 云環(huán)境管理工具，以物理器件形式發(fā)布，即插即用， WebSphere CloudBurst使用戶能夠在“私有云”中輕松的創(chuàng)建、安全的部署和管理應(yīng)用環(huán)境，同時(shí)讓用戶將自己在SOA方面的投資無縫的擴(kuò)展到云服務(wù)環(huán)境。 WebSphere Virtual Enterprise 軟件解決方案，對中間件和應(yīng)用棧進(jìn)行虛擬化，為應(yīng)用創(chuàng)建一個(gè)共享的應(yīng)用云或是共享的資源池而不必考慮特定的應(yīng)用容器，并實(shí)行負(fù)載均衡和資源調(diào)度。 XIV IBM的新一代云存儲產(chǎn)品，基于網(wǎng)格技術(shù)，具有海量存儲設(shè)備+大容量文件系統(tǒng)+高吞吐量互聯(lián)網(wǎng)數(shù)據(jù)訪問接口+管理系統(tǒng)的設(shè)計(jì)特征。內(nèi)置虛擬化技術(shù)，快照功能，瞬間克隆數(shù)據(jù)卷。幫助用戶部署可靠、多用途、可用的信息基礎(chǔ)結(jié)構(gòu)，同時(shí)可提升存儲管理、配置，以及改進(jìn)的資產(chǎn)利用率。3.5 Platform云計(jì)算方案3.5.1 介紹在HPC方面有很強(qiáng)的技術(shù)力量，建立在網(wǎng)格計(jì)算管理軟件的基礎(chǔ)上3.5.2 Platform ISF（Infrastructure Sharing Facility）計(jì)算服務(wù)平臺類型：IaaS端到端的私有云管理軟件 主要特點(diǎn)：可配置程度高資源整合：將分布式和異構(gòu)IT資源整合 從眾多異構(gòu)服務(wù)器、存儲設(shè)備以及互聯(lián)中創(chuàng)建一臺共享計(jì)算機(jī) 支持主要行業(yè)的標(biāo)準(zhǔn)硬件支持的操作系統(tǒng)：Linux Windows虛擬技術(shù)：VMware ESX，Xen，Citrix XenServer，Microsoft Hyper-V和Red Hat KVM服務(wù)類型：很多即開即用的第三方工具（目錄服務(wù)、安全、監(jiān)控和報(bào)警）交付服務(wù)：自主入口用戶在幾分鐘（30萬次IPOS每秒延遲：20微秒數(shù)據(jù)備份：支持虛擬機(jī)集中式脫離主機(jī)備份 支持虛擬機(jī)的增量、差異和完整映像備份和恢復(fù) 為Windows和linux虛擬機(jī)提供文件級備份支持可用性：擁有經(jīng)濟(jì)有效的適用于所有應(yīng)用的高可用解決方案當(dāng)服務(wù)器故障時(shí)，自動(dòng)重新啟動(dòng)虛擬機(jī)容錯(cuò)性：使用DRS和VMotion（在線遷移虛擬機(jī)）消除計(jì)劃內(nèi)宕機(jī)在不同的主機(jī)上同步運(yùn)行相同的虛擬機(jī) 出現(xiàn)硬件故障，所有虛擬機(jī)均可實(shí)現(xiàn)零宕機(jī)時(shí)間、零數(shù)據(jù)損失故障切換數(shù)據(jù)恢復(fù)：通過vCenter實(shí)現(xiàn)集中式管理 虛擬機(jī)的無代理、基于磁盤的備份和恢復(fù) 支持虛擬機(jī)、文件級別的恢復(fù)安全性：API通過檢查與管理程序一起使用的虛擬組件來保護(hù)虛擬機(jī) 動(dòng)態(tài)防火墻策略 動(dòng)態(tài)安全容量 安全策略自動(dòng)適應(yīng)網(wǎng)絡(luò)重新配置或升級可擴(kuò)展性：根據(jù)需要和優(yōu)先級調(diào)整容量 熱添加CPU和內(nèi)存 熱添加和刪除存儲設(shè)備和網(wǎng)絡(luò)設(shè)備 熱擴(kuò)展虛擬磁盤 以零宕機(jī)時(shí)間橫向擴(kuò)展虛擬機(jī)3.6.3 云存儲服務(wù)EMC Atoms特色：采用基于策略的管理系統(tǒng)來創(chuàng)建不同層次的云存儲重要數(shù)據(jù)，多份復(fù)制，分布存儲不常用數(shù)據(jù)，復(fù)制份數(shù)和存儲地點(diǎn)較少不再使用的數(shù)據(jù)，壓縮，復(fù)制備份在更少的地方為非付費(fèi)用戶和付費(fèi)用戶創(chuàng)建不同的服務(wù)級別多樣的管理服務(wù)：復(fù)制，版本控制，壓縮，重復(fù)數(shù)據(jù)刪除，磁盤休眠等可用性：應(yīng)用程序接口包括Rest和Soap，能夠整合所有的應(yīng)用程序多租戶：支持多客戶共享功能，同一基礎(chǔ)架構(gòu)執(zhí)行多種應(yīng)用程序，并被安全隔離現(xiàn)有版本：120TB 240TB 360TB 基于X86服務(wù)器并支持千兆或10GbE以太網(wǎng)連接4 國內(nèi)云存儲產(chǎn)品4.1 美地森概述：分布式存儲，網(wǎng)絡(luò)容錯(cuò)，集群存儲結(jié)構(gòu)：元數(shù)據(jù)服務(wù)器MDS+塊數(shù)據(jù)服務(wù)器CDS 文件分塊存儲（每一塊大小固定在50MB）服務(wù)器：低成本、符合工業(yè)標(biāo)準(zhǔn)的通用硬件設(shè)備（Linux系統(tǒng)）擴(kuò)展性：動(dòng)態(tài)插入節(jié)點(diǎn)，無需復(fù)雜配置 自動(dòng)在線擴(kuò)容（幾秒） 容量與節(jié)點(diǎn)成線性增長關(guān)系容錯(cuò)性：CDS冗余備份（3份） 存在35臺MDS，保存相同元數(shù)據(jù)，同一時(shí)間只有一臺工作，一旦癱瘓，備用的立即替補(bǔ)通用性：通過NAS集群網(wǎng)關(guān)的方式為Windows、Linux、Unix、Mac等操作系統(tǒng)提供NFS協(xié)議訪問接口 兼容所有操作系統(tǒng)平臺易用性：單一名字命名空間 所有應(yīng)用服務(wù)器看到所有的文件訪問效率：每秒數(shù)十萬個(gè)文件查詢 同時(shí)多條數(shù)據(jù)通道讀寫數(shù)據(jù)存儲限制：PB級存儲空間數(shù)據(jù)交互：用戶與CDS進(jìn)行數(shù)據(jù)交互數(shù)據(jù)緩存：對MDS中元數(shù)據(jù)進(jìn)行緩存負(fù)載均衡：自動(dòng)進(jìn)行負(fù)載均衡數(shù)據(jù)恢復(fù)：本地?cái)?shù)據(jù)存儲兩份，自動(dòng)恢復(fù) 2TB數(shù)據(jù)恢復(fù)時(shí)間15min備注：不完全適應(yīng)海量小文件存儲 實(shí)時(shí)性？ 局域網(wǎng)內(nèi)，100臺服務(wù)器左右，異地備份？WSS？4.2 友友系統(tǒng)4.2.1 DataCell介紹DataCell能夠有效地解決業(yè)務(wù)系統(tǒng)在運(yùn)營過程中收集和產(chǎn)生的大量實(shí)時(shí)數(shù)據(jù)以及企業(yè)在長期的業(yè)務(wù)發(fā)展過程中積累下來的海量數(shù)據(jù)的存儲和處理系列問題，尤其面對PB數(shù)量級的數(shù)據(jù)容量和上億個(gè)存儲文件的處理需求時(shí)，在降低整體成本提高系統(tǒng)整體可用性上可以發(fā)揮突出作用。虛擬技術(shù)：采用擴(kuò)容性：在新加入的硬件上安裝DataCell，即可加入虛擬存儲機(jī)可移植性：DataCell軟件具有高度的可移植性，沒有實(shí)際系統(tǒng)軟硬件的限制數(shù)據(jù)傳輸：結(jié)合數(shù)流平臺（Bitsflow），高效4.2.2 DataCell FS非結(jié)構(gòu)化存儲系統(tǒng)針對非結(jié)構(gòu)化數(shù)據(jù)架構(gòu)：1個(gè)控制節(jié)點(diǎn)（存儲元數(shù)據(jù)等）+ 若干的存儲節(jié)點(diǎn)（細(xì)分為各存儲塊）可擴(kuò)展性：熱部署（TBPB更高級別的平滑擴(kuò)展），性能線性增長靈活性：基于業(yè)務(wù)策略自動(dòng)切分?jǐn)?shù)據(jù)進(jìn)行存儲（存儲塊的大小是不固定的） 用戶可以通過定義策略來實(shí)現(xiàn)讓適當(dāng)?shù)臄?shù)據(jù)在適當(dāng)?shù)臅r(shí)間自動(dòng)保存在適當(dāng)?shù)奈恢锰摂M技術(shù)：將用戶所使用的各類存儲硬件無縫虛擬化多租戶：同一存儲結(jié)構(gòu)服務(wù)于多個(gè)應(yīng)用程序，數(shù)據(jù)分區(qū)隔離容錯(cuò)性：冗余備份 熱備控制節(jié)點(diǎn)數(shù)據(jù)恢復(fù)：自動(dòng)檢測故障節(jié)點(diǎn) 自動(dòng)恢復(fù)訪問效率：支持并發(fā)訪問 用戶可為云服務(wù)構(gòu)建自定義查詢負(fù)載均衡：所有系統(tǒng)節(jié)點(diǎn)間透明地移動(dòng)數(shù)據(jù) 自動(dòng)動(dòng)態(tài)調(diào)整數(shù)據(jù)備份數(shù)安全性：訪問控制權(quán)限應(yīng)用程序訪問機(jī)制：支持NFS 、HTTP、WebDAV、FTP及FUSE等多種接口 應(yīng)用程序可以不做修改即可遷移數(shù)據(jù)平臺4.2.3 DataCell DB結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)針對結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)解決了目前通用關(guān)系型數(shù)據(jù)庫在面對multi-TB或PB量級結(jié)構(gòu)化數(shù)據(jù)的存儲和處理需求時(shí)出現(xiàn)的性能和容量瓶頸問題不完全支持關(guān)系數(shù)據(jù)庫，但支持常用的關(guān)系操作（select、insert、delete、update）架構(gòu)：完全無中心節(jié)點(diǎn)的分布式系統(tǒng) 邏輯環(huán)容錯(cuò)性：相鄰節(jié)點(diǎn)互為熱備份 簡單快捷的數(shù)據(jù)導(dǎo)出工具 自定義冗余策略可擴(kuò)展性：熱部署存儲機(jī)制：支持用戶自定義的各種數(shù)據(jù)格式 同時(shí)支持內(nèi)存和磁盤數(shù)據(jù)庫訪問效率：在內(nèi)存存儲模式下，多進(jìn)程并發(fā)隨機(jī)讀寫支持超過20萬次/秒 尤其適用于海量小文件存儲與訪問的應(yīng)用場景支持語言：C+ 、Java其他功能：l 支持包括哈希表、樹、數(shù)組在內(nèi)的多種內(nèi)部結(jié)構(gòu)l 支持包含內(nèi)存、硬盤、網(wǎng)絡(luò)存儲等多種不同存儲機(jī)制l 基于策略的的數(shù)據(jù)存取方式，支持包括冗余數(shù)和存儲位置等在內(nèi)的自定義策略l 支持?jǐn)?shù)據(jù)表操作類似的查詢機(jī)制和簡單的條件查詢l 支持用戶定義的記錄類型和數(shù)據(jù)字典l 支持事務(wù)處理l 支持復(fù)雜的索引規(guī)則l 異步存儲拷貝，支持snapshotl 提供binary log，支持服務(wù)器熱備和冗余l(xiāng) 完全支持多進(jìn)程、多線程的高并發(fā)訪問l 支持分布式事務(wù)l 遠(yuǎn)程圖形化管理界面4.2.4 其他相關(guān)產(chǎn)品 數(shù)流平臺（Bitsflow）高容錯(cuò)、高性能的數(shù)據(jù)傳輸中間層工具 DataCell Echo有效實(shí)現(xiàn)跨區(qū)域、異構(gòu)分布式數(shù)據(jù)庫的實(shí)時(shí)數(shù)據(jù)同步。它可以同時(shí)處理同一系統(tǒng)內(nèi)的多個(gè)異構(gòu)數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)交換和同步。通過對各個(gè)數(shù)據(jù)庫系統(tǒng)內(nèi)數(shù)據(jù)的動(dòng)態(tài)劃分和管理，Echo還可在一個(gè)或多個(gè)數(shù)據(jù)庫中支持多個(gè)Master和Slave并存5 幾種開源云平臺5.1 Hadoop（Apache基金會）完全模仿Google體系架構(gòu)做的一個(gè)開源項(xiàng)目，主要包括Map/Reduce和HDFS文件系統(tǒng)。Java語言開發(fā)，主從式的HDFS文件系統(tǒng)位于下層，主從式的Map/Reduce處理位于上層，基本思想是“計(jì)算向存儲遷移”計(jì)算時(shí)各節(jié)點(diǎn)讀取存儲在自己節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行處理。Map處理過程中一般沒有數(shù)據(jù)的傳輸，只是在Reduce過程中需要向主節(jié)點(diǎn)傳送計(jì)算結(jié)果，有效的解決了并行計(jì)算中網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)钠款i問題。HDFS以64MB為單位對文件分塊，對于小文件及頻繁存取的數(shù)據(jù)沒有太大的優(yōu)勢。5.2 Ecualyptus項(xiàng)目（加利福尼亞大學(xué)）創(chuàng)建了一個(gè)使企業(yè)能夠使用它們內(nèi)部IT資源（包括服務(wù)器、存儲系統(tǒng)、網(wǎng)絡(luò)設(shè)備）的開源界面，來建立能夠和Amazon EC2兼容的云。選擇Xen和KVM作為虛擬化的管理程序?；炯軜?gòu)：5.3 AbiCloud（Abiquo公司）用于公司的開源的云平臺，使公司能夠以快速、簡單和可擴(kuò)展的方式創(chuàng)建和管理大型、復(fù)雜的IT基礎(chǔ)設(shè)施（包括虛擬服務(wù)器、網(wǎng)絡(luò)、應(yīng)用、存儲設(shè)備等）5,.4 MongoDB(10gen)高性能、開源、無模式的文檔型數(shù)據(jù)庫，在許多場景下可用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或鍵/存儲方式5.5 Enomalism彈性計(jì)算平臺提供了一個(gè)功能類似于EC2的云計(jì)算框架。Enomalism基于Linux，同時(shí)支持Xen和KVM。與其他的純IaaS解決方案不同的是，Enomalism提供了一個(gè)基于Turbo Gears Web應(yīng)用框架和Python的軟件棧5.6 Nimbus（網(wǎng)格中間件Globus）Nimbus面向科學(xué)計(jì)算需求，通過一組開源工具來實(shí)現(xiàn)IaaS的云計(jì)算解決方案6 國內(nèi)外主要云計(jì)算標(biāo)準(zhǔn)化組織和論壇6.1 分布式管理任務(wù)組（DMTF）工作目標(biāo)：2009年，成立DMTF開放式云標(biāo)準(zhǔn)孵化器（DMFT Open Cloud Standards Incubator），制定開放式云計(jì)算管理標(biāo)準(zhǔn)。 另有：開放式虛擬化格式（OVF），云可互操作性白皮書DMTF等成員：AMD CISCO EMC HP IBM Microsoft Sun Redhat VMware等6.2 開放網(wǎng)格論壇（OGF）工作目標(biāo)：開發(fā)管理云計(jì)算基礎(chǔ)設(shè)施的API，創(chuàng)建能與云基礎(chǔ)設(shè)施（IaaS）進(jìn)行交互的實(shí)際可用的解決方案等。成員：Microsoft Sun Oracle IBM Intel HP AT&T等6.3 結(jié)構(gòu)化信息標(biāo)準(zhǔn)促進(jìn)組織（OASIS）工作目標(biāo)：致力于基于現(xiàn)存標(biāo)準(zhǔn)Web Services、SOA等建設(shè)云模型及輪