江蘇省軟件工程技術(shù)研究開發(fā)中心云計(jì)算平臺(tái)方案建議書

1.1(-)專家評(píng)價(jià)與修改意見表.........................錯(cuò)誤!未定義書簽。

1.2(二)科研機(jī)構(gòu)基本信息.............................錯(cuò)誤!未定義書簽。

2系統(tǒng)總體概述................................................................4

2.1系統(tǒng)基本功能........................................................5

2.2系統(tǒng)建設(shè)的主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原則........................6

2.3系統(tǒng)的主顆術(shù)特點(diǎn)..................................................8

2.4系統(tǒng)總體構(gòu)架........................................................9

2.5eProc云處理平臺(tái)簡(jiǎn)介...............................................11

2.6cStor云存儲(chǔ)系統(tǒng)簡(jiǎn)介...............................................14

2.7OpenStack簡(jiǎn)介....................................................17

2.8系統(tǒng)削性能.......................................................18

2.8.1數(shù)據(jù)流量處理能力..............................................18

2.8.2數(shù)據(jù)存儲(chǔ)讀取能力..............................................19

2.9系統(tǒng)功能...........................................................22

3系統(tǒng)設(shè)計(jì)實(shí)施與關(guān)鍵技術(shù)方法................................................24

3.1eProc云處理平臺(tái)...................................................24

3.1.1數(shù)據(jù)立方(DataCube)............................................................................................24

3.1.2任務(wù)監(jiān)控器(JobKeeper).................................................................................28

3.1.3eProc數(shù)據(jù)處理.................................................31

3.1.4數(shù)據(jù)壓縮.......................................................33

3.1.5適應(yīng)應(yīng)用需求的混合存儲(chǔ)策略....................................34

3.1.6HBase數(shù)據(jù)存儲(chǔ)................................................35

3.1.7數(shù)據(jù)庫(kù)存儲(chǔ).....................................................38

3.2eProc云處理平臺(tái)可靠性設(shè)計(jì)........................................41

3.2.1可靠性概述.....................................................41

3.2.2HDFS可靠性設(shè)計(jì)...............................................43

3.2.3HBase可靠性蚓..............................................46

3.2.4MapReduce可靠性設(shè)計(jì)........................................49

3.2.5Zookeeper可靠性設(shè)計(jì).........................................52

3.2.6數(shù)據(jù)存儲(chǔ)的可靠性設(shè)計(jì)..........................................55

3.2.7處理與存儲(chǔ)集群Master單點(diǎn)失效容錯(cuò)處理........................57

3.2.8處理與存儲(chǔ)集群的負(fù)載均衡處理..................................65

3.3cStor云存儲(chǔ)系統(tǒng)...................................................69

3.3.1技術(shù)架構(gòu).......................................................69

3.3.2工作原理.......................................................72

3.3.3管理機(jī)制.......................................................74

3.3.4關(guān)鍵技術(shù).......................................................75

3.4OpenStack介紹....................................................78

3.4.1OpenStack是什么.............................................78

3.4.2云服務(wù)提供商的概念架構(gòu).......................................80

3.4.3OpenStackCompute架構(gòu)......................................82

3.4.4OpenStackImageService.................................................................................92

3.4.5OpenStackObjectStorage...............................................................................93

3.4.6OpenStack界面圖............................................102

3.5平臺(tái)安全.........................................................102

3.5.1云處理平臺(tái)信任保護(hù)...........................................102

3.5.2基于多級(jí)信任保護(hù)的訪問控制...................................109

3.5.3云處理平臺(tái)安全審計(jì)...........................................113

3.5.4云處理平臺(tái)安全網(wǎng)關(guān)..........................................117

3.6軟硬件設(shè)施清單....................................................122

4項(xiàng)目WS和實(shí)施...........................................................132

4.1項(xiàng)目開發(fā)周期......................................................132

4.2項(xiàng)目計(jì)劃進(jìn)度......................................................132

4.3項(xiàng)目實(shí)施..........................................................134

4.4客戶受益..........................................................134

1系統(tǒng)總體概述

1.1系統(tǒng)需求分析

系統(tǒng)需要廣泛應(yīng)用于移動(dòng)互聯(lián)網(wǎng)、金融證券、電子政務(wù)、教育科研等需要海

量數(shù)據(jù)存儲(chǔ)和處理的領(lǐng)域。同時(shí)，能為中小企業(yè)提供基于SaaS的低成本的信息

化服務(wù)、虛擬化服務(wù)，降低企業(yè)信息化的門檻。云計(jì)算平臺(tái)的建設(shè)能增強(qiáng)蘇州市

云計(jì)算與智能信息處理領(lǐng)域的自主開發(fā)能力，從而有力的推動(dòng)該產(chǎn)業(yè)長(zhǎng)期穩(wěn)定的

發(fā)展，進(jìn)一步提升蘇州市信息技術(shù)產(chǎn)業(yè)的競(jìng)爭(zhēng)力和影響力；能為蘇州市中小企業(yè)

提供信息化、虛擬化服務(wù)平臺(tái)，對(duì)目前企業(yè)信息集成中存在的主要問題，如基礎(chǔ)

數(shù)據(jù)缺失、計(jì)劃和安排生產(chǎn)的盲目性、流程不規(guī)范、現(xiàn)場(chǎng)采集數(shù)據(jù)困難等提供解

決方案，推動(dòng)蘇州信息基礎(chǔ)設(shè)施建設(shè)和中小企業(yè)信息化進(jìn)程。

1.2系統(tǒng)基本功能

本項(xiàng)目在充分研究云計(jì)算現(xiàn)有成果的基礎(chǔ)上，面向中小企業(yè)智能信息服務(wù)、

新一代智能信息處理、移動(dòng)互聯(lián)網(wǎng)等重點(diǎn)領(lǐng)域的云計(jì)算需求，開展云計(jì)算關(guān)鍵技

術(shù)研究。首先研究綠色環(huán)保節(jié)能云計(jì)算中心構(gòu)建方案，基于先進(jìn)的海量數(shù)據(jù)云存

儲(chǔ)技術(shù)構(gòu)建一個(gè)高度可靠、可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存

取訪問的云存儲(chǔ)系統(tǒng)平臺(tái)，用于海量的教學(xué)信息資源的存儲(chǔ)和共享，并為上層云

計(jì)算數(shù)據(jù)處理和應(yīng)用服務(wù)提供基礎(chǔ)的數(shù)據(jù)存儲(chǔ)平臺(tái);然后研究建立適合于中小企

業(yè)智能信息服務(wù)、移動(dòng)互聯(lián)網(wǎng)應(yīng)用服務(wù)等的云計(jì)算應(yīng)用模式；最后針對(duì)云服務(wù)中

的用戶數(shù)據(jù)安全與隱私保護(hù)等核心問題開展研究，形成支撐具體云服務(wù)應(yīng)用的關(guān)

鍵技術(shù)體系。最終為后續(xù)具體應(yīng)用服務(wù)構(gòu)建一個(gè)安全、穩(wěn)定、可靠的基礎(chǔ)云平臺(tái)。

系統(tǒng)基本功能和組成如下：

海量信息智能搜索與數(shù)據(jù)挖掘技術(shù)

能夠支撐DeepWeb深度挖掘、自然語(yǔ)言處理、圖形圖像處理與理解和大

規(guī)模知識(shí)庫(kù)自動(dòng)構(gòu)建等需要復(fù)雜信息處理

基于云計(jì)算的新型移動(dòng)服務(wù)

基于云計(jì)算的移動(dòng)圖像搜索與挖掘系統(tǒng)和基于云計(jì)算的移動(dòng)位置地理信息

服務(wù)系統(tǒng),為移動(dòng)互聯(lián)網(wǎng)用戶提供新穎的拍照購(gòu)物搜索服務(wù)和基于位置的地理信

息服務(wù)

基于智能生成模型的云計(jì)算信息技術(shù)支撐服務(wù)

建立動(dòng)態(tài)工作流的智能生成模型，該模型能依據(jù)業(yè)務(wù)類型智能生成動(dòng)態(tài)工作

流，并能依據(jù)過程信息反饋調(diào)整生成類型

基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)平臺(tái)

搭建高度可靠、可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存取訪問，

用于海量的教學(xué)信息資源的存儲(chǔ)和共享，并為上層云計(jì)算數(shù)據(jù)處理和應(yīng)用服務(wù)提

供基礎(chǔ)的數(shù)據(jù)存儲(chǔ)平臺(tái)

企業(yè)虛擬化服、網(wǎng)站托管

為企業(yè)提供資源虛擬化、資源共享等服務(wù)，最大利用硬件資源，節(jié)約成本的

同時(shí)，降低企業(yè)對(duì)資源的管理難度

1.3系統(tǒng)建設(shè)的主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原則

設(shè)計(jì)思想：在充分研究移動(dòng)互聯(lián)網(wǎng)、云計(jì)算理論的基礎(chǔ)上，研究基于云計(jì)算

的移動(dòng)互聯(lián)網(wǎng)應(yīng)用服務(wù)，通過云計(jì)算提供的高性能計(jì)算和海量數(shù)據(jù)存儲(chǔ)能力，突

破移動(dòng)終端在計(jì)算能力和存儲(chǔ)空間上的限制、擴(kuò)展移動(dòng)應(yīng)用軟件的類型、提高移

動(dòng)軟件的服務(wù)質(zhì)量和降低服務(wù)成本。

設(shè)計(jì)目標(biāo)：采用云計(jì)算、物聯(lián)網(wǎng)和信息網(wǎng)格技術(shù)，構(gòu)建一個(gè)綠色環(huán)保、安全、

穩(wěn)定、可靠的云基礎(chǔ)平臺(tái)；基于云計(jì)算技術(shù)實(shí)現(xiàn)DeepWeb、自然語(yǔ)言處理、

圖形圖像處理與理解和大規(guī)模知識(shí)庫(kù)自動(dòng)構(gòu)建等海量信息的高效處理;建立基于

云計(jì)算的企業(yè)信息化應(yīng)用軟件模式，開發(fā)出涵蓋企業(yè)產(chǎn)品全生命周期的集成應(yīng)用

支撐軟件系統(tǒng)和中小企業(yè)智能信息服務(wù)平臺(tái);建立基于云計(jì)算的移動(dòng)互聯(lián)網(wǎng)軟件

服務(wù)的應(yīng)用模式，實(shí)現(xiàn)基于云計(jì)算的移動(dòng)圖像搜索與挖掘系統(tǒng)和基于云計(jì)算的移

動(dòng)位置地理信息服務(wù)系統(tǒng)。

設(shè)計(jì)原則：

(1)技術(shù)領(lǐng)先，性能優(yōu)異

系統(tǒng)將采用國(guó)際先進(jìn)的云存儲(chǔ)和云計(jì)算技術(shù)，并在此基礎(chǔ)上提供高效的查詢

和分析處理、資源虛擬化服務(wù)、網(wǎng)站托管等功能。

(2)數(shù)據(jù)安全可靠

系統(tǒng)將采用多種容錯(cuò)技術(shù)保證存儲(chǔ)的數(shù)據(jù)安全和故障的自動(dòng)恢復(fù)。

1.4系統(tǒng)的主要技術(shù)特點(diǎn)

海量數(shù)據(jù)存儲(chǔ)及處理：基于先進(jìn)的海量數(shù)據(jù)云存儲(chǔ)技術(shù)構(gòu)建一個(gè)高度可靠、

可在線彈性伸縮、能夠支持高并發(fā)大吞吐量的快速存取訪問的云存儲(chǔ)系統(tǒng)平臺(tái)，

用于海量的教學(xué)信息資源的存儲(chǔ)和共享，并為上層云計(jì)算數(shù)據(jù)處理和應(yīng)用服務(wù)提

供基礎(chǔ)的數(shù)據(jù)存儲(chǔ)平臺(tái)

高效處理能力和實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)

完成數(shù)據(jù)入庫(kù)、分析和管理工作。海量數(shù)據(jù)入庫(kù)不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分

析和查詢工作基本都在秒級(jí)完成，具有前所未有的高效性。

高可靠性：基于對(duì)云計(jì)算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計(jì)

算平臺(tái)易出現(xiàn)的單點(diǎn)故障問題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且

不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。

可伸縮性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少

節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與云計(jì)算平臺(tái)的無(wú)縫對(duì)接，根

據(jù)計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。

高性價(jià)比：采用X86架構(gòu)廉價(jià)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)，用軟件容錯(cuò)替代硬

件容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用

數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本。

全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫(kù)模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)

并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)中，可支撐各

種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)

智能分析業(yè)務(wù)。

1.5系統(tǒng)總體構(gòu)架

構(gòu)建一個(gè)綠色環(huán)保、安全、穩(wěn)定、可靠的云基礎(chǔ)平臺(tái)；基于云計(jì)算技術(shù)實(shí)現(xiàn)

DeepWeb、自然語(yǔ)言處理、圖形圖像處理與理解和大規(guī)模知識(shí)庫(kù)自動(dòng)構(gòu)建等海

量信息的高效處理；建立基于云計(jì)算的企業(yè)信息化應(yīng)用軟件模式，開發(fā)出涵蓋企

業(yè)產(chǎn)品全生命周期的集成應(yīng)用支撐軟件系統(tǒng)和中小企業(yè)智能信息服務(wù)平臺(tái)；建立

基于云計(jì)算的移動(dòng)互聯(lián)網(wǎng)軟件服務(wù)的應(yīng)用模式，實(shí)現(xiàn)基于云計(jì)算的移動(dòng)圖像搜索

與挖掘系統(tǒng)和基于云計(jì)算的移動(dòng)位置地理信息服務(wù)系統(tǒng);

應(yīng)

構(gòu)建

自動(dòng)

識(shí)庫(kù)

模知

大規(guī)

解

與理

處理

圖像

圖形

處理

語(yǔ)言

自然

挖掘

深度

Web

用Deep

層

統(tǒng)

掘系

與挖

搜索

圖像

移動(dòng)

務(wù)

息服

理信

的地

位置

基于

務(wù)

化服

虛擬

資源

服務(wù)

搜索

購(gòu)物

拍照

虛

擬

化

ce

Glan

Swift

Nova

管KVM

□

stack

理open

術(shù)

理技

行處

式并

分布

技術(shù)

處理

定性

不確

技術(shù)

挖掘

數(shù)據(jù)

技術(shù)

搜索

云智能

處

理

平

臺(tái)

再胤

勵(lì)楊

立方

數(shù)據(jù)

云

存

儲(chǔ)

儲(chǔ)系統(tǒng)

r云存

系cSto

統(tǒng)

圖

示息

系統(tǒng)

圖表1

海量

，提供

系統(tǒng)

存儲(chǔ)

的云

價(jià)比

高性

搭建

器上

服務(wù)

通x86

：在普

統(tǒng)層

儲(chǔ)系

云存

量的

吞吐

發(fā)大

高并

支持

能夠

縮、

性伸

線彈

可在

靠、

度可

有高

力，具