數(shù)據(jù)庫(kù)投資商和企業(yè)數(shù)據(jù)采集處理項(xiàng)目技術(shù)方案

1、 XXX大數(shù)據(jù)庫(kù)中心數(shù)據(jù)庫(kù)投資商和企業(yè)數(shù)據(jù)采集處理項(xiàng)目-技術(shù)方案 xxx大大數(shù)據(jù)庫(kù)庫(kù)中心數(shù)數(shù)據(jù)庫(kù)投資商和和企業(yè)數(shù)數(shù)據(jù)采集集處理項(xiàng)項(xiàng)目項(xiàng)目編號(hào)號(hào)：I55300000000000617700112066技術(shù)方案案xxx有有限公司司 二一七七年六月目 錄TOC o 1-3 h z u HYPERLINK l _Toc485473263 1 引言言 PAGEREF _Toc485473263 h 3 HYPERLINK l _Toc485473264 1.1 項(xiàng)目背背景 PAGEREF _Toc485473264 h 3 HYPERLINK l _Toc485473265 1.2 項(xiàng)目目目標(biāo) PAGE

2、REF _Toc485473265 h 3 HYPERLINK l _Toc485473266 1.3 建設(shè)原原則 PAGEREF _Toc485473266 h 3 HYPERLINK l _Toc485473267 1.4 參考規(guī)規(guī)范 PAGEREF _Toc485473267 h 4 HYPERLINK l _Toc448544732268 1.55 名詞解解釋 PAGEREF _Toc485473268 h 5 HYPERLINK l _Toc485473269 2 云數(shù)數(shù)據(jù)采集集中心 PAGEREF _Toc485473269 h 7 HYPERLINK l _Toc48547327

3、0 2.1 需求概概述 PAGEREF _Toc485473270 h 7 HYPERLINK l _Toc485473271 2.2 總體設(shè)設(shè)計(jì) PAGEREF _Toc485473271 h 7 HYPERLINK l _Toc485473272 2.3 核心技技術(shù)及功功能 PAGEREF _Toc485473272 h 10 HYPERLINK l _Toc485473273 3 大數(shù)數(shù)據(jù)計(jì)算算平臺(tái) PAGEREF _Toc485473273 h 34 HYPERLINK l _Toc485473274 3.1 需求求概述 PAGEREF _Toc485473274 h 34 HYPER

4、LINK l _Toc485473275 3.2 總體體設(shè)計(jì) PAGEREF _Toc485473275 h 34 HYPERLINK l _Toc485473276 3.3 數(shù)據(jù)據(jù)模型設(shè)設(shè)計(jì) PAGEREF _Toc485473276 h 35 HYPERLINK l _Toc485473277 4 數(shù)數(shù)據(jù)運(yùn)營(yíng)營(yíng) PAGEREF _Toc485473277 h 38 HYPERLINK l _Toc48544732278 4.11 數(shù)據(jù)據(jù)挖掘分分析 PAGEREF _Toc485473278 h 38 HYPERLINK l _Toc485473279 4.2 數(shù)據(jù)分分析處理理的主要要工作

5、PAGEREF _Toc485473279 h 38 HYPERLINK l _Toc485473280 4.3 數(shù)據(jù)分分析團(tuán)隊(duì)隊(duì)組織和和管理 PAGEREF _Toc485473280 h 39 HYPERLINK l _Toc485473281 5 安全全設(shè)計(jì) PAGEREF _Toc485473281 h 42 HYPERLINK l _Toc485473282 6 風(fēng)險(xiǎn)險(xiǎn)分析 PAGEREF _Toc485473282 h 46 HYPERLINK l _Toc485473283 7 部署署方案 PAGEREF _Toc485473283 h 47 HYPERLINK l _Toc48

6、5473284 8 實(shí)施施計(jì)劃 PAGEREF _Toc485473284 h 48 HYPERLINK l _Toc485473285 9 技術(shù)術(shù)規(guī)格偏偏離表 PAGEREF _Toc485473285 h 49 HYPERLINK l _Toc485473286 10 售售后服務(wù)務(wù)承諾 PAGEREF _Toc485473286 h 52 HYPERLINK l _Toc485473287 11 關(guān)關(guān)于運(yùn)行行維護(hù)的的承諾 PAGEREF _Toc485473287 h 55 HYPERLINK l _TToc448544732288 12 保密措措施及承承諾 PAGEREF _Toc485

7、473288 h 56 HYPERLINK l _Toc485473289 13 培培訓(xùn)計(jì)劃劃 PAGEREF _Toc485473289 h 581 引言言1.1 項(xiàng)目背背景XXX大大數(shù)據(jù)中中心建設(shè)設(shè)出發(fā)點(diǎn)點(diǎn)考慮從從投資者者角度涵涵蓋招商商全流程程，盡可可能為投投資者解解決項(xiàng)目目實(shí)施過過程中的的困難和和問題，便于招招商部門門準(zhǔn)確掌掌握全省省招商數(shù)數(shù)據(jù)，達(dá)達(dá)到全省省招商項(xiàng)項(xiàng)目數(shù)據(jù)據(jù)共享，形成全全省招商商工作“一盤棋棋、一張張網(wǎng)、一一體化”格局。大數(shù)據(jù)據(jù)中心將將充分發(fā)發(fā)揮大數(shù)數(shù)據(jù)優(yōu)勢(shì)勢(shì)，加強(qiáng)強(qiáng)對(duì)企業(yè)業(yè)投資項(xiàng)項(xiàng)目、投投資軌跡跡分析，評(píng)估出出其到XXX投資的的可行性性，為招招商過程程留下痕痕跡、找找

8、到規(guī)律律、明辨辨方向、提供“糧食”、提高高效率，實(shí)現(xiàn)數(shù)數(shù)據(jù)尋商商、數(shù)據(jù)據(jù)引商、數(shù)據(jù)助助商，實(shí)實(shí)現(xiàn)數(shù)據(jù)據(jù)資源實(shí)實(shí)時(shí)共享享、集中中管理、隨時(shí)查查詢，實(shí)實(shí)現(xiàn)項(xiàng)目目可統(tǒng)計(jì)計(jì)、可監(jiān)監(jiān)管、可可協(xié)調(diào)、可管理理、可配配對(duì)、可可跟蹤、可考核核。本次數(shù)據(jù)據(jù)運(yùn)營(yíng)服服務(wù)主要要是為大大數(shù)據(jù)平平臺(tái)制定定數(shù)據(jù)運(yùn)運(yùn)營(yíng)規(guī)范范及管理理辦法 ，同時(shí)時(shí)為“企業(yè)數(shù)數(shù)據(jù)庫(kù)”提供數(shù)數(shù)據(jù)采集集、存儲(chǔ)儲(chǔ)與分析析服務(wù)，并根據(jù)據(jù)運(yùn)營(yíng)規(guī)規(guī)范要求求持續(xù)開開展數(shù)據(jù)據(jù)運(yùn)營(yíng)服服務(wù)。1.2 項(xiàng)目目目標(biāo)制定招招商大數(shù)數(shù)據(jù)運(yùn)營(yíng)營(yíng)規(guī)范及及管理辦辦法。制定招招商大數(shù)數(shù)據(jù)相關(guān)關(guān)元數(shù)據(jù)據(jù)標(biāo)準(zhǔn)，完成相相關(guān)數(shù)據(jù)據(jù)的采集集、整理理與存儲(chǔ)儲(chǔ)。根據(jù)業(yè)業(yè)務(wù)需求求，研發(fā)發(fā)招商大大數(shù)據(jù)

9、招招商業(yè)務(wù)務(wù)分析模模型，并并投入應(yīng)應(yīng)用。根據(jù)運(yùn)運(yùn)營(yíng)規(guī)范范及管理理辦法的的要求持持續(xù)開展展數(shù)據(jù)運(yùn)運(yùn)營(yíng)工作作。1.3 建設(shè)原原則基于本項(xiàng)項(xiàng)目的建建設(shè)要求求，本項(xiàng)項(xiàng)目將遵遵循以下下建設(shè)原原則：前瞻性性和高標(biāo)標(biāo)準(zhǔn) 整整個(gè)項(xiàng)目目要按照照企業(yè)對(duì)對(duì)大數(shù)據(jù)據(jù)應(yīng)用的的需要的的高要求求和高標(biāo)標(biāo)準(zhǔn)建設(shè)設(shè)，參考考行業(yè)標(biāo)標(biāo)桿應(yīng)用用，建立立滿足需需求，面面向未來來的目標(biāo)標(biāo)，整個(gè)個(gè)項(xiàng)目具具有一定定前瞻性性。經(jīng)濟(jì)性性和實(shí)用用性 整整個(gè)項(xiàng)目目以現(xiàn)有有需求為為基礎(chǔ)，充分考考慮未來來發(fā)展的的需要來來確定系系統(tǒng)的架架構(gòu)，既既要降低低系統(tǒng)的的初期投投入，又又能滿足足服務(wù)對(duì)對(duì)象的需需求，同同時(shí)系統(tǒng)統(tǒng)設(shè)計(jì)應(yīng)應(yīng)充分考考慮對(duì)已已有投資資的保護(hù)

10、護(hù)，對(duì)已已建立的的數(shù)據(jù)中中心、基基礎(chǔ)平臺(tái)臺(tái)、應(yīng)用用軟件應(yīng)應(yīng)提供完完備的整整合方案案。先進(jìn)性性和成熟熟性 為為了確保保項(xiàng)目具具有較長(zhǎng)長(zhǎng)的生命命周期，應(yīng)充分分考慮到到管理創(chuàng)創(chuàng)新、技技術(shù)發(fā)展展需要，按照先先進(jìn)的建建設(shè)理念念，選擇擇先進(jìn)的的技術(shù)架架構(gòu)和成成熟技術(shù)術(shù)，滿足足業(yè)務(wù)需需求。高性能能和安全全性 規(guī)規(guī)范地進(jìn)進(jìn)行系統(tǒng)統(tǒng)建設(shè)和和開發(fā)，提供合合理且經(jīng)經(jīng)濟(jì)有效效的應(yīng)急急方案，確保系系 統(tǒng)的穩(wěn)穩(wěn)定，向向各類服服務(wù)對(duì)象象提供可可靠的服服務(wù)。具具有安全全性，在在系統(tǒng)遭遭到攻擊擊或崩潰潰時(shí)能快快速恢復(fù)復(fù)，確保保重要數(shù)數(shù)據(jù)的機(jī)機(jī)密性和和完整性性。1.4 參考規(guī)規(guī)范GB/T 202269-20006 信息安安全技術(shù)

11、術(shù)信息息系統(tǒng)安安全管理理要求GB/T 209984-20007 信息安安全技術(shù)術(shù)信息息安全風(fēng)風(fēng)險(xiǎn)評(píng)估估規(guī)范GB/T 222239-20008 信息安安全技術(shù)術(shù)信息息系統(tǒng)安安全等級(jí)級(jí)保護(hù)基基本要求求GB/T 222240-20008 信息安安全技術(shù)術(shù)信息息系統(tǒng)安安全等級(jí)級(jí)保護(hù)定定級(jí)指南南GA/T 3888-20002BB 計(jì)算機(jī)機(jī)信息系系統(tǒng)安全全等級(jí)保保護(hù)管理理要求GB/T 85667 -19988 計(jì)算機(jī)機(jī)軟件產(chǎn)產(chǎn)品開發(fā)發(fā)文件編編制指GB/T 114457-19995 軟件工工程術(shù)語語GB/T 114457-20006 信息技技術(shù) 軟件工工程術(shù)語語GB/T 162260.1-220066 軟件

12、工工程 產(chǎn)品質(zhì)質(zhì)量 第 1 部分:質(zhì)量模模型GB/T 162260.2-220066 軟件工工程 產(chǎn)品質(zhì)質(zhì)量 第 2 部分:外部度度量GB/T 162260.3-220066 軟件工工程 產(chǎn)品質(zhì)質(zhì)量 第 3 部分:內(nèi)部度度量GB/T 162260.4-220066 軟件工工程 產(chǎn)品質(zhì)質(zhì)量 第 4 部分:使用質(zhì)質(zhì)量的度度量GB/T 143394-20008 計(jì)算機(jī)機(jī)軟件可可靠性和和可維護(hù)護(hù)性管理理GB/T 175544-19998 信息技技術(shù) 軟件包包 質(zhì)量要要求和測(cè)測(cè)試1.5 名詞解解釋S2DFFS：簡(jiǎn)單存存儲(chǔ)分布布式文件件系統(tǒng)（Simple Storage Distributedd File

13、 System）D2B:分布式式數(shù)據(jù)庫(kù)庫(kù)（Diistrribuutedd Daatabbasee）JSS：作業(yè)調(diào)調(diào)度服務(wù)務(wù)（Joob Schheduulerr Serrvicce）DCS：數(shù)據(jù)計(jì)計(jì)算服務(wù)務(wù)（Daata Commputter Serrvicce）MPS：消息處處理服務(wù)務(wù)（Meessaage Proocesss Serrvicce）SDS：流數(shù)據(jù)據(jù)處理服服務(wù)（SStreeam Datta Serrvicce）DMQ：分布式式消息隊(duì)隊(duì)列（DDisttribbuteed MMesssagee Quueuee）JGS：作業(yè)生生成服務(wù)務(wù)（Joob Genneraatioon Serrvic

14、ce）ACS：自動(dòng)清清理服務(wù)務(wù)進(jìn)程（Auttomaaticc Cleeaniing Serrvicces）HTTPP：超文文本傳輸輸協(xié)定（HypperTTextt Trranssferr Prootoccol）SMB：服務(wù)器器信息塊塊協(xié)議（Serrverr Messsagge Bloock）2 云數(shù)數(shù)據(jù)采集集中心2.1 需求概概述根據(jù)規(guī)劃劃，云數(shù)數(shù)據(jù)采集集中心的的建立至至少滿足足 1 至 2 年內(nèi)的的 數(shù)據(jù)存存儲(chǔ)和計(jì)計(jì)算規(guī)模模，需要要滿足： 數(shù)據(jù)采采集范圍圍包括但但不限于于世界5500強(qiáng)強(qiáng)、全國(guó)國(guó)5000強(qiáng)、行行業(yè)200強(qiáng)企業(yè)業(yè)相關(guān)數(shù)數(shù)據(jù)。 總數(shù)據(jù)據(jù)容量至至少達(dá)到到30T。2.2 總體設(shè)設(shè)計(jì)整

15、個(gè)云數(shù)數(shù)據(jù)采集集中心分分為三部分：硬件資資源層、軟件平平臺(tái)層、軟件應(yīng)應(yīng)用層。硬件資源源層主要要指實(shí)體體硬件設(shè)備，包括用用來存儲(chǔ)儲(chǔ)數(shù)據(jù)的的光纖陣陣列柜和和存儲(chǔ)服服 務(wù)器器，用來作作統(tǒng)計(jì)、分析以以及搜索索用的計(jì)算服服務(wù)器，用來部部署分布布式消息息（DMQ）/WEEB/AAPP 軟件的的 WEBB 及消息息服務(wù)器器，用來來部署用用 PosstgrreSQQL 關(guān)系數(shù)數(shù)據(jù)庫(kù)軟軟件的應(yīng)應(yīng)用數(shù)據(jù)據(jù)庫(kù)服務(wù)務(wù)器，用來部部署作業(yè)業(yè)調(diào)度服服務(wù)進(jìn)程程（JSS）的作業(yè)業(yè)調(diào)度服服務(wù)器。 作為為數(shù)據(jù)通通信用的的全千兆兆三層交交換機(jī)等等等。其中光光纖陣列列柜主要要用來存存儲(chǔ)統(tǒng)計(jì)計(jì)分 析析后的粗粗顆粒度度數(shù)據(jù)。存儲(chǔ)服服務(wù)器用

16、用來部署署分布式式文件系系統(tǒng)和分分布式數(shù)數(shù)據(jù)庫(kù)，同 時(shí)存儲(chǔ)非非結(jié)構(gòu)化化和結(jié)構(gòu)構(gòu)化（臺(tái)標(biāo)標(biāo)圖片，電商圖圖片等等等）和結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)（行為為數(shù)據(jù)， 索引引數(shù)據(jù)，log 數(shù)據(jù)，清理后后的細(xì)顆顆粒度數(shù)數(shù)據(jù)等等等）。計(jì)算服服務(wù)器主主要用來來完成數(shù)數(shù) 據(jù)的的清理、統(tǒng)計(jì)、搜索等等計(jì)算任任務(wù)。為為了節(jié)省省成本和和減少通通信代價(jià)價(jià)，建議議存儲(chǔ)服服務(wù)器和和計(jì)算服服務(wù)器合合二為一一，所以該該服務(wù)器器同時(shí)具具有計(jì)算算和存儲(chǔ)儲(chǔ)數(shù)據(jù)的的功能，前 期也也可以考考慮把作作業(yè)調(diào)度度服務(wù)進(jìn)進(jìn)程（JJSS）進(jìn)程部部署在存存儲(chǔ)/計(jì)算服服務(wù)器上上。由于于 云數(shù)據(jù)據(jù)采集中中心需要面面對(duì)多種種寬帶用用戶（電電信、移移動(dòng)、聯(lián)聯(lián)通），所以以，

17、數(shù)據(jù)中心心 的對(duì)對(duì)外的網(wǎng)網(wǎng)絡(luò)需要要直連上上電信、移動(dòng)、聯(lián)通三三家公司司的網(wǎng)絡(luò)絡(luò)，保證以上三三家公司司間的通通信性能能高速和和可靠。軟件平臺(tái)臺(tái)層是云云數(shù)據(jù)采采集中心心的核心心支撐層層，也是是我們這這次方案案設(shè)計(jì)和和實(shí)施的的主體部部分，在在核心技技術(shù)章節(jié)節(jié)會(huì)對(duì)“分布式式文件系系統(tǒng)（SS2DFFS）”、“分分布式數(shù)數(shù) 據(jù)庫(kù)庫(kù)（D22B）”、“分分布式消消息服務(wù)務(wù)（DMMQ）”“作業(yè)業(yè)調(diào)度服服務(wù)進(jìn)程程（JSSS）、數(shù) 據(jù)據(jù)計(jì)算服服務(wù)進(jìn)程程（DCCS）”主要部部分加以以詳細(xì)的的描述。軟件平臺(tái)臺(tái)層的所所有服務(wù)務(wù)器都統(tǒng)統(tǒng)一部署署的 664 位位操作系系統(tǒng) CCenttOS 6.55（也可可以選擇擇 RHHE

18、L 6.55 x664）；其核心心軟 件件或者進(jìn)進(jìn)程有：分布式式文件系系統(tǒng)（SS2DFFS）、分布式式數(shù)據(jù)庫(kù)庫(kù)（D22B）、作業(yè)調(diào)調(diào)度服 務(wù)進(jìn)程程（JSSS）、數(shù)據(jù)計(jì)計(jì)算服務(wù)務(wù)進(jìn)程（DCSS）、作作業(yè)生成成服務(wù)進(jìn)進(jìn)程（JJGS）、消息息處 理理服務(wù)進(jìn)進(jìn)程（MMPS）、流數(shù)數(shù)據(jù)處理理進(jìn)程（SDSS）等等等。WEEB 及及應(yīng)用服服務(wù)器軟軟件 AApacche&Tommcatt，消息息隊(duì)列軟軟件分布布式消息息（DMMQ）。還要實(shí)實(shí)現(xiàn)整個(gè)個(gè)云數(shù)據(jù)據(jù)采集 中心的的資源管管理及監(jiān)監(jiān)控管理理系統(tǒng)。軟件應(yīng)用用層是云云數(shù)據(jù)采采集中心心的功能能實(shí)現(xiàn)及及 UI 表達(dá)層層，功能能實(shí)現(xiàn)需需要基于于 軟件平平臺(tái)層的的支撐

19、，后期設(shè)設(shè)計(jì)和實(shí)實(shí)施的主主體。該層的的主要功功能應(yīng)用有有：數(shù)據(jù)采采集應(yīng)用用、數(shù)據(jù)據(jù)統(tǒng)計(jì)應(yīng)應(yīng)用、云云數(shù)據(jù)采采集中心心的資源源監(jiān)控及及調(diào)度。通過公共共數(shù)據(jù)網(wǎng)網(wǎng)（電信信、聯(lián)通通、移動(dòng)動(dòng)）和 HTTTP 協(xié)議，把采集集的海量量文本、圖片數(shù)數(shù)據(jù)以及及用戶行為數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)在云數(shù)據(jù)據(jù)采集中中心里，以供后后期分析析計(jì)算用用。 云數(shù)據(jù)采采集中心心整體架架構(gòu)圖云數(shù)據(jù)采采集中心心網(wǎng)絡(luò)結(jié)結(jié)構(gòu)圖2.3 核心技技術(shù)及功功能2.3.1 分布式式文件存存儲(chǔ)技術(shù)術(shù)（1） 傳統(tǒng)存存儲(chǔ)技術(shù)術(shù)面臨的的問題：構(gòu)建成成本高：大容量量及高網(wǎng)網(wǎng)絡(luò)帶寬寬的高端端存儲(chǔ)系系統(tǒng)架構(gòu)構(gòu)昂貴。文件系系統(tǒng)功能能和性能能差強(qiáng)人人意：難難以實(shí)現(xiàn)現(xiàn)全局命命名空

20、間間的文件件共享、 文件件系統(tǒng)難難以擴(kuò)展展，容易易形成瓶瓶頸。擴(kuò)展性性困難：技術(shù)存存在瓶頸頸（Scale-up 架構(gòu)決決定的）、擴(kuò)展展成本無法法 控制制?？捎眯孕詥栴}：潛在的的單點(diǎn)故故障,數(shù)據(jù)恢恢復(fù)困難難，代價(jià)價(jià)高。應(yīng)用目目標(biāo)差異異：主要要面臨運(yùn)運(yùn)營(yíng)商、金融行行業(yè)的 OLTTP 應(yīng)用、很少針針 對(duì)海量量的流數(shù)數(shù)據(jù)，或或者非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)進(jìn)行行設(shè)計(jì)和和優(yōu)化。異構(gòu)設(shè)設(shè)備繁雜雜：不同同時(shí)期、不同公公司、不不同操作作系統(tǒng)的的異構(gòu)設(shè)設(shè)備紛 繁復(fù)雜雜，無法法整合，資源利利用率極極低。分布式文文件系統(tǒng)統(tǒng)主要為為解決以以上問題題而出現(xiàn)現(xiàn)的一種種新型大大規(guī)模數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)技 術(shù)架構(gòu)構(gòu)。主要為為非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)（視

21、頻頻/文件/文檔/圖像/音頻等等非結(jié)構(gòu)構(gòu)化數(shù)據(jù)）提 供供海量的的存儲(chǔ)平平臺(tái)，以以集群的的方式提提供線性性橫向擴(kuò)擴(kuò)展能力力。分布式文文件系統(tǒng)統(tǒng)是一種種構(gòu)建于于通用 x86 部件之之上的高高可用、高可靠靠、高可擴(kuò)擴(kuò) 展的的新型分分布式文文件系統(tǒng)統(tǒng)。應(yīng)用分分布式文文件系統(tǒng)統(tǒng)，用戶可可以采用用廉價(jià)可可靠的通通用 服服務(wù)器、SATTA/SSAS 硬盤以以及以太太網(wǎng)絡(luò)來來構(gòu)建媲媲美企業(yè)業(yè)級(jí)存儲(chǔ)儲(chǔ)產(chǎn)品的的存儲(chǔ)系系統(tǒng)。（2） 分布式式文件系系統(tǒng)應(yīng)對(duì)對(duì)的數(shù)據(jù)據(jù)特性和和訪問特特性：數(shù)據(jù)量量巨大，數(shù)百 TB 或 PB 級(jí)，增增長(zhǎng)迅速速；類型多多樣化，包括圖圖像、文文本、語語音、視視頻等文文件數(shù)據(jù)據(jù)；按時(shí)間間有序生生

22、成，數(shù)數(shù)據(jù)均帶帶有時(shí)間間標(biāo)志 ；前端數(shù)據(jù)據(jù)寫入速速度很高高，每秒秒鐘寫入入數(shù)據(jù)可可達(dá)幾萬萬甚至幾幾十萬條條記 錄或者者上 GB 量數(shù)據(jù)據(jù) ；更新操作作極少：追加方方式寫入入，一旦旦寫入，幾乎沒沒有數(shù)據(jù)據(jù)修改，查 詢涉及及大量的的磁盤讀讀操作，查詢處處理產(chǎn)生生大量的的臨時(shí)結(jié)結(jié)果，不不同類 型的數(shù)數(shù)據(jù)存在在聯(lián)合分分析查詢?cè)?；分布式文文件系統(tǒng)統(tǒng)的基本本原理是是采用集集群方式式來整合合物理上上獨(dú)立的的多個(gè)存存儲(chǔ) 資源，以軟件件方式提提供單一一的名字字空間；采用多多副本的的方式保保證數(shù)據(jù)據(jù)的高可可用性， 任意意單一節(jié)節(jié)點(diǎn)失效效均不會(huì)會(huì)導(dǎo)致數(shù)數(shù)據(jù)丟失失和數(shù)據(jù)據(jù)服務(wù)的的正常運(yùn)運(yùn)行；同時(shí)，分布式式文 件件系統(tǒng)

23、通通過良好好設(shè)計(jì)的的系統(tǒng)結(jié)結(jié)構(gòu)和數(shù)數(shù)據(jù)分布布策略，可保證證系統(tǒng)性性能的高高可擴(kuò)展展性， 并支持持存儲(chǔ)容容量/性能的的在線擴(kuò)擴(kuò)展。相比較于于 DAS（直連連存儲(chǔ)）、SAN（存儲(chǔ)儲(chǔ)區(qū)域網(wǎng)網(wǎng)絡(luò)）和和 NAS（網(wǎng)絡(luò)絡(luò)存儲(chǔ)）， 應(yīng)應(yīng)用分布布式文件件系統(tǒng)構(gòu)構(gòu)建的網(wǎng)網(wǎng)絡(luò)存儲(chǔ)儲(chǔ)系統(tǒng)更更像是一一個(gè) NAS，提供類類似于傳傳統(tǒng) NAS 的文文件級(jí)訪訪問接口口（SAN 和 DAS 都是塊塊設(shè)備級(jí)級(jí)別的訪訪問接口口）。（3） 分布式式文件系系統(tǒng)與傳傳統(tǒng) NNAS/SANN 設(shè)備的的比較：比較項(xiàng)高端 NNASFC-SSAN分布式文文件系統(tǒng)統(tǒng)性能一般雙端端口，性性能受機(jī)機(jī)頭影響，難難以擴(kuò)展展，出口口帶 寬是瓶瓶頸一般雙端

24、端口，性性能受機(jī)頭影響響，難以擴(kuò)擴(kuò)展， IOPPS 較好性能隨節(jié)節(jié)點(diǎn)數(shù)的的增加成成線性增長(zhǎng)擴(kuò)展能力力性能及容容量無法法擴(kuò)展，或者有限擴(kuò)擴(kuò)展能較好擴(kuò)擴(kuò)展，但但成本高昂性能及容容量按需需擴(kuò)展，動(dòng)態(tài)均衡可用性RAIDD 方式保保護(hù)， 雙機(jī)保保護(hù)，停機(jī)機(jī) RAID Rebuid，耗 時(shí)RAIDD 方式保保護(hù)，雙機(jī)保 護(hù) ， 停 機(jī) RAIID Rebbuidd，耗時(shí)時(shí)基于靈活活的多副副本機(jī)制制，自動(dòng)檢測(cè)測(cè)，自動(dòng)故故障恢復(fù)復(fù)， 無無需停機(jī)機(jī)數(shù)據(jù)管理理企業(yè)級(jí)功功能需要要單獨(dú)購(gòu)購(gòu)買企業(yè)級(jí)功功能需要要單獨(dú)購(gòu)買（還還需要單單獨(dú)的文件系統(tǒng)統(tǒng)，100 多萬一一套）內(nèi)嵌多種種企業(yè)級(jí)級(jí)應(yīng)用：快照、鏡像像、回收收站成本專

25、有的硬硬件平臺(tái)臺(tái)，軟件件擁有成本高高，擴(kuò)展展成本高高專有的硬硬件平臺(tái)臺(tái)，軟件擁有成成本高，擴(kuò)展 成本高高開發(fā)通用用的硬件件平臺(tái)，一體化的軟軟件，成成本低，擴(kuò) 展成本本低可維護(hù)性性專門的技技術(shù)支持持服務(wù)，需要培訓(xùn)結(jié)構(gòu)異常常復(fù)雜，需要大量培訓(xùn)訓(xùn)，廠商商服務(wù) 昂貴內(nèi)嵌多種種自動(dòng)化化的故障障檢測(cè)和恢復(fù)復(fù)功能，國(guó)內(nèi)開開發(fā)， 技術(shù)支支持快速速用戶使用用分布式式文件系系統(tǒng)如同同使用本本地文件件系統(tǒng)。所不同同的是，傳統(tǒng) NASS 通常以以單一節(jié)節(jié)點(diǎn)的方方式實(shí)現(xiàn)現(xiàn)，容量和和性能的的擴(kuò)展能能力有限限，易于成成為性能能瓶頸和和 單一一故障點(diǎn)點(diǎn)。而分布布式文件件系統(tǒng)則則有多個(gè)個(gè)節(jié)點(diǎn)集集合地提提供服務(wù)務(wù)，由于其其結(jié)構(gòu)特

26、特征， 分布式式文件系系統(tǒng)的性性能和容容量均可可在線線線性擴(kuò)展展，并且系系統(tǒng)內(nèi)不不存在單單一故障障點(diǎn)。 對(duì)比參參看下面面兩幅示示意圖：傳統(tǒng)存儲(chǔ)儲(chǔ)架構(gòu)圖圖分布式文文件系統(tǒng)統(tǒng)架構(gòu)圖圖分布式文文件系統(tǒng)統(tǒng)的設(shè)計(jì)計(jì)應(yīng)用特特別適合海海量非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)，大量客客戶端并并發(fā)的 I/O 密集型型應(yīng)用。目前，分布式式文件系系統(tǒng)已經(jīng)經(jīng)被應(yīng)用用于政府府、醫(yī)療療影像、 勘查數(shù)數(shù)據(jù)計(jì)算算、視頻頻服務(wù)以以及動(dòng)畫畫制作等等領(lǐng)域。這些領(lǐng)領(lǐng)域的數(shù)數(shù)據(jù)訪問問特征均均為： 數(shù)據(jù)量量巨大，I/OO 吞吐率率高，數(shù)數(shù)據(jù)增長(zhǎng)長(zhǎng)迅速以以及數(shù)據(jù)據(jù)可用性性要求高高。經(jīng)過過長(zhǎng)時(shí)間間 的實(shí)際際生產(chǎn)環(huán)環(huán)境使用用，分布布式文件件系統(tǒng)已已被證明明

27、是該類類型應(yīng)用用的有效效解決方方案。布式文件件系統(tǒng)的的服務(wù)器器端程序序運(yùn)行于于 Linux x64 系統(tǒng)之之上，支持多多種 Linux64 位發(fā)行行版，包包括 Reddhatt、CenntOSS 等。分分布式文文件系統(tǒng)統(tǒng)客戶端端則支持持 Linnux 和 Winndowws，同同時(shí)分布布式文件件系統(tǒng)還還可以通通過第三三方軟件件輸出 CIFFS 和 NFSS 接口， 可以兼兼容大多多數(shù)應(yīng)用用。（4） 分布式式文件系系統(tǒng)的核核心技術(shù)術(shù)及特征征：擴(kuò)展性和和高性能能：分布布式文件件系統(tǒng)利利用雙重重特性來來提供幾幾 TB 至數(shù) PB 的高擴(kuò)擴(kuò)展存儲(chǔ)儲(chǔ)解決方方案。Scale-Out 架構(gòu)允允許通過過簡(jiǎn)單地

28、地增加資資源 來來提高存存儲(chǔ)容量量和性能能，磁盤盤、計(jì)算算和 I/OO 資源都都可以獨(dú)獨(dú)立增加加， 支持 10GGbE 和 InffiniiBannd 等高速速網(wǎng)絡(luò)互互聯(lián)。分分布式文文件系統(tǒng)統(tǒng)彈性哈哈 希（Ellasttic Hassh）解解除了分分布式文文件系統(tǒng)統(tǒng)對(duì)元數(shù)數(shù)據(jù)服務(wù)務(wù)器的需需求， 消除了了單點(diǎn)故故障和性性能瓶頸頸，真正正實(shí)現(xiàn)了了并行化化數(shù)據(jù)訪訪問。高可用性性：分布布式文件件系統(tǒng)可可以對(duì)文文件進(jìn)行行自動(dòng)復(fù)復(fù)制，如如鏡像或或多 次復(fù)制制，從而而確保數(shù)數(shù)據(jù)總是是可以訪訪問，甚甚至是在在硬件故故障的情情況下 也能正正常訪問問。自我我修復(fù)功功能能夠夠把數(shù)據(jù)據(jù)恢復(fù)到到正確的的狀態(tài)，而且 修復(fù)

29、是是以增量量的方式式在后臺(tái)臺(tái)執(zhí)行，幾乎不不會(huì)產(chǎn)生生性能負(fù)負(fù)載。分分布式 文件系系統(tǒng)沒有有設(shè)計(jì)自自己的私私有數(shù)據(jù)據(jù)文件格格式，而而是采用用操作系系統(tǒng)中 主流標(biāo)標(biāo)準(zhǔn)的磁磁盤文件件系統(tǒng)（如 XFSS/EXXT4/ZFSS）來存存儲(chǔ)文件件，因此此 數(shù)據(jù)可可以使用用各種標(biāo)標(biāo)準(zhǔn)工具具進(jìn)行復(fù)復(fù)制和訪訪問。全局統(tǒng)一一命名空空間：全全局統(tǒng)一一命名空空間將磁磁盤和內(nèi)內(nèi)存資源源聚集成成一 個(gè)單一一的虛擬擬存儲(chǔ)池池，對(duì)上上層用戶戶和應(yīng)用用屏蔽了了底層的的物理硬硬件。 存儲(chǔ)資資源可以以根據(jù)需需要在虛虛擬存儲(chǔ)儲(chǔ)池中進(jìn)進(jìn)行彈性性擴(kuò)展，比如擴(kuò)擴(kuò)容或 收縮。當(dāng)存儲(chǔ)儲(chǔ)虛擬機(jī)機(jī)映像時(shí)時(shí)，存儲(chǔ)儲(chǔ)的虛擬擬映像文文件沒有有數(shù)量限限制，

30、成千虛虛擬機(jī)均均通過單單一掛載載點(diǎn)進(jìn)行行數(shù)據(jù)共共享。虛虛擬機(jī) I/OO 可在命命名 空間內(nèi)內(nèi)的所有有服務(wù)器器上自動(dòng)動(dòng)進(jìn)行負(fù)負(fù)載均衡衡，消除除了 SANN 環(huán)境中中經(jīng)常 發(fā)生的的訪問熱熱點(diǎn)和性性能瓶頸頸問題。彈性哈希希算法：分布式式文件系系統(tǒng)采用用彈性哈哈希算法法在存儲(chǔ)儲(chǔ)池中定定位 數(shù)據(jù)，而不是是采用集集中式或或分布式式元數(shù)據(jù)據(jù)服務(wù)器器索引。在其他他的 Scaale-Outt 存儲(chǔ)系系統(tǒng)中，元數(shù)據(jù)據(jù)服務(wù)器器通常會(huì)會(huì)導(dǎo)致 I/OO 性能瓶瓶頸和單單 點(diǎn)故障障問題。分布式式文件系系統(tǒng)中，所有在在 Scaale-Outt 存儲(chǔ)配配置中的的存 儲(chǔ)系統(tǒng)統(tǒng)都可以以智能地地定位任任意數(shù)據(jù)據(jù)分片，不需要要查看索

31、索引或者者向其 他服務(wù)務(wù)器查詢?cè)?。這種種設(shè)計(jì)機(jī)機(jī)制完全全并行化化了數(shù)據(jù)據(jù)訪問，實(shí)現(xiàn)了了真正 的線性性性能擴(kuò)擴(kuò)展。彈性卷卷管理：數(shù)據(jù)儲(chǔ)儲(chǔ)存在邏邏輯卷中中，邏輯輯卷可以以從虛擬擬化的物物理存，不會(huì)導(dǎo)導(dǎo)致應(yīng)用用中斷。邏輯卷卷可以在在所有配配置服務(wù)務(wù)器中增增長(zhǎng)和縮縮減，可可以在不不同服務(wù)務(wù)器遷移移進(jìn)行容容量均衡衡，或者者增加和和移除系系統(tǒng)， 這些操操作都可可在線進(jìn)進(jìn)行。文文件系統(tǒng)統(tǒng)配置更更改也可可以實(shí)時(shí)時(shí)在線進(jìn)進(jìn)行并 應(yīng)用，從而可可以適應(yīng)應(yīng)工作負(fù)負(fù)載條件件變化或或在線性性能調(diào)優(yōu)優(yōu)。完全軟件件實(shí)現(xiàn)（Software Only）：分布布式文件件系統(tǒng)認(rèn)認(rèn)為存儲(chǔ)儲(chǔ)是軟件件問 題題，不能能夠把用用戶局限限于使用

32、用特定的的供應(yīng)商商或硬件件配置來來解決。分 布式文文件系統(tǒng)統(tǒng)采用開開放式設(shè)設(shè)計(jì)，廣廣泛支持持工業(yè)標(biāo)標(biāo)準(zhǔn)的存存儲(chǔ)、網(wǎng)網(wǎng)絡(luò)和 計(jì)算機(jī)機(jī)設(shè)備，而非與與定制化化的專用用硬件設(shè)設(shè)備捆綁綁。對(duì)于于商業(yè)客客戶， 分布式式文件系系統(tǒng)可以以以虛擬擬裝置的的形式交交付，也也可以與與虛擬機(jī)機(jī)容器 打包，或者是是公有云云中部署署的映像像。開源源社區(qū)中中，分布布式文件件系統(tǒng) 被大量量部署在在基于廉廉價(jià)閑置置硬件的的各種操操作系統(tǒng)統(tǒng)上，構(gòu)構(gòu)成集中中統(tǒng)一 的虛擬擬存儲(chǔ)資資源池。簡(jiǎn)而言言之，分分布式文文件系統(tǒng)統(tǒng)是開放放的全軟軟件實(shí) 現(xiàn)，完完全獨(dú)立立于硬件件和操作作系統(tǒng)。完整的存存儲(chǔ)操作作系統(tǒng)棧棧（Coomplletee St

33、ooragge Opeerattingg Sysstemm Staack：分 布式文文件系統(tǒng)統(tǒng)不僅提提供了一一個(gè)分布布式文件件系統(tǒng)，而且還還提供了了許多 其他重重要的分分布式功功能，比比如分布布式內(nèi)存存管理、I/OO 調(diào)度、軟 RAIID 和自我我修復(fù)等等。分布布式文件件系統(tǒng)汲汲取了微微內(nèi)核架架構(gòu)的經(jīng)經(jīng)驗(yàn)教訓(xùn)訓(xùn)，借 鑒了 GNUU/Huurd 操作系系統(tǒng)的設(shè)設(shè)計(jì)思想想，在用用戶空間間實(shí)現(xiàn)了了完整的的存 儲(chǔ)操作作系統(tǒng)棧棧。用戶空間間實(shí)現(xiàn)（User Space）：與傳統(tǒng)統(tǒng)的文件件系統(tǒng)不不同，分布式式文件系系 統(tǒng)在在用戶空空間實(shí)現(xiàn)現(xiàn)，這使使得其安安裝和升升級(jí)特別別簡(jiǎn)便。模塊化堆堆棧式架架構(gòu)（Modu

34、lar Stackable Architeccture）：分布式式文件系系統(tǒng) 采采用模塊塊化、堆堆棧式的的架構(gòu)，可通過過靈活的的配置支支持高度度定制化化的 應(yīng)用環(huán)環(huán)境，比比如大文文件存儲(chǔ)儲(chǔ)、海量量小文件件存儲(chǔ)、分布式式文件系系統(tǒng)、 多傳輸輸協(xié)議應(yīng)應(yīng)用等。每個(gè)功功能以模模塊形式式實(shí)現(xiàn)，然后以以積木方方式進(jìn) 行簡(jiǎn)單單的組合合，即可可實(shí)現(xiàn)復(fù)復(fù)雜的功功能。比比如，RRepllicaate 模塊可可實(shí)現(xiàn) RAIID1，Strripee 模塊可可實(shí)現(xiàn) RAIID0，通過兩兩者的組組合可實(shí)實(shí)現(xiàn) RAIID100 和 RAAID001，同同時(shí)獲得得高性能能和高可可靠性。原始數(shù)據(jù)據(jù)格式存存儲(chǔ)（Data Stor

35、edd in Native Formats）：分布式式文件系系統(tǒng) 以以原始數(shù)數(shù)據(jù)格式式（如 EXTT3、EXTT4、XFSS、ZFSS）儲(chǔ)存存數(shù)據(jù)，并實(shí)現(xiàn)現(xiàn) 多種數(shù)數(shù)據(jù)自動(dòng)動(dòng)修復(fù)機(jī)機(jī)制。因因此，系系統(tǒng)極具具彈性，即使離離線情形形下文 件也可可以通過過其他標(biāo)標(biāo)準(zhǔn)工具具進(jìn)行訪訪問。如如果用戶戶需要從從分布式式文件 系統(tǒng)中中遷移數(shù)數(shù)據(jù)，不不需要作作任何修修改仍然然可以完完全使用用這些數(shù)數(shù)據(jù)。無元數(shù)據(jù)據(jù)服務(wù)設(shè)設(shè)計(jì)（No Mettadata with the Elastic Hash Algorithm）：對(duì) Scaale-Outt 存儲(chǔ)系系統(tǒng)而言言，最大大的挑戰(zhàn)戰(zhàn)之一就就是記錄錄數(shù)據(jù)邏邏輯與物物理 位

36、置的的映像關(guān)關(guān)系，即即數(shù)據(jù)元元數(shù)據(jù)，可能還還包括諸諸如屬性性和訪問問權(quán)限 等信息息。傳統(tǒng)統(tǒng)分布式式存儲(chǔ)系系統(tǒng)使用用集中式式或分布布式元數(shù)數(shù)據(jù)服務(wù)務(wù)來維 護(hù)元數(shù)數(shù)據(jù)，集集中式元元數(shù)據(jù)服服務(wù)會(huì)導(dǎo)導(dǎo)致單點(diǎn)點(diǎn)故障和和性能瓶瓶頸問題題，而 分布式式元數(shù)據(jù)據(jù)服務(wù)存存在性能能負(fù)載和和元數(shù)據(jù)據(jù)同步一一致性問問題。特特別是 對(duì)于海海量小文文件的應(yīng)應(yīng)用，元元數(shù)據(jù)問問題是個(gè)個(gè)非常大大的挑戰(zhàn)戰(zhàn)。分布布式文 件系統(tǒng)統(tǒng)獨(dú)特地地采用無無元數(shù)據(jù)據(jù)服務(wù)的的設(shè)計(jì)，取而代代之使用用算法來來定位，服務(wù)器器都可以以智能地地對(duì)文件件數(shù)據(jù)分分片進(jìn)行行定位，僅僅根根據(jù)文件件名 和和路徑并并運(yùn)用算算法即可可，而不不需要查查詢索引引或者其其他服

37、務(wù)務(wù)器。這這使 得得數(shù)據(jù)訪訪問完全全并行化化，從而而實(shí)現(xiàn)真真正的線線性性能能擴(kuò)展。無元數(shù)數(shù)據(jù) 服服務(wù)器極極大提高高了分布布式文件件系統(tǒng)的的性能、可靠性性和穩(wěn)定定性?；跇?biāo)標(biāo)準(zhǔn)協(xié)議議：分布式式文件系系統(tǒng)存儲(chǔ)服服務(wù)支持持 NFS, CIFS, HTTTP, FTP 以及及分布式式文件系系統(tǒng)原生生協(xié)議，完全與與 POSSIX 標(biāo)準(zhǔn)兼兼容。（5） 分布式式文件系系統(tǒng)技術(shù)術(shù)及性能能指標(biāo)：支持設(shè)設(shè)備數(shù)量量：最大大百萬臺(tái)臺(tái)以上支持存存儲(chǔ)容量量：最大大 10224PBB 以上客戶端端的數(shù)量量：最大大支持上上億并發(fā)發(fā)網(wǎng)絡(luò)支持持：以太網(wǎng)網(wǎng)：1Gbps、10Gbps/INFINIBAND：10Gbps、40Gbps

38、文件副副本數(shù)量量：任意意(缺省 1 份)協(xié)議： NFSS/CIIFS/HTTTP/FFTP/WEBB DAVV，及原原生協(xié)議議,兼容 POSSIX 標(biāo)準(zhǔn)支持文文件數(shù)量量：最大大上億個(gè)個(gè)文件最大單單個(gè)文件件：166TB（6） S2DDFS 與 HDDFS 的比較較對(duì)比項(xiàng)HDFSS（GFS）S2DFFS架構(gòu)類型型帶元數(shù)據(jù)據(jù)庫(kù)中心心架構(gòu)(瓶頸及及故障易易發(fā)生點(diǎn)點(diǎn))全分布式式去中心心架構(gòu)存在方式式分布式文文件系統(tǒng)統(tǒng)軟件，基于 x866 平臺(tái)使用方式式CLI/RESST APIINATIIVE CLIIENTT/CIIFS/NFSS 標(biāo)準(zhǔn)協(xié)議（應(yīng)用代代碼與平平臺(tái)無關(guān)關(guān)性，便于移移植和維護(hù)護(hù)）系統(tǒng)可用用性

39、低高數(shù)據(jù)可用用性復(fù)制類 RAAID數(shù)據(jù)定位位方式INoddeHashh同步方式式異步同步負(fù)載均衡衡自動(dòng)自動(dòng)支持網(wǎng)絡(luò)絡(luò)千兆以太太網(wǎng)千兆/萬萬兆以太太網(wǎng)，IIB 網(wǎng)網(wǎng)絡(luò)寫：讀（萬萬兆/單流）約 1000MBB/s：1600MB/s約 8000MBB/s：10000MBB/s讀（1*20GGB）（萬兆）約 1225s約 255s寫（1*20GGB）（萬兆）約 2000s約 200s讀/寫（千兆）差距不大大2.3.2 分布式式并行計(jì)計(jì)算技術(shù)術(shù)（1） 概述 并行計(jì)算算技術(shù)真真正將傳傳統(tǒng)運(yùn)算算轉(zhuǎn)化為為并行運(yùn)運(yùn)算，從而更更加充分分的利用用廣泛部部署的普普通計(jì)算算資源實(shí)實(shí)現(xiàn)大規(guī)規(guī)模的運(yùn)運(yùn)算和應(yīng)應(yīng)用的目目的，在

40、此基基礎(chǔ)上為為第三方方開發(fā)者者 提供供通用平平臺(tái)，為為客戶提提供并行行服務(wù)。這里主主要為門門戶網(wǎng)站站提供作作業(yè)調(diào)度度平臺(tái)， 實(shí)現(xiàn)日日志分析析，性能能優(yōu)化，全文檢檢索，視視頻處理理，用為為分析等等等的支支撐平臺(tái)臺(tái)。用戶通過過統(tǒng)一計(jì)計(jì)算平臺(tái)臺(tái)把任務(wù)務(wù)分派給給系統(tǒng)內(nèi)內(nèi)的多個(gè)個(gè)節(jié)點(diǎn)，調(diào)度節(jié)節(jié)點(diǎn)資源源執(zhí)行 任務(wù)，發(fā)揮多多核并行行處理優(yōu)優(yōu)勢(shì)，提升運(yùn)運(yùn)算效率率，充分運(yùn)運(yùn)用網(wǎng)絡(luò)絡(luò)內(nèi)的計(jì)計(jì)算資源源達(dá)到 解決大大規(guī)模計(jì)計(jì)算問題題的目的的。（2） 分布式式并行計(jì)計(jì)算架構(gòu)構(gòu)圖分布式并并行計(jì)算算架構(gòu)圖圖（3） 作業(yè)調(diào)調(diào)度及計(jì)計(jì)算過程程（4） 分布式式并行計(jì)計(jì)算技術(shù)術(shù)特點(diǎn)池化資資源管理理 利用用池化技技術(shù)，任任何一臺(tái)臺(tái)聯(lián)

41、在互互聯(lián)網(wǎng)上上的普通通 PC 機(jī)從硬硬件到軟軟件，可可通過池池化技術(shù)術(shù)加入服服務(wù)器池池中，等等待任務(wù)務(wù)分配,系統(tǒng)能能充分利利用現(xiàn) 有服務(wù)務(wù)器資源源，將所所有運(yùn)算算子任務(wù)務(wù)分配給給節(jié)點(diǎn)服服務(wù)器，有效避避免計(jì) 算資源源閑置現(xiàn)現(xiàn)象的發(fā)發(fā)生。無中心心系統(tǒng)架架構(gòu) 在在平臺(tái)管管理下的的單節(jié)點(diǎn)點(diǎn)能力一一致，使使節(jié)點(diǎn)在在部署上上和使用用上具備備無 差別性性，任一一節(jié)點(diǎn)功功能可由由其他節(jié)節(jié)點(diǎn)替代代或強(qiáng)化化，可以以最大程程度確 保平臺(tái)臺(tái)資源使使用的靈靈活性以以及在災(zāi)災(zāi)備環(huán)境境下的可可靠性系系統(tǒng)架構(gòu)構(gòu)。通道式式工作機(jī)機(jī)制 平平臺(tái)為用用戶提供供一個(gè)并并行任務(wù)務(wù)處理通通道，處處理過程程對(duì)用戶戶來說完完全 透明，由平臺(tái)臺(tái)

42、自動(dòng)進(jìn)進(jìn)行負(fù)載載均衡、資源匹匹配、任任務(wù)傳輸輸?shù)?，使使用?專注于于自身任任務(wù)管理理，將執(zhí)執(zhí)行過程程交由平平臺(tái)完成成。2.3.3 分布式式數(shù)據(jù)庫(kù)庫(kù)技術(shù)D2B 是一個(gè) 具有高高性能的的 高性能能，可擴(kuò)擴(kuò)展，無無模式，面向文文檔(document-orientedd)的數(shù)數(shù)據(jù)庫(kù)，其內(nèi)存存儲(chǔ)的是是一種 JSON-liike 結(jié)構(gòu)化化數(shù)據(jù)的的分布式式 數(shù)據(jù)據(jù)庫(kù)軟件件，尤其具具有高擴(kuò)擴(kuò)展性和和高可靠靠性，支持大大表水平折折分，以及分分區(qū)鏡像像。 提提供內(nèi)存存緩存數(shù)數(shù)據(jù)，所所以數(shù)據(jù)據(jù)存取速速度非常?？欤髦饕怯捎捎谒幪幚韺懭肴氲姆绞绞剑?它們存存儲(chǔ)在內(nèi)內(nèi)存中，然后通通過后臺(tái)臺(tái)線程寫寫入磁盤盤。該軟件支

43、支持的數(shù)數(shù)據(jù)結(jié)構(gòu)構(gòu)非常松松散，是是類似 jsoon 的的 bjjsonn 格式，因此可可以存儲(chǔ)儲(chǔ) 比較復(fù)復(fù)雜的數(shù)數(shù)據(jù)類型型。D2B 另外的的最大的的特點(diǎn)是是他支持持的查詢?cè)冋Z言非非常強(qiáng)大大，其 語語法有點(diǎn)點(diǎn)類似于于面向?qū)?duì)象的查查詢語言言，幾乎可可以實(shí)現(xiàn)現(xiàn)類似關(guān)關(guān)系數(shù)據(jù)據(jù)庫(kù)單表表查詢的的 絕大大部分功功能，而而且還支支持對(duì)數(shù)數(shù)據(jù)建立立索引。它的特特點(diǎn)是高高性能、易部署署、易使使 用，存存儲(chǔ)數(shù)據(jù)據(jù)非常方方便。主要功能能特性：面向集集合存儲(chǔ)儲(chǔ)，易存存儲(chǔ)對(duì)象象類型的的數(shù)據(jù)“面向集集合”（Collenction-Orientedd），意思是是數(shù)據(jù)被被分組存存儲(chǔ)在數(shù)數(shù)據(jù)集 中，被稱為為一個(gè)集集合（Col

44、llenction)。每個(gè) 集合在在數(shù)據(jù)庫(kù)庫(kù)中都有有一個(gè)唯唯一 的的標(biāo)識(shí)名名，并且且可以包包含無限限數(shù)目的的文檔。集合的的概念類類似關(guān)系系型數(shù)據(jù)據(jù) 庫(kù)（RDBMS）里的表（table），不同同的是它它不需要要定義任任何模式式（schema)。模式自自由模式自由由（schema-freee)，意味著著對(duì)于存存儲(chǔ)在 D2B 數(shù)據(jù)庫(kù)庫(kù)中的文文件，我們 不需要要知道它它的任何何結(jié)構(gòu)定定義。如如果需要要的話，你完全全可以把把不同結(jié)結(jié)構(gòu) 的文件件存儲(chǔ)在在同一個(gè)個(gè)數(shù)據(jù)庫(kù)庫(kù)里。自動(dòng)分分片以支支持云級(jí)級(jí)別的伸伸縮性：自動(dòng)分分片功能能支持水水平的數(shù)數(shù)據(jù)庫(kù)集集群， 可動(dòng)態(tài)態(tài)添加額額外的機(jī)機(jī)器。支持動(dòng)動(dòng)態(tài)查詢?cè)冎С滞?/p>

45、完全索引引，包含含內(nèi)部對(duì)對(duì)象。自動(dòng)處處理碎片片，以支支持云計(jì)計(jì)算層次次的擴(kuò)展展性?？赏ㄟ^過網(wǎng)絡(luò)訪訪問 可用用于 Winndowws、Macc OS X、Linnux 和 Sollariis 的官方方二進(jìn)制制版本。 可用用于 C、CC#、CC+、Hasskelll、JJavaa、JJavaaScrriptt、Peerl、PHPP、Pyythoon、 Rubby 和和 Sccalaa 的的官方驅(qū)驅(qū)動(dòng)程序序，以及及廣泛可可用于其其他語言言的社區(qū)區(qū)支持 的驅(qū)動(dòng)動(dòng)程序。Add-hooc JJavaaScrriptt 查詢?cè)冏屇苣軌蚴褂糜没谌稳魏挝臋n檔屬性的的任何條條件來查查 找數(shù)據(jù)據(jù)。這些些查詢對(duì)對(duì)

46、應(yīng)于 SQLL 查詢?cè)兊墓δ苣?，?SQLL 開發(fā)發(fā)人員能能夠很 直觀地地編寫 D22B 查詢。支持查查詢中的的正則表表達(dá)式。 DD2B 查詢?cè)兘Y(jié)果存存儲(chǔ)在提提供過濾濾、聚合和和排序等等一系列列功能的的游標(biāo)中中，包 括括 liimitt()、skiip()、 ssortt()、couunt()、 disstinnct() 和和 grroupp()等等等高級(jí)級(jí)特性。 高級(jí)級(jí)聚合的的 mmap/redducee 實(shí)實(shí)現(xiàn)。 類類似于 RDDBMSS 的屬屬性索引引支持，可以直直接在文文檔的選選定屬性性上創(chuàng)建建索引。使用提提示、解解釋計(jì)劃劃和分析析的查詢?cè)儍?yōu)化特特性。類似于于 MMySQQL 的主/從

47、復(fù)制制，支持持復(fù)制和和故障恢恢復(fù)?；诩系膶?duì)對(duì)象存儲(chǔ)儲(chǔ)，在需需要規(guī)范范化數(shù)據(jù)據(jù)時(shí)允許許參考查查詢。通過自自動(dòng)分片片功能水水平擴(kuò)展展。高性能能無爭(zhēng)用用并發(fā)機(jī)機(jī)制的即即時(shí)更新新。D2B 服務(wù)端端可運(yùn)行行在 Linnux、Winndowws 或 OS X 平臺(tái)，支持 32 位和 64 位應(yīng) 用。推推薦運(yùn)行行在 64 位平臺(tái)臺(tái)，因?yàn)闉?D2BB 在 32 位模式式運(yùn)行時(shí)時(shí)支持的的最大文文件尺寸寸 為 2GGB。分布式數(shù)數(shù)據(jù)庫(kù)（D2BB） 集群示示例圖 D2BB 與關(guān)系型型數(shù)據(jù)庫(kù)庫(kù)的邏輯輯結(jié)構(gòu)對(duì)對(duì)比:D2B關(guān)系型數(shù)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)(dattabaase)數(shù)據(jù)庫(kù)(dattabaase)集合(ccollle

48、cttionn)表(taablee)文檔(ddocuumennt)行(roow)D2B 的性能能指標(biāo)：10 億億約 6000GBB 以上（與每條條記錄大大小有關(guān)關(guān)系，這這里的數(shù)據(jù)據(jù)：1KKb/條條）寫（1 億,無索引引）約 1550000-2000000 條/s寫（1 億,有索引引）約 1000000 條/s寫（1 億：Reepliica Setts + Shaardiing 模式）約 60000-80000 條/s讀（1 億）約 800MB-1200MB/s讀（1 億）80000-1000000 個(gè)查查詢/ss統(tǒng)計(jì)一個(gè)個(gè)值（110 億）10224（理理論上）測(cè)試環(huán)境境的硬件件配置：Intel

49、 Xeon E7-888377 2 路 16 核心,2256GGB 內(nèi)存，15kk SASS 16*6600GBB硬盤，RRAIDD50；總總共 12 臺(tái)設(shè)備備；D2B 的架構(gòu)構(gòu)模式：Repplicca Setts + Shaardiing。2.3.4 負(fù)載均均衡1)開源源負(fù)載均均衡軟件件比較LVSNginnxHAPrroxyyLVS（Linnux Virrtuaal Serrverr）可以以實(shí) 現(xiàn)Linnux平平臺(tái)下的的負(fù)載均均衡, 提供 了含有有三種IIP負(fù)載載均衡技技術(shù)的IIP 虛擬服服務(wù)器軟軟件IPVS、基于內(nèi)內(nèi)容請(qǐng) 求分發(fā)發(fā)的內(nèi)核核Layeer-7交換機(jī)機(jī) KTTCPVVS和集集群等

50、功功能Nginnx是一一款輕量量級(jí)、高高可用性性的 Web服務(wù)軟軟件及反反向代理理軟件，基 于HTTTP（第第七層）應(yīng)用代代理服務(wù)務(wù) 器。在國(guó)內(nèi)內(nèi)大型的的互聯(lián)網(wǎng)網(wǎng)公司都都有 使使用。HAPrroxyy是一款款提供高高可用性性的 基于TCCP（第第四層）和HTTTP（第 七層）應(yīng)用的的代理軟軟件。在國(guó)內(nèi)內(nèi)大 型型的互聯(lián)聯(lián)網(wǎng)公司司都有使使用。1、抗負(fù)負(fù)載能力力強(qiáng)、是工作作在網(wǎng)絡(luò)絡(luò)4 層之之上僅作作分發(fā)之之用，沒有流流量的 產(chǎn)生，這個(gè)特特點(diǎn)也決決定了它它在負(fù)載載 均衡衡軟件里里的性能能最強(qiáng)的的；2、配置置性比較較低，這這是一個(gè)個(gè)缺點(diǎn) 也是一一個(gè)優(yōu)點(diǎn)點(diǎn)，因?yàn)闆]沒有可太太多配 置的東東西，所所以并不不需

51、要太太多接 觸，大大大減少少了人為為出錯(cuò)的的幾率；3、工作作穩(wěn)定，自身有有完整的的雙機(jī) 熱備方方案，如如LVSS+Keeepaalivved和和 LVSS+Heearttbeaat；4、無流流量，保保證了均均衡器IIO的性性 能不會(huì)會(huì)收到大大流量的的影響；5、軟件件本身不不支持正正則處理理，不 能做動(dòng)動(dòng)靜分離離；1、工作作在網(wǎng)絡(luò)絡(luò)的7層之上上，可以針針 對(duì)htttp應(yīng)用用做一些些分流的的策略，比 如針對(duì)對(duì)域名、目錄結(jié)結(jié)構(gòu)，它的正正則 規(guī)規(guī)則比HHAPrroxyy更為強(qiáng)強(qiáng)大和靈靈活；2、Ngginxx對(duì)網(wǎng)絡(luò)絡(luò)的依賴賴非常小小，理 論上上能piing通通就就能能進(jìn)行負(fù)負(fù)載功 能；3、Ngginxx

52、安裝、配置、維護(hù)比比較簡(jiǎn) 單；4、可以以承擔(dān)高高的負(fù)載載壓力且且穩(wěn)定， 一般般能支撐撐超過幾幾萬次的的并發(fā)量量；5、Ngginxx可以通通過端口口檢測(cè)到到服務(wù) 器內(nèi)部部的故障障，不支支持urrl來檢檢測(cè)；6、Ngginxx也可作作為Weeb反向向加速緩緩 存器；1、能夠夠補(bǔ)充NNginxx的一些些缺點(diǎn)比比如 SSesssionn的保持持，Coookiie的引引導(dǎo)等工工 作；2、HAAProoxy對(duì)對(duì)網(wǎng)絡(luò)的的依賴非非常小， 理論上上能piing通通就就能能進(jìn)行負(fù)負(fù)載 功能；3、它跟跟LVSS一樣，本身僅僅僅就只只 是一款款負(fù)載均均衡軟件件；單純從從效率 上來講講HAPProxxy更會(huì)會(huì)比Nggi

53、nxx有更 出色，在并發(fā)發(fā)處理上上也是優(yōu)優(yōu)于 NNginnx；4、HAAProoxy安安裝、配配置、維維護(hù)比 較簡(jiǎn)單單；5、可以以承擔(dān)高高的負(fù)載載壓力且且穩(wěn)定， 一般般能支撐撐超過幾幾萬次的的并發(fā)量量；建議用 Ngiinx（或者 HAPProxxy）作作為負(fù)載載均衡（反向代代理）軟軟件配合合硬件負(fù)負(fù) 載均衡衡使用。究竟選選擇 NNginnx 還還是 HHAPrroxyy 要看看團(tuán)隊(duì)對(duì)對(duì)這兩種種軟件的的熟悉程程度， 越熟悉悉，就能能容易掌掌控，減減少風(fēng)險(xiǎn)險(xiǎn)，我們們團(tuán)隊(duì)對(duì)對(duì) Ngginxx 非常常熟悉，所以，這里我我們推薦薦用 NNginnx 作作為軟件件的反向向代理工工具。2.3.5 數(shù)據(jù)采采集

54、1)概概述數(shù)據(jù)采集集功能主主要完成成海量數(shù)數(shù)據(jù)采集、上傳。 數(shù)據(jù)據(jù)采集的的來源有有： 國(guó)家工工商局、企業(yè)網(wǎng)網(wǎng)站、百百度、谷谷歌等。根據(jù)特特定的數(shù)數(shù)據(jù)源，不同應(yīng)應(yīng)用，不不同類型型 的數(shù)據(jù)據(jù)進(jìn)行收收集，并并提供統(tǒng)統(tǒng)一的數(shù)數(shù)據(jù)采集集方式，方便后后臺(tái)數(shù)據(jù)據(jù)集成、數(shù)據(jù)存存儲(chǔ)。 數(shù)據(jù)采采集結(jié)構(gòu)構(gòu)圖：數(shù)據(jù)采集集主要是是由采集集服務(wù)器器，通過過 HTTTP 協(xié)議和和 Resstfuul 技術(shù)把把數(shù)據(jù)上上傳并緩緩存在 WEB 及消息息服務(wù)器器上，WEB 及消息息服務(wù)器器可以緩緩存一周周的數(shù)據(jù)據(jù)上傳 量，數(shù)數(shù)據(jù)上傳傳后，再再由消息息處理服服務(wù)進(jìn)程程（MPPS）進(jìn)進(jìn)程完成成數(shù)據(jù)的的最終清清洗及格格 式，并最終終入庫(kù)

55、存存儲(chǔ)。臺(tái)標(biāo)等等非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)存儲(chǔ)在在分布式式文件系系統(tǒng)（S2DFS）中， logg 或者行行為等結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)在分布布式數(shù)據(jù)據(jù)庫(kù)（MMonggonDDB）中中。參見見如下數(shù)數(shù) 據(jù)采集集/存儲(chǔ)流流程圖：DMQ 是一個(gè)個(gè)分布式式的消息息服務(wù)平平臺(tái)，提提供的功功能包括括：配置置維護(hù)、名字服服 務(wù)、分布式式同步、組服務(wù)務(wù)等，能提供供一種高性能、可靠的的、可擴(kuò)展展的、分布式式的、 可配置置關(guān)鍵特特性，DDMQ 的核心心技術(shù)特特點(diǎn)：大容量堆堆內(nèi)存和和高可用用性：假假設(shè)你有有 1000 臺(tái)服務(wù)務(wù)器, 并且每每個(gè)節(jié)點(diǎn)點(diǎn)有 2GBB 的空間間用于復(fù)復(fù)制緩存存,最終你你獲得的的總數(shù)據(jù)據(jù)量的大大小為 20

56、00GB， 每臺(tái)服服務(wù)器僅僅僅是一一個(gè)拷貝貝。相反反，借助助于分布布式復(fù)制制架構(gòu)，可獲得得 1000GB 的備份份虛擬堆堆內(nèi)存，并且在在網(wǎng)格中中的任何何位置都都能訪問問。如果果 某臺(tái)服服務(wù)器崩崩潰了, 網(wǎng)格只只需要簡(jiǎn)簡(jiǎn)單地創(chuàng)創(chuàng)建一份份丟失數(shù)數(shù)據(jù)的新新副本， 并將它它們放到到另一臺(tái)臺(tái)服務(wù)器器上。應(yīng)用也也無需再再借助于于一個(gè)巨巨大的獨(dú)獨(dú)立 數(shù)數(shù)據(jù)庫(kù)來來獲取數(shù)數(shù)據(jù)以追追求最大大性能的的 - 這是 80%以上的的企業(yè)應(yīng)應(yīng)用中 的瓶頸頸所在!擴(kuò)展性性：由于于數(shù)據(jù)是是均勻分分布的，所以除除了考慮慮到網(wǎng)絡(luò)絡(luò)上的組組通訊， 根本就就沒有必必要來限限制網(wǎng)格格的大小小網(wǎng)絡(luò)上上的組通通訊只要要能夠發(fā)發(fā)現(xiàn) 一一個(gè)新的

57、的節(jié)點(diǎn)即即可. 所有的的數(shù)據(jù)獲獲取方式式都是通通過點(diǎn)對(duì)對(duì)點(diǎn)通信信，即節(jié)節(jié)點(diǎn)之間間直接進(jìn)進(jìn)行通信信，非常容容易控制制。 DMQ 的增加加或者減減少不需要要 關(guān)閉閉整個(gè)服服務(wù)。 簡(jiǎn)單的的添加刪刪除集群群中的機(jī)機(jī)器不會(huì)會(huì)引發(fā)任任何服務(wù)務(wù)中斷。數(shù)據(jù)分分布：DMQ 使用一一致性哈哈希算法法來決定定集群中中鍵值的的存儲(chǔ)位位置。 一致性性哈希算算法成本本低，速度快快并且最最重要的的是不需需要額外外的元數(shù)數(shù)據(jù) 或或者網(wǎng)絡(luò)絡(luò)通信就就能確定定鍵值的的位置。 數(shù)據(jù)分分布的目目的是為為了在集集群 環(huán)境下下保持足足夠的狀狀態(tài)副本本以使其其具備可可持續(xù)性性和容錯(cuò)錯(cuò)性，但是又又不 會(huì)會(huì)有過多多的副本本而阻礙礙 DMQQ 的

58、可擴(kuò)擴(kuò)展性。原子性性：一個(gè) Update 操作不不是成功功就是失失敗，不會(huì)有有第三種種狀態(tài)出出現(xiàn)。順序性：在一個(gè)個(gè) DMQQ 集群中中，其中中一臺(tái) DMQQ 服務(wù)器器上的消消息 a 在 消息 b 之前發(fā)發(fā)布，那那么在所所有的 DMQQ 服務(wù)器器上的消消息 a 都會(huì)在在消息 b 之前被被發(fā)布，DMQQ 會(huì)保持持一致順順序。實(shí)時(shí)性性：對(duì)于每每個(gè) Client，DMQ 集群中中的所有有服務(wù)器器都會(huì)保保持實(shí)時(shí)時(shí)更 新新制度，使得所所有的服服務(wù)視圖圖都會(huì)是是最新的的。分布式式統(tǒng)一鏡鏡像：CClieent 無論連連接到集集群中的的哪一個(gè)個(gè) DMQQ 集群節(jié)節(jié)點(diǎn) 服務(wù)，都是得得到同樣樣的鏡像像視圖?？煽啃孕?/p>

59、：數(shù)據(jù)據(jù)在內(nèi)存存中緩存存了 2 份，任任何一臺(tái)臺(tái)計(jì)算機(jī)機(jī)故障，都不會(huì)會(huì)造 成數(shù)據(jù)據(jù)的丟失失。2)分分布式消消息管理理架構(gòu)圖圖：MPS1MPS3MPS5MPS7MPS9MPS MPS2MPS4MPS6MPS8MPS10統(tǒng)一的數(shù)據(jù)視圖心跳/同步Server1【備】（數(shù)據(jù)）Server2【主】（數(shù)據(jù)）Server3【備】（數(shù)據(jù)）Server4【備】（數(shù)據(jù)）數(shù)據(jù)網(wǎng)（電信、移動(dòng)、聯(lián)通）智能終端智能終端智能終端智能終端智能終端智能終端智能終端智能終端DMQ 有以下下幾種關(guān)關(guān)鍵較色色，每類類較色的的職責(zé)如如下表格格描述？角色名稱稱職責(zé)領(lǐng)導(dǎo)者(Leaaderr)就是DMMQ集群群的老大大，它不不接受CClie

60、ent的的請(qǐng)求，是管理理其他DDMQ服服務(wù)的，只負(fù)負(fù)責(zé)進(jìn)行行投票的的發(fā)起和和決議，最終更更新狀態(tài)態(tài).追隨者(Folllowwer)追隨者（Folllowwer）的上司司是領(lǐng)導(dǎo)導(dǎo)者（LLeadder），參與與領(lǐng)導(dǎo)者者（Leeadeer）發(fā)起的投投票，向向下是面面向客戶戶端的交交互，用用于接收收客戶端端的請(qǐng)求求和反 饋客戶戶端的結(jié)結(jié)果。參參與領(lǐng)導(dǎo)導(dǎo)者（LLeadder）發(fā)起的的投票。觀察者(Obsservver)觀察者可可以接收收客戶端端連接，將寫請(qǐng)請(qǐng)求轉(zhuǎn)發(fā)發(fā)給領(lǐng)導(dǎo)導(dǎo)者（LLeadder）節(jié)點(diǎn)。但是Obbserrverr不參加加投票過過程，只只是同步步領(lǐng)導(dǎo)者者（Leeadeer）的的狀態(tài)。 Obs