云數(shù)據(jù)采集中心及大數(shù)據(jù)計(jì)算平臺(tái)建設(shè)方案

3d建設(shè)方案成都xx技術(shù)有限責(zé)任公司3d目 錄1引言 5項(xiàng)目背景 5項(xiàng)目目標(biāo) 5建設(shè)原則 6參考規(guī)范 7名詞解釋 92云數(shù)據(jù)采集中心 需求概述 總體設(shè)計(jì) 核心技術(shù)及功能 分布式文件存儲(chǔ)技術(shù) 分布式并行計(jì)算技術(shù) 分布式數(shù)據(jù)庫(kù)技術(shù) 負(fù)載均衡 數(shù)據(jù)采集 開(kāi)放平臺(tái) 部署方案 實(shí)施計(jì)劃 3大數(shù)據(jù)計(jì)算平臺(tái) 需求概述 總體設(shè)計(jì) 應(yīng)用建設(shè) 收視率統(tǒng)計(jì) 智能推薦 拍立購(gòu) 部署方案 實(shí)施計(jì)劃 4性能及成本分析 運(yùn)營(yíng)商網(wǎng)絡(luò)性能分析 服務(wù)器網(wǎng)卡性能分析 服務(wù)器內(nèi)存性能分析 服務(wù)器硬盤性能分析 服務(wù)器模式分析 性能分析 平臺(tái)性能分析 5存儲(chǔ)空間規(guī)劃表 6機(jī)房選型 7安全設(shè)計(jì) 8風(fēng)險(xiǎn)分析 3d1引言項(xiàng)目背景根據(jù)C智能戰(zhàn)略的規(guī)劃做強(qiáng)終端云平臺(tái)建設(shè)大數(shù)據(jù)商業(yè)模式CC正邁向大數(shù)據(jù)時(shí)代當(dāng)前正面向所有智能終端提供優(yōu)質(zhì)的服務(wù)同時(shí)通過(guò)終端傳感器或數(shù)據(jù)采集服務(wù)能夠獲取海量的數(shù)據(jù)，并且數(shù)據(jù)量會(huì)以TB級(jí)劇增。因此迫切需要建設(shè)一套高性能、高安全性、高可靠性，可擴(kuò)展性的云數(shù)據(jù)采集中心，并搭建一個(gè)數(shù)據(jù)中心支撐平臺(tái)以滿足當(dāng)今高速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)管理計(jì)算的需求，同時(shí)便于將來(lái)拓展和進(jìn)一步的改造。目前數(shù)據(jù)中心是主要基于黑電、白電、瀏覽器等產(chǎn)品終端傳感器采后續(xù)其他數(shù)據(jù)分析挖掘項(xiàng)目提供數(shù)據(jù)支撐的信息平臺(tái)對(duì)應(yīng)方針——終端內(nèi)容服務(wù)云服務(wù)支撐與數(shù)據(jù)挖掘個(gè)性化數(shù)據(jù)價(jià)值探索。建立統(tǒng)一有效的云數(shù)據(jù)采集中心有利于大數(shù)據(jù)的管理，符合新的發(fā)展戰(zhàn)略C黑電和白電產(chǎn)品終端傳感器采集的數(shù)據(jù)有用戶行為的文本數(shù)（g臺(tái)標(biāo)等圖片數(shù)據(jù)以及自建的影視知識(shí)庫(kù)的結(jié)構(gòu)化數(shù)據(jù)電商平臺(tái)的海量鏡像數(shù)據(jù)。當(dāng)C的用戶量和采集的數(shù)據(jù)量與日俱增的時(shí)候數(shù)據(jù)中心必須能通過(guò)添加更多服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力保證高可擴(kuò)展性和高可用性從而滿足C業(yè)務(wù)發(fā)展的需要。項(xiàng)目目標(biāo) 臺(tái)必須具備高可用性，高擴(kuò)展性，高可靠性要求。 為C后面的產(chǎn)（收視率統(tǒng)計(jì)智能推薦系統(tǒng)拍立購(gòu)開(kāi)放平臺(tái)等等）的應(yīng)用和實(shí)施打下堅(jiān)實(shí)的基礎(chǔ)，為集團(tuán)的大數(shù)據(jù)提供運(yùn)營(yíng)支撐。 云中心初期建立至少保證可以正常運(yùn)營(yíng)~2年硬件選型軟件開(kāi)始要考慮到今后大規(guī)模擴(kuò)容的要求。 技術(shù)平臺(tái)要有能力支持?jǐn)?shù)據(jù)量最高W終端數(shù)量的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算、信息推薦等的能力。建設(shè)原則基于本項(xiàng)目的建設(shè)要求，本項(xiàng)目將遵循以下建設(shè)原則： 前瞻性和高標(biāo)準(zhǔn)整個(gè)項(xiàng)目要按照企業(yè)對(duì)大數(shù)據(jù)應(yīng)用的需要的高要求和高標(biāo)準(zhǔn)建設(shè)參考瞻性。 經(jīng)濟(jì)性和實(shí)用性整個(gè)項(xiàng)目以現(xiàn)有需求為基礎(chǔ)充分考慮未來(lái)發(fā)展的需要來(lái)確定系統(tǒng)的架用軟件應(yīng)提供完備的整合方案。 先進(jìn)性和成熟性務(wù)需求。 高性能和安全性攻擊或崩潰時(shí)能快速恢復(fù)，確保重要數(shù)據(jù)的機(jī)密性和完整性。參考規(guī)范 GB計(jì)算站場(chǎng)地安全要求 GB電子計(jì)算機(jī)機(jī)房設(shè)計(jì)規(guī)范 GB計(jì)算站場(chǎng)地技術(shù)條件 GB電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范 GB電子信息系統(tǒng)機(jī)房施工及驗(yàn)收規(guī)范 GB綜合布線工程設(shè)計(jì)規(guī)范 GB綜合布線系統(tǒng)工程驗(yàn)收規(guī)范 GB視頻安防監(jiān)控系統(tǒng)設(shè)計(jì)規(guī)范 GB氣體滅火系統(tǒng)施工及驗(yàn)收規(guī)范 GB入侵報(bào)警系統(tǒng)工程設(shè)計(jì)規(guī)范 GB/T信息安全技術(shù)—信息系統(tǒng)安全管理要求 GB/T信息安全技術(shù)—信息安全風(fēng)險(xiǎn)評(píng)估規(guī)范 GB/T信息安全技術(shù)—信息系統(tǒng)安全等級(jí)保護(hù)基本要求 GB/T信息安全技術(shù)—信息系統(tǒng)安全等級(jí)保護(hù)定級(jí)指南 GA/T計(jì)算機(jī)信息系統(tǒng)安全等級(jí)保護(hù)管理要求 GB/T計(jì)算機(jī)軟件產(chǎn)品開(kāi)發(fā)文件編制指 GB/T軟件工程術(shù)語(yǔ)3d GB/T信息技術(shù)軟件工程術(shù)語(yǔ) GB/T軟件工程產(chǎn)品質(zhì)量第1 GB/T軟件工程產(chǎn)品質(zhì)量第2 GB/T軟件工程產(chǎn)品質(zhì)量第3 GB/T軟件工程產(chǎn)品質(zhì)量第4 GB/T計(jì)算機(jī)軟件可靠性和可維護(hù)性管理 GB/T信息技術(shù)軟件包質(zhì)量要求和測(cè)試 GB/T信息技術(shù)程序設(shè)計(jì)語(yǔ)言、環(huán)境與系統(tǒng)軟件借口獨(dú)立于語(yǔ)言的數(shù)據(jù)類型 GB/T信息技術(shù)軟件測(cè)量功能規(guī)模測(cè)量第1定義 GB/T信息技術(shù)系統(tǒng)及軟件完整性級(jí)別 GB/Z信息技術(shù)軟件生存周期過(guò)程指南 GB/T信息技術(shù)軟件維護(hù) GB/T信息安全技術(shù)操作系統(tǒng)安全技術(shù)要求 GB/T信息安全技術(shù)操作系統(tǒng)安全評(píng)估準(zhǔn)則 GB/T信息安全技術(shù)數(shù)據(jù)庫(kù)管理系統(tǒng)安全評(píng)估準(zhǔn)則 GB/T信息技術(shù)軟件生存周期過(guò)程風(fēng)險(xiǎn)管理 GB/T信息技術(shù)軟件生存周期過(guò)程 計(jì)算機(jī)過(guò)程控制軟件開(kāi)發(fā)規(guī)程 軟件過(guò)程能力評(píng)估模型DataArchitecture)JavaEE2Platform,Model?MarkupLanguage(XML)(FifthProcessLanguage名詞解釋DF簡(jiǎn)單存儲(chǔ)分布式文件系（metrageDstrutedFeystem）Database）DCS：數(shù)據(jù)計(jì)算服務(wù)（DataMPS：消息處理服務(wù)（MessageDataDMQ：分布式消息隊(duì)列（DistributedQueue）HTTP：超文本傳輸協(xié)定（HyperTextTransferMessage2云數(shù)據(jù)采集中心需求概述根據(jù)1至2年內(nèi)的數(shù)據(jù)存儲(chǔ)和計(jì)算規(guī)模，需要滿足200萬(wàn)臺(tái)各種智能終端的數(shù)據(jù)存儲(chǔ)和計(jì)算規(guī)模。今后整個(gè)云數(shù)據(jù)采集中心的技術(shù)平臺(tái)和架構(gòu)需要輕松擴(kuò)展到支持萬(wàn)臺(tái)規(guī)模的各種智能終端的數(shù)據(jù)存儲(chǔ)和計(jì)算規(guī)模。3d以下的數(shù)據(jù)為預(yù)估數(shù)據(jù)（基于小范圍的實(shí)驗(yàn)數(shù)據(jù)為依據(jù)：數(shù)據(jù)類別文件(記錄)大小1文件(記錄)數(shù)量1文件(記錄)大小2文件(記錄)數(shù)量2臺(tái)標(biāo)數(shù)據(jù)（原始數(shù)據(jù)，1天周期）約約個(gè)文件/臺(tái)/天約萬(wàn)臺(tái)/天約萬(wàn)個(gè)/200萬(wàn)臺(tái)/天行為數(shù)據(jù)（原始數(shù)據(jù)，1天周期）約的索引記錄)約（平均估值）約約（平均估值）約約（平均估值）約2約2（平均估值）行為數(shù)據(jù)（原始數(shù)據(jù)，永久保存，壓縮處理）約的索引記錄)約（平均估值）約條記錄/臺(tái)/天約個(gè)文件/臺(tái)/天（平均估值）約萬(wàn)臺(tái)/1年(文件，加上元數(shù)據(jù)描述文件）（平均估值）注：記錄的大小約為約萬(wàn)臺(tái)/1年（記錄）約萬(wàn)臺(tái)/1年（文件）（平均估值）個(gè)文件行為分析/收視率統(tǒng)計(jì)/推薦/電商索引等記錄約（平均估值）約年（記錄）（平均估值）約億條記錄/1年（記錄）（平均估值）3d至少6大電商的鏡像數(shù)據(jù)約（平均估值）約億個(gè)/1（平均估值）約年（文件）（平均估值）3d以1年為計(jì)算周期（數(shù)據(jù)整合、壓縮、清洗后，初步預(yù)估：數(shù)據(jù)記錄：約為10-15億條；文件個(gè)數(shù)：約為10-12億個(gè)；、 記錄總大小：約為1TB（雙份副本：需要約TB存儲(chǔ)空間）、 文件總大?。杭s為7TB（雙份副本：需要約TB存儲(chǔ)空間）、 總?cè)萘看笮。杭s為8TB（雙份副本：需要約TB存儲(chǔ)空間）為了數(shù)據(jù)的高可靠性，為每份（文件/記錄）建立鏡像副本，所以總?cè)萘砍醪娇梢砸?guī)劃約為170TB?？傮w設(shè)計(jì)整個(gè)云數(shù)據(jù)采集中心分為四部分：硬件資源層、軟件平臺(tái)層、軟件應(yīng)用層、智能終端層。硬件資源層主要指實(shí)體硬件設(shè)備包括用來(lái)存儲(chǔ)數(shù)據(jù)的光纖陣列柜和存儲(chǔ)服務(wù)器用來(lái)作統(tǒng)計(jì)分析以及搜索用的計(jì)算服務(wù)器用來(lái)部署分布式消（DMQ）/WEB/APP軟件的及消息服務(wù)器，用來(lái)部署用PostgreSQL關(guān)系數(shù)據(jù)庫(kù)軟件的應(yīng)用數(shù)據(jù)庫(kù)服務(wù)器用來(lái)部署作業(yè)調(diào)度服務(wù)進(jìn)（J的作業(yè)調(diào)度服務(wù)器。作為數(shù)據(jù)通信用的全千兆三層交換機(jī)等等其中光纖陣列柜主要用來(lái)存儲(chǔ)統(tǒng)計(jì)分析后的粗顆粒度數(shù)據(jù)存儲(chǔ)服務(wù)器用來(lái)部署分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)同存儲(chǔ)非結(jié)構(gòu)化和結(jié)構(gòu)（臺(tái)標(biāo)圖片電商圖片等等和結(jié)構(gòu)化數(shù)（行為數(shù)據(jù)，索引數(shù)據(jù)g數(shù)據(jù)清理后的細(xì)顆粒度數(shù)據(jù)等等計(jì)算服務(wù)器主要用來(lái)完成數(shù)3d務(wù)器和計(jì)算服務(wù)器合二為一所以該服務(wù)器同時(shí)具有計(jì)算和存儲(chǔ)數(shù)據(jù)的功能前云數(shù)據(jù)采集中心需要面對(duì)多種寬帶用戶（電信、移動(dòng)、聯(lián)通，所以，數(shù)據(jù)中心的對(duì)外的網(wǎng)絡(luò)需要直連上電信移動(dòng)聯(lián)通三家公司的網(wǎng)絡(luò)保證以上三家公司間的通信性能高速和可靠。軟件平臺(tái)層是云數(shù)據(jù)采集中心的核心支撐層也是我們這次方案設(shè)計(jì)和實(shí)施據(jù)（DB”“分布式消息服（DMQ“作業(yè)調(diào)度服務(wù)進(jìn)（JSS數(shù)統(tǒng)一部署的4位操作系統(tǒng)etOS（也可以選擇REL5x；其核心軟件或者進(jìn)程有：分布式文件系統(tǒng)（DF、分布式數(shù)據(jù)庫(kù)（DB、作業(yè)調(diào)度服務(wù)進(jìn)程（JS、數(shù)據(jù)計(jì)算服務(wù)進(jìn)程（DC、作業(yè)生成服務(wù)進(jìn)程（JG、消息處理服務(wù)進(jìn)程（MP、流數(shù)據(jù)處理進(jìn)程（D）等等。EB及應(yīng)用服務(wù)器軟件aceTmcat，消息隊(duì)列軟件分布式消息（DMQ。還要實(shí)現(xiàn)整個(gè)云數(shù)據(jù)采集中心的資源管理及監(jiān)控管理系統(tǒng)。軟件應(yīng)用層是云數(shù)據(jù)采集中心的功能實(shí)現(xiàn)及UI表達(dá)層，功能實(shí)現(xiàn)需要基于軟件平臺(tái)層的支撐后期設(shè)計(jì)和實(shí)施的主體該層的主要功能應(yīng)用有數(shù)據(jù)采集的云平臺(tái)上集成第三方APP在互聯(lián)網(wǎng)時(shí)代的競(jìng)爭(zhēng)中占得先機(jī)。HTTP本圖片數(shù)據(jù)以及用戶行為數(shù)據(jù)存儲(chǔ)在云數(shù)據(jù)采集中心里以供后期分析計(jì)算用。第一期是單向交互主要是終端提供數(shù)據(jù)云數(shù)據(jù)采集中心負(fù)責(zé)計(jì)算并作推薦。第二期會(huì)引入終端與云數(shù)據(jù)采集中心的實(shí)時(shí)雙向交互功能。智能推薦應(yīng)用網(wǎng)絡(luò)設(shè)備JSSDCSJGSMPSSDS開(kāi)放平臺(tái)D2B3d智能終端……骨干網(wǎng)資源及監(jiān)控管理資源及權(quán)限管理存儲(chǔ)/計(jì)算服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器……分布式數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)公共網(wǎng)防火墻分布式數(shù)據(jù)庫(kù)服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器負(fù)載均衡服務(wù)器……負(fù)載均衡服務(wù)器作業(yè)調(diào)度……作業(yè)調(diào)度服務(wù)器(備)云數(shù)據(jù)采集中心網(wǎng)絡(luò)結(jié)構(gòu)圖173d2.3.1分布式文件存儲(chǔ)技術(shù)傳統(tǒng)存儲(chǔ)技術(shù)面臨的問(wèn)題： 構(gòu)建成本高：大容量及高網(wǎng)絡(luò)帶寬的高端存儲(chǔ)系統(tǒng)架構(gòu)昂貴。 文件系統(tǒng)功能和性能差強(qiáng)人意難以實(shí)現(xiàn)全局命名空間的文件共享、文件系統(tǒng)難以擴(kuò)展，容易形成瓶頸。 擴(kuò)展性困難：技術(shù)存在瓶頸（cae-up架構(gòu)決定的、擴(kuò)展成本無(wú)法控制。 應(yīng)用目標(biāo)差異：主要面臨運(yùn)營(yíng)商、金融行業(yè)的OLTP應(yīng)用、很少針對(duì)海量的流數(shù)據(jù)，或者非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行設(shè)計(jì)和優(yōu)化。 異構(gòu)設(shè)備繁雜：不同時(shí)期、不同公司、不同操作系統(tǒng)的異構(gòu)設(shè)備紛繁復(fù)雜，無(wú)法整合，資源利用率極低。分布式文件系統(tǒng)主要為解決以上問(wèn)題而出現(xiàn)的一種新型大規(guī)模數(shù)據(jù)存儲(chǔ)技術(shù)架構(gòu)主要為非結(jié)構(gòu)化數(shù)（視頻/文件/文檔圖像/音頻等非結(jié)構(gòu)化數(shù)據(jù)提供海量的存儲(chǔ)平臺(tái)，以集群的方式提供線性橫向擴(kuò)展能力。分布式文件系統(tǒng)是一種構(gòu)建于通用x6部件之上的高可用高可靠高可擴(kuò)展的新型分布式文件系統(tǒng)應(yīng)用分布式文件系統(tǒng)用戶可以采用廉價(jià)可靠的通用硬盤以及以太網(wǎng)絡(luò)來(lái)構(gòu)建媲美企業(yè)級(jí)存儲(chǔ)產(chǎn)品的存儲(chǔ)系統(tǒng)。分布式文件系統(tǒng)應(yīng)對(duì)的數(shù)據(jù)特性和訪問(wèn)特性： 數(shù)據(jù)量巨大，數(shù)百TB或PB級(jí)，增長(zhǎng)迅速； 類型多樣化，包括圖像、文本、語(yǔ)音、視頻等文件數(shù)據(jù)； 按時(shí)間有序生成，數(shù)據(jù)均帶有時(shí)間標(biāo)志；前端數(shù)據(jù)寫(xiě)入速度很高，每秒鐘寫(xiě)入數(shù)據(jù)可達(dá)幾萬(wàn)甚至幾十萬(wàn)條記錄或者上GB量數(shù)據(jù)；更新操作極少：追加方式寫(xiě)入，一旦寫(xiě)入，幾乎沒(méi)有數(shù)據(jù)修改，查詢涉及大量的磁盤讀操作，查詢處理產(chǎn)生大量的臨時(shí)結(jié)果，不同類型的數(shù)據(jù)存在聯(lián)合分析查詢；分布式文件系統(tǒng)的基本原理是采用集群方式來(lái)整合物理上獨(dú)立的多個(gè)存儲(chǔ)資源以軟件方式提供單一的名字空間采用多副本的方式保證數(shù)據(jù)的高可用性，任意單一節(jié)點(diǎn)失效均不會(huì)導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運(yùn)行同時(shí)分布式文件系統(tǒng)通過(guò)良好設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略可保證系統(tǒng)性能的高可擴(kuò)展性，并支持存儲(chǔ)容量/性能的在線擴(kuò)展。相比較于D（直連存儲(chǔ)、N（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）和N（網(wǎng)絡(luò)存儲(chǔ)，應(yīng)用分布式文件系統(tǒng)構(gòu)建的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)更像是一個(gè)N提供類似于傳統(tǒng)NS的文件級(jí)訪問(wèn)接口（N和DS都是塊設(shè)備級(jí)別的訪問(wèn)接口。分布式文件系統(tǒng)與傳統(tǒng)設(shè)備的比較：比較項(xiàng)高端分布式文件系統(tǒng)性能一般雙端口，性能受機(jī)頭影響，難以擴(kuò)展，出口帶寬是瓶頸一般雙端口，性能受機(jī)頭影響難以擴(kuò)展，較好性能隨節(jié)點(diǎn)數(shù)的增加成線性增長(zhǎng)擴(kuò)展能力性能及容量無(wú)法擴(kuò)展，或者有限擴(kuò)展能較好擴(kuò)展，但成本高昂性能及容量按需擴(kuò)展，動(dòng)態(tài)均衡可用性方式保護(hù)，雙機(jī)保護(hù)停機(jī)Debi時(shí)D方式保護(hù)雙機(jī)保護(hù)，停機(jī)基于靈活的多副本機(jī)制，自動(dòng)檢測(cè)自動(dòng)故障恢復(fù)，無(wú)需停機(jī)數(shù)據(jù)管理企業(yè)級(jí)功能需要單獨(dú)購(gòu)買企業(yè)級(jí)功能需要單獨(dú)購(gòu)買（還需要單獨(dú)的內(nèi)嵌多種企業(yè)級(jí)應(yīng)用：快照、鏡像、回收站文件系統(tǒng)100多萬(wàn)一套）成本專有的硬件平臺(tái)，軟件擁有成本高，擴(kuò)展成本高專有的硬件平臺(tái)，軟件擁有成本高，擴(kuò)展成本高開(kāi)發(fā)通用的硬件平臺(tái)，一體化的軟件，成本低，擴(kuò)展成本低可維護(hù)性專門的技術(shù)支持服務(wù)，需要培訓(xùn)結(jié)構(gòu)異常復(fù)雜，需要大量培訓(xùn)，廠商服務(wù)昂貴內(nèi)嵌多種自動(dòng)化的故障檢測(cè)和恢復(fù)功能國(guó)內(nèi)開(kāi)發(fā)，技術(shù)支持快速用戶使用分布式文件系統(tǒng)如同使用本地文件系統(tǒng)。所不同的是，傳統(tǒng)NAS通常以單一節(jié)點(diǎn)的方式實(shí)現(xiàn)容量和性能的擴(kuò)展能力有限易于成為性能瓶頸和單一故障點(diǎn)而分布式文件系統(tǒng)則有多個(gè)節(jié)點(diǎn)集合地提供服務(wù)由于其結(jié)構(gòu)特征，分布式文件系統(tǒng)的性能和容量均可在線線性擴(kuò)展并且系統(tǒng)內(nèi)不存在單一故障點(diǎn)。對(duì)比參看下面兩幅示意圖：傳統(tǒng)存儲(chǔ)架構(gòu)圖分布式文件系統(tǒng)架構(gòu)圖分布式文件系統(tǒng)的設(shè)計(jì)應(yīng)用特別適合海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)大量客戶端并發(fā)的密集型應(yīng)用。目前，分布式文件系統(tǒng)已經(jīng)被應(yīng)用于政府、醫(yī)療影像、勘查數(shù)據(jù)計(jì)算、視頻服務(wù)以及動(dòng)畫(huà)制作等領(lǐng)域。這些領(lǐng)域的數(shù)據(jù)訪問(wèn)特征均為：的實(shí)際生產(chǎn)環(huán)境使用，分布式文件系統(tǒng)已被證明是該類型應(yīng)用的有效解決方案。分布式文件系統(tǒng)分布式文件系統(tǒng)Server端設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷設(shè)備卷分布式文件系統(tǒng)邏輯卷分布式文件系統(tǒng)客戶端NFS/Samba卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端卷管理I/O調(diào)度分布式文件系統(tǒng)客戶端分布式文件系統(tǒng)網(wǎng)關(guān)分布式文件系統(tǒng)Client端分布式文件系統(tǒng)架構(gòu)圖分布式文件系統(tǒng)的服務(wù)器端程序運(yùn)行于Luxx4系統(tǒng)之上支持多種L分布式文件系統(tǒng)Client端位發(fā)行版，包括Redhat、CentOS等。分布式文件系統(tǒng)客戶端則支持Linux和和NFS接口，可以兼容大多數(shù)應(yīng)用。分布式文件系統(tǒng)的核心技術(shù)及特征：擴(kuò)展性和高性能：分布式文件系統(tǒng)利用雙重特性來(lái)提供幾TB至數(shù)PB的高擴(kuò)展存儲(chǔ)解決方案cae-Out架構(gòu)允許通過(guò)簡(jiǎn)單地增加資源來(lái)提高存儲(chǔ)容量和性能，磁盤、計(jì)算和資源都可以獨(dú)立增加，支持和等高速網(wǎng)絡(luò)互聯(lián)。分布式文件系統(tǒng)彈性哈Hash）解除了分布式文件系統(tǒng)對(duì)元數(shù)據(jù)服務(wù)器的需求，消除了單點(diǎn)故障和性能瓶頸，真正實(shí)現(xiàn)了并行化數(shù)據(jù)訪問(wèn)。高可用性：分布式文件系統(tǒng)可以對(duì)文件進(jìn)行自動(dòng)復(fù)制，如鏡像或多次復(fù)制，從而確保數(shù)據(jù)總是可以訪問(wèn)，甚至是在硬件故障的情況下也能正常訪問(wèn)。自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，而且修復(fù)是以增量的方式在后臺(tái)執(zhí)行，幾乎不會(huì)產(chǎn)生性能負(fù)載。分布式文件系統(tǒng)沒(méi)有設(shè)計(jì)自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中主流標(biāo)準(zhǔn)的磁盤文件系統(tǒng)（如數(shù)據(jù)可以使用各種標(biāo)準(zhǔn)工具進(jìn)行復(fù)制和訪問(wèn)。全局統(tǒng)一命名空間：全局統(tǒng)一命名空間將磁盤和內(nèi)存資源聚集成一個(gè)單一的虛擬存儲(chǔ)池，對(duì)上層用戶和應(yīng)用屏蔽了底層的物理硬件。存儲(chǔ)資源可以根據(jù)需要在虛擬存儲(chǔ)池中進(jìn)行彈性擴(kuò)展，比如擴(kuò)容或收縮。當(dāng)存儲(chǔ)虛擬機(jī)映像時(shí)，存儲(chǔ)的虛擬映像文件沒(méi)有數(shù)量限制，成千虛擬機(jī)均通過(guò)單一掛載點(diǎn)進(jìn)行數(shù)據(jù)共享。虛擬機(jī)可在命名環(huán)境中經(jīng)常發(fā)生的訪問(wèn)熱點(diǎn)和性能瓶頸問(wèn)題。彈性哈希算法：分布式文件系統(tǒng)采用彈性哈希算法在存儲(chǔ)池中定位數(shù)據(jù)，而不是采用集中式或分布式元數(shù)據(jù)服務(wù)器索引。在其他的存儲(chǔ)系統(tǒng)中，元數(shù)據(jù)服務(wù)器通常會(huì)導(dǎo)致性能瓶頸和單點(diǎn)故障問(wèn)題。分布式文件系統(tǒng)中，所有在存儲(chǔ)配置中的存儲(chǔ)系統(tǒng)都可以智能地定位任意數(shù)據(jù)分片，不需要查看索引或者向其他服務(wù)器查詢。這種設(shè)計(jì)機(jī)制完全并行化了數(shù)據(jù)訪問(wèn)，實(shí)現(xiàn)了真正的線性性能擴(kuò)展。 彈性卷管理：數(shù)據(jù)儲(chǔ)存在邏輯卷中，邏輯卷可以從虛擬化的物理存除，不會(huì)導(dǎo)致應(yīng)用中斷。邏輯卷可以在所有配置服務(wù)器中增長(zhǎng)和縮減，可以在不同服務(wù)器遷移進(jìn)行容量均衡，或者增加和移除系統(tǒng)，這些操作都可在線進(jìn)行。文件系統(tǒng)配置更改也可以實(shí)時(shí)在線進(jìn)行并應(yīng)用，從而可以適應(yīng)工作負(fù)載條件變化或在線性能調(diào)優(yōu)。完全軟件實(shí)現(xiàn)（ftwareOy：分布式文件系統(tǒng)認(rèn)為存儲(chǔ)是軟件問(wèn)題，不能夠把用戶局限于使用特定的供應(yīng)商或硬件配置來(lái)解決。分布式文件系統(tǒng)采用開(kāi)放式設(shè)計(jì)，廣泛支持工業(yè)標(biāo)準(zhǔn)的存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算機(jī)設(shè)備，而非與定制化的專用硬件設(shè)備捆綁。對(duì)于商業(yè)客戶，分布式文件系統(tǒng)可以以虛擬裝置的形式交付，也可以與虛擬機(jī)容器打包，或者是公有云中部署的映像。開(kāi)源社區(qū)中，分布式文件系統(tǒng)被大量部署在基于廉價(jià)閑置硬件的各種操作系統(tǒng)上，構(gòu)成集中統(tǒng)一的虛擬存儲(chǔ)資源池。簡(jiǎn)而言之，分布式文件系統(tǒng)是開(kāi)放的全軟件實(shí)現(xiàn)，完全獨(dú)立于硬件和操作系統(tǒng)。布式文件系統(tǒng)不僅提供了一個(gè)分布式文件系統(tǒng)，而且還提供了許多RAID和自我修復(fù)等。分布式文件系統(tǒng)汲取了微內(nèi)核架構(gòu)的經(jīng)驗(yàn)教訓(xùn)，借鑒了GNU/Hurd操作系統(tǒng)的設(shè)計(jì)思想，在用戶空間實(shí)現(xiàn)了完整的存儲(chǔ)操作系統(tǒng)棧。用戶空間實(shí)（Userace與傳統(tǒng)的文件系統(tǒng)不同分布式文件系統(tǒng)在用戶空間實(shí)現(xiàn)，這使得其安裝和升級(jí)特別簡(jiǎn)便。另外，這也極通用的C程序設(shè)計(jì)技能，而不需要特別的內(nèi)核編程經(jīng)驗(yàn)。模塊化堆棧式架（Mduartacaberchtecture分布式文件系統(tǒng)采用模塊化、堆棧式的架構(gòu)，可通過(guò)靈活的配置支持高度定制化的應(yīng)用環(huán)境，比如大文件存儲(chǔ)、海量小文件存儲(chǔ)、分布式文件系統(tǒng)、多傳輸協(xié)議應(yīng)用等。每個(gè)功能以模塊形式實(shí)現(xiàn)，然后以積木方式進(jìn)行簡(jiǎn)單的組合，即可實(shí)現(xiàn)復(fù)雜的功能。比如，Replicate模塊可實(shí)現(xiàn)模塊可實(shí)現(xiàn)和原始數(shù)據(jù)格式存（DatatrednNateFrmats分布式文件系統(tǒng)多種數(shù)據(jù)自動(dòng)修復(fù)機(jī)制。因此，系統(tǒng)極具彈性，即使離線情形下文件也可以通過(guò)其他標(biāo)準(zhǔn)工具進(jìn)行訪問(wèn)。如果用戶需要從分布式文件系統(tǒng)中遷移數(shù)據(jù)，不需要作任何修改仍然可以完全使用這些數(shù)據(jù)。無(wú)元數(shù)據(jù)服務(wù)設(shè)計(jì)（NoMetadatawthteEastcashgrtm：對(duì)存儲(chǔ)系統(tǒng)而言，最大的挑戰(zhàn)之一就是記錄數(shù)據(jù)邏輯與物理位置的映像關(guān)系，即數(shù)據(jù)元數(shù)據(jù)，可能還包括諸如屬性和訪問(wèn)權(quán)限等信息。傳統(tǒng)分布式存儲(chǔ)系統(tǒng)使用集中式或分布式元數(shù)據(jù)服務(wù)來(lái)維護(hù)元數(shù)據(jù)，集中式元數(shù)據(jù)服務(wù)會(huì)導(dǎo)致單點(diǎn)故障和性能瓶頸問(wèn)題，而分布式元數(shù)據(jù)服務(wù)存在性能負(fù)載和元數(shù)據(jù)同步一致性問(wèn)題。特別是對(duì)于海量小文件的應(yīng)用，元數(shù)據(jù)問(wèn)題是個(gè)非常大的挑戰(zhàn)。分布式文件系統(tǒng)獨(dú)特地采用無(wú)元數(shù)據(jù)服務(wù)的設(shè)計(jì)，取而代之使用算法來(lái)定位統(tǒng)服務(wù)器都可以智能地對(duì)文件數(shù)據(jù)分片進(jìn)行定位，僅僅根據(jù)文件名和路徑并運(yùn)用算法即可，而不需要查詢索引或者其他服務(wù)器。這使得數(shù)據(jù)訪問(wèn)完全并行化，從而實(shí)現(xiàn)真正的線性性能擴(kuò)展。無(wú)元數(shù)據(jù)服務(wù)器極大提高了分布式文件系統(tǒng)的性能、可靠性和穩(wěn)定性。 基于標(biāo)準(zhǔn)協(xié)議分布式文件系統(tǒng)存儲(chǔ)服務(wù)支持NF,F,TTP,FTP以及分布式文件系統(tǒng)原生協(xié)議，完全與標(biāo)準(zhǔn)兼容。分布式文件系統(tǒng)技術(shù)及性能指標(biāo)： 支持設(shè)備數(shù)量：最大百萬(wàn)臺(tái)以上 支持存儲(chǔ)容量：最大以上 客戶端的數(shù)量：最大支持上億并發(fā)網(wǎng)絡(luò)支持以太網(wǎng)GsGs/NFNBNDGsGs 文件副本數(shù)量：任意(缺省1份)協(xié)議：標(biāo)準(zhǔn) 支持文件數(shù)量：最大上億個(gè)文件 與HDFS的比較對(duì)比項(xiàng)架構(gòu)類型帶元數(shù)據(jù)庫(kù)中心架構(gòu)全分布式去中心架構(gòu)存在方式分布式文件系統(tǒng)軟件，基于x86平臺(tái)使用方式標(biāo)準(zhǔn)協(xié)議（應(yīng)用代碼與平臺(tái)無(wú)關(guān)性便于移植和維護(hù)）系統(tǒng)可用性低高數(shù)據(jù)可用性復(fù)制類數(shù)據(jù)定位方式Hash同步方式異步同步負(fù)載均衡自動(dòng)自動(dòng)支持網(wǎng)絡(luò)千兆以太網(wǎng)網(wǎng)約約讀（1*20GB）（萬(wàn)兆）約125s約25s寫(xiě)（1*20GB）（萬(wàn)兆）約200s約20s差距不大2.3.2分布式并行計(jì)算技術(shù)概述并行計(jì)算技術(shù)真正將傳統(tǒng)運(yùn)算轉(zhuǎn)化為并行運(yùn)算從而更加充分的利用廣泛部署的普通計(jì)算資源實(shí)現(xiàn)大規(guī)模的運(yùn)算和應(yīng)用的目的在此基礎(chǔ)上為第三方開(kāi)發(fā)者提供通用平臺(tái)，為客戶提供并行服務(wù)。這里主要為門戶網(wǎng)站提供作業(yè)調(diào)度平臺(tái)，實(shí)現(xiàn)日志分析，性能優(yōu)化，全文檢索，視頻處理，用為分析等等的支撐平臺(tái)。用戶通過(guò)統(tǒng)一計(jì)算平臺(tái)把任務(wù)分派給系統(tǒng)內(nèi)的多個(gè)節(jié)點(diǎn)調(diào)度節(jié)點(diǎn)資源執(zhí)行任務(wù)發(fā)揮多核并行處理優(yōu)勢(shì)提升運(yùn)算效率充分運(yùn)用網(wǎng)絡(luò)內(nèi)的計(jì)算資源達(dá)到解決大規(guī)模計(jì)算問(wèn)題的目的。分布式并行計(jì)算架構(gòu)圖分布式并行計(jì)算架構(gòu)圖作業(yè)調(diào)度及計(jì)算過(guò)程分布式并行計(jì)算技術(shù)特點(diǎn) 池化資源管理利用池化技術(shù)，任何一臺(tái)聯(lián)在互聯(lián)網(wǎng)上的普通PC機(jī)從硬件到軟件，可通過(guò)池化技術(shù)加入服務(wù)器池中，等待任務(wù)分配,系統(tǒng)能充分利用現(xiàn)有服務(wù)器資源，將所有運(yùn)算子任務(wù)分配給節(jié)點(diǎn)服務(wù)器，有效避免計(jì)算資源閑置現(xiàn)象的發(fā)生。 無(wú)中心系統(tǒng)架構(gòu)在平臺(tái)管理下的單節(jié)點(diǎn)能力一致，使節(jié)點(diǎn)在部署上和使用上具備無(wú)差別性，任一節(jié)點(diǎn)功能可由其他節(jié)點(diǎn)替代或強(qiáng)化，可以最大程度確保平臺(tái)資源使用的靈活性以及在災(zāi)備環(huán)境下的可靠性系統(tǒng)架構(gòu)。 通道式工作機(jī)制平臺(tái)為用戶提供一個(gè)并行任務(wù)處理通道，處理過(guò)程對(duì)用戶來(lái)說(shuō)完全透明，由平臺(tái)自動(dòng)進(jìn)行負(fù)載均衡、資源匹配、任務(wù)傳輸?shù)龋褂脩魧Ｗ⒂谧陨砣蝿?wù)管理，將執(zhí)行過(guò)程交由平臺(tái)完成。2.3.3D2B是一個(gè)具有高性能的高性能，可擴(kuò)展，無(wú)模式，面向文檔(dcumet-reted)的數(shù)據(jù)庫(kù)其內(nèi)存儲(chǔ)的是一種JON-e結(jié)構(gòu)化數(shù)據(jù)的分布式數(shù)據(jù)庫(kù)軟件尤其具有高擴(kuò)展性和高可靠性支持大表水平折分以及分區(qū)鏡像。提供內(nèi)存緩存數(shù)據(jù)，所以數(shù)據(jù)存取速度非常快，主要是由于它處理寫(xiě)入的方式：它們存儲(chǔ)在內(nèi)存中，然后通過(guò)后臺(tái)線程寫(xiě)入磁盤。的bjson比較復(fù)雜的數(shù)據(jù)類型DB另外的最大的特點(diǎn)是他支持的查詢語(yǔ)言非常強(qiáng)大其語(yǔ)法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z(yǔ)言幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫(kù)單表查詢的用，存儲(chǔ)數(shù)據(jù)非常方便。主要功能特性： 面向集合存儲(chǔ)，易存儲(chǔ)對(duì)象類型的數(shù)據(jù)“面向集合（oecto-Oreted意思是數(shù)據(jù)被分組存儲(chǔ)在數(shù)據(jù)集中被稱為一個(gè)集（ecti)每個(gè)集合在數(shù)據(jù)庫(kù)中都有一個(gè)唯一（RDBM里的（tae不同的是它不需要定義任何模（scema)。 模式自由模式自（scema-free)意味著對(duì)于存儲(chǔ)在DB數(shù)據(jù)庫(kù)中的文件我們的文件存儲(chǔ)在同一個(gè)數(shù)據(jù)庫(kù)里。 自動(dòng)分片以支持云級(jí)別的伸縮性自動(dòng)分片功能支持水平的數(shù)據(jù)庫(kù)集群，可動(dòng)態(tài)添加額外的機(jī)器。 支持動(dòng)態(tài)查詢 支持完全索引，包含內(nèi)部對(duì)象。 自動(dòng)處理碎片，以支持云計(jì)算層次的擴(kuò)展性。 可通過(guò)網(wǎng)絡(luò)訪問(wèn)可用于OSX、Linux?和的官方二進(jìn)制版本?？捎糜?+aseJaaJaacrtPerPPPyt、和的官方驅(qū)動(dòng)程序，以及廣泛可用于其他語(yǔ)言的社區(qū)支持的驅(qū)動(dòng)程序。查詢讓您能夠使用基于任何文檔屬性的任何條件來(lái)查找數(shù)據(jù)。這些查詢對(duì)應(yīng)于查詢的功能，使開(kāi)發(fā)人員能夠很直觀地編寫(xiě)D2B查詢。 支持查詢中的正則表達(dá)式。 DB查詢結(jié)果存儲(chǔ)在提供過(guò)濾聚合和排序等一系列功能的游標(biāo)中包括和group()等等高級(jí)特性。高級(jí)聚合的map/reduce實(shí)現(xiàn)。 類似于RDBMS的屬性索引支持可以直接在文檔的選定屬性上創(chuàng)建索引。 使用提示、解釋計(jì)劃和分析的查詢優(yōu)化特性。 類似于的主/從復(fù)制，支持復(fù)制和故障恢復(fù)。 基于集合的對(duì)象存儲(chǔ)，在需要規(guī)范化數(shù)據(jù)時(shí)允許參考查詢。 通過(guò)自動(dòng)分片功能水平擴(kuò)展。 高性能無(wú)爭(zhēng)用并發(fā)機(jī)制的即時(shí)更新。D2B服務(wù)端可運(yùn)行在或OSX平臺(tái)，支持位應(yīng)用。推薦運(yùn)行在位平臺(tái)，因?yàn)樵谖荒Ｊ竭\(yùn)行時(shí)支持的最大文件尺寸為2GB。分布式數(shù)據(jù)庫(kù)（D2B）集群示例圖D2B與關(guān)系型數(shù)據(jù)庫(kù)的邏輯結(jié)構(gòu)對(duì)比:D2BD2B關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)(database)數(shù)據(jù)庫(kù)(database)文檔(document)D2B的性能指標(biāo)：10億約600GB以上（與每條記錄大小有關(guān)系，這里的數(shù)據(jù)：1Kb/條）寫(xiě)（1億,無(wú)索引）約15000-20000寫(xiě)（1億,有索引）約10000寫(xiě)（1億：Replica+Sharding模式）約6000-8000讀（1億）約讀（1億）8000-10000統(tǒng)計(jì)一個(gè)值（10億）<3s（復(fù)雜查詢）最大節(jié)點(diǎn)數(shù)量>1024（理論上）Xeon2路16核心,256GB內(nèi)存，15k12的架構(gòu)模式：Replica+Sharding。2.3.4負(fù)載均衡這里選擇的國(guó)產(chǎn)設(shè)備是北京太一星晨信息技術(shù)有限公司的設(shè)備作為參考對(duì)比設(shè)備（tt//tetwrscm）國(guó)產(chǎn)硬件與F5對(duì)比3dF5負(fù)載均衡算法支持8種支持種是會(huì)話保持算法支持6種支持8種是健康檢查算法支持種支持種是內(nèi)容交換支持最常用4種支持（特性豐富）是高速緩存、內(nèi)容壓縮支持支持（通過(guò)增加license）否復(fù)用支持支持是單邊加速是是否可編程腳本擴(kuò)展支持（基本）支持（特性豐富）否智能DNS支持（授權(quán)控制）支持（購(gòu)買GTM授權(quán)）是路由支持支持（通過(guò)實(shí)現(xiàn)）是動(dòng)態(tài)就近性支持否是全局負(fù)載是是否WEB安全支持7層防火墻支持WEB應(yīng)用安全（需購(gòu)買額外模塊）否是是否組網(wǎng)主主、主備、旁路、三角傳輸主主、主備、旁路、三角傳輸是價(jià)格服務(wù)器負(fù)載、鏈路負(fù)載、全局負(fù)載、SSL卸載、HTTP壓縮、內(nèi)容緩存、安全。所有功能都可以在一臺(tái)設(shè)備中實(shí)現(xiàn)，少部分高級(jí)功能通過(guò)授權(quán)控制。用戶購(gòu)買鏈路負(fù)載+萬(wàn)）服務(wù)器負(fù)載鏈路負(fù)（單獨(dú)設(shè)備全局負(fù)（單獨(dú)設(shè)備、SSL臺(tái)設(shè)備中實(shí)現(xiàn)。大部分功能需要授權(quán)控制。但鏈路負(fù)載、全局負(fù)載是單獨(dú)設(shè)備對(duì)于鏈路負(fù)載常用的“智能DNS”功能，必須購(gòu)買全局負(fù)載才包含。如果所有功能一起使用，價(jià)格非常昂貴用戶購(gòu)買5G-0S服務(wù)器負(fù)載鏈路負(fù)載三F5產(chǎn)品型號(hào)L4新建吞吐接口備注8電（可選光口），可擴(kuò)展2萬(wàn)兆系列，L4新建吞吐18Gbps，吞吐性能優(yōu)勢(shì)明顯默認(rèn)最高擴(kuò)展最高擴(kuò)展8電（具備一個(gè)擴(kuò)展槽，可擴(kuò)展8電、8光、4光4電、2萬(wàn)兆、4萬(wàn)兆）基于硬件的方式優(yōu)點(diǎn)能夠直接通過(guò)智能交換機(jī)實(shí)現(xiàn),處理能力更強(qiáng)，而且與系統(tǒng)無(wú)關(guān)，負(fù)載性能強(qiáng)更適用于一大堆設(shè)備、大訪問(wèn)量、簡(jiǎn)單應(yīng)用缺點(diǎn)成本高，除設(shè)備價(jià)格高昂，而且配置冗余．很難想象后面服務(wù)器做一個(gè)集群，但最關(guān)鍵的負(fù)載均衡服務(wù)器卻是單點(diǎn)配置；無(wú)法有效掌握服務(wù)器及應(yīng)用狀態(tài).硬件負(fù)載均衡，一般都不管實(shí)際系統(tǒng)與應(yīng)用的狀態(tài)，而只是從網(wǎng)絡(luò)層來(lái)判斷，所以有時(shí)候系統(tǒng)處理能力已經(jīng)不行了，但網(wǎng)絡(luò)可能還來(lái)得及反應(yīng)（這種情況非常典型，比如應(yīng)用服務(wù)器后)優(yōu)點(diǎn)基于系統(tǒng)與應(yīng)用的負(fù)載均衡，能夠更好地根據(jù)系統(tǒng)與應(yīng)用的狀況來(lái)分配負(fù)載。這對(duì)于復(fù)雜應(yīng)軟件就要合算得多，因?yàn)榉?wù)器同時(shí)還可以跑應(yīng)用做集群等。缺點(diǎn)負(fù)載能力受服務(wù)器本身性能的影響，性能越好，負(fù)載能力越大。綜述綜述1) 基于硬件的負(fù)載均衡在電信、金融行業(yè)用的非常多，而基于軟件的負(fù)載均衡在互聯(lián)網(wǎng)行業(yè)用的非常多，比如3大門戶網(wǎng)站，6大電商網(wǎng)站。2) 由于負(fù)載均衡器本身不需要對(duì)數(shù)據(jù)進(jìn)行處理性能瓶頸更多的是在于后臺(tái)服務(wù)器通常采用軟負(fù)載均衡器已非常夠用且其商業(yè)友好的軟件源碼授權(quán)使得我們可以非常靈活的設(shè)計(jì)，無(wú)逢的和我們管理系統(tǒng)平臺(tái)相結(jié)合。LVS/HAProxy/Nginx每秒鐘的吞吐量一般在為1萬(wàn)-3萬(wàn)之間，選擇軟件的構(gòu)建方式：需要2臺(tái)高性能設(shè)備作主備集群，費(fèi)用在6萬(wàn)人民幣左右。設(shè)備混合使用。3dServer）可以實(shí)提供虛擬服務(wù)器軟件S基于內(nèi)容請(qǐng)求分發(fā)的內(nèi)核yer-交換機(jī)We服務(wù)軟件及反向代理軟件于HTTP（第七層）應(yīng)用代理服務(wù)器在國(guó)內(nèi)大型的互聯(lián)網(wǎng)公司都有使用。HAProxy是一款提供高可用性的七層應(yīng)用的代理軟件在國(guó)內(nèi)大型的互聯(lián)網(wǎng)公司都有使用?？关?fù)載能力強(qiáng)是工作在網(wǎng)絡(luò)4層之上僅作分發(fā)之用沒(méi)有流量的產(chǎn)生這個(gè)特點(diǎn)也決定了它在負(fù)載均衡軟件里的性能最強(qiáng)的；也是一個(gè)優(yōu)點(diǎn)因?yàn)闆](méi)有可太多配置的東西，所以并不需要太多接觸，大大減少了人為出錯(cuò)的幾率；能不會(huì)收到大流量的影響；能做動(dòng)靜分離；工作在網(wǎng)絡(luò)的層之上可以針如針對(duì)域名目錄結(jié)構(gòu)它的正則N對(duì)網(wǎng)絡(luò)的依賴非常小理能；單；可以承擔(dān)高的負(fù)載壓力且穩(wěn)定，一般能支撐超過(guò)幾萬(wàn)次的并發(fā)量；N可以通過(guò)端口檢測(cè)到服務(wù)器內(nèi)部的故障，不支持url來(lái)檢測(cè)；存器；能夠補(bǔ)充N的一些缺點(diǎn)比如作；功能；是一款負(fù)載均衡軟件單純從效率出色，在并發(fā)處理上也是優(yōu)于較簡(jiǎn)單；可以承擔(dān)高的負(fù)載壓力且穩(wěn)定，一般能支撐超過(guò)幾萬(wàn)次的并發(fā)量；建議用載均衡使用究竟選擇Ngx還是Prxy要看團(tuán)隊(duì)對(duì)這兩種軟件的熟悉程度，們推薦用作為軟件的反向代理工具。概述數(shù)據(jù)采集功能主要完成海量智能終端的數(shù)（臺(tái)標(biāo)g等等采集上傳。數(shù)據(jù)采集的來(lái)源有：客戶端、瀏覽器、智能電視、智能空調(diào)、智能冰箱、EPG數(shù)據(jù)等。根據(jù)特定的通信解析協(xié)議對(duì)來(lái)自不同終端，不同應(yīng)用，不同類型的數(shù)據(jù)進(jìn)行收集，并提供統(tǒng)一的數(shù)據(jù)采集方式，方便后臺(tái)數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)采集結(jié)構(gòu)圖：數(shù)據(jù)采集主要是由智能終端發(fā)起，通過(guò)HTTP協(xié)議和技術(shù)把數(shù)據(jù)上傳并緩存在EB及消息服務(wù)器上EB及消息服務(wù)器可以緩存一周的數(shù)據(jù)上傳式并最終入庫(kù)存儲(chǔ)臺(tái)標(biāo)等非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式文件系（DF中，或者行為等結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫(kù)（MongonDB）中。參見(jiàn)如下數(shù)據(jù)采集/存儲(chǔ)流程圖：數(shù)據(jù):HTTP數(shù)據(jù):HTTP數(shù)據(jù):HTTP（臺(tái)標(biāo)/行為）分布式消息平臺(tái)數(shù)據(jù):HTTP負(fù)載信號(hào)Queue（臺(tái)標(biāo)/行為）智能終端防火墻S2DFS/MongoDB數(shù)據(jù):HTTP（臺(tái)標(biāo)/行為）MPS：Queue自動(dòng)掃描MQ/WEB/APP服務(wù)器DMQ是一個(gè)分布式的消息服務(wù)平臺(tái)，提供的功能包括：配置維護(hù)、名字服務(wù)分布式同步組服務(wù)等能提供一種高性能可靠的可擴(kuò)展的分布式的、可配置關(guān)鍵特性，DMQ的核心技術(shù)特點(diǎn)：大容量堆內(nèi)存和高可用性：假設(shè)你有臺(tái)服務(wù)器,并且每個(gè)節(jié)點(diǎn)有2GB某臺(tái)服務(wù)器崩潰了,網(wǎng)格只需要簡(jiǎn)單地創(chuàng)建一份丟失數(shù)據(jù)的新副本，并將它們放到另一臺(tái)服務(wù)器上應(yīng)用也無(wú)需再借助于一個(gè)巨大的獨(dú)立數(shù)據(jù)庫(kù)來(lái)獲取數(shù)據(jù)以追求最大性能的-這是80%以上的企業(yè)應(yīng)用中的瓶頸所在! 擴(kuò)展性：由于數(shù)據(jù)是均勻分布的，所以除了考慮到網(wǎng)絡(luò)上的組通訊，根本就沒(méi)有必要來(lái)限制網(wǎng)格的大小- 網(wǎng)絡(luò)上的組通訊只要能夠發(fā)現(xiàn)一個(gè)新的節(jié)點(diǎn)即可.所有的數(shù)據(jù)獲取方式都是通過(guò)點(diǎn)對(duì)點(diǎn)通信，即節(jié)點(diǎn)之間直接進(jìn)行通信非常容易控制。DMQ的增加或者減少不需要關(guān)閉整個(gè)服務(wù)。簡(jiǎn)單的添加刪除集群中的機(jī)器不會(huì)引發(fā)任何服務(wù)中斷。 數(shù)據(jù)分布DMQ使用一致性哈希算法來(lái)決定集群中鍵值的存儲(chǔ)位置。一致性哈希算法成本低速度快并且最重要的是不需要額外的元數(shù)據(jù)或者網(wǎng)絡(luò)通信就能確定鍵值的位置。數(shù)據(jù)分布的目的是為了在集群環(huán)境下保持足夠的狀態(tài)副本以使其具備可持續(xù)性和容錯(cuò)性但是又不會(huì)有過(guò)多的副本而阻礙DMQ的可擴(kuò)展性。 原子性一個(gè)Udate操作不是成功就是失敗不會(huì)有第三種狀態(tài)出現(xiàn)。順序性：在一個(gè)DMQ服務(wù)器上的消息a在消息b之前發(fā)布，那么在所有的DMQ服務(wù)器上的消息a都會(huì)在消息b之前被發(fā)布，DMQ會(huì)保持一致順序。 實(shí)時(shí)性對(duì)于每個(gè)etDMQ集群中的所有服務(wù)器都會(huì)保持實(shí)時(shí)更新制度，使得所有的服務(wù)視圖都會(huì)是最新的。 無(wú)論連接到集群中的哪一個(gè)DMQ集群節(jié)點(diǎn)服務(wù)，都是得到同樣的鏡像視圖。 可靠性：數(shù)據(jù)在內(nèi)存中緩存了2成數(shù)據(jù)的丟失。分布式消息管理架構(gòu)圖：MPSMPS2MPS4MPS6MPS8MPS10統(tǒng)一的數(shù)據(jù)視圖心跳/同步Server1【備】（數(shù)據(jù)）Server2【主】（數(shù)據(jù)）Server3【備】（數(shù)據(jù)）Server4【備】（數(shù)據(jù)）數(shù)據(jù)網(wǎng)（電信、移動(dòng)、聯(lián)通）智能終端智能終端智能終端智能終端智能終端智能終端智能終端智能終端DMQ有以下幾種關(guān)鍵較色，每類較色的職責(zé)如下表格描述？角色名稱職責(zé)就是DMQ集群的老大，它不接受Client的請(qǐng)求，是管理其他DMQ服務(wù)的，只負(fù)責(zé)進(jìn)行投票的發(fā)起和決議，最終更新?tīng)顟B(tài).追隨者(Follower)發(fā)起的投票，向下是面向客戶端的交互，用于接收客戶端的請(qǐng)求和反饋客戶端的結(jié)果。參與領(lǐng)導(dǎo)者（Leader）發(fā)起的投票。觀察者(Observer)觀察者可以接收客戶端連接，將寫(xiě)請(qǐng)求轉(zhuǎn)發(fā)給領(lǐng)導(dǎo)者（Leader）節(jié)點(diǎn)。但是Observer不參加投票過(guò)程，只是同步領(lǐng)導(dǎo)者（Leader）的狀態(tài)。Observer為系統(tǒng)擴(kuò)展提供了一種方法。DMQ的核心是原子廣播這個(gè)機(jī)制保證了各個(gè)erer之間的同步有兩種模式，它們分別是恢復(fù)模式和廣播模式?；謴?fù)模式：一般是在服務(wù)剛啟動(dòng)或者在領(lǐng)導(dǎo)者（Leader）崩潰后，開(kāi)始進(jìn)入恢復(fù)模式此時(shí)先就會(huì)開(kāi)始選舉領(lǐng)導(dǎo)（Leader當(dāng)領(lǐng)導(dǎo)（Leader被選舉出后，恢復(fù)模式就結(jié)束了。進(jìn)行了狀態(tài)同步以后，他就可以開(kāi)始廣播消息了，即進(jìn)入廣播狀態(tài)。分布式消息數(shù)據(jù)架構(gòu)圖：上圖的M（Messagesaager消息數(shù)據(jù)管理者通過(guò)嵌入式sql內(nèi)核完成上百萬(wàn)并發(fā)量的緩存數(shù)據(jù)來(lái)提供異步發(fā)布和訂閱。應(yīng)用程序通過(guò)JDBC/REST/Memcached等符合業(yè)界標(biāo)準(zhǔn)接口完成集群中的消息緩存數(shù)據(jù)的操作，集群成員之間也通過(guò)該接口完成成員之間的數(shù)據(jù)同步，狀探測(cè)步。典型分布式消息平臺(tái)比較：由于常見(jiàn)的RabtMQctieMQ和ZerMQ消息中間件不具備分布式功能，所以不在比較之列C數(shù)據(jù)采集中心面對(duì)的是百萬(wàn)/千萬(wàn)級(jí)以上的智能終端的高并發(fā)海量數(shù)據(jù)上傳所以分布式消息平臺(tái)必須在‘?dāng)?shù)據(jù)接收數(shù)據(jù)緩存數(shù)據(jù)發(fā)布’整個(gè)過(guò)程保證數(shù)據(jù)的高性能吞吐、高可靠性、高擴(kuò)展性、可維護(hù)性等屬性。2.3.6開(kāi)放平臺(tái)比較項(xiàng)DMQKafka動(dòng)態(tài)擴(kuò)展支持需要第三方軟件負(fù)載均衡缺省支持需要第三方軟件故障檢測(cè)內(nèi)置需要第三方軟件拓?fù)浼軜?gòu)復(fù)制，分布式復(fù)制數(shù)據(jù)分區(qū)有數(shù)據(jù)存儲(chǔ)方式分布式內(nèi)存緩存/硬盤存儲(chǔ)本地硬盤存儲(chǔ)分布式復(fù)制集支持（內(nèi)存/硬盤兩兩鏡像）不支持實(shí)現(xiàn)語(yǔ)言高并發(fā)下的性能開(kāi)放平臺(tái)是企業(yè)通過(guò)公開(kāi)應(yīng)用程序編程接口（API）等方式更好地整合并利用外部資源平臺(tái)商將服務(wù)打包成統(tǒng)一的可識(shí)別的接口并開(kāi)放出去以使得第三方的服務(wù)以相應(yīng)形式接入到平臺(tái)之上第三方開(kāi)發(fā)者為平臺(tái)提供產(chǎn)品和服務(wù)的同時(shí)能夠與平臺(tái)共享各種資源。在開(kāi)放平臺(tái)的分類上可根據(jù)如下維度進(jìn)行分類開(kāi)放層級(jí)以及開(kāi)放技術(shù)。 根據(jù)開(kāi)放層級(jí)劃分，開(kāi)放平臺(tái)主要分為四層，即“硬件”層、系統(tǒng)層、面的開(kāi)放方式。 型開(kāi)放平3d務(wù)型開(kāi)放平臺(tái)（云計(jì)算平臺(tái)）。開(kāi)放平臺(tái)需要具備以下原則： 安全性：◎用戶數(shù)據(jù)安全性，如應(yīng)用授權(quán)管理；◎應(yīng)用身份安全； 穩(wěn)定性：◎平臺(tái)架構(gòu)穩(wěn)定；◎海量訪問(wèn)穩(wěn)定運(yùn)營(yíng)及快速響應(yīng)； 易用性：◎開(kāi)發(fā)者學(xué)習(xí)成本低；◎易查錯(cuò)；的開(kāi)放平臺(tái)面向第三方應(yīng)用開(kāi)發(fā)者，提供API接口和相關(guān)開(kāi)發(fā)環(huán)境。軟件開(kāi)發(fā)者可通過(guò)平臺(tái)PI來(lái)獲取智能家電的信息以及智能家電的控制信息鏡像電商網(wǎng)站的用戶信息（賣方和賣方用戶信息，私有信息需要授權(quán)、商品信息（商品的名稱、類目、型號(hào)、介紹等信息、商品類目信息（商品索引及分類明細(xì)、店鋪信息、交易明細(xì)信息（在取得用戶授權(quán)的情況下，查詢每筆交易的詳細(xì)情況、商品管理（商品的上傳、編輯、修改等接口）等信息，并建立相應(yīng)的電子商務(wù)應(yīng)用。Platform，簡(jiǎn)稱COP）是CC智能家電+電子商務(wù)服務(wù)的重要開(kāi)放途徑，它將推動(dòng)、定制、創(chuàng)新、進(jìn)化,并最終促成新商業(yè)文明行各業(yè)。集集群部署集群監(jiān)控開(kāi)放平臺(tái)（COP）架構(gòu)圖2.4部署方案1. 硬件配置表序號(hào)名稱配置部署軟件數(shù)量1.存儲(chǔ)及計(jì)算服務(wù)器Xeon條；k*3GBSS硬盤千兆網(wǎng)口*GbNS3企業(yè)級(jí)硬盤（保證高性能、高可靠性的同時(shí)，單臺(tái)有效空間為主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)：日志、行為記錄；圖片、視頻、文檔、部署備份數(shù)據(jù)也可以存儲(chǔ)在該存儲(chǔ)集群上。間；操作系統(tǒng)：RHEL或者eS.5（該類設(shè)備上都要部署）分布式文件系統(tǒng)：S2DFS（該類設(shè)備上都要部署）數(shù)據(jù)計(jì)算服務(wù)進(jìn)程：DCS（該類設(shè)備上都要部署）作業(yè)調(diào)度服務(wù)進(jìn)程：JSS（部署在其中2臺(tái)設(shè)備上，主/備）署在其中2臺(tái)設(shè)備上，主/備）（部署在其中2臺(tái)設(shè)備上，主/備）備上都要部署）102.WEB及消息服務(wù)器Xeon千兆網(wǎng)口NSA3企業(yè)級(jí)SA硬盤電源；軟件，部署分布式消息軟件平臺(tái)，緩存上傳上來(lái)的采集數(shù)據(jù)和網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)；操作系統(tǒng)：RHEL或者eS.5（該類設(shè)備上都要部署）. 分布式消息平臺(tái)DM（該類設(shè)備上都要部署）；WEB及應(yīng)用服務(wù)中間價(jià)：mct或者JS（該類設(shè)備上都要部署）消息處理服務(wù)進(jìn)程：MPS（該類設(shè)備上都要部署）. 實(shí)時(shí)流數(shù)據(jù)處理進(jìn)程SD（該類設(shè)備上都要部署）63.負(fù)載均衡服務(wù)器Xeon核心；服務(wù)器內(nèi)存千兆網(wǎng)口硬盤:*0G:D冗余電源；操作系統(tǒng)：RHEL或者臺(tái)設(shè)備上都要部署）x64設(shè)備上都要部署）44.華為全千兆交換機(jī)產(chǎn)品型號(hào)產(chǎn)品類型千兆以太網(wǎng)應(yīng)用層級(jí)三層背板帶寬包轉(zhuǎn)發(fā)率傳輸方式存儲(chǔ)轉(zhuǎn)發(fā)方式接口類型個(gè)4SFP+插卡接口數(shù)目口傳輸速率擴(kuò)展插槽4堆疊支持可堆疊機(jī)架式25.標(biāo)準(zhǔn)圖騰機(jī)柜46.線材、工具、其他材料等等管材等等若干2. 軟件配置表序號(hào)名稱配置描述部署硬件數(shù)量用途分布式文件系統(tǒng)存儲(chǔ)及計(jì)算服務(wù)器用來(lái)存儲(chǔ)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，文檔等富媒體文件JSS作業(yè)調(diào)度服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2作（任務(wù)的調(diào)度程序是計(jì)算任務(wù)的發(fā)起者和調(diào)度者數(shù)據(jù)計(jì)算服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器作（任務(wù)的具體負(fù)責(zé)計(jì)算的程的分配任務(wù)，處理任務(wù)比如圖片特征批評(píng)視頻的分析等等JGS作業(yè)自動(dòng)生成進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2作（任務(wù)的自動(dòng)生成主要用來(lái)生成固定規(guī)則的任務(wù)比如臺(tái)標(biāo)數(shù)據(jù)清理任務(wù)自動(dòng)清理服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器2自動(dòng)定時(shí)清除沒(méi)有利用價(jià)值的歷史數(shù)據(jù)垃圾數(shù)據(jù)消息處理服務(wù)進(jìn)程WEB及消息服務(wù)器6獲取分布式消息隊(duì)列中的數(shù)據(jù)并對(duì)獲取的數(shù)據(jù)進(jìn)行既定規(guī)則的業(yè)務(wù)處理最后把數(shù)據(jù)存儲(chǔ)在或者中SDS實(shí)時(shí)流數(shù)據(jù)處理服務(wù)進(jìn)程WEB及消息服務(wù)器6能夠?qū)崟r(shí)持續(xù)的完成流式數(shù)據(jù)的計(jì)算處理具有實(shí)時(shí)性，低延遲特點(diǎn)與批計(jì)算相對(duì)應(yīng)分布式數(shù)據(jù)庫(kù)（開(kāi)源）分布式數(shù)據(jù)庫(kù)服務(wù)器分布式noSQL數(shù)據(jù)庫(kù)完成海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，具有容量大分布式易擴(kuò)展性能好的特點(diǎn)實(shí)施計(jì)劃數(shù)據(jù)中心設(shè)施（軟件、硬件）到位并部署工作安排，下面表格是實(shí)施計(jì)劃的主要交付節(jié)點(diǎn)：序號(hào)工作內(nèi)容時(shí)間1.實(shí)施啟動(dòng)2014－2－25前2.采購(gòu)硬件（服務(wù)器、陣列柜、交換機(jī)、其他）2014－3－5前3.部署并聯(lián)調(diào)硬件（安裝操作系統(tǒng)）及局域網(wǎng)網(wǎng)絡(luò)，包括外接三線光纖網(wǎng)絡(luò)2014－3－10前4.部署并聯(lián)調(diào)9.3x64forLinux、Apache&Tomcat7.02014－3－15前5.部署并聯(lián)調(diào)分布式文件系統(tǒng)（S2DFS）、部署分布2014－3－31前3大數(shù)據(jù)計(jì)算平臺(tái)需求概述搖立購(gòu)應(yīng)用，這個(gè)項(xiàng)目暫定為個(gè)終端，激活用戶數(shù)位發(fā)量為6大電商的5類主要商品的信息，包括圖片、連共享。此項(xiàng)目還涉及海量圖片的搜索與特征值匹配。初步估計(jì)數(shù)據(jù)量在之間，由于數(shù)據(jù)量很大，需要配置大容量分布式存儲(chǔ)空間,需要分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)支撐。智能推薦應(yīng)用此項(xiàng)目跟智能電視終端密切相關(guān)并與用戶同時(shí)開(kāi)機(jī)量同時(shí)在線使用數(shù)有關(guān)所以并發(fā)量暫定為W網(wǎng)絡(luò)爬蟲(chóng)爬取的影視節(jié)目信息存儲(chǔ)在數(shù)據(jù)中心此數(shù)據(jù)量跟用戶收視記錄相關(guān)只爬取收視記錄中涉及的影視節(jié)目。同時(shí)需要對(duì)清洗后的收視記錄和計(jì)算好的推薦結(jié)果進(jìn)行存儲(chǔ)但是這些數(shù)據(jù)不放在數(shù)據(jù)中心此項(xiàng)目之后會(huì)做成實(shí)時(shí)計(jì)算需要用到流式計(jì)算的相關(guān)計(jì)算和調(diào)度。計(jì)算量很大，可以多部署DCS進(jìn)程，提高計(jì)算并發(fā)度，作業(yè)調(diào)度也要采用分部署調(diào)度架構(gòu)。收視率應(yīng)用，初步估計(jì)并發(fā)量為總體設(shè)計(jì)云數(shù)據(jù)采集中心與大數(shù)據(jù)計(jì)算平臺(tái)的關(guān)系是云數(shù)據(jù)采集中心提供存儲(chǔ)和計(jì)算資源通過(guò)PI的方式訪問(wèn)資源大數(shù)據(jù)計(jì)算平臺(tái)主要實(shí)現(xiàn)核心算法包括圖像匹配算法，挖掘算法，智能推薦算法，知識(shí)學(xué)習(xí)算法等等，也能夠通過(guò)API3d的方式建立收視率統(tǒng)計(jì)應(yīng)用智能推薦應(yīng)用拍立購(gòu)應(yīng)用等等大數(shù)據(jù)計(jì)算平臺(tái)的需要的數(shù)據(jù)包括智能終端上報(bào)的網(wǎng)上實(shí)時(shí)爬取得二次計(jì)算分析而獲取的等等都通過(guò)通用接口存儲(chǔ)在云數(shù)據(jù)采集中心的分布式存儲(chǔ)平臺(tái)（分布式文件系統(tǒng)（DF、分布式數(shù)據(jù)庫(kù)（DB計(jì)算時(shí)候，通過(guò)接口發(fā)起作業(yè)，由云數(shù)據(jù)采集中心的作業(yè)調(diào)度服務(wù)進(jìn)（J負(fù)責(zé)調(diào)度由數(shù)據(jù)計(jì)算服務(wù)進(jìn)（D）負(fù)責(zé)計(jì)算處理并把結(jié)果反饋給大數(shù)據(jù)計(jì)算平臺(tái)的各個(gè)應(yīng)用請(qǐng)參考下面的圖例：根據(jù)2小節(jié)對(duì)DFS分布式文件系統(tǒng)的詳細(xì)介紹本章節(jié)就不重復(fù)敘述，由于要增加新的存儲(chǔ)設(shè)備，對(duì)于新設(shè)備上安裝分布式文件系統(tǒng)是否繼續(xù)選用還是HDFS，我們需要回答以下幾個(gè)問(wèn)題：第一，預(yù)算增加及擴(kuò)展問(wèn)題要部署DF還得單獨(dú)購(gòu)買兩臺(tái)高性能設(shè)備作為DFS的元數(shù)據(jù)庫(kù)服務(wù)（注兩臺(tái)設(shè)備構(gòu)成主備配置不能比我們現(xiàn)在選擇的設(shè)備配置差不然就會(huì)成為瓶頸如果差了數(shù)據(jù)節(jié)點(diǎn)就擴(kuò)展不了幾臺(tái)第二，學(xué)習(xí)成本及進(jìn)度問(wèn)題：要使用HDFS，必須熟悉它的帶來(lái)的整個(gè)DFS集群部署維護(hù)等工作這個(gè)與可利用的團(tuán)隊(duì)資源相提供標(biāo)準(zhǔn)的協(xié)議接口，應(yīng)用程序代碼不需作任么統(tǒng)一接口的底層必須要寫(xiě)兩種代碼第一是對(duì)面DF第二是面對(duì)HDFS。新增加了開(kāi)發(fā)、維護(hù)、測(cè)試的時(shí)間。第三，空間浪費(fèi)及孤島問(wèn)題：S2DFS與HDFS是兩套不同體系的文件系統(tǒng)，他們之間設(shè)備及存儲(chǔ)空間是不能共用的后面增加的6臺(tái)設(shè)備在2副RDTBTB前面部署的0臺(tái)設(shè)備通過(guò)對(duì)原始數(shù)據(jù)處理壓縮后，存儲(chǔ)空間還有多余。二者構(gòu)成了孤島，同時(shí)造成空間浪費(fèi)。第四，應(yīng)用場(chǎng)景問(wèn)題DFS對(duì)存儲(chǔ)網(wǎng)頁(yè)等文件比較友好畢竟它的基因就對(duì)大尺寸視頻文件，圖像文件的性能就不能很好的適應(yīng)。在“大數(shù)據(jù)計(jì)算平臺(tái)”新部署HDFS在當(dāng)前階段來(lái)說(shuō)不很適合。3d資源及監(jiān)控管理資源及監(jiān)控管理資源及權(quán)利權(quán)限…...收視率統(tǒng)計(jì)APIDMQ開(kāi)放API數(shù)據(jù)挖掘分布式計(jì)算挖掘算法存儲(chǔ)設(shè)備網(wǎng)絡(luò)設(shè)備服務(wù)器設(shè)備拍立購(gòu)智能推薦第三方應(yīng)用調(diào)用云數(shù)據(jù)中心API大數(shù)據(jù)計(jì)算平臺(tái)架構(gòu)圖智能終端……骨干網(wǎng)收視率統(tǒng)計(jì)應(yīng) 智能推薦應(yīng)用用拍立購(gòu)應(yīng)用 開(kāi)放平臺(tái)應(yīng)用存儲(chǔ)/計(jì)算服務(wù)器存儲(chǔ)/計(jì)算服務(wù)器負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)公共網(wǎng)負(fù)載均衡服務(wù)器分布式數(shù)據(jù)庫(kù)服務(wù)器分布式數(shù)據(jù)庫(kù)防火墻 服務(wù)器…………應(yīng)用數(shù)據(jù)庫(kù)光纖作業(yè)調(diào)度應(yīng)用數(shù)據(jù)庫(kù)光纖服務(wù)器(備)作業(yè)調(diào)度服務(wù)器(備)FCSAN大數(shù)據(jù)計(jì)算平臺(tái)網(wǎng)絡(luò)圖3d應(yīng)用建設(shè)今后我們會(huì)在這次“云數(shù)據(jù)采集中心的平臺(tái)”上構(gòu)建以下幾大應(yīng)用數(shù)據(jù)采及功能加以詳細(xì)的描述。3.3.1收視率統(tǒng)計(jì)可對(duì)一段時(shí)間內(nèi)數(shù)字電視的某個(gè)頻道的某個(gè)節(jié)目進(jìn)行人次收視率或收視時(shí)長(zhǎng)收視率進(jìn)行統(tǒng)計(jì)。支持餅圖、柱狀圖等形式的統(tǒng)計(jì)報(bào)表； 支持對(duì)數(shù)字電視收視率統(tǒng)計(jì)。 卡地址。 支持頻道管理。◎支持修改、刪除、增加、查看頻道ID、頻道名稱?！蛑С謱?dǎo)入該頻道下節(jié)目EPG信息?！蛑С职搭l道ID、頻道名稱、索引、導(dǎo)入文件的名稱單項(xiàng)或組合查詢已添加頻道。 支持節(jié)目管理?！蛑С中薷摹h除、增加、查看節(jié)目名稱、頻道ID、開(kāi)始時(shí)間、結(jié)束時(shí)間和欄目名稱。◎支持批量導(dǎo)入多個(gè)頻道下所有節(jié)目的EPG信息?！蛑С职疵Q、頻道ID、開(kāi)始時(shí)間單項(xiàng)或組合查詢已添加節(jié)目。 節(jié)目收視率統(tǒng)計(jì)◎支持查詢?cè)O(shè)定時(shí)間段內(nèi)數(shù)字電視某頻道下某節(jié)目的收視記錄情況，收視記錄情況包括本時(shí)間段內(nèi)某節(jié)目的頻道歸屬、收視人次、人次收視率、收視總時(shí)長(zhǎng)、收視時(shí)長(zhǎng)收視率和本節(jié)目的開(kāi)始、結(jié)束時(shí)間等信息?！蛑С忠燥瀳D、柱狀圖的形式統(tǒng)計(jì)數(shù)字電視設(shè)定時(shí)間段內(nèi)某頻道所有節(jié)目收視時(shí)長(zhǎng)收視率和人次收視率。 頻道收視率統(tǒng)計(jì)◎支持以人次或收視時(shí)長(zhǎng)的升序、降序排序方式查詢?cè)O(shè)定時(shí)間段內(nèi)數(shù)字電視某頻道的收視記錄情況，收視記錄情況包括本時(shí)間段內(nèi)某頻道的頻道ID、頻道名稱、收視總?cè)舜?、人次收視率、收視總時(shí)長(zhǎng)、收視時(shí)長(zhǎng)收視率信息?！蛑С植樵兘Y(jié)果以EXCEL的格式導(dǎo)出?！蛑С忠远囝l道餅圖或多頻道柱狀圖的形式統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)數(shù)字電視所有頻道收視時(shí)長(zhǎng)收視率和人次收視率?！蛑С忠詥晤l道折現(xiàn)圖的形式統(tǒng)計(jì)數(shù)字電視設(shè)定時(shí)間段內(nèi)某頻道收視時(shí)長(zhǎng)收視率或人次收視率隨時(shí)間的變化。 收視率統(tǒng)計(jì)報(bào)表節(jié)目人次收視率餅圖多頻道人次收視率餅圖人次收視率變化折現(xiàn)圖3.3.2智能推薦現(xiàn)有交互技術(shù)用戶不能快速定位感興趣的視頻節(jié)目用戶不“隨心看，也不知道“今晚看啥，或者喜歡已看節(jié)目的同類節(jié)目，但是還要進(jìn)行搜索，花時(shí)間，很麻煩，還是找不到自己希望的節(jié)目?；谶@種原因，CC通過(guò)收集海量用戶行為數(shù)據(jù)通過(guò)推薦算法把觀眾想看的節(jié)目推薦給終端用戶提高用戶的體驗(yàn)?zāi)繕?biāo)是通過(guò)建立基于視頻數(shù)據(jù)挖掘的用戶興趣模型實(shí)現(xiàn)視頻內(nèi)容的個(gè)性化推薦服務(wù)系統(tǒng)。數(shù)據(jù)采集的來(lái)源有：PP客戶端瀏覽器智能電視智能空調(diào)智能冰箱、EPG數(shù)據(jù)等。智能推薦應(yīng)用架構(gòu)圖智能推薦系統(tǒng)流程圖實(shí)現(xiàn)功能： 數(shù)據(jù)采集◎這個(gè)功能請(qǐng)參考功能應(yīng)用章節(jié)的第一小節(jié)“數(shù)據(jù)采集”內(nèi)容。 構(gòu)建知識(shí)庫(kù)：◎通過(guò)第三方數(shù)據(jù)源擴(kuò)充媒體大數(shù)據(jù)，為了精細(xì)化分析用戶的興趣愛(ài)平臺(tái)的頻的顯性內(nèi)容；◎構(gòu)建影視內(nèi)容知識(shí)庫(kù)：通過(guò)分類、聚類、關(guān)聯(lián)規(guī)則算法，實(shí)現(xiàn)影視內(nèi)容知識(shí)庫(kù)構(gòu)建；◎構(gòu)建領(lǐng)域知識(shí)庫(kù)：在影視知識(shí)庫(kù)的基礎(chǔ)上，分析視頻內(nèi)容的隱性關(guān)聯(lián)數(shù)據(jù)，實(shí)現(xiàn)用戶性格領(lǐng)域的知識(shí)庫(kù)構(gòu)建。 內(nèi)容關(guān)聯(lián)元數(shù)據(jù)定義◎視頻節(jié)目特征向量節(jié)目名稱播放時(shí)間導(dǎo)演主演年份……。視頻節(jié)目視頻節(jié)目播放時(shí)間出版年份名字國(guó)籍關(guān)聯(lián)元數(shù)據(jù)定義示例圖 用戶興趣度權(quán)重定義◎基于視頻內(nèi)容的興趣度權(quán)重定義：對(duì)用戶觀看的視頻節(jié)目進(jìn)行聚類分析，根據(jù)用戶觀看不同類型的節(jié)目的總次數(shù)和連續(xù)看某類視頻的次數(shù)，確定用戶興趣度?！蚧谟脩粜袨榈呐d趣度權(quán)重定義：對(duì)用戶觀看視頻節(jié)目時(shí)的行為信息進(jìn)行分析，得到用戶對(duì)單一視頻節(jié)目的興趣度。 用戶興趣模型呈現(xiàn)◎構(gòu)建“用戶-興趣類別-興趣特征”三級(jí)管理模式。張三用戶興趣模型呈現(xiàn)示例圖 推薦內(nèi)容智能推送◎通過(guò)大數(shù)據(jù)平臺(tái)智能推薦算法的集成可以實(shí)時(shí)的把用戶感興趣的節(jié)目?jī)?nèi)容推送到用戶智能終端上，并在UI上顯示出來(lái)：內(nèi)容鏈接、內(nèi)容簡(jiǎn)介、內(nèi)容圖片等等呈現(xiàn)給用戶。3.3.3拍立購(gòu)隨著移動(dòng)業(yè)務(wù)和網(wǎng)絡(luò)的快速發(fā)展，搜索功能已經(jīng)成為第一大移動(dòng)應(yīng)用，智能設(shè)備的普及使得圖片搜索功能的需求快速增長(zhǎng)傳統(tǒng)的商品搜索通常通過(guò)采用關(guān)鍵詞搜索技術(shù)進(jìn)行商品信息整合展示現(xiàn)實(shí)世界大量的都是圖像數(shù)據(jù)特別電子商務(wù)平臺(tái)上的商品展示全部是圖像文件。本應(yīng)用采用大規(guī)模分布式爬蟲(chóng)收集主流電子商務(wù)網(wǎng)站中商品信息和對(duì)應(yīng)圖升用戶體驗(yàn)系統(tǒng)推廣后即能實(shí)現(xiàn)商品在信息殘缺情況下的比價(jià)搜索又能充分切合用戶日益增長(zhǎng)的移動(dòng)購(gòu)物需求極大提高用戶購(gòu)物體驗(yàn)有效促進(jìn)電子商務(wù)的快速發(fā)展。拍立購(gòu)主要用智能手機(jī)非常優(yōu)秀的體驗(yàn)?zāi)芰ν瓿膳c電商平臺(tái)的交互智能手機(jī)也可以與智能電視交互獲取電視屏幕圖像他們都可以通過(guò)基于圖像特征值文檢索類別查詢等等傳統(tǒng)檢索方式獲取商品信息后面這種檢索方式?jīng)]有前面的基于圖像特征值和語(yǔ)義檢索的方式友好。負(fù)載均衡 圖像搜索 智能推薦WEB/APP 資源管理 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)計(jì)算數(shù)據(jù)網(wǎng)（電信/聯(lián)通/移動(dòng)）拍立購(gòu)架構(gòu)圖了用戶體驗(yàn)。拍立購(gòu)手機(jī)端是功能示意圖以下所示：3d手機(jī)客戶端主頁(yè)以及選擇圖片頁(yè)裁剪照片頁(yè)和搜索結(jié)果頁(yè)商品詳情頁(yè)及流量引導(dǎo)圖像搜索流程圖：3dS2DFS/MongoDBS2DFS/MongoDBS2DFS/MongoDBS2DFS/MongoDB1.1提交計(jì)算作業(yè)（應(yīng)用客戶端）ServerSERVICE)5.1:建立搜索結(jié)果索引4.1:特征匹配NativeClient(數(shù)據(jù)計(jì)算服務(wù)1)5.2:建立搜索3.1:分配數(shù)據(jù)處理作業(yè)(TCP/IP)ServerSERVICE)6.1:數(shù)據(jù)處理作業(yè)結(jié)束(TCP/IP)NativeClientSERVICE)3.2:分配數(shù)據(jù)處理作業(yè)(TCP/IP) 6.2:數(shù)據(jù)處理作業(yè)結(jié)束(TCP/IP) (數(shù)據(jù)計(jì)算服務(wù)2)5.3:建立搜索結(jié)果索引4.3:特征匹配NativeClient3.3:分配數(shù)據(jù)處理作業(yè)(TCP/IP)6.3:數(shù)據(jù)處理作業(yè)結(jié)束(TCP/IP)JSS(作業(yè)調(diào)度服務(wù)))683d部署方案1. 硬件配置表序號(hào)名稱配置部署軟件數(shù)量1.存儲(chǔ)及計(jì)算服務(wù)器XeonSAS硬盤做系統(tǒng)盤D;el千兆網(wǎng)口*GbNS3企業(yè)級(jí)硬盤（保證高性能、高可靠性的同時(shí)，單臺(tái)有效空間為主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)日志行為記錄；圖片、視頻、文檔、網(wǎng)頁(yè)等文件、索引等記錄；部署備份數(shù)據(jù)也可以存儲(chǔ)在該存儲(chǔ)集群上。入臺(tái)存儲(chǔ)服務(wù)器總9B操作系統(tǒng)：RHEL或者eS.5（該類設(shè)備上都要部署）.分布式文件系統(tǒng)SD（該類設(shè)備上都要部署）.數(shù)據(jù)計(jì)算服務(wù)進(jìn)程D（該類設(shè)備上都要部署）. 作業(yè)調(diào)度服務(wù)進(jìn)程JSS（部署在其中2臺(tái)設(shè)備上，主/備）. 自動(dòng)清理服務(wù)進(jìn)程（部署在其中2臺(tái)設(shè)備上，主/備）. 作業(yè)自動(dòng)生成進(jìn)程JGS（部署在其中2臺(tái)設(shè)備上，主/備）設(shè)備上都要部署）并共用）2.WEB及消息服務(wù)器Xeon千兆網(wǎng)口件，部署分布式消息軟件平臺(tái)，緩存上傳上來(lái)的采集數(shù)據(jù)和網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)；操作系統(tǒng)：RHEL或者eS.5（該類設(shè)備上都要部署）類設(shè)備上都要部署）；WEB及應(yīng)用服務(wù)中間價(jià)：或者JBOSS（該類設(shè)備上都要部署）. 消息處理服務(wù)進(jìn)程M（該類設(shè)備上都要部署）實(shí)時(shí)流數(shù)據(jù)處理進(jìn)程：SDS（該類設(shè)備上都要部署）并獨(dú)立部署）3.應(yīng)用數(shù)據(jù)庫(kù)服務(wù)器機(jī)架服務(wù)器；Xeon*U:核心6GBE服千兆網(wǎng)口操作系統(tǒng)：RHEL或者eS.5（該類設(shè)備上都要部署）PostgreSQL2HBA卡；SAS硬盤:*0G:D冗余電源；（該類設(shè)備上都要部署）.WEB及應(yīng)用服務(wù)器mct或者JBOSS（該類設(shè)備上都要部署）4.應(yīng)用數(shù)據(jù)庫(kù)光纖柜控個(gè)Gb主機(jī)接口個(gè)GbSS擴(kuò)展口*2S企業(yè)級(jí)UNIX/LINUX/WINDOWS等主流的操作系統(tǒng)及VMware等虛擬機(jī)應(yīng)用模塊化且關(guān)鍵部件均支持熱&支持；15.華為全千產(chǎn)品型號(hào)兆交換機(jī)產(chǎn)品類型千兆以太網(wǎng)并共用）應(yīng)用層級(jí)三層背板帶寬包轉(zhuǎn)發(fā)率傳輸方式存儲(chǔ)轉(zhuǎn)發(fā)方式接口類型個(gè)接口數(shù)目口傳輸速率擴(kuò)展插槽4堆疊支持可堆疊6.標(biāo)準(zhǔn)圖騰（共用）機(jī)柜7.線材、工若干具、其他材等等材料等等2. 軟件配置表序號(hào)名稱配置描述部署硬件數(shù)量用途分布式文件系統(tǒng)存儲(chǔ)及計(jì)算服務(wù)器并共用)用來(lái)存儲(chǔ)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，文檔等富媒體文件JSS作業(yè)調(diào)度服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器作（任務(wù)的調(diào)用）度程序是計(jì)算任務(wù)的發(fā)起者和調(diào)度者數(shù)據(jù)計(jì)算服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器并共用）作（任務(wù)的具體負(fù)責(zé)計(jì)算的程的分配任務(wù)，處理任務(wù)比如圖片特征批評(píng)視頻的分析等等消息處理服務(wù)進(jìn)程WEB及消息服務(wù)器并獨(dú)立部署）獲取分布式消息隊(duì)列中的數(shù)據(jù)并對(duì)獲取的數(shù)據(jù)進(jìn)行既定規(guī)則的業(yè)務(wù)處理最后把數(shù)據(jù)存儲(chǔ)在或者中JGS作業(yè)自動(dòng)生成進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器用）作（任務(wù)的自動(dòng)生成主要用來(lái)生成固定規(guī)則的任務(wù)比如臺(tái)標(biāo)數(shù)據(jù)清理任務(wù)自動(dòng)清理服務(wù)進(jìn)程存儲(chǔ)及計(jì)算服務(wù)器用）自動(dòng)定時(shí)清除沒(méi)有利用價(jià)值的歷史數(shù)據(jù)垃圾數(shù)據(jù)SDS實(shí)時(shí)流數(shù)據(jù)處理服務(wù)進(jìn)程WEB及消息服務(wù)器并獨(dú)立部署）能夠?qū)崟r(shí)持續(xù)的完成流式數(shù)據(jù)的計(jì)算處理具有實(shí)時(shí)性，低延遲特點(diǎn)與批計(jì)算相對(duì)應(yīng)分布式數(shù)據(jù)庫(kù)（開(kāi)源）分布式數(shù)據(jù)庫(kù)服務(wù)器并共用）分布式noSQL數(shù)據(jù)庫(kù)完成海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，具有容量大分布式易擴(kuò)展性能好的特點(diǎn)備注：增加：表示由于“大數(shù)據(jù)計(jì)算平臺(tái)”的順利上線，需要新增若干同類的設(shè)備。實(shí)施計(jì)劃序號(hào)工作內(nèi)容時(shí)間1.收視率和智能推薦應(yīng)用正式上線2014－4－30前2.搖立購(gòu)應(yīng)用正式上線運(yùn)營(yíng)2014－6－30前3.大數(shù)據(jù)開(kāi)放平臺(tái)：正式上線驗(yàn)（第一期開(kāi)放接口發(fā)布）2014－10－31前4.大數(shù)據(jù)開(kāi)放平臺(tái)：正式上線驗(yàn)（第二期開(kāi)放接口發(fā)布）2014－12－31前4性能及成本分析根據(jù)需求，我們最高并發(fā)數(shù)要達(dá)到萬(wàn)/s。智能家電上傳的采集數(shù)據(jù)大小為K（這里沒(méi)包括網(wǎng)絡(luò)爬蟲(chóng)的數(shù)據(jù)計(jì)算出1萬(wàn)并發(fā)情況下需要Ms網(wǎng)絡(luò)帶寬。并發(fā)數(shù)量總帶寬單價(jià)合計(jì)備注1萬(wàn)并發(fā)400Mbps520雙線：4010萬(wàn)并發(fā)4bs4個(gè)bs）50200雙線400萬(wàn)元年20萬(wàn)并發(fā)8bs8個(gè)bs）50400雙線800萬(wàn)元年最后成本合計(jì)項(xiàng)乘以2。另外，上面的計(jì)算是理想值，沒(méi)考慮網(wǎng)絡(luò)自身的數(shù)據(jù)頭（包，以及掉包重傳或者丟掉的情況以及網(wǎng)絡(luò)延遲等等情（可以乘以80為最后結(jié)果參考值。每臺(tái)設(shè)備4臺(tái)WEB/消息服務(wù)器可以支持臺(tái)存儲(chǔ)/計(jì)算服務(wù)器可以支持100萬(wàn)的并發(fā)；如果去掉網(wǎng)絡(luò)沖突或者掉包，乘以6臺(tái)WEB/消息服務(wù)器可以支持約萬(wàn)42臺(tái)存儲(chǔ)/計(jì)算服務(wù)器可以支持約萬(wàn)70萬(wàn)的并發(fā)。由于多臺(tái)服務(wù)器構(gòu)成了集群，網(wǎng)卡性能上完全可以達(dá)到萬(wàn)的并發(fā)數(shù)請(qǐng)求。每臺(tái)EB/消息服務(wù)器內(nèi)存是GB用GB的空間來(lái)緩存隊(duì)列數(shù)據(jù)GB內(nèi)存空間可以滿足每秒約內(nèi)存配置不會(huì)成為瓶頸大容量?jī)?nèi)存可以為今后海量的數(shù)據(jù)查詢用作緩存數(shù)據(jù)用，提高查詢性能。服務(wù)器硬盤性能分析WEB/消息服務(wù)器配置的是兩塊硬盤，構(gòu)建的硬盤帶寬在以上，如果采集的數(shù)據(jù)直接寫(xiě)硬盤，單臺(tái)WEB/消息服務(wù)器可以滿足8萬(wàn)/s并發(fā)寫(xiě)以上6臺(tái)設(shè)備可以至少滿足0萬(wàn)/s以上的并發(fā)寫(xiě)入存儲(chǔ)/計(jì)算服務(wù)器集群的設(shè)備配置硬盤，構(gòu)成，帶寬約在MB/s-MB/s以上單臺(tái)存儲(chǔ)/計(jì)算服務(wù)器可以滿足7萬(wàn)/s-0萬(wàn)/s并發(fā)以上，入硬盤”策略。由于DMQ和D2B都具備內(nèi)存緩存功能，所以可以避免大并發(fā)數(shù)的而帶來(lái)的硬盤性能瓶頸問(wèn)題。服務(wù)器模式分析RAID級(jí)RAID-5容錯(cuò)性有有有冗余類型奇偶位奇偶位復(fù)制熱備盤選項(xiàng)有有有需要磁盤數(shù)三個(gè)或更多至少需要4塊盤偶數(shù)個(gè)盤可用容量n-1的總磁盤容量。其中n為磁盤數(shù)n-2的磁盤容量。其中n為磁盤數(shù)磁盤容量。其中n為磁盤數(shù)恢復(fù)速度**（計(jì)算后恢復(fù)，很慢）**（計(jì)算后恢復(fù)，很慢）****（直接復(fù)制，很快）可靠性級(jí)別允許一個(gè)驅(qū)動(dòng)器出故障。實(shí)現(xiàn)RAID50后,每個(gè)RAID5集中允許一個(gè)驅(qū)動(dòng)器出故障。允許有多個(gè)驅(qū)動(dòng)器出現(xiàn)故障,但不允許一個(gè)1(鏡器。讀取速度寫(xiě)入速度通過(guò)上表的分析結(jié)果（選擇主流的RAD構(gòu)建模式作對(duì)比分析，以及應(yīng)用場(chǎng)（分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)混合安裝前期的小尺寸文（記錄）占主要數(shù)量，保證數(shù)據(jù)庫(kù)可靠性的前提，需要同時(shí)考慮-2年的存儲(chǔ)容量和計(jì)算性能，所以這里推薦使用RAID10模式構(gòu)建磁盤組。4.5D2B性能分析10億約600GB以上（