XX移動信令共享云計算平臺解決方案（完整版）

目錄目錄目錄目錄XX移動信令共享云計算平臺解決方案目錄TOC\o"1-5"\h\z\o"CurrentDocument"系統(tǒng)總體設(shè)計 1\o"CurrentDocument"云計算系統(tǒng)設(shè)計方案概述 1\o"CurrentDocument"系統(tǒng)基本功能 1\o"CurrentDocument"主要設(shè)計思想和設(shè)計目標(biāo)、設(shè)計原則 1\o"CurrentDocument"信令共享平臺的云計算解決方案 2系統(tǒng)的主要技術(shù)特點 3\o"CurrentDocument"系統(tǒng)總體構(gòu)架 4\o"CurrentDocument"系統(tǒng)基本組成與構(gòu)架 4\o"CurrentDocument"系統(tǒng)功能構(gòu)架 5\o"CurrentDocument"系統(tǒng)總體構(gòu)架與功能模塊 9\o"CurrentDocument"系統(tǒng)基本功能與處理方案 11\o"CurrentDocument"信令CDR合成功能與處理方案 11\o"CurrentDocument"數(shù)據(jù)存儲功能與處理方案 13\o"CurrentDocument"査詢分析功能與處理方案 15\o"CurrentDocument"CDR訂閱管理功能與處理方案 16\o"CurrentDocument"系統(tǒng)處理流程 17\o"CurrentDocument"系統(tǒng)互聯(lián)與管理 19組網(wǎng)方案 19系統(tǒng)接口 20網(wǎng)絡(luò)管理 21系統(tǒng)安全 23\o"CurrentDocument"系統(tǒng)可靠性與擴(kuò)展性 24系統(tǒng)可靠性 24系統(tǒng)擴(kuò)展性 25\o"CurrentDocument"系統(tǒng)設(shè)計性能 26信令流量處理能力 26\o"CurrentDocument"數(shù)據(jù)存儲能力 26\o"CurrentDocument"查詢分析計算性能 27\o"CurrentDocument"項目實施計劃 28項目內(nèi)容 28\o"CurrentDocument"成員分工及職能 31\o"CurrentDocument"項目管理制度 33工作流程 35工程進(jìn)度計劃 38\o"CurrentDocument"定制開發(fā)方案 40\o"CurrentDocument"系統(tǒng)設(shè)計實施與關(guān)鍵技術(shù)方法 44\o"CurrentDocument"系統(tǒng)軟硬件平臺 44\o"CurrentDocument"數(shù)據(jù)處理流程 44\o"CurrentDocument"信令合成處理子系統(tǒng) 45\o"CurrentDocument"信令處理集群系統(tǒng)框架與功能結(jié)構(gòu) 45\o"CurrentDocument"信令處理集群負(fù)載均衡 47CDR合成處理 48\o"CurrentDocument"原始信令、CDR數(shù)據(jù)的存儲管理 49\o"CurrentDocument"數(shù)據(jù)存儲子系統(tǒng) 50\o"CurrentDocument"海量數(shù)據(jù)分布式數(shù)據(jù)存儲構(gòu)架 50\o"CurrentDocument"適應(yīng)應(yīng)用需求的混合存儲策略 53HDFS數(shù)據(jù)存儲 53Database數(shù)據(jù)存儲 56\o"CurrentDocument"數(shù)據(jù)存儲的可靠性 58數(shù)據(jù)壓縮 59數(shù)據(jù)査詢與統(tǒng)計分析子系統(tǒng) 61數(shù)據(jù)查詢與統(tǒng)計分析系統(tǒng)基本構(gòu)架 61\o"CurrentDocument"CDR査詢功能與用戶界面 62\o"CurrentDocument"KPI數(shù)據(jù)統(tǒng)計分析功能與用戶界而 63\o"CurrentDocument"CDR專題分析與查詢功能與用戶界面 67\o"CurrentDocument"基于云方案的CDR數(shù)據(jù)查詢索引與查詢優(yōu)化技術(shù) 68\o"CurrentDocument"基于分布式數(shù)據(jù)庫的CDR查詢索引處理方案 68\o"CurrentDocument"基于HDFS的CDR査詢索引與査詢優(yōu)化技術(shù) 69\o"CurrentDocument"信令處理集群的可靠性與負(fù)載均衡設(shè)計 71\o"CurrentDocument"負(fù)載均衡處理機(jī)的單點失效容錯處理 71\o"CurrentDocument"CDR合成處理機(jī)的單點失效容錯處理 74\o"CurrentDocument"計算與存儲集群的可靠性與負(fù)載均衡設(shè)計 75\o"CurrentDocument"計算與存儲集群Master單點失效容錯處理 75\o"CurrentDocument"計算與存儲集群的負(fù)載均衡處理 81HDFS的可靠性設(shè)計 84MapReduce計算可靠性設(shè)計 86\o"CurrentDocument"查詢統(tǒng)計計算可靠性與負(fù)載均衡設(shè)計 88\o"CurrentDocument"基于Zookeeper的單點失效和負(fù)載均衡設(shè)計 88\o"CurrentDocument"索引創(chuàng)建、查詢分析并行計算任務(wù)的分發(fā)和調(diào)度 90\o"CurrentDocument"系統(tǒng)安全性設(shè)計 93\o"CurrentDocument"安全保障體系框架 93\o"CurrentDocument"云計算平臺的多級信任保護(hù) 95\o"CurrentDocument"基于多級信任保護(hù)的訪問控制 99\o"CurrentDocument"云平臺安全審計 101\o"CurrentDocument"云計算綜合安全網(wǎng)關(guān) 105\o"CurrentDocument"綜合業(yè)務(wù)應(yīng)用功能 109\o"CurrentDocument"拓?fù)涔芾?109\o"CurrentDocument"記錄査詢 109\o"CurrentDocument"信令承載分析 110\o"CurrentDocument"核心網(wǎng)分析 110\o"CurrentDocument"網(wǎng)絡(luò)優(yōu)化分析 110終端專題部分 111\o"CurrentDocument"專題分析 111\o"CurrentDocument"客戶感知專題分析 112\o"CurrentDocument"系統(tǒng)自管理功能 112\o"CurrentDocument"信令數(shù)據(jù)處理功能 113\o"CurrentDocument"數(shù)據(jù)處理模塊基本功能 113\o"CurrentDocument"多接口多協(xié)議關(guān)聯(lián)分析 113\o"CurrentDocument"數(shù)據(jù)共享功能 114\o"CurrentDocument"信令數(shù)據(jù)訂閱管理功能 114基于CDR/TDR信令數(shù)據(jù)的訂閱 115\o"CurrentDocument"基于業(yè)務(wù)信令數(shù)據(jù)的訂閱 116\o"CurrentDocument"基于指標(biāo)數(shù)據(jù)的訂閱 117\o"CurrentDocument"信令采集網(wǎng)關(guān)接入管理功能 117\o"CurrentDocument"數(shù)據(jù)存儲功能 118\o"CurrentDocument"配置數(shù)據(jù)管理 118\o"CurrentDocument"基本功能要求 118\o"CurrentDocument"鏈路數(shù)據(jù)信息管理功能要求 118\o"CurrentDocument"接口質(zhì)量監(jiān)測功能 119\o"CurrentDocument"詳細(xì)設(shè)備配宜清單 121\o"CurrentDocument"全網(wǎng)匯總設(shè)備淸單 121\o"CurrentDocument"共享層設(shè)備配置原則 122\o"CurrentDocument"存儲設(shè)備配置說明 126\o"CurrentDocument"服務(wù)器配程說明 130\o"CurrentDocument"網(wǎng)絡(luò)帶寬需求計算 132\o"CurrentDocument"技術(shù)發(fā)展路標(biāo)、產(chǎn)品規(guī)劃及近期開發(fā)計劃 134\o"CurrentDocument"云方案實施難度分析 136圖表1信令共享平臺云計算解決方案 3圖表2信令共享平臺的基本組成與構(gòu)架 4圖表3信令共享平臺總體構(gòu)架與功能模塊圖 10圖表4信令合成處理系統(tǒng)架構(gòu) 12圖表5數(shù)據(jù)存儲處理架構(gòu) 14圖表6CDR數(shù)據(jù)接入 16圖表7CDR訂閱系統(tǒng)架構(gòu) 17圖表8業(yè)務(wù)信令事件、指標(biāo)、KPI 18圖表9組網(wǎng)方案 19圖表10系統(tǒng)間接口 20圖表11分布式文件存儲系統(tǒng)吞吐量指標(biāo) 27圖表12項目管理流程 29\o"CurrentDocument"圖表13施工組織結(jié)構(gòu) 31圖表14項目實施計劃及人員安排 38圖表15工程進(jìn)度安排 39圖表16工程進(jìn)度安排圖 40圖表17系統(tǒng)軟硬件結(jié)構(gòu) 44圖表18訂閱CDRKPI業(yè)務(wù)信令事件處理流程 44圖表19存儲CDR、KPI、網(wǎng)絡(luò)指標(biāo)數(shù)據(jù)處理流程 45圖表20綜合業(yè)務(wù)分析數(shù)據(jù)處理流程 45圖表21信令集群物理分布 46圖表22信令合成軟件架構(gòu) 46圖表23信令處理集群負(fù)載均衡 47圖表24CDR合成處理 48圖表25原始信令存儲數(shù)據(jù)流程 49圖表26CDR存儲流程 50圖表27分布式計算流程 51圖表28 Hadoop結(jié)構(gòu) 52圖表29 Hdfs結(jié)構(gòu) 55圖表30 HDFSNamenode> DataNode和客戶端們之間的交互 56圖表31 HDFS數(shù)據(jù)壓縮與組織 60圖表32數(shù)據(jù)査詢子系統(tǒng)構(gòu)架 61圖表33統(tǒng)計分析子系統(tǒng) 61圖表34用戶界面圖 62圖表35CDR査詢-詳細(xì)解碼 63圖表36TD網(wǎng)優(yōu)分析-短信分析 63圖表37CDR數(shù)據(jù)（M0短信業(yè)務(wù)總次數(shù)） 64圖表38詳細(xì)解碼 64圖表39TD網(wǎng)優(yōu)分析-切換分析 65圖表40TD網(wǎng)優(yōu)分析-切換分析 65圖表42TD網(wǎng)優(yōu)分析?尋呼分析 66圖表42TD網(wǎng)優(yōu)分析?主叫試呼次數(shù)CDR下鉆 67圖表43VIP分析 67圖表44CDR査詢索引方案 70圖表45查詢次數(shù)趨勢圖 70圖表46負(fù)載均衡機(jī)分布如圖 71圖表47負(fù)載均衡機(jī)宕機(jī)預(yù)案 72圖表48Master節(jié)點宕機(jī)預(yù)案 73圖表49CDR合成處理單點失效容錯處理 74圖表50Master單點失效容錯處理 75圖表 51AvatarNodeO以Pimary啟動過程 77圖表 52AvatarNodel以Standby啟動過程 78圖表 53DataNode啟動過程 78圖表54AvatarNodeO宕機(jī)后的狀態(tài) 79圖表 55AvatarNodel切換為Primary過程 79圖表 56AvatarNodeO重啟過程 80圖表57AvatarNode啟動切換流程圖 81圖表 58Avatar體系架構(gòu)圖 84圖表60作業(yè)提交 87圖表 61JobTrackerO宕機(jī) 87圖表62作業(yè)注銷 88圖表 63Zookeeper基本工作結(jié)構(gòu)圖 88圖表64基于Zookeeper的查詢分析計算單點失效和 90圖表65CDR索引創(chuàng)建和合并并行任務(wù)調(diào)度處理框 91圖表66KPI匯總統(tǒng)計計算并行任務(wù)調(diào)度處理框架 91圖表67CDR專題數(shù)據(jù)計算并行任務(wù)調(diào)度處理框架 92圖表68并發(fā)數(shù)據(jù)查詢計算任務(wù)調(diào)度處理框架 93圖表69基于深度防護(hù)戰(zhàn)略的IATF模型 93圖表70云部署模型的實現(xiàn) 94圖表71多級信任保護(hù) 95圖表72基于可信第三方的平臺認(rèn)證 96圖表73主要因素平臺證書 96圖表74云存儲安全子系統(tǒng)接口關(guān)系圖 99圖表75基于多級信任保護(hù)的多級訪問控制流程 100圖表76數(shù)據(jù)安全交換平臺 100圖表77云存儲安全審計體系結(jié)構(gòu) 102圖表78安全日志審計系統(tǒng)結(jié)構(gòu)圖 104圖表79Cloud-USG三種部署模式 106圖表80全網(wǎng)設(shè)備匯總表 122圖表81云方案設(shè)備表 125圖表821000Mbps流量下的CDR話務(wù)計算模型 127圖表831000Mbps流量下的存儲需求模型 130圖表84流疑模型下的存儲需求 130圖表85服務(wù)器實驗室測試性能 131圖表86流雖模型下的服務(wù)器配垃 132圖表87應(yīng)用層發(fā)展 135系統(tǒng)總體設(shè)計系統(tǒng)總體設(shè)計第］頁第］頁系統(tǒng)總體設(shè)計系統(tǒng)總體設(shè)計第］頁第］頁1系統(tǒng)總體設(shè)計1.1云計算系統(tǒng)設(shè)計方案概述系統(tǒng)基本功能本期工程的建設(shè)思路是，既滿足中國移動總部規(guī)范，乂要緊密結(jié)合實際網(wǎng)絡(luò)情況，提供一套適合移動集團(tuán)當(dāng)前管理模式，乂能適應(yīng)今后發(fā)展的信令數(shù)據(jù)共享平臺。系統(tǒng)的基本功能和性能如下：海量原始信令實時解析、合成CDR能夠?qū)α髁砍^48Gbps的全量原始信令流進(jìn)行實時處理。海量CDR存儲、計算能夠存儲PB級別的CDR數(shù)據(jù)，并完成各種復(fù)雜業(yè)務(wù)應(yīng)用計算。PB級數(shù)據(jù)秒級査詢能力：高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級查詢速度。秒級實時業(yè)務(wù)響應(yīng)高效實時數(shù)據(jù)通道，對于像實時跟蹤、告警等實時業(yè)務(wù)，提供秒級響應(yīng)時間。主要設(shè)計思想和設(shè)計目標(biāo)、設(shè)計原則設(shè)計思想：將海量數(shù)據(jù)分解到山大量X86架構(gòu)計算機(jī)構(gòu)成的低成本訃算平臺上進(jìn)行實時處理，依靠分布式云計算軟件進(jìn)行容錯，從而提升移動網(wǎng)絡(luò)海量信令數(shù)據(jù)分析的實時性和性價比。設(shè)計目標(biāo):利用中國移動計算資源池中的X86架構(gòu)計算機(jī)，建立云計算平臺,能夠?qū)α髁砍^48Gbps的信令監(jiān)測流進(jìn)行實時處理，提供CDR實時查詢、專題分析和KPI分析等多種業(yè)務(wù)支持。系統(tǒng)具有可動態(tài)可伸縮性、高度容錯性和響應(yīng)實時性，達(dá)到較之傳統(tǒng)方案有一個數(shù)據(jù)量級的性能價格比提升。設(shè)計原則：前瞻性技術(shù)與實際應(yīng)用環(huán)境相結(jié)合本項LI是既是先進(jìn)技術(shù)應(yīng)用示范項LI,乂是工程實施型項LI。把握技術(shù)正確系統(tǒng)總體設(shè)計系統(tǒng)總體設(shè)計第第#頁6云方案實施難度分析針對云方案中資源池的特點，經(jīng)過認(rèn)真分析評估，以下對云方案實施的難點問題進(jìn)行了討論，并提出了我們相應(yīng)的解決方案。使用資源池計算類資源類服務(wù)構(gòu)建云計算處理平臺資源池訃算類資源服務(wù)包括物理機(jī)服務(wù)和虛擬機(jī)服務(wù)。應(yīng)用系統(tǒng)管理人員可以在服務(wù)門戶中申請、取消物理機(jī)。通過資源池提供IP-KVM功能實現(xiàn)物理機(jī)遠(yuǎn)程控制，包括上電、下電等。針對操作系統(tǒng)已經(jīng)啟動的物理機(jī)，應(yīng)用系統(tǒng)管理人員可以直接通過SSH、RDP等遠(yuǎn)程訪問協(xié)議訪問物理機(jī)。并可以在服務(wù)門戶中查看物理機(jī)監(jiān)控信息。本方案是基于Hadoop實現(xiàn)，從性能角度上考慮，在資源池尚未充分完善前,應(yīng)該構(gòu)建在物理機(jī)上，而不宜釆用虛擬機(jī)。LI前提供物理機(jī)服務(wù)相當(dāng)于讓應(yīng)用系統(tǒng)管理人員直接面對集群計算機(jī)，非常有助于云訃算平臺的構(gòu)建和長期穩(wěn)定運行。并且，獨立的物理機(jī)資源也可以通過子網(wǎng)劃分和防火墻等手段，保證其安全性。使用通用存儲資源類服務(wù)的分布式文件存儲服務(wù)資源池提供的分布式文件存儲服務(wù)支持存儲空間的申請、取消，提供\FS、CIFS等符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)訪問接口，可以基于操作系統(tǒng)mount命令直接使用，并支持在服務(wù)門戶中查看分布式文件存儲的監(jiān)控信息。應(yīng)該說在使用方式和接口上都可以支撐云計算數(shù)據(jù)信令處理和分析平臺的需求。不過，該服務(wù)單系統(tǒng)支持PB級存儲容量，從單節(jié)點上讀1GB文件的性能為60MBps,寫1GB文件的性能為30MBps,性能指標(biāo)偏低。假設(shè)輸入信令流為48000Mbps,用200個節(jié)點進(jìn)行CDR合成，則每個節(jié)點需要記錄(48000/8)/200=30MBps的原始流量，且還會產(chǎn)生其它CDR記錄流量等。如果調(diào)用資源池提供的分布式文件存儲服務(wù)，則相當(dāng)于200