沃網(wǎng)絡(luò)系統(tǒng)技術(shù)架構(gòu)培訓(xùn)材料

內(nèi)部資料注意保密浪潮軟件集團(tuán)通信事業(yè)本部五月23中國聯(lián)通OSS2.0沃網(wǎng)絡(luò)系統(tǒng)培訓(xùn)對技術(shù)需求的理解1O域、B域、互聯(lián)網(wǎng)等多數(shù)據(jù)源關(guān)聯(lián)需求源海量數(shù)據(jù)采集、處理、存儲管理需求量用戶級、業(yè)務(wù)級端到端細(xì)粒度分析度各類GIS、圖表需求，智能終端訪問需求用與周邊系統(tǒng)的關(guān)系2統(tǒng)一采集與指令適配平臺（采集、適配、能力共享）資源管理電子運維（門戶）沃網(wǎng)絡(luò)智能監(jiān)控客戶服務(wù)支撐無線PM、CM、MR、Trace核心網(wǎng)PM、CM、XDR資源數(shù)據(jù)問題派單作業(yè)計劃組織樹KPI性能預(yù)警告警歷史數(shù)據(jù)問題小區(qū)影響范圍系統(tǒng)建設(shè)原則-13架構(gòu)云化系統(tǒng)建設(shè)原則-24服務(wù)能力開放化系統(tǒng)建設(shè)原則-35分析用戶化分析用戶化用戶使用有效性易學(xué)易用用戶群差異化用戶體驗激發(fā)創(chuàng)造性用戶參與度系統(tǒng)建設(shè)原則-46數(shù)據(jù)可視化7數(shù)據(jù)采集數(shù)據(jù)應(yīng)用數(shù)據(jù)處理展現(xiàn)接口數(shù)據(jù)設(shè)備數(shù)據(jù)基礎(chǔ)數(shù)據(jù)采集管理解析存儲處理數(shù)據(jù)質(zhì)量監(jiān)控及維護(hù)數(shù)據(jù)中心專題大屏GIS網(wǎng)絡(luò)質(zhì)量監(jiān)控基礎(chǔ)數(shù)據(jù)管理管理網(wǎng)絡(luò)質(zhì)量評估網(wǎng)絡(luò)質(zhì)量分析業(yè)務(wù)質(zhì)量分析專項分析報表中心維護(hù)統(tǒng)計分析...系統(tǒng)功能結(jié)構(gòu)系統(tǒng)整體技術(shù)架構(gòu)8數(shù)據(jù)匯聚中心基礎(chǔ)管理中心展現(xiàn)層數(shù)據(jù)源系統(tǒng)（B域、O域、M域、外部域）海量數(shù)據(jù)運算緩存集群海量數(shù)據(jù)存儲實時分析集群Vertica實時運算集群RedisStorm關(guān)系型數(shù)據(jù)庫OracleHDFSHBaseHiveMRSPARKYARN數(shù)據(jù)融合中心ETLManagerZabbixAnsible基礎(chǔ)數(shù)據(jù)存儲運算集群應(yīng)用層SolrSPSSWebServicesStruts2移動端IOSAndroidHtml5PC端JSPeasyUIBaiduMap在線流式數(shù)據(jù)采集FlumeKafkaStorm離線批量數(shù)據(jù)采集FTPSFTPJDBC互聯(lián)網(wǎng)數(shù)據(jù)采集WebCrawlerJQueryArcGis數(shù)據(jù)采集-流式采集技術(shù)9流處理方案采用業(yè)界主流的Flume+Kafka+Storm混搭架構(gòu)，采用分布式集群部署方式。數(shù)據(jù)處理-分布式任務(wù)調(diào)度10DTD作為一個集群化的采集平臺，支持任務(wù)流調(diào)度（即預(yù)先定義多個任務(wù)的先后執(zhí)行關(guān)系），是一個接口開放的執(zhí)行平臺，其中可以嵌入任何基于Java的執(zhí)行模塊，可用于各類采集、統(tǒng)計功能的部署實施。數(shù)據(jù)存儲-HADOOP技術(shù)11Hadoop框架在沃網(wǎng)絡(luò)系統(tǒng)中用于數(shù)據(jù)海量原始數(shù)據(jù)存儲、海量離線分析計算，其具備電信級可靠性、數(shù)據(jù)驅(qū)動的彈性擴(kuò)展能力。浪潮Hadoop技術(shù)涉及HDFS/MapRedure/Yarn、HBase、Hive、Zookeeper、Spark、SparkStreaming等業(yè)界主要技術(shù)方案，滿足沃網(wǎng)絡(luò)系統(tǒng)對Hadoop技術(shù)應(yīng)用要求。數(shù)據(jù)存儲-MPP技術(shù)12MPP產(chǎn)品選用Vertica，具有小并發(fā)、高容量的特點，適用于長期海量分析數(shù)據(jù)（MR匯總數(shù)據(jù)、話單數(shù)據(jù)、話統(tǒng)數(shù)據(jù)等）存儲。數(shù)據(jù)存儲-RDB技術(shù)13RDB技術(shù)架構(gòu)具有高并發(fā)、小容量等技術(shù)特點，適用于小量結(jié)果類數(shù)據(jù)、周期/實時更新類數(shù)據(jù)（基站工參數(shù)據(jù)、考核結(jié)果數(shù)據(jù)、工單數(shù)據(jù)、管理數(shù)據(jù)等）存儲。浪潮RDB技術(shù)方案適用于ORACLE、MYSQL、SQLSERVER等主流數(shù)據(jù)庫產(chǎn)品，可實現(xiàn)與各類關(guān)系型數(shù)據(jù)庫的無縫對接。目前選用ORACLE做為沃網(wǎng)絡(luò)RDB技術(shù)方案。數(shù)據(jù)存儲-內(nèi)存數(shù)據(jù)庫14分布式內(nèi)存緩存技術(shù)，是對Hadoop、MPP、RDB方案的補充，主要用于對數(shù)據(jù)處理實時性極高（如信令跟蹤，與流式采集技術(shù)相結(jié)合，可以實現(xiàn)實時的用戶信令跟蹤），以及涉及到快速關(guān)聯(lián)分析的數(shù)據(jù)提取場景（如工參數(shù)據(jù)會在MR數(shù)據(jù)計算位置時需要持續(xù)快速的引用，此時工參數(shù)據(jù)緩存在內(nèi)存中進(jìn)行緩存，可以達(dá)到最快的響應(yīng)速度）。廠家支撐人員快速構(gòu)建專題能力-自定義報表15業(yè)務(wù)人員通過自定義報表定制工具，4步驟輕松完成報表定義，一次定制永久使用?？梢暬芰?GIS方案16沃網(wǎng)絡(luò)GIS方案采用商用(ARCIGS)+開源（如BaiduMap）的技術(shù)方案，前者適用于分析類需求，特點是功能全面，后者適用于展現(xiàn)類需求，特點是界面效果美觀。可視化能力-GIS效率優(yōu)化17使用動態(tài)地圖服務(wù)可實現(xiàn)大數(shù)據(jù)量的GIS呈現(xiàn)預(yù)處理使用局部刷新模式提高即時分析呈現(xiàn)效率使用大數(shù)據(jù)聚類方式提高即時分析呈現(xiàn)效率集中發(fā)布，多處使用統(tǒng)一管理，方便數(shù)據(jù)更新提供多種服務(wù)類型，供多種客戶端消費地圖服務(wù)任務(wù)調(diào)度方式自動生成地圖服務(wù)，因此不存在效率問題使用已發(fā)布的服務(wù)，無需用戶再次生成渲染圖層加載速度快、GIS操作流暢，用戶體驗好S1S2S3SnGIS服務(wù)器服務(wù)接口服務(wù)發(fā)布程序可視化能力-移動終端應(yīng)用18－18－移動終端采用原生APP+HTML5方案，前者適用于工具類需求，特點是支持靈活復(fù)雜的交互場景，后者適用于展現(xiàn)類需求，特點是界面效果美觀。其他關(guān)鍵技術(shù)-指標(biāo)公式匯總19指標(biāo)分類廠家原始指標(biāo)公共指標(biāo)表達(dá)式動態(tài)編譯常量四則運算自定義函數(shù)表達(dá)式嵌套計算優(yōu)先級其他關(guān)鍵技術(shù)-全文搜索20目標(biāo)：提升用戶查詢體驗，仿百度地圖的操作模式方案：采用solr/lucene做為查詢服務(wù)關(guān)鍵點：中文分詞、數(shù)