xx市水文局水文預警信息發(fā)布系統(tǒng)解決方案

xx市城市水文局黃島分局水文預警信息發(fā)布系統(tǒng)項目解決方案一、項目背景為應對突發(fā)天氣帶來的城市雨洪內澇災害監(jiān)測及預警信息發(fā)布，提高城市運行管理水平，滿足市民安全出行的需求，XX市水文局黃島分局前期開展了“互聯(lián)網(wǎng)+水文項目”，其中城市積水監(jiān)測及數(shù)值模型模擬分析已初步具備分析條件，為做好最后一公里的應用，特向電信運營商提出了基于位置信息的城市預警信息發(fā)布平臺。該項目已列于黃島區(qū)2017年城市建設規(guī)劃中。二、項目需求該局提出目前一期需求是針對黃島東西兩區(qū)的主城區(qū)道路積水區(qū)進行短信實時發(fā)送動態(tài)預警需求，積水區(qū)區(qū)域大約40余處（西區(qū)），發(fā)送短信范圍為：2.1進入積水區(qū)的人員、車輛信息告知；2.2隨著雨情變化進入新的積水區(qū)的居民及進入該區(qū)域的人員車輛信息告知。2.3積水區(qū)是根據(jù)雨洪災害是動態(tài)變化的，要求響應時間快。三、山東移動大數(shù)據(jù)服務優(yōu)勢戰(zhàn)略優(yōu)勢：根據(jù)中國移動2020戰(zhàn)略規(guī)劃，為適應移動互聯(lián)網(wǎng)發(fā)展要求，中國移動將加快推進從語音經營向流量經營轉型，從移動通信業(yè)務向創(chuàng)新型全業(yè)務轉型，由拓展通信業(yè)務向拓展數(shù)字化服務轉型，以數(shù)字化方式為用戶提供更豐富、更便捷的各類生活和生產服務，打造優(yōu)質智能管道，成為值得信賴的數(shù)字化服務專家。數(shù)據(jù)優(yōu)勢：（1）山東移動擁有70%以上移動通信市場占有率。（2）客戶資料實名制率超過99％。（3）業(yè)務支撐系統(tǒng)自創(chuàng)建至今，積累了近20年的客戶消費行為數(shù)據(jù)。（4）移動擁有豐富的網(wǎng)絡信令數(shù)據(jù)，用戶在每一個業(yè)務應用和操作時，包括語音通話、收發(fā)短信等業(yè)務時，都會在網(wǎng)絡側記錄用戶相關的基站位置信息，除此之外還有用戶的主動位置更新（更新LAI）和定期的位置更新（一般為2小時以內），也會記錄用戶的位置信息，通過這些信令數(shù)據(jù)上下文，我們可以通過基站描點勾勒出用戶的活動軌跡。海量信令數(shù)據(jù)完整描述用戶的位置移動規(guī)律。（5）目前平臺擁有4P數(shù)據(jù)存儲能力，能夠實時采集用戶位置和行為信息，每天實時處理信令數(shù)據(jù)超過20T，并對信令完成粗加工、精加工，形成用戶達到某區(qū)域、發(fā)生某行為的特定信息及基于客戶歷史行為信息挖掘建模生成的客戶消費特征標簽信息。平臺技術優(yōu)勢：山東移動于14年構建基于hadoop、mpp數(shù)據(jù)庫的大數(shù)據(jù)平臺，滿足海量數(shù)據(jù)處理需求。基于hadoop、mpp數(shù)據(jù)庫、資源飾，建設數(shù)據(jù)服務平臺平臺，解決數(shù)據(jù)安全、海量數(shù)據(jù)實時處理、多租戶快速發(fā)布及可視化展現(xiàn)等問題。平臺分為PAAS平臺、數(shù)據(jù)中心、應用、統(tǒng)一門戶、統(tǒng)一平臺管控四層。應用層包括產品服務應用和基礎數(shù)據(jù)應用。產品服務應用主要包括選址產品、客源分析產品、公共服務產品、營銷輔助產品和其他產品。基礎數(shù)據(jù)應用包括行業(yè)開發(fā)和脫敏數(shù)據(jù)開放等統(tǒng)一門戶提供統(tǒng)一負載均衡、鑒權管理、統(tǒng)一管控平臺接入、API注冊、API管理、應用注冊、應用發(fā)布、應用訪問數(shù)據(jù)信息等功能，同時提供數(shù)據(jù)被應用訪問的頻次，被應用訪問的數(shù)據(jù)范圍，提供數(shù)據(jù)資產的評估，為應用上下線和數(shù)據(jù)開放提供依據(jù)。提供一個應用商店來展示與安裝下載各類應用。根據(jù)不同類型的角色提供個性化的工作臺視圖界面，使用者門戶、開發(fā)者門戶、運維者門戶等等。PaaS平臺PAAS平臺開放主要包括數(shù)據(jù)工廠、開發(fā)者IDE、服務管理、統(tǒng)一服務接口等部分?？梢酝脚_把基礎能力與數(shù)據(jù)，開放給應用開發(fā)者使用。并通過服務管理與對外接口部分把數(shù)據(jù)開放給外部用戶使用。數(shù)據(jù)中心數(shù)據(jù)中心負責數(shù)據(jù)的存儲，主要非為對內數(shù)據(jù)平臺、對外脫敏加密數(shù)據(jù)平臺、合作方數(shù)據(jù)平臺與測試模擬數(shù)據(jù)組成。統(tǒng)一平臺管控面向開發(fā)人員、運維人員實現(xiàn)數(shù)據(jù)、應用、資源的統(tǒng)一管控，包括：數(shù)據(jù)管控、多租戶管理、運維管理、監(jiān)控管理、調度管理、系統(tǒng)管理、安全管理。四、方案設計4.1系統(tǒng)架構系統(tǒng)架構圖根據(jù)項目建設內容，實現(xiàn)對黃島東西兩區(qū)的主城區(qū)道路積水區(qū)進行短信實時發(fā)送動態(tài)預警需求，通過以上系統(tǒng)架構，協(xié)調各集群間的功能，使整個大數(shù)據(jù)平臺的數(shù)據(jù)流轉更實時、更高效、更智能、更配置化，減少原有傳統(tǒng)使用文件進行流轉的方式。具體集群功能如下：4.1.1Flume集群Flume集群是大數(shù)據(jù)平臺實時計算與離線計算的轉換平臺，同時可以承擔大規(guī)模數(shù)據(jù)的流轉功能，減少文件傳輸和入庫，且通過配置文件即可實現(xiàn)，提高開發(fā)效率和數(shù)據(jù)流轉效率。讀取文件、Kafka、HDFS、OGG/DSG工具日志等寫入文件、Kafka、HDFS、Hive、HBase等對讀取數(shù)據(jù)進行篩選和分發(fā)4.1.2Kafka集群Kafka集群是整個大數(shù)據(jù)平臺實時數(shù)據(jù)交換的平臺，所有的數(shù)據(jù)，如MC、GN、LTE、話單、資料等原始數(shù)據(jù)，Streams、事件中心等處理的結果數(shù)據(jù)，均在這個集群中實時進行數(shù)據(jù)交換。接收接口機轉發(fā)的MC、GN、LTE等實時信令數(shù)據(jù)接收flume采集的數(shù)據(jù)庫日志、話單等數(shù)據(jù)提供Streams實時數(shù)據(jù)讀取，并接收Streams處理后的結果數(shù)據(jù)提供flume數(shù)據(jù)讀取，將數(shù)據(jù)流轉向其他組件提供事件中心實時數(shù)據(jù)讀取，并接收事件結果數(shù)據(jù)4.1.3Streams集群Streams集群是所有在線數(shù)據(jù)的第一道運算集群，在此集群中對數(shù)據(jù)進行高速的逐條計算，如字段選擇、數(shù)據(jù)加解密、編碼轉換等等簡單但實時性要求非常高的操作。為保證及時性，Streams的數(shù)據(jù)源和結果存放均為Kafka集群。4.1.4實時計算中心/事件中心實時計算中心/事件中心是整個大數(shù)據(jù)平臺進行在線運算的部分，使用SparkSQL和Codis內存庫的組合，可支持復雜的運算。讀取Kafka集群數(shù)據(jù)，同時將運算結果寫入Kafka集群讀取Codis內存庫集群數(shù)據(jù)，同時將運算結果寫入Codis4.1.5Codis集群Codis集群是分布式的內存數(shù)據(jù)庫集群，可提供高并發(fā)、低延時的查詢。在大數(shù)據(jù)平臺中，主要為實時計算提供即時的查詢功能。數(shù)據(jù)的寫入和讀取由程序單獨控制。4.2實現(xiàn)原理項目建設需要針對XX市黃島分局40余處（西區(qū)）積水區(qū)域進行水文預警信息推送，并返回每個積水區(qū)柵格內的用戶數(shù)，考慮以下實施方案流程。確定40余處積水區(qū)域后，統(tǒng)計出這40余處積水區(qū)域中每個積水區(qū)對應的基站信息。通過與水文局系統(tǒng)對接，可獲取汛期時哪幾個區(qū)域產生積水，移動大數(shù)據(jù)平臺將根據(jù)這些積水區(qū)域對應的基站信息，實時監(jiān)測進入?yún)^(qū)域的用戶，并對這些用戶實時發(fā)送預警短信，同時為水文局輸出積水區(qū)域內用戶數(shù)量。實現(xiàn)原理圖4.3建設內容4.3.1基礎數(shù)據(jù)準備（1）確定40余處積水區(qū)域監(jiān)測點及可能的范圍（2）根據(jù)積水區(qū)域及范圍，整理各積水區(qū)域對應的基站信息，形成積水區(qū)域、移動基站lac+cel列表，每個移動基站是以扇區(qū)的方式覆蓋相應的區(qū)域。根據(jù)范圍不同，每個積水區(qū)域可能對應一個或多個基站。（3）指定幾條短信模板，記錄到移動短信發(fā)送端口，每次發(fā)送時，只需發(fā)送指定的短信。4.3.3大數(shù)據(jù)平臺_汛期預警短信發(fā)送原理簡述：與水文局系統(tǒng)對接后，將水文局系統(tǒng)推送來的積水區(qū)域信息及短信模板信息，推送到移動大數(shù)據(jù)預警短信平臺上，預警短信平臺將根據(jù)積水區(qū)域條件觸發(fā)相應基站，通過實時監(jiān)測基站信息，獲取進入積水區(qū)域用戶，并通過mas端口向積水區(qū)域用戶發(fā)送指定的預警短信。為滿足水文局發(fā)送預警短信需求，山東移動大數(shù)據(jù)預警信息發(fā)送平臺提供兩類關鍵能力：1、客戶實時狀態(tài)捕獲能力。山東移動已構建基于大數(shù)據(jù)流平臺的事件處理中心，能夠實時采集用戶位置和行為信息，每天實時處理信令數(shù)據(jù)超過20T，并對信令完成粗加工、精加工，形成用戶達到某區(qū)域、發(fā)生某行為的特定信息；原始數(shù)據(jù)獲?。韩@取信令等網(wǎng)絡事件源數(shù)據(jù)，以識別用戶的位置狀態(tài)、業(yè)務狀態(tài)、等事件行為。事件加工：根據(jù)原始數(shù)據(jù)，加工業(yè)務場景所需事件，如汛期時用戶到達某積水區(qū)域。2、客戶接觸管控功能：山東移動的預警信息發(fā)送平臺，整合并打通了短信、彩信、郵件、網(wǎng)廳app等不同接觸渠道，根據(jù)水文局系統(tǒng)推送的事件行為及實時捕獲的用戶狀態(tài)，可實時對用戶發(fā)送預警短信。4.3.2積水區(qū)柵格用戶數(shù)統(tǒng)計通過積水區(qū)域對應的移動基站，可實時監(jiān)測積水區(qū)柵格中用戶數(shù)量，并以柵格形式輸出給水文局。輸出頻次待定。（1）程序啟動從mysql數(shù)據(jù)庫讀取相關的元數(shù)據(jù)信息，以及配置信息。（2）開發(fā)streams程序，從kafka集群，讀取MC和LTE的位置信令數(shù)據(jù)，將數(shù)據(jù)按照固定格式進行拆分。（3）streams程序實時數(shù)據(jù)讀取codis集群中的用戶資料信息，篩選出指定積水區(qū)域的用戶，輸出到下一個流。（4）將積水區(qū)域內的結果數(shù)據(jù)實時寫入kafka集群指定的topic。（5）在flume集群配置實時抽取進程，將kafka中的數(shù)據(jù)輸出到接口機。（6）積水區(qū)域用戶數(shù)結果輸出。4.4系統(tǒng)對接 4.4.1輸出文件說明（1）積水區(qū)柵格用戶數(shù)文件（如表1）：計算時間、區(qū)域代碼、人數(shù)、文件發(fā)出時間。傳輸方式：ftp頻次為：待定。表1人員總數(shù)文件字段含義樣例備注時間監(jiān)控時間201604201430積水區(qū)域編碼監(jiān)控區(qū)域編碼001待定人數(shù)該區(qū)域聚集人數(shù)90文件發(fā)送時間文件發(fā)出時間201704271435（2）實時到達用戶每分鐘生成一個文件，每個文件中的手機號碼保證唯一。文件內容：手機號碼，積水區(qū)域標識。傳輸方式：ftp頻次為：分鐘級。4.4.2短信下發(fā)說明（1）由于積水區(qū)域發(fā)送的時間不確定，所以經分側不對用戶做固定時間段內的排重，以保證區(qū)域內的用戶在災情來臨，能夠及時的輸出；（2）短信下發(fā)時需要根據(jù)情況，在短信發(fā)送側做好用戶下發(fā)的排重處理，以避免同一用戶多次下發(fā)的情況；（3）大數(shù)據(jù)平臺流處理負責實時監(jiān)控，數(shù)據(jù)實時推送到短信中心，短信中心負責與XX水文局做好執(zhí)行控制。4.5云MAS平臺對接4.