金融行業(yè)大數(shù)據(jù)平臺綜合監(jiān)控解決方案

1、金融行業(yè)大數(shù)據(jù)平臺綜合監(jiān)控解決方案技術(shù)創(chuàng)新，變革未來目 錄現(xiàn)狀分析大數(shù)據(jù)背景下的監(jiān)控平臺架構(gòu)介紹功能介紹性能目標(biāo)產(chǎn)品演進路線一、現(xiàn)狀分析當(dāng)前架構(gòu)一、現(xiàn)狀分析民生銀行當(dāng)前架構(gòu)中存在的問題隨著民生銀行集中監(jiān)控系統(tǒng)監(jiān)管的系統(tǒng)和平臺越來越多，環(huán)境越來越復(fù)雜，其集中監(jiān)控自身架構(gòu)在當(dāng)前和未來在處理能力和穩(wěn)定性方面會存在如下制約:N多IT環(huán)境對一套NMS Server，形成多對一態(tài)勢 基礎(chǔ)設(shè)施監(jiān)控、應(yīng)用監(jiān)控、存儲監(jiān)控、網(wǎng)絡(luò)監(jiān)控、機房監(jiān)控等等，所有IT環(huán)境的監(jiān)控處理都嚴(yán)重依賴于NmsServer, NmsServer一但down掉或性能出現(xiàn)瓶頸，相關(guān)聯(lián)服務(wù)和應(yīng)用都無法正常工作，嚴(yán)重情況下會出現(xiàn)監(jiān)控平臺全局癱瘓

2、。IT資源多種多樣，數(shù)據(jù)格式和類型多種多樣，對復(fù)雜數(shù)據(jù)處理和分析能力要求高 隨著監(jiān)控節(jié)點數(shù)量的不斷增加、被管數(shù)據(jù)類型和新型數(shù)據(jù)格式的不斷創(chuàng)新，數(shù)據(jù)消費模式新需求的不斷涌出等等，不僅對集中監(jiān)控系統(tǒng)本身的處理能力和穩(wěn)定性提出了高高的要求，同時對于數(shù)據(jù)多維度、多角度的分析和處理能力要求就更高。傳統(tǒng)基于JVM內(nèi)存資源緩存技術(shù)的擴展能力遠(yuǎn)遠(yuǎn)滿足不了如今技術(shù)格局的變化平臺獨立處理能力的提升，無法滿足動態(tài)擴展和負(fù)載均衡的需求當(dāng)前集中監(jiān)控系統(tǒng)未來在大數(shù)據(jù)環(huán)境中的處理能力和擴展能力的挑戰(zhàn)很大，當(dāng)數(shù)據(jù)處理不過來時，無法通過增加機器或其他方式動態(tài)提高數(shù)據(jù)處理能力二、金融行業(yè)在大數(shù)據(jù)背景下監(jiān)控平臺應(yīng)具備的特點和能力高

3、可用不因為某一單點故障影響整個系統(tǒng)的運行,提供7*24小時持續(xù)運行可擴展數(shù)據(jù)緩存和處理具備負(fù)載均衡能力，可通過增加節(jié)點來提高數(shù)據(jù)緩存和處理能力低延時告警，性能等實時數(shù)據(jù)處理速度高,延時低易維護系統(tǒng)自身運行情況可自監(jiān)控，配置維護統(tǒng)一簡單基于上述特點，Ultra-M面向大數(shù)據(jù)環(huán)境下大型金融行業(yè)用戶的監(jiān)控平臺提供解決方案。 架構(gòu)介紹Ultra-M架構(gòu)架構(gòu)介紹Storm平臺1.Storm簡介 Storm是Twitter公司開源的一個實時流數(shù)據(jù)處理框架。Storm支持水平擴展，具有 高容錯性，保證每個消息都會得到處理，而且處理速度很快。簡單的編程模型: Storm簡化了實時處理模型支持多種編程語言: 目

4、前支持Clojure, Java, Ruby, Python容災(zāi)高可用: Storm管理整個worker集群, 允許單節(jié)點失敗支持水平擴展:支持多線程, 進程, 服務(wù)器平行處理高可靠:保證消息能被全部處理, 一旦執(zhí)行任務(wù)過程中失敗, 能從失敗處開始對消息進行回放.高效:用ZeroMQ作為底層消息隊列, 保證消息能快速被處理支持本地模式:方便本地對Topology進行測試2.Storm設(shè)計思想 在Storm中，數(shù)據(jù)就像水流一樣，從Spout(水龍頭)流入，以tuple流形式流入到Bolt(處理器),經(jīng)過當(dāng)前Bolt處理過的數(shù)據(jù)再以tuple流形式流入下一個Bolt處理，直到數(shù)據(jù)處理完成。架構(gòu)介紹

5、Storm平臺3.Storm邏輯模型 Topology: 各個組件(Spout,Bolt)間的消息流動形成邏輯上的一個拓?fù)浣Y(jié)構(gòu)Spout: 在一個topology中產(chǎn)生源數(shù)據(jù)流的組件Bolt: 在一個topology中接受數(shù)據(jù)然后執(zhí)行處理的組件Tuple: 一次消息傳遞的基本單元Stream: 源源不斷傳遞的tuple就組成了streamStream grouping:定義每個bolt接收什么樣的流作為輸入架構(gòu)介紹Storm平臺4.Storm物理模型 Nimbus: 負(fù)責(zé)資源分配和任務(wù)調(diào)度Supervisor: 負(fù)責(zé)接受nimbus分配的任務(wù)，啟動和停止屬于自己管理的worker進程Worke

6、r: 在一個topology中接受數(shù)據(jù)然后執(zhí)行處理的組件架構(gòu)介紹Storm平臺5. Ultra-M中Storm應(yīng)用 基于Storm框架如下特點: (1).實時流式計算 (2).高可擴展 (3).高可靠 (4).高性能 以及監(jiān)控系統(tǒng)中需進行大量實時告警，性能數(shù)據(jù)處理特點，在新一代大數(shù)據(jù)監(jiān)控產(chǎn)品Ultra-M中使用 Storm作為實時大數(shù)據(jù)處理平臺再合適不過。 在Ultra-M中,Storm主要用于如下幾個方面的處理: (1).實時告警處理 (2).性能數(shù)據(jù)處理 (3).性能基線計算及基線告警處理 架構(gòu)介紹Redis集群1. Redis簡介 Redis 是一個高性能的key-value存儲系統(tǒng)。性

7、能極高，支持10萬/秒的讀寫頻率豐富的數(shù)據(jù)類型及對應(yīng)的操作：支持的數(shù)據(jù)類型包括:string、list 、set 、sorted set 和hash持久化: 內(nèi)存數(shù)據(jù)同步到磁盤來保證持久化，解決了Memcached斷電后數(shù)據(jù)完全丟失問題Pipeline: 將client的多個命令一起打包發(fā)給Redis-Server，Redis-Server將結(jié)果一起返回發(fā)布訂閱(pub/sub): 可以作為一個小型消息服務(wù)器使用主從復(fù)制：允許多個slave server擁有和master server相同的數(shù)據(jù)庫副本，配置簡單分布式：目前Redis實現(xiàn)集群的方法Redis客戶端根據(jù)shard技術(shù)實現(xiàn)2. Ul

8、tra-M中Redis應(yīng)用 在監(jiān)控系統(tǒng)中，告警數(shù)據(jù)的處理離不開資源數(shù)據(jù)作為基礎(chǔ)，在告警處理中會頻繁訪問資源數(shù)據(jù)，因此，需要將資源數(shù)據(jù)緩存起來，以便提高告警處理速度。另外，隨著資源數(shù)據(jù)的不斷增長，緩存需要不斷增長，不過單獨在一個進程進行緩存資源數(shù)據(jù)會受到JVM內(nèi)存大小制約。 基于Redis高性能的鍵-值緩存及分布式緩存特點， Ultra-M中使用Redis作為數(shù)據(jù)緩存。 在Ultra-M中，Redis主要用于緩存如下數(shù)據(jù): (1). 資源緩存 (2). 告警緩存 (3). 規(guī)則策略緩存 (4). 配置文件緩存 架構(gòu)介紹Metaq集群1. Metaq簡介 Metaq是一個淘寶開源的分布式的消息中間

9、件，純Java開發(fā)，具有高吞吐量、高可用性、適合大規(guī)模分布式系統(tǒng)應(yīng)用的特點。性能極高,吞吐量大生產(chǎn)者、服務(wù)器和消費者都可集群支持消息順序支持異步發(fā)送消息消費消息失敗，支持本地恢復(fù)支持消息持久化支持HA復(fù)制支持消息過濾2. Ultra-M中Metaq應(yīng)用 在Ultra-M中，Storm平臺大數(shù)據(jù)處理是通過消息中間件來收集待處理的數(shù)據(jù)的，這就要求消息中間件必須具備很高的吞吐量，并且防止單點故障以及具備高擴展能力。另外，告警數(shù)據(jù)還要求保證消息的順序性，而這些正好是Metaq所具備的。 在Ultra-M中，Metaq主要用于處理如下消息數(shù)據(jù): (1). Storm平臺需要處理的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)主要由P

10、robe發(fā)送 (2). Ultra-M中各種各種消息通知，例如: 新建任務(wù)下發(fā)消息 包括采集任務(wù)，狀態(tài)輪詢?nèi)蝿?wù)，服務(wù)響應(yīng)任務(wù)等 規(guī)則變更消息 數(shù)據(jù)變更消息 架構(gòu)介紹Zookeeper1. Zookeeper簡介 ZooKeeper是Hadoop的正式子項目，它是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護、名字服務(wù)、分布式同步、組服務(wù)等。Storm，Metaq集群都是依賴Zookeeper實現(xiàn)的。2. SigmaM中Zookeeper應(yīng)用 Storm,Metaq均是基于Zookeeper來實現(xiàn)自身的負(fù)載均衡的，因此在Ultra-M中，Zookeeper是必不可少的，另外，基于

11、數(shù)據(jù)發(fā)布訂閱(數(shù)據(jù)中心)的特點，將Ultra-M中一些全局配置發(fā)布到Zookeeper中進行存儲，這些配置包括: (1).Redis集群地址 (2).數(shù)據(jù)庫連接地址 (3).一些其他全局配置 Zookeeper提供了基于節(jié)點屬性更改通知接口，因此在SigmaM中會監(jiān)聽這些全局配置的改變，然后重新初始化一些連接，而無需因為全局配置的更改重啟系統(tǒng)。例如，如果數(shù)據(jù)庫地址發(fā)生了變更，只需Zookeeper中數(shù)據(jù)庫連接地址節(jié)點屬性，SigmaM應(yīng)用(NmsWeb,Probe)監(jiān)聽到變更后，重置數(shù)據(jù)庫連接池中的數(shù)據(jù)庫連接即可。 架構(gòu)介紹統(tǒng)一配置中心，統(tǒng)一調(diào)度中心和數(shù)據(jù)庫 統(tǒng)一配置中心和統(tǒng)一調(diào)度中心是Ult

12、ra-M自己的應(yīng)用統(tǒng)一配置中心作用如下:(1).向Zookeeper注冊Ultra-M全局配置(2).向Redis注冊Ultra-M應(yīng)用的公共配置(包括公共配置文件)(3).作為自管理平臺，借助USM(Ultra-SelfMaintain)，實現(xiàn): Ultra-M中應(yīng)用的自動化安裝和配置 監(jiān)控Ultra-M中各應(yīng)用的運行狀態(tài)(包括storm平臺，redis集群，metaq集群等) Ultra-M應(yīng)用的自動化升級 統(tǒng)一調(diào)度中心作用如下:(1).各種定時調(diào)度任務(wù)，比如告警升級，工程調(diào)度任務(wù)等(2). Redis緩存與數(shù)據(jù)庫數(shù)據(jù)的同步，包括告警，資源等緩存數(shù)據(jù)同步數(shù)據(jù)庫:Ultra-M中默認(rèn)采用My

13、Sql集群來做數(shù)據(jù)庫存儲，但也兼容Oracle數(shù)據(jù)庫，主要是考慮到向以前Ultra-NMS項目兼容 架構(gòu)介紹變與不變從民生當(dāng)前解決方案到大數(shù)據(jù)解決方案之Ultra-M ，主要發(fā)生了如下改變:一.改變:1.分拆并去掉NmsServer (1).將NmsServer的內(nèi)存資源緩存使用Redis存儲 (2).將NmsServer的數(shù)據(jù)處理量大，實時性要求比較高的模塊或處理環(huán)節(jié)放到Storm平臺處 理，比如實時告警處理，實時性能處理 (3).將NmsServer中定時任務(wù)比如工程任務(wù)，告警升級等放到Ultra-M的統(tǒng)一調(diào)度平臺中去2.去掉MsgServer,使用Metaq作為消息中間件3.去掉C/S客

14、戶端(以后Ultra-M的客戶端只有NmsWeb)二.不變:1.數(shù)據(jù)庫模型不變，兼容以前的Ultra-NMS項目數(shù)據(jù)庫2.客戶端展示不變，即NmsWeb不變3.Probe采集接口及對外接口不變，兼容以前的數(shù)據(jù)接入及二次開發(fā)接口 架構(gòu)介紹Ultra-M架構(gòu)優(yōu)勢相對于Ultra-NMS或其他監(jiān)控產(chǎn)品, Ultra-M存在如下優(yōu)勢:1.處理可負(fù)載均衡 告警，性能等數(shù)據(jù)量大，實時性要求比較高的處理在Storm平臺中進行，Storm 平臺可實現(xiàn)數(shù)據(jù)處理負(fù)載均衡。2.高可擴展 (1).Storm平臺數(shù)據(jù)處理可通過節(jié)點方式來提高數(shù)據(jù)處理能力 (2).Redis可實現(xiàn)分布式緩存，可通過增加Redis-Serv

15、er節(jié)點來提高數(shù)據(jù)緩存 能力。 (3).Metaq支持集群，可以通過增加Metaq節(jié)點來提高消息服務(wù)處理能力。 架構(gòu)介紹Ultra-M中數(shù)據(jù)處理舉例告警處理功能介紹功能架構(gòu)被管對象采集資源管理自動發(fā)現(xiàn)查詢統(tǒng)計工程割接模型管理基礎(chǔ)功能拓?fù)涔芾磉\維管理入口關(guān)系發(fā)現(xiàn)人性化排列性能管理實時性能跟蹤歷史性能分析告警管理門限配置事件標(biāo)準(zhǔn)化告警處理告警統(tǒng)計IP地址管理規(guī)劃預(yù)分配分配回收業(yè)務(wù)影響故障快速定位組件影響分析健康度評價可用性量度應(yīng)用專題性能基線靜態(tài)基線動態(tài)基線分時基線突變基線VPN管理Vpn拓?fù)渑渲冒l(fā)現(xiàn)流量分析狀態(tài)監(jiān)測IDCPAgent輪詢探測TRAPSYSLOGSNMPWBEM網(wǎng)絡(luò)設(shè)備存儲/備份主機數(shù)據(jù)庫中間件服務(wù)/應(yīng)用業(yè)務(wù)VmwareCitrix性能目標(biāo)性能參數(shù)1.數(shù)據(jù)量 (1).資源數(shù)據(jù):總量500萬，其中:節(jié)點50萬，對象450萬 (2).KPI指標(biāo)數(shù)量:總共3000個KPI指標(biāo),粒度包括15s,30s,1m,5m,15m,60m,1h,1d (3).活動告警數(shù)