Topsuit運(yùn)營(yíng)商OSS云化案例之實(shí)時(shí)流處理落地方案—億陽(yáng)V張文

1、揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！TOP100 案例標(biāo)題架構(gòu)師/億陽(yáng)信通揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！摘要包含固定格式的內(nèi)容（就是下面的各頁(yè)標(biāo)題，如“要分享什么”）本案例以國(guó)內(nèi)某電信運(yùn)營(yíng)商一個(gè)大型故障告警項(xiàng)目為例，介紹了一個(gè)實(shí)時(shí)流分布式計(jì)算的解決方案。該方案的本質(zhì)是一個(gè)基于CEP(Complex Event Processing，CEP)的事件驅(qū)動(dòng)架構(gòu)（EventDrivenArchitecture，EDA）解決方案，但是由于國(guó)內(nèi)電信運(yùn)營(yíng)商的個(gè)性化需求，使得該方案有了更高的挑戰(zhàn)。

2、通常CEP系統(tǒng)的特點(diǎn)是：1、輸入事件量大，系統(tǒng)吞吐量大且要求彈性擴(kuò)展；2、處理判斷規(guī)則復(fù)雜；3、輸出實(shí)時(shí)性要求高；本案例新增挑戰(zhàn)：1、規(guī)則變化后，實(shí)時(shí)生效；2、規(guī)則變化頻繁且規(guī)則相關(guān)性（時(shí)間維度，處理節(jié)點(diǎn)間）復(fù)雜；3、多路（多租戶）并行輸出揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！案例標(biāo)題a)案例簡(jiǎn)介b)當(dāng)初啟動(dòng)此案例時(shí)（或?qū)嵤┖螅┻_(dá)到的目標(biāo)CEP系統(tǒng)架構(gòu)的挑戰(zhàn)： 全國(guó)集中、大省大容量告警查詢和初始化過(guò)濾器 活動(dòng)告警量將達(dá)到1700w5.1億 復(fù)雜過(guò)濾/排序查詢 響應(yīng)時(shí)間要求在秒級(jí) 支持幾百的并發(fā)，幾千的在線 目前背景告警入庫(kù)200EPS目前30

3、萬(wàn)告警建立簡(jiǎn)單過(guò)濾器，如果有10萬(wàn)返回需要幾分鐘，復(fù)雜過(guò)濾器10分鐘以上揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！客戶端：1、幾個(gè)2、實(shí)時(shí)監(jiān)控、流水窗3、過(guò)濾器（按條件查看）服務(wù)層：1、實(shí)時(shí)分發(fā)2、數(shù)據(jù)庫(kù)持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/sDB方案：無(wú)法做到大并發(fā)讀寫(xiě)，速度不達(dá)標(biāo)，類似最早的告警監(jiān)控C/S加載，十幾分鐘以上進(jìn)程內(nèi)緩存方案：查詢速度慢，不具備索引查詢能力，不可擴(kuò)展Hadoop Hive/HBase: 復(fù)雜查詢啟動(dòng)時(shí)間多，基本都在幾分鐘以上內(nèi)存數(shù)據(jù)庫(kù)：?jiǎn)螌?xiě)多讀，負(fù)荷有集中點(diǎn)MPP DB/一體機(jī)：高昂的價(jià)格，且多適用

4、于分析應(yīng)用揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！客戶端：1、幾個(gè)2、實(shí)時(shí)監(jiān)控、流水窗3、過(guò)濾器（按條件查看）服務(wù)層：1、實(shí)時(shí)分發(fā)2、數(shù)據(jù)庫(kù)持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/s進(jìn)程內(nèi)緩存方案：查詢速度慢，不具備索引查詢能力，不可擴(kuò)展揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！客戶端：1、幾個(gè)2、實(shí)時(shí)監(jiān)控、流水窗3、過(guò)濾器（按條件查看）服務(wù)層：1、實(shí)時(shí)分發(fā)2、數(shù)據(jù)庫(kù)持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/s內(nèi)存數(shù)據(jù)庫(kù)：?jiǎn)螌?xiě)多讀，負(fù)荷有集中點(diǎn)揭示研發(fā)管理白金定律，分享那

5、些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 單進(jìn)程設(shè)計(jì)方案單進(jìn)程設(shè)計(jì)方案 方案描述：將所有告警存儲(chǔ)在一個(gè)Server中，客戶端與均與該服務(wù)通信。 優(yōu)點(diǎn)：設(shè)計(jì)簡(jiǎn)單，開(kāi)發(fā)快 缺點(diǎn)：擴(kuò)展性差。揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 分布式分布式master-worker設(shè)計(jì)方案設(shè)計(jì)方案方案描述：使用自己開(kāi)發(fā)的

6、分布式框架，客戶端只與master側(cè)通信，根據(jù)實(shí)際的告警量可分多個(gè)worker處理，master側(cè)進(jìn)行匯總，master與worker之間使用socket通信，使用share memory傳送告警數(shù)據(jù)。優(yōu)點(diǎn)：本機(jī)多進(jìn)程部署，因?yàn)槭褂胹hare memory，所以性能較高缺點(diǎn)：工作量大，多機(jī)部署需要考慮告警揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 分布式分布式akka設(shè)計(jì)方案 方案描述：利用akka分布式框架， 優(yōu)點(diǎn)：框架比較成熟，開(kāi)源

7、，很多功能在實(shí)踐中進(jìn)行了驗(yàn)證。 缺點(diǎn)：了解不多，資料較少，遇到問(wèn)題需要揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！客戶端：1、1000個(gè)2、實(shí)時(shí)監(jiān)控、流水窗3、過(guò)濾器很多很復(fù)雜（按條件查看）服務(wù)層：1、實(shí)時(shí)分發(fā)2、背景數(shù)據(jù)億級(jí)3、數(shù)據(jù)庫(kù)持久化告警源：1、多數(shù)據(jù)源2、3萬(wàn)條/s內(nèi)存數(shù)據(jù)庫(kù)：?jiǎn)螌?xiě)多讀，負(fù)荷有集中點(diǎn)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 基于actor模型 Actor模式是一個(gè)解決分布式計(jì)算的數(shù)學(xué)模型

8、，其中Actor是基礎(chǔ) 用來(lái)編寫(xiě)并行計(jì)算或分布式系統(tǒng)的高層次抽象，讓程序員不必為多線程模式下共享鎖而煩惱揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 Actor介紹 在Actor Model世界里，一切皆Actor 每一個(gè)Actor擁有自己的狀態(tài)及行為 所有Actor之間的交互都是通過(guò)消息來(lái)傳遞來(lái)實(shí)現(xiàn)的揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了

9、才促使項(xiàng)目成功。 Actors為你提供: 對(duì)并發(fā)/并行程序的簡(jiǎn)單的、高級(jí)別的抽象。 異步、非阻塞、高性能的事件驅(qū)動(dòng)編程模型。 非常輕量的事件驅(qū)動(dòng)處理（1G內(nèi)存可容納約270萬(wàn)個(gè)actors）揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 垂直擴(kuò)展和水平擴(kuò)展 在任務(wù)負(fù)荷增加時(shí)可以動(dòng)態(tài)擴(kuò)展actor（本地），從而到達(dá)垂直擴(kuò)展 每個(gè)任務(wù)節(jié)點(diǎn)是透明的，可以增加遠(yuǎn)程處理單元，可以達(dá)到水平擴(kuò)展揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推

10、動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 自動(dòng)恢復(fù) 通過(guò)監(jiān)管樹(shù)形結(jié)構(gòu)滿足多JVM下高容錯(cuò)性，達(dá)到高可靠性 actor狀態(tài)監(jiān)控的功能配合actor自恢復(fù)實(shí)現(xiàn) Let it down, 讓程序更穩(wěn)定健壯揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 分布存儲(chǔ)master-slave框架數(shù)據(jù)分布Master測(cè)進(jìn)行二次排序揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！怎么做到

11、的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 Keepalived 簡(jiǎn)單 雙機(jī)熱備，消除目錄服務(wù)單點(diǎn)故障揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 遇到的問(wèn)題 告警量大 實(shí)時(shí)要求高 現(xiàn)有復(fù)雜過(guò)濾器 執(zhí)行接近1分鐘 執(zhí)行超過(guò)1分鐘 執(zhí)行超時(shí)A 執(zhí)行超時(shí)B 超長(zhǎng)過(guò)濾器實(shí)踐 1.1 告警訂閱服務(wù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential

12、 and Proprietary BOCO Inter-Telecom Co.,Ltd. 2013-05-29 姓名：李杰部門：技術(shù)規(guī)劃部郵箱：電話：88157631揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！應(yīng)用效果應(yīng)用效果分布式環(huán)境2臺(tái) CPU：32core 2.00GHz內(nèi)存：128G交換機(jī)：千兆數(shù)據(jù)量500萬(wàn)實(shí)時(shí)接收數(shù)據(jù)1800/s簡(jiǎn)單過(guò)濾器3s復(fù)雜過(guò)濾器20s實(shí)踐 1.1 告警訂閱服務(wù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！實(shí)踐 1.1 告警訂閱服務(wù)添加內(nèi)容揭示研發(fā)管理白金定律，分享那些激

13、動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 遇到的問(wèn)題告警量大實(shí)時(shí)要求高告警統(tǒng)計(jì)的性能需要處理每秒一萬(wàn)告警支持各種不同匯總維度實(shí)踐 1.2 告警統(tǒng)計(jì)服務(wù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！告警統(tǒng)計(jì)框圖實(shí)踐 1.2 告警統(tǒng)計(jì)服務(wù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！Confidential and Proprietary BOCO Inter-Telecom Co.

14、,Ltd. 應(yīng)用效果應(yīng)用效果分布式環(huán)境1臺(tái) CPU：32core 2.00GHz內(nèi)存：128G交換機(jī)：千兆數(shù)據(jù)量500萬(wàn)實(shí)時(shí)接收數(shù)據(jù)1w/s分組匯總44組延遲3s實(shí)踐 1.2 告警統(tǒng)計(jì)服務(wù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！And曾經(jīng)還嘗試過(guò)什么但失敗了/放棄了，以及未來(lái)想嘗試什么? 曾經(jīng)嘗試- 基于share memory分布式框架 未來(lái)想嘗試- 目前存儲(chǔ)告警相關(guān)的數(shù)據(jù)，后續(xù)把資源類數(shù)據(jù)加入做集中存儲(chǔ)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！案例ROI分析進(jìn)行投入產(chǎn)出分析 實(shí)時(shí)告警處理從幾百

15、提升至幾千，并可擴(kuò)展至萬(wàn)級(jí) 告警量從100萬(wàn)擴(kuò)展至500萬(wàn)或更多 基于過(guò)濾器查詢、排序從幾十秒、幾百秒縮減至3秒內(nèi) 為運(yùn)營(yíng)商省級(jí)集中、全國(guó)集中在技術(shù)上進(jìn)行了保證揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！案例啟示提煉出該案例（或項(xiàng)目）的哲理、方法論。 不要重新制造輪子 選型前驗(yàn)證的重要性 架構(gòu)均衡的藝術(shù) 合適才是最好的揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！0-OSS云化分析Paas層如何架構(gòu)實(shí)時(shí)/非實(shí)時(shí)非實(shí)時(shí)：大數(shù)據(jù)簡(jiǎn)單查詢/大數(shù)據(jù)高時(shí)延復(fù)雜查詢/大數(shù)據(jù)處理/大數(shù)據(jù)挖掘?qū)崟r(shí)：大數(shù)據(jù)低時(shí)延復(fù)雜查詢/

16、流數(shù)據(jù)處理分產(chǎn)品介紹改造方案技術(shù)平臺(tái)類：統(tǒng)一采集/數(shù)據(jù)中心應(yīng)用系統(tǒng)類：3大綜合/網(wǎng)優(yōu)管理/門戶類：EOMS/門戶已完成：統(tǒng)一采集2013年：網(wǎng)優(yōu)/數(shù)據(jù)中心/綜監(jiān)工程驗(yàn)證2014年：綜資/綜分/EOMS/門戶Iaas+Paas+Saas5. 5. 時(shí)間維度時(shí)間維度演進(jìn)演進(jìn)1.1.軟硬件維度軟硬件維度與與X86X86虛擬化結(jié)合虛擬化結(jié)合2. 2. 架構(gòu)維度架構(gòu)維度系統(tǒng)分類系統(tǒng)分類3 3. .技術(shù)維度技術(shù)維度 OSS OSS場(chǎng)景抽象場(chǎng)景抽象4. 4. 產(chǎn)品維度產(chǎn)品維度演進(jìn)演進(jìn)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！1-Iaas/Paas/SaasIa

17、as是Paas的基礎(chǔ)提供快速部署、快速測(cè)試的環(huán)境故障節(jié)點(diǎn)的快速退出 、恢復(fù)要求；多節(jié)點(diǎn)自管理，低維護(hù)量的要求；云計(jì)算顛覆了傳統(tǒng)開(kāi)發(fā)、測(cè)試、運(yùn)維模式模式；DevOpsDevOps是一組過(guò)程、方法與系統(tǒng)的統(tǒng)稱，用于促進(jìn)開(kāi)發(fā)（應(yīng)用程序/軟件工程）、技術(shù)運(yùn)營(yíng)和質(zhì)量保障（QA）部門之間的溝通、協(xié)作與整合。 軟件行業(yè)日益清晰地認(rèn)識(shí)到：為了按時(shí)交付軟件產(chǎn)品和服務(wù)，開(kāi)發(fā)和運(yùn)營(yíng)工作必須緊密合作揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！OSS云化PAAS架構(gòu)xDPPDistributed Parallel computing platformxDSPDistributed Storage platform揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！OSS云化演進(jìn)-架構(gòu)分層維度13423334采集服務(wù)云：X86，流式計(jì)算，分布式，高可靠，高擴(kuò)展性444數(shù)據(jù)服務(wù)云：X86低成本；MPP分布式數(shù)據(jù)及hdoop存儲(chǔ)公共服務(wù)云：GIS、拓?fù)?、派單等服?wù)的虛擬化應(yīng)用服務(wù)云：告警相關(guān)性、告警派單、性能計(jì)算、門戶服務(wù)41234網(wǎng)絡(luò)服務(wù)器存儲(chǔ) / 備份操作系統(tǒng) 數(shù)據(jù)庫(kù)中間件務(wù)續(xù)性硬 件 基 礎(chǔ) 設(shè) 施軟 件 基 礎(chǔ) 設(shè) 施ITSMOSS應(yīng)