大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析

1、大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分系統(tǒng)監(jiān)控與日志分析析2/21/2022目錄 網(wǎng)易有道簡介 在線服務(wù)監(jiān)控 離線日志分析2/21/2022有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠未達到理想，所以希望通過我們現(xiàn)在和將來的努力，把設(shè)想中的服務(wù)一點點變成現(xiàn)實，分享給大家使用，讓你更快一秒更快一秒找到想要的好東西。 關(guān)于有道2/21/2022有道產(chǎn)品 搜索類2/21/2022有道產(chǎn)品 翻譯類 其他產(chǎn)品2/21/2022在線監(jiān)控與離線分析2/21/2022設(shè)計原則 不影響正常服務(wù) 水表不能把水堵了 通用性 如果不夠通用2/21/20222/21/2022目錄 有道產(chǎn)品簡介

2、 在線服務(wù)監(jiān)控 離線日志分析2/21/2022在線服務(wù)監(jiān)控 訪問控制系統(tǒng) 性能監(jiān)控系統(tǒng) 異常報警系統(tǒng)2/21/2022訪問控制系統(tǒng) 主要目的：防止非用戶抓取 沖擊系統(tǒng)服務(wù) 影響訪問統(tǒng)計 非法使用數(shù)據(jù) 挑戰(zhàn) 靈活的控制規(guī)則 減小對產(chǎn)品服務(wù)的影響2/21/2022訪問控制規(guī)則 過濾規(guī)則 Key: Header字段，parameter Key: 正則表達式 例子： Ip=123.45.*, agent=“firefox.*” 頻度控制 統(tǒng)計時間（span） 次數(shù)的閾值（threshold） 例子： span:3600000 threshold:10002/21/2022訪問控制系統(tǒng) 總體結(jié)構(gòu) 旁路統(tǒng)

3、計 規(guī)則封禁 訪問控制服務(wù)器 維護規(guī)則庫 按規(guī)則進行統(tǒng)計 為產(chǎn)品生成封禁列表 產(chǎn)品服務(wù)端 轉(zhuǎn)發(fā)請求 同步封禁列表 實施訪問控制2/21/2022訪問控制系統(tǒng)2/21/2022性能監(jiān)控系統(tǒng) 功能：實時統(tǒng)計服務(wù)中的性能參數(shù) 如處理時間、吞吐率等 特點 通用性 集中的數(shù)據(jù)分析與存儲 直觀的展現(xiàn)方式2/21/2022性能監(jiān)控的需求 通用性 各種產(chǎn)品不同的需求 自定的統(tǒng)計量 不同的編程語言 性能要求 減小對產(chǎn)品服務(wù)的影響 大數(shù)據(jù)量的分析與存儲2/21/2022監(jiān)控系統(tǒng)的設(shè)計 松耦合 通過日志文件交換數(shù)據(jù) 文本格式 自定義統(tǒng)計量 的三元組 大數(shù)據(jù)量 多分辨率壓縮存儲2/21/2022監(jiān)控系統(tǒng)結(jié)構(gòu)圖2/21

4、/20222/21/20222/21/2022異常報警系統(tǒng) 功能 自動篩查日志中的Exception 發(fā)現(xiàn)問題自動發(fā)信報警 優(yōu)點 通用性強 使用簡單2/21/2022目錄 有道產(chǎn)品簡介 在線服務(wù)監(jiān)控 離線日志分析2/21/2022離線日志統(tǒng)計 主要的目的 用戶使用習慣 用戶對產(chǎn)品的好感度 系統(tǒng)運行狀態(tài) 市場推廣情況2/21/2022日志收集 集中的日志服務(wù)器 產(chǎn)品的服務(wù)器是分布式的，需要統(tǒng)一分析 所有產(chǎn)品公用，降低運營復(fù)雜度 大數(shù)據(jù)量存儲 服務(wù)器建立本地緩存 最終保存在分布式文件系統(tǒng)中 壓縮存儲 防止日志丟失 支持備份服務(wù)器 分布式文件系統(tǒng)保證可靠性2/21/2022日志收集系統(tǒng)2/21/20

5、22日志分析 主要的挑戰(zhàn) 超大數(shù)據(jù)量 運算時間的要求 組合統(tǒng)計 解決方法 分布式計算2/21/2022分布式分析程序2/21/2022常規(guī)統(tǒng)計 訪問量 時間 地域 用戶 新用戶：推廣與傳播的效果 老用戶：真正使用這個產(chǎn)品 功能切換 頁面切換 產(chǎn)品切換2/21/2022一些有意思的統(tǒng)計規(guī)律 周末與非周末 什么時候流量更大？2/21/2022周末與非周末工具（網(wǎng)頁搜索、海量詞典）vs 娛樂（視頻搜索、音樂搜索）平時需要工具，周末需要娛樂平時需要工具，周末需要娛樂2/21/2022一些有意思的統(tǒng)計規(guī)律 不同的時段訪問有區(qū)別嗎？ 搜索和吃飯的關(guān)系？2/21/2022工具 vs 娛樂白天需要工具，晚上需要放松白天需要工具，晚上需要放松2/21/2022公網(wǎng) vs 教育網(wǎng)白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子2/21/2022更多的分析 有道閱讀的12個有趣的發(fā)現(xiàn) 訂閱博客范圍，新老各有地盤 職業(yè)和閱讀習慣 閱讀真的變成快餐了 明