大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析

大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析2/3/2023目錄網(wǎng)易有道簡(jiǎn)介在線服務(wù)監(jiān)控離線日志分析2/3/2023有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠(yuǎn)未達(dá)到理想，所以希望通過我們現(xiàn)在和將來(lái)的努力，把設(shè)想中的服務(wù)一點(diǎn)點(diǎn)變成現(xiàn)實(shí)，分享給大家使用，讓你更快一秒找到想要的好東西。關(guān)于有道2/3/2023有道產(chǎn)品搜索類2/3/2023有道產(chǎn)品翻譯類其他產(chǎn)品2/3/2023在線監(jiān)控與離線分析2/3/2023設(shè)計(jì)原則不影響正常服務(wù)水表不能把水堵了通用性如果不夠通用…2/3/20232/3/2023目錄有道產(chǎn)品簡(jiǎn)介在線服務(wù)監(jiān)控離線日志分析2/3/2023在線服務(wù)監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報(bào)警系統(tǒng)2/3/2023訪問控制系統(tǒng)主要目的：防止非用戶抓取沖擊系統(tǒng)服務(wù)影響訪問統(tǒng)計(jì)非法使用數(shù)據(jù)挑戰(zhàn)靈活的控制規(guī)則減小對(duì)產(chǎn)品服務(wù)的影響2/3/2023訪問控制規(guī)則過濾規(guī)則Key:Header字段，parameterKey:正則表達(dá)式例子：Ip=123\.45\..*,agent=“firefox.*”頻度控制統(tǒng)計(jì)時(shí)間（span）次數(shù)的閾值（threshold）例子：span:3600000threshold:10002/3/2023訪問控制系統(tǒng)總體結(jié)構(gòu)旁路統(tǒng)計(jì)規(guī)則封禁訪問控制服務(wù)器維護(hù)規(guī)則庫(kù)按規(guī)則進(jìn)行統(tǒng)計(jì)為產(chǎn)品生成封禁列表產(chǎn)品服務(wù)端轉(zhuǎn)發(fā)請(qǐng)求同步封禁列表實(shí)施訪問控制2/3/2023訪問控制系統(tǒng)2/3/2023性能監(jiān)控系統(tǒng)功能：實(shí)時(shí)統(tǒng)計(jì)服務(wù)中的性能參數(shù)如處理時(shí)間、吞吐率等特點(diǎn)通用性集中的數(shù)據(jù)分析與存儲(chǔ)直觀的展現(xiàn)方式2/3/2023性能監(jiān)控的需求通用性各種產(chǎn)品不同的需求自定的統(tǒng)計(jì)量不同的編程語(yǔ)言性能要求減小對(duì)產(chǎn)品服務(wù)的影響大數(shù)據(jù)量的分析與存儲(chǔ)2/3/2023監(jiān)控系統(tǒng)的設(shè)計(jì)松耦合通過日志文件交換數(shù)據(jù)文本格式自定義統(tǒng)計(jì)量<產(chǎn)品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率壓縮存儲(chǔ)2/3/2023監(jiān)控系統(tǒng)結(jié)構(gòu)圖2/3/20232/3/20232/3/2023異常報(bào)警系統(tǒng)功能自動(dòng)篩查日志中的Exception發(fā)現(xiàn)問題自動(dòng)發(fā)信報(bào)警優(yōu)點(diǎn)通用性強(qiáng)使用簡(jiǎn)單2/3/2023目錄有道產(chǎn)品簡(jiǎn)介在線服務(wù)監(jiān)控離線日志分析2/3/2023離線日志統(tǒng)計(jì)主要的目的用戶使用習(xí)慣用戶對(duì)產(chǎn)品的好感度系統(tǒng)運(yùn)行狀態(tài)市場(chǎng)推廣情況2/3/2023日志收集集中的日志服務(wù)器產(chǎn)品的服務(wù)器是分布式的，需要統(tǒng)一分析所有產(chǎn)品公用，降低運(yùn)營(yíng)復(fù)雜度大數(shù)據(jù)量存儲(chǔ)服務(wù)器建立本地緩存最終保存在分布式文件系統(tǒng)中壓縮存儲(chǔ)防止日志丟失支持備份服務(wù)器分布式文件系統(tǒng)保證可靠性2/3/2023日志收集系統(tǒng)2/3/2023日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運(yùn)算時(shí)間的要求組合統(tǒng)計(jì)解決方法分布式計(jì)算2/3/2023分布式分析程序2/3/2023常規(guī)統(tǒng)計(jì)訪問量時(shí)間地域用戶新用戶：推廣與傳播的效果老用戶：真正使用這個(gè)產(chǎn)品功能切換頁(yè)面切換產(chǎn)品切換2/3/2023一些有意思的統(tǒng)計(jì)規(guī)律周末與非周末什么時(shí)候流量更大？2/3/2023周末與非周末工具（網(wǎng)頁(yè)搜索、海量詞典）vs娛樂（視頻搜索、音樂搜索）平時(shí)需要工具，周末需要娛樂2/3/2023一些有意思的統(tǒng)計(jì)規(guī)律不同的時(shí)段訪問有區(qū)別嗎？搜索和吃飯的關(guān)系？2/3/2023工具vs娛樂白天需要工具，晚上需要放松2/3/2023公網(wǎng)vs教育網(wǎng)白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子2/3/2023更多的分析《有道閱讀的12個(gè)有趣的發(fā)現(xiàn)》訂閱博客范圍，新老各有地盤職業(yè)和閱讀習(xí)慣閱讀真的變成快餐了明星博客，各領(lǐng)