Apache STORM日志分析技術(shù)

1、Apache Storm 日志分析技術(shù)技術(shù)創(chuàng)新，變革未來(lái)Presentation將包含以下內(nèi)容STORM簡(jiǎn)單介紹。為何會(huì)開始研究STORM？我們使用STORM計(jì)算什么？搭建STORM平臺(tái)過(guò)程中遇到的問(wèn)題。STORM性能優(yōu)化算法。日志對(duì)于安全來(lái)說(shuō)是什么？我認(rèn)為它是安全的感官日志分析非常有價(jià)值幾乎所有的異常都能從日志中發(fā)現(xiàn)很難海量的數(shù)據(jù)準(zhǔn)確發(fā)現(xiàn)STORM簡(jiǎn)單介紹分布式實(shí)時(shí)計(jì)算框架( distributed real-me computa-on system) 可擴(kuò)展(scalable) 可容錯(cuò)(fault-tolerant) 確保每條數(shù)據(jù)都會(huì)被處理(guarantees your data wil

2、l be processed)我們使用STORM做什么？攻擊監(jiān)測(cè)業(yè)務(wù)安全Nginx日志攻擊監(jiān)測(cè)大量正則規(guī)則匹配e.g script.*/script攻擊自動(dòng)化驗(yàn)證確認(rèn) 攻擊有效性業(yè)務(wù)安全各接口監(jiān)控登錄、注冊(cè)、短信、購(gòu)物車等各活動(dòng)監(jiān)控派券、搶購(gòu)各禮券使用監(jiān)控禮品卡、優(yōu)惠券STORM日志匹配規(guī)則熱配置作用：無(wú)需更改任何代碼實(shí)現(xiàn)日志匹配規(guī) 則改變STORM規(guī)則數(shù)據(jù)頁(yè)面STORM日志查詢挑戰(zhàn)？無(wú)JAVA基礎(chǔ)對(duì)大數(shù)據(jù) 一無(wú)所知?dú)v時(shí)8個(gè)月前后端全寫Sure, but we enjoy it!不到20臺(tái)服務(wù)器（中等性能）2位工程師大數(shù)據(jù)流量18,000,000峰值流量（每分鐘）2015.05.21 10am

3、10,000,000,000每日流量1,000,000寫入（每分鐘）復(fù)雜的計(jì)算PV計(jì)算UV計(jì)算HTTP_Code攻擊匹配動(dòng)態(tài)匹配特征 匹配無(wú)無(wú)無(wú)是是數(shù)據(jù) 結(jié)構(gòu)簡(jiǎn)單中等簡(jiǎn)單簡(jiǎn)單復(fù)雜匹配規(guī)則 確定性確定確定確定確定不確定數(shù)據(jù)寫入 量低低低中高架構(gòu)概述日志源日志過(guò)濾 分割動(dòng)態(tài)規(guī)則 匹配入侵特征 檢測(cè)固定接口 匹配Mysql存儲(chǔ)中間計(jì)數(shù)器最終計(jì)數(shù)器規(guī)則加載Cassandra儲(chǔ)存動(dòng)態(tài)規(guī)則匹配域名 規(guī)則寫入表名Cong_TableVPM_TableIP_Count_Table時(shí)間 次數(shù)IPIP ABC段時(shí)間次數(shù) 周幾創(chuàng)建插入寫入讀取創(chuàng)建寫入動(dòng)態(tài)規(guī)則匹配域名規(guī)則表名標(biāo)記www.detailW_1Twww.*

4、W_2Fcart. cartaddC_1Tcart.viewcartC_2Fmapi.login_id=.*&p asswdWap_loginTsapi.*S_1T域名 匹配規(guī)則 匹配生成 計(jì)數(shù)字段wap_login, 1505221735,NNYY域名Method+request+UA+IP+Request_Data傳到計(jì)數(shù)器預(yù)聚合中間計(jì)數(shù)器中間計(jì)數(shù)器KeyvalueKeyvaluewap_login, 1505221735,1最終計(jì)數(shù)器Keyvaluewap_login, 1505221735,3wap_login,1505221735,wap_login,1505221735, wap_

5、login,1505221735,Keyvaluewap_login, 1505221735,12流水線處理車身噴漆內(nèi)飾5分鐘10分鐘5分鐘車身噴漆_1噴漆_2內(nèi)飾5分鐘5分鐘5分鐘5分鐘一小時(shí)能造幾輛車？1+(60-20)/10 = 5輛1+(60-20)/5 = 9輛流水線優(yōu)化：正則SQL注入Select.*from|fromW+informagon_schema|/char(d*)|chr(d*)掃描器sqlmap|Acunegx跨站腳本script.*/script敏感文件遍歷./|. %2f|etc/passwd|WEBSHELLphpshell.php|webshell.phpSt

6、uctss|%20)+.*|getRungme|redirectAcgon流水線優(yōu)化：避免使用正則基于：多數(shù)訪問(wèn)流量是正常的粗規(guī)則與細(xì)規(guī)則String pre_sqlinj= “select”,“informagon_schema”,”char”,”chr”;sqlinj = Ppile(Select.*from|fromW+informagon_schema|/char(d*)|chr(d*),Pauern.CASE_INSENSITIVE);流水線優(yōu)化：統(tǒng)一化儲(chǔ)存節(jié)點(diǎn)注冊(cè)匹配 節(jié)點(diǎn)登錄匹配 節(jié)點(diǎn)儲(chǔ)存儲(chǔ)存處理節(jié)點(diǎn)更快 處理下一數(shù)據(jù)儲(chǔ)存節(jié)點(diǎn)資源 共享代碼可讀性、 維護(hù)性更強(qiáng)Mysql優(yōu)化：自動(dòng)

7、化分區(qū)加快查詢速度瞬間刪除大量數(shù)據(jù)PARTITION BY RANGE (weekday)(PARTITION Sun VALUES LESS THAN (1) ENGINE = InnoDB, PARTITION Mon VALUES LESS THAN (2) ENGINE = InnoDB,PARTITION Tue VALUES LESS THAN (3) ENGINE = InnoDB,PARTITION Wed VALUES LESS THAN (4) ENGINE = InnoDB, PARTITION Thu VALUES LESS THAN (5) ENGINE = Inno

8、DB, PARTITION Fri VALUES LESS THAN (6) ENGINE = InnoDB, PARTITION Sat VALUES LESS THAN (7) ENGINE = InnoDB,PARTITION error_day VALUES LESS THAN MAXVALUE ENGINE = InnoDB)MySQL優(yōu)化：批量寫入批量化插入(Batch Insergon)INSERT INTO yourtable VALUES (1,2); INSERT INTO yourtable VALUES (5,5);mIyNsqSl_EtRabTleIN_nTaOmey

9、ourtmaybsqlel_VcoAmLmUaEnSd (1,2), (5,5), .;batch_noWap_loginInsert into Wap_login values(1,2),(3,4);2www_tableInsert into www_table values(4,2),(3,4), (3,8);3內(nèi)存泄漏MySQL連接Sql=“insert into table (a,b) values (1,2);”Statement statement=conn.createStatement(); statement.executeUpdate(sql); statement.close();statement = null;數(shù)據(jù)結(jié)構(gòu)ArrayList mysql_table_name=new ArrayList (); ArrayList mysql_command=new ArrayList (); ArrayList batch_no=new ArrayList (); mysql_table_name.clear(); mysql_command.clear(); batch_no.clear();Takeaways日志是信息安全的傳感器，很重要，但很難準(zhǔn)確 分析平衡各個(gè)