YY直播應(yīng)用大數(shù)據(jù)決勝安全對抗的實踐培訓(xùn)課件(共36張)

1、YY直播應(yīng)用大數(shù)據(jù)決勝安全對抗的實踐直播應(yīng)用大數(shù)據(jù)決勝安全對抗的實踐大數(shù)據(jù)安全對抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識別中的應(yīng)用1235大數(shù)據(jù)讓YY安全防御體系從“溫飽”過渡到“小康”歡聚時代(YY)直播業(yè)務(wù) - 娛樂&游戲&教育DDOS攻擊滲透入侵外掛業(yè)務(wù)破壞逆向破解盜號盜Y幣面臨的安全威脅對抗技術(shù)演進(jìn)攻擊、入侵、滲透等顯著特征模糊識別精 TEXT 別ADD CONTENTS確識從“精確的模式特征” 向 “模糊的模式特征”演進(jìn)通過大數(shù)據(jù)分析、數(shù)據(jù)挖掘、實時計算等分析模糊特征云防DDOS業(yè)務(wù)風(fēng)控系統(tǒng)WAFKafka&Storm&Had

2、oop大數(shù)據(jù)(實時&離線)計算平臺(K-Means、Decision Tree、Apriori等)安全系統(tǒng)的log/message上報外掛對抗系統(tǒng)主機(jī)入侵檢測賬號安全系統(tǒng)計算結(jié)果在安全系統(tǒng)中應(yīng)用業(yè)務(wù)系統(tǒng)(登陸、禮物、好友、搜索等)登陸、支付等協(xié)議數(shù)據(jù)上報計算分析結(jié)果:(IP畫像庫、設(shè)備畫像庫等)基線歷史數(shù)據(jù)：bps/pps/qps/rt等基線數(shù)據(jù)大數(shù)據(jù)計算在平臺框架大數(shù)據(jù)安全對抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識別中的應(yīng)用12345基于src_ip頻率模式基于報文特征頻率模式src_ip的散列度&歸屬地報文的重復(fù)度攻擊報文聚類挖掘機(jī)器學(xué)習(xí)報文特征I

3、P畫像庫大數(shù)據(jù)流量模型機(jī)器學(xué)習(xí)防御DDOS技術(shù)演進(jìn)畸形報文特征非法填充報文特征黑名單攻擊報文特征白名單指紋特征Syn cookie等人機(jī)挑戰(zhàn)（1）機(jī)器學(xué)習(xí)報文提取特征；（2）大數(shù)據(jù)分析疑似的攻擊源ip；（3）基于大數(shù)據(jù)IP進(jìn)行“柔性可活”人機(jī)挑戰(zhàn)和對抗；（4）基于歷史大數(shù)據(jù)學(xué)習(xí)單ip響應(yīng)延時數(shù)學(xué)分布;在DDOS防御中的應(yīng)用場景（1）報文特征根據(jù)經(jīng)驗輸入程序；（2）根據(jù)當(dāng)前請求頻率分析攻擊源；（3）根據(jù)當(dāng)前的請求src_ip對抗；（4）根據(jù)經(jīng)驗預(yù)先“拍”閾值；場景一：大數(shù)據(jù)分析在報文特征機(jī)器學(xué)習(xí)和攻擊源IP的識別云防DDOS檢測模塊云防DDOS清洗模塊服務(wù)器A服務(wù)器B服務(wù)器CC的攻擊流量清洗后C

4、的流量A的正常流量B的正常流量鏡像或分光A,B,C所有流量核心交換機(jī)LVS+Nginx集群(WAF)C的流量被牽引到清洗設(shè)備正常用戶攻擊者大數(shù)據(jù)中心WAF處理Http協(xié)議CC攻擊鏡像流量攻擊檢測引擎流量回注交換機(jī)轉(zhuǎn)發(fā)流量到業(yè)務(wù)服務(wù)器發(fā)現(xiàn)攻擊BGP宣告路由流量清洗引擎攻擊？沒有攻擊大數(shù)據(jù)分析平臺云防DDOS在清洗比例低于閾值自動抓包解析報文并提取關(guān)鍵信息挖掘至長度為4字節(jié)的特征，發(fā)現(xiàn)特征：74 55 42 02挖掘完畢，最長長度為4字節(jié)，共15個特征，目前以文件方式記錄云防DDOS實現(xiàn)基于DPDK自動抓包分析報文特征正文第46字節(jié) 第45字節(jié) Vx，其中x指代數(shù)據(jù)包正文部分第x個字節(jié)惡意特征概率

5、發(fā)現(xiàn)特征由于算法決定，特征串需要經(jīng)過序號排列最終符合閱讀習(xí)慣，后續(xù)將根據(jù)調(diào)用特征的接口所需規(guī)范進(jìn)行翻譯實際所指代的含義V40 V41 V42 V43 V44 V45 V46 V47 V48 V49 V5064 * 94 * * 32 67 * 26 16 e764 54 94 * * 32 67 * 26 16 *發(fā)現(xiàn)可疑IP寫文件記錄可疑IP惡意顯著性抽查結(jié)果與惡意IP庫中已收錄IP相互印證云防DDOS在攻擊報文中識別惡意IP分析到第10個pcap文件將前述的Apriori算法改造，可用于大規(guī)模發(fā)現(xiàn)DDOS攻擊中的惡意IP.總包量40萬，源地址數(shù)量39萬，散列度極高99%的IP

6、只發(fā)送一個數(shù)據(jù)包源地址表面接近，實則地理分布分散，海外地址比例過高，分別來源泰國，日本，韓國，澳大利亞，廣州，福州等地（目標(biāo)服務(wù)器位于遼寧沈陽）不同位置的服務(wù)器訪問相同的目標(biāo)服務(wù)器，TTL高度集中在同一水平（238）時間戳源地址目標(biāo)地址包長 TTL 源端口 目的端口偽造源地址攻擊的樣本度量說明定義正常訪問真實地址攻擊虛假地址攻擊時間窗口內(nèi)源地址散列程度該度量隨正常訪問真實地址攻擊虛假地址攻擊顯著提升單位時間窗口內(nèi)，互異的IP數(shù)量除以總的包數(shù)量小于10%稍高，約30%40%約90%相繼同源數(shù)據(jù)包比例虛假地址攻擊中該比例較正常訪問或真實地址攻擊大幅降低時間軸上相鄰兩個訪問數(shù)據(jù)包具有同源的數(shù)量除以總

7、體相鄰數(shù)目高于10%約10%上下小于5%時間窗口內(nèi)單包傳輸比例虛假IP地址幾乎不會重復(fù)使用，絕大部分虛假地址只會發(fā)送一個數(shù)據(jù)包統(tǒng)計各源IP發(fā)包數(shù)量，計算發(fā)送單包IP數(shù)量的占比90%以上大于190%以上大于190%以上是單包時間窗口內(nèi)TTL均值及標(biāo)準(zhǔn)差虛假IP數(shù)據(jù)包通常設(shè)置TTL為255，且虛假IP占絕大多數(shù)下，TTL均值趨于更大計算單位時間窗口內(nèi)數(shù)據(jù)包TTL的均值和方差均值：約50多至60多標(biāo)準(zhǔn)差：小于30均值：約50多至110多標(biāo)準(zhǔn)差：大于30均值：大于200標(biāo)準(zhǔn)差：小于30IP與指定相鄰IP間組內(nèi)距離*真實地址傾向頻繁出現(xiàn)，且通常來自相近地理位置，虛假地址則傾向隨機(jī)，分布不存在規(guī)律某一源地

8、址，計算它與其后N個地址的平均距離普遍小于50100上下，通常小于200普遍超過300正常訪問或真實地址攻擊中：1.2.同一IP總是頻繁重復(fù)出現(xiàn)，相鄰距離較多出現(xiàn)0的情況由于負(fù)載均衡和網(wǎng)絡(luò)加速技術(shù)，目標(biāo)服務(wù)器總是服務(wù)于相對固定區(qū)域的用戶而虛假地址攻擊中：1.2.幾乎不存在相鄰距離為0的情況（虛假IP不會重復(fù)出現(xiàn)）訪問目標(biāo)機(jī)器的IP呈現(xiàn)隨機(jī)化K相鄰IP組內(nèi)距離概念正常樣本.5.源地址散列程度 ：0.028相繼同源IP比例：46%發(fā)包規(guī)模：90%以上29個包以上TTL均值 62，標(biāo)準(zhǔn)差1310個相鄰IP間距：79真實地址攻擊樣本.5.源地址散列程度 ：0.101相繼同源

9、IP比例：8.5%發(fā)包規(guī)模：90%以上22個包以上TTL均值 51，標(biāo)準(zhǔn)差1410個相鄰IP間距：105虛假地址攻擊樣本.5.源地址散列程度 ：0.931相繼同源IP比例：3.0%發(fā)包規(guī)模：99%以上單包TTL均值 230，標(biāo)準(zhǔn)差3410個相鄰IP間距：455IP相鄰間IP距離IP相鄰間IP距離K相鄰IP組內(nèi)距離（K=10）真實地址樣本虛假地址樣本 100%國內(nèi)地址 超過50%有在惡意IP庫收錄 同外掛和網(wǎng)絡(luò)代理維度匹配 （確認(rèn)為真實地址） 約6%IP與惡意IP庫記錄重合 絕大部分海外地址大數(shù)據(jù)IP畫像在CC攻擊對抗中的應(yīng)用場景檢測算法：（1）單src_ip的連接數(shù)超過閾值（舉例

10、：200 QPS)；（2）后端業(yè)務(wù)服務(wù)器（tomcat)響應(yīng)延時超時比例超過閾值(舉例：50%）；（3）后端業(yè)務(wù)服務(wù)器（tomcat)響應(yīng)延時延遲比例閾值(舉例：8s以上30%）；防御算法：（1）人機(jī)挑戰(zhàn)(anticookie-js)；（2）根據(jù)當(dāng)前連接數(shù)，封src_ip top n 的http請求；應(yīng)用大數(shù)據(jù)：（1）計算所有后端服務(wù)器(tomcat)響應(yīng)nginx集群的響應(yīng)的延時數(shù)學(xué)分布；（2）計算分析歷史單src_ip的連接數(shù)數(shù)學(xué)分布數(shù)據(jù)；（3）根據(jù)當(dāng)前的連接數(shù)top n 同時結(jié)合IP畫像庫大數(shù)據(jù)，精確度更高；云防DDOS外掛對抗WAF防刷系統(tǒng)IP畫像數(shù)據(jù)分析移動安全加固反廣告過濾賬號安全

11、系統(tǒng)秩序違規(guī)反向探測掃描IP畫像庫（1）探測開放代理端口（2）探測XX云主機(jī)（3）探測域名解析IP（4）探測IP歸屬地（5）探測運(yùn)行路由服務(wù)IP畫像服務(wù)接口層提供IP畫像調(diào)用接口，返回IP惡意定級、命中維度IP畫像庫大數(shù)據(jù)分析框架圖大數(shù)據(jù)安全對抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識別中的應(yīng)用12345正常用戶&行為惡意用戶&行為攻擊行為、入侵行為、滲透掃描行為、外掛機(jī)器人用戶等惡意特征明顯；正常用戶&行為特征明顯；大數(shù)據(jù)分析Storm/Hadoop大數(shù)據(jù)分析在用戶行為識別的應(yīng)用設(shè)備畫像設(shè)備硬件信息設(shè)備環(huán)境信息IP畫像網(wǎng)絡(luò)信息黑產(chǎn)IP歷史地域信

12、息用戶畫像行為模式惡意歷史信息登陸信息特征通訊協(xié)議特征進(jìn)程埋點(diǎn)特征技術(shù)行為特征技術(shù)KafkaStormHadoop數(shù)據(jù)挖掘分析機(jī)器人外掛對抗系統(tǒng)機(jī)器人用戶大數(shù)據(jù)識別框架設(shè)備運(yùn)行信息對抗策略下發(fā)登陸服務(wù)對抗策略下發(fā)XXXX服務(wù)對抗策略下發(fā)頻道服務(wù)已知某條件概率，如何得到兩個事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A) 。換成反外掛領(lǐng)域語言理解：已知外掛（非外掛）中uid的各特征組合的百分比，根據(jù)樸素貝葉斯定理，可求得當(dāng)出現(xiàn)指定特征組合時，該特征視為外掛（非外掛）的概率分析1Confidence=0.5為例對這些序列計算密度函數(shù)正態(tài)分布指數(shù)分布分析2左圖是將不同的Confidence得到的序列的分布函數(shù)集中展現(xiàn)。橫軸是單個IP多開UID數(shù)量，縱軸是多開數(shù)量占總體數(shù)量的百分比。如圖中的黑圈，表示Confidence為0的情況下，一個IP登錄一個UID的情況占比超過90%。對應(yīng)的紅