流量清洗產(chǎn)品和關(guān)鍵技術(shù)介紹

流量清洗產(chǎn)品介紹和關(guān)鍵技術(shù)介紹李晗honeypot@2012年11月網(wǎng)絡(luò)如同江河湖海假如流量并不清潔潑掉臟水的同時(shí)孩子怎么辦流量清洗產(chǎn)品的定義和核心問(wèn)題定義：用于準(zhǔn)確識(shí)別網(wǎng)絡(luò)中的異常流量，丟棄其中的異常流量，保證正常流量通行的網(wǎng)絡(luò)安全設(shè)備。核心問(wèn)題：如何準(zhǔn)確區(qū)分網(wǎng)絡(luò)中的異常流量和正常流量？流量清洗培訓(xùn)三部曲《流量清洗產(chǎn)品概述和關(guān)鍵技術(shù)介紹》《抗攻擊原理和算法介紹》《DNS安全》流量清洗產(chǎn)品的前世今生1流量清洗產(chǎn)品的部署特點(diǎn)2流量清洗產(chǎn)品與防火墻的區(qū)別3如何設(shè)計(jì)一個(gè)好的流量清洗產(chǎn)品4黑客常用攻擊手法簡(jiǎn)析5目錄6流量清洗的主要對(duì)象DDOS最早的DOS：1988年11月2日，一個(gè)叫RobertMorris的美國(guó)大學(xué)生寫(xiě)了一個(gè)蠕蟲(chóng)程序，導(dǎo)致當(dāng)時(shí)因特網(wǎng)上約15%的電腦受感染停止運(yùn)行。巧合的是，這個(gè)人的父親老Morris是UNIX的創(chuàng)始人之一，專(zhuān)門(mén)幫助政府對(duì)抗電腦犯罪。DDOS經(jīng)歷了三個(gè)發(fā)展階段：

1、技術(shù)發(fā)展階段。從上世紀(jì)90年代起，因特網(wǎng)開(kāi)始普及，涌現(xiàn)了大量的DOS技術(shù)，很多現(xiàn)在仍然很有效，包括synflood，smurf等。

2、從實(shí)驗(yàn)室向“產(chǎn)業(yè)化”過(guò)渡階段。2000年前后，DDOS出現(xiàn)，雅虎、亞馬遜等多個(gè)著名網(wǎng)站遭受攻擊并癱瘓。

3、商業(yè)時(shí)代。近些年，網(wǎng)絡(luò)快速發(fā)展，接入帶寬快速增長(zhǎng)，個(gè)人電腦性能大幅提高，DDOS攻擊越來(lái)越頻繁，出現(xiàn)了很多專(zhuān)業(yè)出租“botnet”網(wǎng)絡(luò)的DDOS攻擊產(chǎn)業(yè)。DDOS攻擊的本質(zhì)利用木桶原理，尋找并利用系統(tǒng)資源的瓶頸阻塞和耗盡DDOS攻擊分類(lèi)連接耗盡型，包括SYNflood，連接數(shù)攻擊等；帶寬耗盡型，包括Ackflood，UDPflood，ICMPflood，分片攻擊等；針對(duì)特定應(yīng)用，包括HTTPGetflood，CC，HTTPPOST慢速攻擊，DNSflood，以及針對(duì)各種游戲和數(shù)據(jù)庫(kù)的攻擊方式。DDOS舉例—SYNfloodSYN（我可以連接嗎？）ACK（可以）/SYN（請(qǐng)確認(rèn)?。┪覜](méi)發(fā)過(guò)請(qǐng)求SYN_RECV狀態(tài)半開(kāi)連接隊(duì)列遍歷，消耗CPU和內(nèi)存SYN|ACK重試SYNTimeout：30秒~2分鐘無(wú)暇理睬正常的連接請(qǐng)求—拒絕服務(wù)SYN（我可以連接嗎？）ACK（可以）/SYN（請(qǐng)確認(rèn)?。┕粽呤芎φ邆卧斓刂愤M(jìn)行SYN請(qǐng)求為何還沒(méi)回應(yīng)就是讓你白等不能建立正常的連接！SYNFlood攻擊原理攻擊表象DDOS舉例—連接數(shù)攻擊正常tcpconnect攻擊者受害者大量tcpconnect這么多？不能建立正常的連接正常tcpconnect正常用戶(hù)正常tcpconnect攻擊表象正常tcpconnect正常tcpconnect正常tcpconnect正常tcpconnect利用真實(shí)IP地址（代理服務(wù)器、廣告頁(yè)面）在服務(wù)器上建立大量連接服務(wù)器上殘余連接(WAIT狀態(tài))過(guò)多，效率降低，甚至資源耗盡，無(wú)法響應(yīng)蠕蟲(chóng)傳播過(guò)程中會(huì)出現(xiàn)大量源IP地址相同的包，對(duì)于TCP蠕蟲(chóng)則表現(xiàn)為大范圍掃描行為消耗骨干設(shè)備的資源，如防火墻的連接數(shù)ConnectionFlood攻擊原理DDOS舉例—UDPflood大量UDP沖擊服務(wù)器受害者帶寬消耗UDPFlood流量不僅僅影響服務(wù)器，還會(huì)對(duì)整個(gè)傳輸鏈路造成阻塞2023/2/413UDP（非業(yè)務(wù)數(shù)據(jù)）攻擊者受害者網(wǎng)卡出口堵塞，收不了數(shù)據(jù)包了占用帶寬UDPFlood攻擊原理攻擊表象丟棄UDP（大包/負(fù)載）分片攻擊有些系統(tǒng)會(huì)對(duì)分片報(bào)文重組。為此，系統(tǒng)必須保持所有未完成的數(shù)據(jù)包的分片（直到超時(shí)或滿足其他條件）。攻擊者偽造并發(fā)送大量的分片，但卻不讓這些分片構(gòu)成完整的數(shù)據(jù)包，以此占用系統(tǒng)CPU和內(nèi)存，構(gòu)成拒絕服務(wù)攻擊。攻擊者還可以發(fā)送偏移量有重疊的分片消耗系統(tǒng)資源。DDOS舉例—TeardropUDPFragments受害者發(fā)送大量UDP病態(tài)分片數(shù)據(jù)包Teardrop攻擊攻擊表現(xiàn)發(fā)送大量的UDP病態(tài)分片數(shù)據(jù)包早期操作系統(tǒng)收到含有重疊偏移的偽造分片數(shù)據(jù)包時(shí)將會(huì)出現(xiàn)系統(tǒng)崩潰、重啟等現(xiàn)象現(xiàn)在的操作系統(tǒng)雖不至于崩潰、重啟，但是處理分片的性能并不高，疲于應(yīng)付無(wú)暇理睬正常的連接請(qǐng)求—拒絕服務(wù)UDPFragmentsUDPFragmentsUDPFragmentsUDPFragments服務(wù)器宕機(jī)，停止響應(yīng)正常SYN（我可以連接嗎？）攻擊者服務(wù)器系統(tǒng)崩潰DDOS舉例—CC/HTTPGetflood流量清洗前世在流量清洗產(chǎn)品問(wèn)世前，會(huì)采用以下辦法黑洞技術(shù)：將路由指向不存在的地址路由器上：ACL，反向地址查詢(xún)，限速防火墻：狀態(tài)檢查，訪問(wèn)控制IPS：特征過(guò)濾為應(yīng)對(duì)DDOS產(chǎn)生的清洗技術(shù)SYNCookie基于流量特征聚類(lèi)的攻擊特征提取基于網(wǎng)絡(luò)中各種標(biāo)志位TCP報(bào)文的比例關(guān)系檢測(cè)攻擊基于流量自相似性的檢測(cè)基于服務(wù)器的認(rèn)證機(jī)制基于擁塞控制的防范機(jī)制Trackback流量清洗產(chǎn)品的特點(diǎn)適合串聯(lián)和旁路部署經(jīng)常和檢測(cè)設(shè)備搭配使用支持多種路由和VPN相關(guān)的協(xié)議轉(zhuǎn)發(fā)不受新建連接數(shù)限制可以抵御大規(guī)模的DDOS攻擊存在很多相對(duì)復(fù)雜的閾值配置經(jīng)常需要抓包分析攻擊報(bào)文回顧與提問(wèn)1、DDOS都有哪些常見(jiàn)種類(lèi)？主要的攻擊原理是什么？2、為什么流量清洗產(chǎn)品面世之前的很多DDOS防范技術(shù)無(wú)法很好的防御DDOS攻擊？流量清洗產(chǎn)品的前世今生1流量清洗產(chǎn)品的部署特點(diǎn)2流量清洗產(chǎn)品與防火墻的區(qū)別3如何設(shè)計(jì)一個(gè)好的流量清洗產(chǎn)品4黑客常用攻擊手法簡(jiǎn)析5目錄6流量清洗產(chǎn)品的部署方案分類(lèi)串聯(lián)線模式思科提出的flow檢測(cè)+動(dòng)態(tài)牽引+清洗方案華為提出的DPI檢測(cè)+TOS標(biāo)記牽引+清洗方案串聯(lián)線模式Trust區(qū)域Trust區(qū)域服務(wù)器群組聯(lián)通電信CernetGuard10G10GChannel3G1G1GFlow檢測(cè)+動(dòng)態(tài)牽引+清洗方案旁路部署的環(huán)路問(wèn)題IprouteIproute55旁路部署的環(huán)路問(wèn)題目標(biāo)主機(jī)leadsec-GuardLeadsec-Detector規(guī)避環(huán)路：PBR注入目標(biāo)主機(jī)IproutIprout55旁路部署的環(huán)路問(wèn)題interfaceGuardipaddress

ippolicyroute-mappbr!ipaccess-listextendedguard

permitipanyany!route-mappbrpermit10matchipaddressguard

setipnext-hopLeadsec-Detectorleadsec-Guard規(guī)避環(huán)路的方法Guard二層回注GuardPBR回注GuardMPLS回注VRFGuardGRE回注GREGRE環(huán)路問(wèn)題解決方案旁路的優(yōu)勢(shì)和劣勢(shì)優(yōu)勢(shì)：部署簡(jiǎn)單，不需要改變?cè)芯W(wǎng)絡(luò)拓?fù)湫詢(xún)r(jià)比高，100G的網(wǎng)絡(luò)第一期可以先部署10G的清洗不會(huì)引起單點(diǎn)故障方便擴(kuò)容，集群更容易部署劣勢(shì)：針對(duì)應(yīng)用層的攻擊，尤其是慢速攻擊，flow檢查無(wú)法檢測(cè)到清洗設(shè)備不能實(shí)時(shí)學(xué)習(xí)正常數(shù)據(jù)針對(duì)應(yīng)用層防護(hù)的旁路改進(jìn)部署DPI檢測(cè)+TOS標(biāo)記牽引+清洗DPI待檢測(cè)流量丟棄流量標(biāo)記流量分流路由器清洗設(shè)備丟棄流量正常無(wú)標(biāo)記流量管理設(shè)備任務(wù)目標(biāo)任務(wù)目標(biāo)清洗策略清洗結(jié)果回顧與提問(wèn)流量清洗產(chǎn)品都有哪些常見(jiàn)的部署方式？旁路部署的關(guān)鍵技術(shù)問(wèn)題是什么？旁路部署有哪些優(yōu)勢(shì)？思科和華為的方案孰優(yōu)孰劣？流量清洗產(chǎn)品的前世今生1流量清洗產(chǎn)品的部署特點(diǎn)2流量清洗產(chǎn)品與防火墻的區(qū)別3如何設(shè)計(jì)一個(gè)好的流量清洗產(chǎn)品4黑客常用攻擊手法簡(jiǎn)析5目錄6流量清洗產(chǎn)品與防火墻的區(qū)別部署方式：支持旁路，串聯(lián)時(shí)一般采用線模式。功能：防火墻的主要功能是地址轉(zhuǎn)換和訪問(wèn)控制等；流量清洗的主要功能是抗攻擊，而且相對(duì)防火墻而言功能數(shù)量比較少。關(guān)鍵指標(biāo)：防火墻的關(guān)鍵指標(biāo)是穩(wěn)定性和功能全面，其次是性能；流量清洗產(chǎn)品的關(guān)鍵指標(biāo)是抗攻擊能力和性能，其次是穩(wěn)定性。不同的表現(xiàn)形態(tài)流量清洗產(chǎn)品往往采用線模式或接口轉(zhuǎn)發(fā)等比較古怪的轉(zhuǎn)發(fā)行為來(lái)優(yōu)化轉(zhuǎn)發(fā)性能，而且流量清洗產(chǎn)品不需要會(huì)話和連接跟蹤，因此轉(zhuǎn)發(fā)性能也不依賴(lài)于新建連接數(shù)和并發(fā)連接數(shù)。流量清洗產(chǎn)品的配置項(xiàng)相對(duì)較少，主要是抗攻擊相關(guān)的功能和統(tǒng)計(jì)配置，以及部署相關(guān)的配置。由于上述原因，流量清洗產(chǎn)品容易做到比較穩(wěn)定，主要PK項(xiàng)是抗攻擊算法和性能。流量清洗產(chǎn)品的前世今生1流量清洗產(chǎn)品的部署特點(diǎn)2流量清洗產(chǎn)品與防火墻的區(qū)別3如何設(shè)計(jì)一個(gè)好的流量清洗產(chǎn)品4黑客常用攻擊手法簡(jiǎn)析5目錄評(píng)價(jià)標(biāo)準(zhǔn)高性能，包括小包抗攻擊性能和轉(zhuǎn)發(fā)性能，性能計(jì)量不用bps，而是用pps抗攻擊算法可以抵御盡量多的DDOS攻擊種類(lèi)和手法支持方便的抓包分析和攻擊取證配置簡(jiǎn)單方便支持各類(lèi)串聯(lián)和旁路部署方便集群和擴(kuò)容高性能設(shè)計(jì)思路摒棄防火墻的設(shè)計(jì)思路，轉(zhuǎn)發(fā)不需要會(huì)話和連接跟蹤。根據(jù)流量清洗產(chǎn)品的網(wǎng)絡(luò)部署方式比較少的特點(diǎn)，對(duì)轉(zhuǎn)發(fā)進(jìn)行優(yōu)化。線模式，接口轉(zhuǎn)發(fā)等。需要抗攻擊模塊分析的大部分報(bào)文可以不走協(xié)議棧，以提高性能。對(duì)抗攻擊功能中的過(guò)濾報(bào)文部分進(jìn)行性能優(yōu)化，比如采用ASIC加速等方式。配置設(shè)計(jì)思路抗攻擊算法比較復(fù)雜，初次接觸的工程師不容易搞懂，因此相關(guān)的閾值和算法配置需要盡量簡(jiǎn)化，并提供配置模板。提供流量自學(xué)習(xí)功能實(shí)現(xiàn)自動(dòng)或半自動(dòng)配置。在菜單上分列流量牽引、流量清洗和流量統(tǒng)計(jì)等項(xiàng)，方便用戶(hù)配置。大部分抗攻擊功能都是針對(duì)目的進(jìn)行防護(hù)，因此采用保護(hù)IP來(lái)配置抗攻擊策略比較合適。流量清洗產(chǎn)品的前世今生1流量清洗產(chǎn)品的部署特點(diǎn)2流量清洗產(chǎn)品與防火墻的區(qū)別3如何設(shè)計(jì)一個(gè)好的流量清洗產(chǎn)品4黑客常用攻擊手法簡(jiǎn)析5目錄6黑客慣用的DDOS三十六計(jì)渾水摸魚(yú)偽造大量有效的源地址，消耗網(wǎng)絡(luò)帶寬或用數(shù)據(jù)包淹沒(méi)受害者，從中漁利。Udpflood，icmpflood等。UDP（非業(yè)務(wù)數(shù)據(jù)）攻擊者受害者網(wǎng)卡出口堵塞，收不了數(shù)據(jù)包了不管三七二十一，多發(fā)報(bào)文占帶寬丟棄ICMP（大包/負(fù)載）瞞天過(guò)海通過(guò)代理或僵尸網(wǎng)絡(luò)建立大量正常連接，消耗服務(wù)資源。連接數(shù)攻擊，httpgetflood等。借刀殺人采用受害者的IP作為源IP，向正常網(wǎng)絡(luò)發(fā)送大量報(bào)文，利用這些正常PC的回應(yīng)報(bào)文達(dá)到攻擊受害者的目的。Smurf,fraggle等。攻擊者被攻擊者放大網(wǎng)絡(luò)

源IP=被攻擊者的IP目的IP=指向網(wǎng)絡(luò)或子網(wǎng)的廣播ICMP請(qǐng)求DoS攻擊暗渡陳倉(cāng)利用很多攻擊防范設(shè)備會(huì)將正常訪問(wèn)加入白名單的特性，利用正常訪問(wèn)的IP發(fā)動(dòng)攻擊。改良后的synflood，dnsqueryflood等。正常tcpconnect攻擊者受害者源IP偽造成已經(jīng)加入白名單的正常IP通過(guò)白名單檢查，繞過(guò)DDOS檢查控制一些PC進(jìn)行正常訪問(wèn)和應(yīng)用正常訪問(wèn)IP加入白名單大量攻擊報(bào)文大量攻擊報(bào)文大量攻擊報(bào)文大量攻擊報(bào)文笑里藏刀利用一些協(xié)議的缺陷，發(fā)動(dòng)看似很慢速的攻擊，由于流量很小不易被檢測(cè)到，達(dá)到拒絕服務(wù)的攻擊目的。httppost慢速攻擊，SSL慢速攻擊等。正常tcpconnect攻擊者受害者HTTP連接，指定POST內(nèi)容長(zhǎng)度為1000每個(gè)連接都在發(fā)報(bào)文，不能中斷不能建立正常的連接HTTPPOST請(qǐng)求連接1，每10秒發(fā)送1個(gè)字節(jié)正常用戶(hù)正常HTTP請(qǐng)求HTTPPOST請(qǐng)求連接2，每10秒發(fā)送1個(gè)字節(jié)HTTPPOST請(qǐng)求連接