LinuxKernel2.4.中conntrack原理和應(yīng)用

LinuxKernel2.4.*

中conntrack原理和應(yīng)用張煥杰中國(guó)科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)信息中心james@1內(nèi)容簡(jiǎn)單理解Linuxkernel2.4.*中的netfilter/iptables框架2.4.*中conntrack原理擴(kuò)展應(yīng)用2Netfilter/iptablesNetfilter是Linuxkernel中對(duì)數(shù)據(jù)包進(jìn)行處理的框架定義了5個(gè)HOOK位置NF_IP_PRE_ROUTINGNF_IP_LOCAL_INNF_IP_FORWARDNF_IP_POST_ROUTINGNF_IP_LOCAL_OUT35個(gè)HOOK位置4netfilter結(jié)果NF_ACCEPT:continuetraversalasnormal.NF_DROP:dropthepacket;don'tcontinuetraversal.NF_STOLEN:I'vetakenoverthepacket;don'tcontinuetraversal.NF_QUEUE:queuethepacket(usuallyforuserspacehandling).NF_REPEAT:callthishookagain.5NetfilterIptables是netfilter上的應(yīng)用natmanglefilterConntrack實(shí)現(xiàn)連接跟蹤6Netfilter/iptables可以實(shí)現(xiàn)完整的基于連接跟蹤的包過(guò)濾防火墻支持包過(guò)濾，雙向地址轉(zhuǎn)換連接跟蹤的處理與NAT處理分離，更加模塊化7Connectiontrack原理根據(jù)數(shù)據(jù)包的內(nèi)容，記錄各個(gè)連接的狀態(tài)是狀態(tài)包過(guò)濾防火墻和NAT必需的功能狀態(tài)表超時(shí)協(xié)議SRCSportDSTDportstate82.4中的conntrack9關(guān)鍵數(shù)據(jù)結(jié)構(gòu)TupleProto、srcip、dstip、協(xié)議特定信息TCP、UDP:sport、dportICMP:typecode原方向的tuple、應(yīng)答方向的tuple(replytuple)生成Replytuple的過(guò)程(Inverttuple)調(diào)換srcip、dstip調(diào)用協(xié)議相關(guān)的inver_tuple處理TCP、UDP是調(diào)換sport、dportICMP是對(duì)typecode處理，如8/0(echrequest)的invert是0/010關(guān)鍵數(shù)據(jù)結(jié)構(gòu)Conntrack引用計(jì)數(shù)原方向的tuple、應(yīng)答方向的tuple狀態(tài)超時(shí)時(shí)間其他信息11HASHConntrack中2個(gè)方向的tuple被hash后，根據(jù)hash結(jié)果放到對(duì)應(yīng)的鏈表中方便快速查找查找tuple是否存在，只要對(duì)tuple做hash，到對(duì)應(yīng)的鏈表中查找，O(1)復(fù)雜度如果構(gòu)造tuple使得hash沖突，查找最壞變成O(N)復(fù)雜度，可以用來(lái)DOS攻擊12Conntrack處理過(guò)程對(duì)進(jìn)入包處理系統(tǒng)的packet(PRE_ROUTING、LOCAL_OUT)根據(jù)packet內(nèi)容生成tuple查找系統(tǒng)中是否有該tuple的記錄如果不存在新建立一個(gè)conntrack記錄，生成反向的tuple記錄調(diào)用對(duì)應(yīng)的協(xié)議的數(shù)據(jù)包處理程序TCP：狀態(tài)跟蹤UDP：延長(zhǎng)超時(shí)時(shí)間ICMP：2個(gè)方向的icmp包相等，直接刪除conntrack信息13Conntrack處理過(guò)程對(duì)從離開(kāi)包處理系統(tǒng)的packet(POST_ROUTING、LOCAL_IN)如果conntrack中的2個(gè)tuple不在鏈表中，增加到鏈表中整個(gè)處理過(guò)程中被DROP的包，不會(huì)走到這里，對(duì)應(yīng)的conntrack的引用數(shù)為0時(shí)conntrack信息被刪除超時(shí)處理刪除conntrack記錄14其他過(guò)程Alter_reply_tuple修改反方向包NAT處理代碼通知conntrack處理代碼，將來(lái)應(yīng)答的tuple會(huì)改變Helper程序?qū)μ囟☉?yīng)用數(shù)據(jù)的特殊處理Ftp等Expect相關(guān)連接處理Ftp的cmd和data連接是相關(guān)的15Conntrack的問(wèn)題HASH性能問(wèn)題可能會(huì)造成DoS攻擊總的conntrack數(shù)量有限，遭到DoS攻擊每個(gè)conntrack大約占用400byteIcmp、TCPSYN、UDP超時(shí)60秒10kpps，60秒600kconntrack240M內(nèi)存DROP包時(shí)性能問(wèn)題每個(gè)包都要產(chǎn)生一個(gè)conntrack記錄，在數(shù)據(jù)包被DROP時(shí)釋放conntrack記錄，浪費(fèi)CPU時(shí)間16Conntrack擴(kuò)展Conntrack日志發(fā)送一個(gè)連接的如下信息到日志服務(wù)器Start_time、end_timeProto、srcip、dstip、sport、dport、pkts、bytsNsrcip、ndstip、nsport、ndport、rpkts、rbytsState連接數(shù)限制限制一個(gè)IP占用的conntrack數(shù)量17Conntrack日志Conntrack增加一些信息Start_time，end_time，統(tǒng)計(jì)數(shù)據(jù)在conntrack的超時(shí)處理過(guò)程中，使用udp協(xié)議把這些信息發(fā)送給日志服務(wù)器Conntrack的處理中增加對(duì)以上信息的修改新的conntrack設(shè)置start_time每個(gè)數(shù)據(jù)包修改統(tǒng)計(jì)數(shù)據(jù)和end_time18URL記錄增加一個(gè)對(duì)tcp80端口處理的helper程序?qū)cp的數(shù)據(jù)包進(jìn)行處理，恢復(fù)其中的URL如果特意將URL分到不同的包中，或者使用keep-alive，記錄不全19性能內(nèi)存占用每個(gè)conntrack多占用了大約24byte，增加10%的內(nèi)存處理O(1)復(fù)雜度DROP的數(shù)據(jù)包不會(huì)引發(fā)超時(shí)過(guò)程，因此DROP的包沒(méi)有日志可以考慮限制不確認(rèn)的conntrack的發(fā)送速率20連接數(shù)限制簡(jiǎn)單限制限制一個(gè)IP占用的總數(shù)和最多處理確認(rèn)狀態(tài)的總數(shù)僅僅對(duì)出去的連接限制StructIplimitMaxtotal最多總數(shù)Total當(dāng)前總數(shù)MaxAssure最多確認(rèn)的連接數(shù)Assure當(dāng)前確認(rèn)的連接數(shù)21數(shù)據(jù)結(jié)構(gòu)LocalNetworkNetaddrNetmaskLimit*iplimit

根據(jù)netmask動(dòng)態(tài)分配的內(nèi)存LocalNetworkLimit(8192*sizeof(iplimit))LocalNetwork用數(shù)組存放，限制在10個(gè)左右22增加的處理生成一個(gè)新conntrack時(shí)，增加total，如果total=maxtotal，丟棄數(shù)據(jù)包釋放conntrack時(shí)，減少total，如果有assure標(biāo)記，減少assure對(duì)tcp數(shù)據(jù)包首次進(jìn)入established狀態(tài)時(shí)，增加assure，設(shè)置assure標(biāo)記，如果assure=maxassure，丟棄數(shù)據(jù)包離開(kāi)established狀態(tài)時(shí)，減少assure，清除assure標(biāo)志23控制kernel/proc/iplimit/control寫A100100C100200F