聚類算法在網(wǎng)絡(luò)入侵檢測(cè)技術(shù)中的應(yīng)用

1、目錄第1章引言 11.1入侵檢測(cè)技術(shù)的提出 11.2入侵檢測(cè)技術(shù)技術(shù)研究史 31.2.1 以Denning模型為代表的IDS早期技術(shù) 31.2.2中期：統(tǒng)計(jì)學(xué)理論和專家系統(tǒng)相結(jié)合 51.2.3 基于網(wǎng)絡(luò)的NIDS是目前的主流技術(shù) 51.3本課題研究的途徑與意義 6第2章入侵檢測(cè)技術(shù)原理與功能 82.1入侵檢測(cè)技術(shù)第一步信息收集 92.1.1網(wǎng)絡(luò)入侵檢測(cè)技術(shù)模塊方式 92.1.2主機(jī)入侵檢測(cè)技術(shù)模塊方式 92.1.3 信息來源的四個(gè)方面 102.2入侵檢測(cè)技術(shù)的第二步信號(hào)分析 112.2.1 模式匹配 122.2.2統(tǒng)計(jì)分析 122.2.3完整性分析 132.3入侵檢測(cè)技術(shù)的功能概要 13第3章

2、入侵檢測(cè)技術(shù)技術(shù)分析與數(shù)據(jù)分析模型 153.1入侵分析按其檢測(cè)技術(shù)規(guī)則分類 163.1.1基于特征的檢測(cè)技術(shù)規(guī)則 163.1.2 基于統(tǒng)計(jì)的檢測(cè)技術(shù)規(guī)則 163.2 一些新的分析技術(shù) 163.2.1 統(tǒng)計(jì)學(xué)方法 163.2.2入侵檢測(cè)技術(shù)的軟計(jì)算方法 173.2.3基于專家系統(tǒng)的入侵檢測(cè)技術(shù)方法 173.3建立數(shù)據(jù)分析模型 183.3.1 測(cè)試數(shù)據(jù)的結(jié)構(gòu) 18第4章 聚類算法在網(wǎng)絡(luò)入侵檢測(cè)技術(shù)中的作用 214.1聚類算法簡(jiǎn)介 214.1.1 K-means 算法 224.1.2迭代最優(yōu)化算法 23總結(jié)與展望 24致謝 錯(cuò)誤！未定義書簽。參考文獻(xiàn) 錯(cuò)誤！未定義書簽。II第1章引言1.1入侵檢測(cè)技

3、術(shù)的提出隨著In ternet高速發(fā)展，個(gè)人、企業(yè)以及政府部門越來越多地依靠網(wǎng)絡(luò) 傳遞信息，然而網(wǎng)絡(luò)的開放性與共享性容易使它受到外界的攻擊與破壞，信息的安全保密性受到嚴(yán)重影響。網(wǎng)絡(luò)安全問題已成為世界各國政府、企業(yè)及廣大 網(wǎng)絡(luò)用戶最關(guān)心的問題之一。在計(jì)算機(jī)上處理業(yè)務(wù)已由基于單機(jī)的數(shù)學(xué)運(yùn)算、文件處理，基于簡(jiǎn)單連結(jié) 的內(nèi)部網(wǎng)絡(luò)的內(nèi)部業(yè)務(wù)處理、辦公自動(dòng)化等發(fā)展到基于企業(yè)復(fù)雜的內(nèi)部網(wǎng)、企 業(yè)外部網(wǎng)、全球互聯(lián)網(wǎng)的企業(yè)級(jí)計(jì)算機(jī)處理系統(tǒng)和世界范圍內(nèi)的信息共享和業(yè) 務(wù)處理。在信息處理能力提高的同時(shí)，系統(tǒng)的連結(jié)能力也在不斷的提高。但在 連結(jié)信息能力、流通能力提高的同時(shí)，基于網(wǎng)絡(luò)連接的安全問題也日益突出， 黑客攻擊

4、日益猖獗，防范問題日趨嚴(yán)峻：具Warroon Research的調(diào)查，1997年世界排名前一千的公司幾乎都曾被 黑客闖入。據(jù)美國FBI統(tǒng)計(jì)，美國每年因網(wǎng)絡(luò)安全造成的損失高達(dá)75億美元。Ernst和Young報(bào)告，由于信息安全被竊或?yàn)E用，幾乎80%勺大型企業(yè)遭受損失在最近一次黑客大規(guī)模的攻擊行動(dòng)中，雅虎網(wǎng)站的網(wǎng)絡(luò)停止運(yùn)行3小時(shí)，這令它損失了幾百萬美金的交易。而據(jù)統(tǒng)計(jì)在這整個(gè)行動(dòng)中美國經(jīng)濟(jì)共損失了十多億美 金。由于業(yè)界人心惶惶，亞馬遜 (A)、AOL雅虎(Yahoo!)、eBay的 股價(jià)均告下挫，以科技股為主的納斯達(dá)克指數(shù)(Nasdaq)打破過去連續(xù)三天創(chuàng)下新高的升勢(shì)，下挫了六十三點(diǎn)，杜瓊斯工業(yè)平

5、均指數(shù)周三收市時(shí)也跌了二百五 十八點(diǎn)。遇襲的網(wǎng)站包括雅虎、亞馬遜和 B、MSN.com網(wǎng)上拍賣行eBay 以及新聞網(wǎng)站CNN.com估計(jì)這些襲擊把In ternet交通拖慢了百分二十。目前我國網(wǎng)站所受到黑客的攻擊，還不能與美國的情況相提并論，因?yàn)槲?們?cè)谟脩魯?shù)、用戶規(guī)模上還都處在很初級(jí)的階段，但以下事實(shí)也不能不讓我們 深思：1993年底，中科院高能所就發(fā)現(xiàn)有"黑客"侵入現(xiàn)象，某用戶的權(quán)限被升級(jí) 為超級(jí)權(quán)限。當(dāng)系統(tǒng)管理員跟蹤時(shí)，被其報(bào)復(fù)。 1994年，美國一位14歲的小 孩通過互聯(lián)網(wǎng)闖入中科院網(wǎng)絡(luò)中心和清華的主機(jī)，并向我方系統(tǒng)管理員提出警1996年，高能所再次遭到"

6、黑客"入侵，私自在高能所主機(jī)上建立了幾十個(gè) 帳戶，經(jīng)追蹤發(fā)現(xiàn)是國內(nèi)某撥號(hào)上網(wǎng)的用戶。同期，國內(nèi)某ISP發(fā)現(xiàn)"黑客"侵入其主服務(wù)器并刪改其帳號(hào)管理文件，造成數(shù)百人無法正常使用。進(jìn)入1998年，黑客入侵活動(dòng)日益猖獗，國內(nèi)各大網(wǎng)絡(luò)幾乎都不同程度地 遭到黑客的攻擊：7月，江西169網(wǎng)被黑客攻擊，造成該網(wǎng)3天內(nèi)中斷網(wǎng)絡(luò)運(yùn)行2次達(dá)30 個(gè)小時(shí)，工程驗(yàn)收推遲20天；同期，上海某證券系統(tǒng)被黑客入侵；8月，印尼事件激起中國黑客集體入侵印尼網(wǎng)點(diǎn)，造成印尼多個(gè)網(wǎng)站癱瘓，但與此同時(shí)，中國的部分站點(diǎn)遭到印尼黑客的報(bào)復(fù)；同期，西安某銀行系統(tǒng)被 黑客入侵后，提走80.6萬兀現(xiàn)金；9月，揚(yáng)州某銀

7、行被黑客攻擊，利用虛存帳號(hào)提走26萬元現(xiàn)金。每年全球 因計(jì)算機(jī)網(wǎng)絡(luò)的安全系統(tǒng)被破壞而造成的經(jīng)濟(jì)損失達(dá)數(shù)百億美元。進(jìn)入新世紀(jì) 之后，上述損失將達(dá)2000億美元以上?？吹竭@些令人震驚的事件，不禁讓人們發(fā)出疑問：“網(wǎng)絡(luò)還安全嗎？”試圖破壞信息系統(tǒng)的完整性、機(jī)密性、可信性的任何網(wǎng)絡(luò)活動(dòng)都為網(wǎng)絡(luò)入 侵。防范網(wǎng)絡(luò)入侵最常用的方法就是防火墻。防火墻(Firewall )是設(shè)置在不同網(wǎng)絡(luò)(如可信任的企業(yè)內(nèi)部網(wǎng)和不可信 任的公共網(wǎng))或網(wǎng)絡(luò)安全域之間的一系列部件的組合 ,它屬于網(wǎng)絡(luò)層安全技術(shù), 其作用是為了保護(hù)與互聯(lián)網(wǎng)相連的企業(yè)內(nèi)部網(wǎng)絡(luò)或單獨(dú)節(jié)點(diǎn)。它具有簡(jiǎn)單實(shí)用 的特點(diǎn)，并且透明度高，可以在修改有網(wǎng)絡(luò)應(yīng)用系統(tǒng)的情

8、況下達(dá)到一定的安全 要求。但是，防火墻只是一種被動(dòng)防御性的網(wǎng)絡(luò)安全工具，僅僅使用防火墻是不 夠的。首先，入侵者可以找到防火墻的漏洞，繞過防火墻進(jìn)行攻擊。其次，防 火墻對(duì)來自內(nèi)部的攻擊無能為力。它所提供的服務(wù)方式是要么都拒絕，要么都 通過,不能檢查出經(jīng)過他的合法流量中是否包含著惡意的入侵代碼，這是遠(yuǎn)遠(yuǎn)不能滿足用戶復(fù)雜的應(yīng)用要求的。對(duì)于以上提到的問題，一個(gè)更為有效的解決途徑就是入侵檢測(cè)技術(shù)。在入 侵檢測(cè)技術(shù)之前，大量的安全機(jī)制都是根據(jù)從主觀的角度設(shè)計(jì)的，他們沒有根據(jù) 網(wǎng)絡(luò)攻擊的具體行為來決定安全對(duì)策， 因此，它們對(duì)入侵行為的反應(yīng)非常遲鈍，很難發(fā)現(xiàn)未知的攻擊行為，不能根據(jù)網(wǎng)絡(luò)行為的變化來及時(shí)地調(diào)整系

9、統(tǒng)的安全 策略。而入侵檢測(cè)技術(shù)正是根據(jù)網(wǎng)絡(luò)攻擊行為而進(jìn)行設(shè)計(jì)的，它不僅能夠發(fā)現(xiàn) 已知入侵行為，而且有能力發(fā)現(xiàn)未知的入侵行為，并可以通過學(xué)習(xí)和分析入侵 手段，及時(shí)地調(diào)整系統(tǒng)策略以加強(qiáng)系統(tǒng)的安全性。1.2入侵檢測(cè)技術(shù)技術(shù)研究史最早引入計(jì)算機(jī)安全領(lǐng)域的概念，像存取文件、變更他們的內(nèi)容或分類等 的活動(dòng)都記錄在審計(jì)數(shù)據(jù)中，安全管理員、系統(tǒng)操作員和維護(hù)人員和普通用戶 一樣都要經(jīng)過行為審核。審計(jì)是安德森提出要建立一個(gè)安全監(jiān)督系統(tǒng)，保護(hù)那 些系統(tǒng)敏感信息。他還提出應(yīng)該檢查什么、如何分析他、以及如何保護(hù)監(jiān)督系 統(tǒng)免受攻擊，這成了今天IDS研究的核心內(nèi)容。70年代后期，美國政府，包括 DoD（國防部）和NIST（

10、國家標(biāo)準(zhǔn)和技術(shù)協(xié) 會(huì)）支持的計(jì)算機(jī)安全研究2開始了，安全審計(jì)也被考慮在這些研究中。1980 年，安德森提出了另外一項(xiàng)報(bào)告，這次是針對(duì)一個(gè)空軍客戶，后者使用大型計(jì) 算機(jī)處理大量的機(jī)密數(shù)據(jù)。報(bào)告中，安德森提出了減少分析數(shù)據(jù)量的方法，以 及比較統(tǒng)計(jì)數(shù)據(jù)和總的觀察一一也就是統(tǒng)計(jì)行為，以發(fā)現(xiàn)反常的行為。當(dāng)一個(gè) 安全違例發(fā)生或（統(tǒng)計(jì)上）反常的事件出現(xiàn)時(shí)，就會(huì)提醒安全官員。安全官員 還能利用詳細(xì)的觀測(cè)資料做后續(xù)的評(píng)估。安德森的報(bào)告為SRI（ StanfordResearch Institute ）和TRV（美國著名的數(shù)據(jù)安全公司）的早期工作提供了 藍(lán)圖。在1980年代中期，入侵檢測(cè)技術(shù)方面的許多工作都被他的

11、思路深深影響。1.2.1以Denning模型為代表的IDS早期技術(shù)19841985年，Sytex為SPAWAR美國海軍）開展了一個(gè)審計(jì)分析項(xiàng)目。 他基于Unix系統(tǒng)的shell級(jí)的審計(jì)數(shù)據(jù)，論證這些數(shù)據(jù)能夠識(shí)別“正常”和“反?！笔褂玫膮^(qū)別。特里薩蘭特（Teresa Lunt）在Sytex為這個(gè)項(xiàng)目工作， 后來又去了 SRI，在那里她參與并領(lǐng)導(dǎo)了 IDES（入侵檢測(cè)技術(shù)專家系統(tǒng)）項(xiàng)目。IDES項(xiàng)目是1984年由喬治敦大學(xué)的桃樂茜頓寧（Dorothy Denning）和 彼得諾埃曼（PeterNeumanr）開始的，是IDS早期研究中最重要的成就之一。 IDES模型基于這樣的假設(shè)：有可能建立一個(gè)框

12、架來描述發(fā)生在主體（通常是用 戶）和客體（通常是文件、程序或設(shè)備）之間的正常的交互作用。這個(gè)框架由 一個(gè)使用規(guī)則庫（規(guī)則庫描述了已知的違例行為）的專家系統(tǒng)支持。這能防止 使用者逐漸訓(xùn)練（誤導(dǎo)）系統(tǒng)把非法的行為當(dāng)成正常的來接受，也就是說讓系統(tǒng)“見怪不怪”1988年，特里薩蘭特等人改進(jìn)了頓寧的入侵檢測(cè)技術(shù)模型，并開發(fā)出了 一個(gè)IDES。該系統(tǒng)包括一個(gè)異常檢測(cè)技術(shù)器和一個(gè)專家系統(tǒng)，分別用于異常模 型的建立和基于規(guī)則的特征分析檢測(cè)技術(shù)。系統(tǒng)的框架如圖 2所示。圖2 IDES結(jié)構(gòu)框架頓寧的模型假設(shè)：入侵行為明顯的區(qū)別于正常的活動(dòng)，入侵者使用系統(tǒng)的 模式不同于正常用戶的使用模式，通過監(jiān)控系統(tǒng)的跟蹤記錄，可以識(shí)別入侵者 異常使用系統(tǒng)的模式，從而檢測(cè)技術(shù)出入侵者違反系統(tǒng)安全性的情況。論文中 的一些提法看起來很吸引人，但卻并沒有多少有力的證據(jù)，有些想當(dāng)然。頓寧的模型中有6個(gè)主要構(gòu)件：主體、對(duì)象、審計(jì)數(shù)據(jù)、輪廓特征（或可 稱為“范型” profiles ）、異常記錄和行為規(guī)則。范型（profiles ）表示主體的 行為特色，也是模型檢測(cè)技術(shù)方面的關(guān)鍵。行為規(guī)則描述系統(tǒng)驗(yàn)證一定條件后 抽取的行為，他們能“，更新范型，檢測(cè)技術(shù)異常行為，能把異常和可能的 入侵關(guān)聯(lián)起來并提