《導(dǎo)師孫名松教授》PPT課件.pptVIP

導(dǎo)師：孫名松 教授,學(xué)生：周夢熊,基于實數(shù)編碼遺傳神經(jīng)網(wǎng)絡(luò)的 入侵檢測方法研究,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,選題來源,本論文的項目背景是黑龍江省自然科學(xué)基金項目基于多層前向神經(jīng)網(wǎng)絡(luò)的分布式入侵檢測模型，本文作為該項目的一個組成部分，將實數(shù)編碼遺傳算法與神經(jīng)網(wǎng)絡(luò)結(jié)合作為其中一個分布式Agent的檢測算法。,課題背景,論文主要內(nèi)容,比較分析入侵檢測方法，將實數(shù)編碼的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)初始權(quán)重應(yīng)用于入侵檢測； 為了提高入侵檢測系統(tǒng)的檢測效率和實時性，提出分類檢測器同步檢測模型；,課題背景,論文主要內(nèi)容,數(shù)據(jù)預(yù)處理，即把經(jīng)過數(shù)據(jù)挖掘后的樣本數(shù)據(jù)進行歸一化處理； 二次處理，即對數(shù)據(jù)預(yù)處理后的數(shù)據(jù)進行深度處理，從而對樣本數(shù)據(jù)進行有效性的壓縮； 仿真實驗，得出結(jié)論。,課題背景,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,實數(shù)編碼遺傳算法,遺傳算法的主要特點是群體搜索策略和群體中個體之間的信息交換，搜索不依賴梯度信息，也不需要求解函數(shù)可微，只需要該函數(shù)在約束條件下可解，因此該方法適用于處理傳統(tǒng)方法難以解決的復(fù)雜和非線性問題。 目前，遺傳算法經(jīng)常采用二進制編碼，這有它自身的優(yōu)點，如它能使交叉和變異操作容易實現(xiàn)，雖然采用二進制編碼時算法處理的模式數(shù)最多，但在處理優(yōu)化,遺傳神經(jīng)網(wǎng)絡(luò),實數(shù)編碼遺傳算法,問題時，會出現(xiàn)一些問題： “由于相鄰整數(shù)的二進制編碼結(jié)構(gòu)可能出現(xiàn)很大的差異，這樣會降低遺傳算子的搜索效率，而且如果設(shè)計變量的精度很高，串長就很大，這樣也降低了算法的效率，并且在進化過程中還要不停地進行編碼和解碼操作，計算時間比較長，所以在求解高維優(yōu)化時，算法的搜索效率就更低了”。,遺傳神經(jīng)網(wǎng)絡(luò),實數(shù)編碼遺傳算法,而基于實數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運算速度，因此，基于實數(shù)編碼的遺傳算法得到了越來越多的重視。,遺傳神經(jīng)網(wǎng)絡(luò),編碼方式,由于實數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運算速度，因此，本文采用實數(shù)編碼。,遺傳神經(jīng)網(wǎng)絡(luò),適應(yīng)度函數(shù),所謂的適應(yīng)度函數(shù)就是評價函數(shù)，將染色體上表示的各個權(quán)值分配到給定的網(wǎng)絡(luò)結(jié)構(gòu)中，網(wǎng)絡(luò)以訓(xùn)練集樣本為輸入輸出，運行后返回誤差平方和的倒數(shù)作為染色體的適應(yīng)度函數(shù)，如式(2-1)所示。,遺傳神經(jīng)網(wǎng)絡(luò),(2-1),遺傳算子設(shè)計,選擇算子 采用適應(yīng)度比例方法，計算每個個體的適應(yīng)度值并將其排序，每個個體的選擇概率和其適應(yīng)度值成正比例。即適應(yīng)度值越大，它被選擇到的機會也就越大，從而被遺傳到下一代的可能性也越大。 設(shè)群體大小為n，個體i的適應(yīng)度值為fi，則被選擇的概率為Psi，如式(2-2)所示,遺傳神經(jīng)網(wǎng)絡(luò),(2-2),遺傳算子設(shè)計,交叉算子 這里設(shè)計為具有數(shù)值特點的向量線性組合。如有兩個個體Sa與Sb交叉，則產(chǎn)生的子代個體如式(2-3)、(2-4)所示。 其中，的取值在(0，1)。,遺傳神經(jīng)網(wǎng)絡(luò),(2-3),(2-4),遺傳算子設(shè)計,變異算子 對于子代染色體中的每個權(quán)值輸入位置，變異算子以概率Pm在初始概率分布中隨機選擇一個值，然后與該輸入位置上的權(quán)值相加。,遺傳神經(jīng)網(wǎng)絡(luò),遺傳算子設(shè)計,取值為0.5時進行交叉算子運算，如圖2-1中交叉部分所示，兩個個體經(jīng)過交叉后生成兩個新個體；變異算子運算如圖2-1中變異部分所示；粗體斜體部分表示交叉或變異的位置,遺傳神經(jīng)網(wǎng)絡(luò),遺傳算子設(shè)計,遺傳神經(jīng)網(wǎng)絡(luò),圖 2-1 交叉和變異算子的運算,面向神經(jīng)網(wǎng)絡(luò)權(quán)重學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的權(quán)值按一定的順序級聯(lián)為一個長串，串上的每一個位置對應(yīng)著網(wǎng)絡(luò)的一個權(quán)值。,遺傳神經(jīng)網(wǎng)絡(luò),圖 2-2 神經(jīng)網(wǎng)絡(luò)權(quán)值編碼,面向神經(jīng)網(wǎng)絡(luò)權(quán)重學(xué)習(xí),如圖2-2所示，神經(jīng)網(wǎng)絡(luò)編碼為： （1.4, -1.8, 3.6, 1.7, 0.9, -0.7, 4.5, -0.3, 1.3）,遺傳神經(jīng)網(wǎng)絡(luò),目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,系統(tǒng)總體結(jié)構(gòu),分類檢測器同步檢測模型,圖 3-1 系統(tǒng)結(jié)構(gòu)圖,分類檢測器同步檢測模型,分類檢測器同步檢測模型,圖 3-2 分類檢測器同步檢測模型,本文將“檢測引擎模塊”進行細化設(shè)計后提出“分類檢測器同步檢測”的模型，同步檢測模型如圖3-2所示。,同步檢測算法描述,分類檢測器同步檢測模型,檢測器調(diào)度算法采用多線程實現(xiàn)，由于涉及到線程同步問題，自然會想到同步鎖，線程間優(yōu)先權(quán)設(shè)置我們采用如下方法： 即四大類攻擊中按樣本數(shù)所占比例大小進行優(yōu)先權(quán)的設(shè)置，所占比例越大，優(yōu)先權(quán)就越大，這樣，最后，優(yōu)先權(quán)從高到低設(shè)置為“DOS、PROBE、R2L、U2R” 。,同步檢測算法描述,分類檢測器同步檢測模型,算法描述 分別為每個檢測器開啟一個線程； 輸入向量，按照線程優(yōu)先權(quán)的大小，代表檢測DOS類型攻擊的檢測器A首先獲得該“鎖”并對該輸入向量進行檢測； 如果是DOS攻擊，則通知“狀態(tài)監(jiān)視”模塊并設(shè)置為True，“狀態(tài)監(jiān)視”一旦為True則馬上通知其它檢測器線程不用等待該鎖而直接做好獲取下一把“鎖” (也就是下一個輸入向量)的準(zhǔn)備，直接輸出結(jié)果后轉(zhuǎn)步驟2；如果不是DOS攻擊，則釋放該“鎖”，讓代表檢測PROBE類型攻擊的檢測器D獲得該“鎖”進行檢測，如果檢測出攻擊則輸出結(jié)果同樣轉(zhuǎn)步驟2，否則，依此類推繼續(xù)檢測； 當(dāng)最后一個檢測器對輸入向量檢測也正常時，則輸出結(jié)果轉(zhuǎn)步驟2,同步檢測算法描述,分類檢測器同步檢測模型,輸出結(jié)果向量表示： 0 0 0 1表示DOS攻擊； 0 0 1 0表示R2L類型攻擊； 0 1 0 0表示U2R類型攻擊； 1 0 0 0表示PROBE類型攻擊。,其中x1, x2, x3, x4分別表示檢測器A、B、C、D的輸出,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,數(shù)據(jù)來源,本文采用麻省理工大學(xué)林肯實驗室的測試數(shù)據(jù)KDDCUP99，它是專門用來進行入侵檢測評估的。 我們采用數(shù)據(jù)集上的一個子集10percent作為實驗數(shù)據(jù)源，它一共包含有494021條網(wǎng)絡(luò)連接，其中正常連接97277 條，異常連接396744條。,數(shù)據(jù)預(yù)處理,數(shù)據(jù)歸一化,一般歸一化公式：,數(shù)據(jù)預(yù)處理,歸一化到0、1之間：,樣本精簡,矩陣初等行變換能保持矩陣列向量之間的線性關(guān)系，利用這個結(jié)論我們可以用來進行樣本數(shù)據(jù)的精簡，這樣精簡后的樣本數(shù)據(jù)能夠保持各屬性字段之間的線性關(guān)系。 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實際上是一個通過給定樣本實時調(diào)整網(wǎng)絡(luò)連接權(quán)重的過程，樣本預(yù)處理的結(jié)果對于網(wǎng)絡(luò)訓(xùn)練的收斂性起到關(guān)鍵的作用。下面我們針對DOS攻擊類型數(shù)據(jù)(DOS攻擊類型編碼為“0 0 0 1”)進行分析。,數(shù)據(jù)預(yù)處理,樣本精簡,設(shè)A為樣本數(shù)據(jù)矩陣，其中每一行向量表示一條樣本數(shù)據(jù)，則該行向量含34個數(shù)據(jù)，假設(shè)有a條樣本，則A為a行34列矩陣；由于每條樣本數(shù)據(jù)輸入網(wǎng)絡(luò)后都會有一條對應(yīng)的輸出，加上本實例為DOS攻擊類型以編碼“0 0 0 1”表示，則期望輸出矩陣B為a行4列矩陣(暫時先不考慮閾值，只考慮權(quán)重問題)。 本文BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點數(shù)為34個，隱含層節(jié)點數(shù)為15個，輸出層節(jié)點數(shù)為4個。,數(shù)據(jù)預(yù)處理,樣本精簡,雖然神經(jīng)網(wǎng)絡(luò)的連接權(quán)重可以用一個實數(shù)串進行表示，但在進行網(wǎng)絡(luò)的訓(xùn)練時，還需要將實數(shù)串分為兩部分，設(shè)輸入層到隱含層的連接權(quán)重矩陣為W1，則W1為34行15列矩陣；同理，隱含層到輸出層的連接權(quán)重矩陣W2為15行4列矩陣。 于是我們可以得到公式(4-1)。,數(shù)據(jù)預(yù)處理,樣本精簡,如式(4-2)所示，A和B是系數(shù)矩陣 ,C是增廣矩陣。 經(jīng)過帶約束初等行變換后如式(4-3)所示。,數(shù)據(jù)預(yù)處理,(4-2),(4-3),(4-1),樣本精簡,數(shù)據(jù)預(yù)處理,式(4-3)中，C、D為零矩陣，經(jīng)過處理以后，由原先的A對應(yīng)輸出B變成了現(xiàn)在的A對應(yīng)輸出B，通過這樣的處理，我們就可以將大樣本變?yōu)樾颖?，從而使計算更加快速，樣本?shù)據(jù)更加精簡。,歸一化精度對樣本影響,數(shù)據(jù)預(yù)處理,為了能使樣本應(yīng)用于本文提出的分類檢測器同步檢測模型，我們將樣本數(shù)據(jù)先進行歸類合并，分別構(gòu)造出DOS、PROBE、U2R、R2L四大類攻擊樣本數(shù)據(jù)集，這樣四個檢測器分別檢測四大類攻擊。 為了降低可疑攻擊數(shù)，即四大攻擊類型數(shù)據(jù)集之間的重疊記錄數(shù)要少。精度過大會增加計算量，從而會降低學(xué)習(xí)速度；精度過小，會使記錄重疊數(shù)增加，從而造成可疑攻擊數(shù)增加，影響訓(xùn)練結(jié)果。,歸一化精度對樣本影響,數(shù)據(jù)預(yù)處理,表4-1 小數(shù)點保留1位時記錄重復(fù)情況,歸一化精度對樣本影響,數(shù)據(jù)預(yù)處理,表4-2 小數(shù)點保留4位時記錄重復(fù)情況,歸一化精度對樣本影響,數(shù)據(jù)預(yù)處理,表4-3 樣本數(shù)據(jù)壓縮情況,歸一化精度對樣本影響,數(shù)據(jù)預(yù)處理,圖4-1 樣本數(shù)據(jù)壓縮情況,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,學(xué)習(xí)樣本和測試樣本,仿真實驗,表5-1 樣本數(shù)據(jù),學(xué)習(xí)樣本和測試樣本,仿真實驗,表5-1是數(shù)據(jù)預(yù)處理后的標(biāo)準(zhǔn)格式，學(xué)習(xí)樣本和測試樣本數(shù)據(jù)只取DOS攻擊樣本中數(shù)據(jù)。 為避免發(fā)生神經(jīng)網(wǎng)絡(luò)的“過擬合”現(xiàn)象，我們不需要讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過多的樣本細節(jié)，這里取DOS攻擊樣本數(shù)據(jù)30條作為學(xué)習(xí)樣本進行網(wǎng)絡(luò)的訓(xùn)練，期望輸出都為“0 0 0 1”。測試樣本數(shù)據(jù)為300條。,實驗環(huán)境和運行參數(shù),仿真實驗,實驗環(huán)境為“Intel(R) Celeron(TM) CPU 1000MHz，內(nèi)存384M，操作系統(tǒng)Windows2000 Professional”，開發(fā)工具為MATLAB 7.0 。 在遺傳算法中，種群規(guī)模Psize=60，權(quán)重初始化空間為-1，+1，遺傳代數(shù)為gen=200代，選擇概率Ps0.09，交叉率Pc=0.6，變異率Pm0.05；在 BP 算法中，最大訓(xùn)練次數(shù)為3000，目標(biāo)誤差為0.01，學(xué)習(xí)率為0.01 。,GA訓(xùn)練BP網(wǎng)絡(luò)連接權(quán)值,仿真實驗,圖5-1 GA訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重,GA訓(xùn)練BP網(wǎng)絡(luò)連接權(quán)值,仿真實驗,圖5-2 局部放大,BP神經(jīng)網(wǎng)絡(luò)進行局部尋優(yōu),仿真實驗,圖5-3 BP局部尋優(yōu),仿真結(jié)果,仿真實驗,300條DOS攻擊類型的樣本數(shù)據(jù)進行網(wǎng)絡(luò)的測試，期望輸出應(yīng)該為“0 0 0 1”，限于篇幅，表5-2只列出部分網(wǎng)絡(luò)輸出結(jié)果。每一列對應(yīng)為一個輸出結(jié)果，第一個輸出為(0.0003, 0.0004, 0.0005, 0.9987)，可以直觀地看出應(yīng)該符合(0，0，0，1)編碼形式，故該條測試樣本數(shù)據(jù)為DOS攻擊類型。,表5-2 部分輸出結(jié)果,仿真結(jié)果,仿真實驗,300條DOS攻擊樣本數(shù)據(jù)經(jīng)過測試后，有4條檢測出錯并且都被檢測為其它攻擊類型，296條檢測正確，檢測率為98.67%，4條入侵樣本數(shù)據(jù)沒有被檢測出來，相對于DOS攻擊來講就是“正?！睌?shù)據(jù)，則漏報率為1.33%。,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望 發(fā)表論文,論文主要工作,研究了基于實數(shù)編碼遺傳神經(jīng)網(wǎng)絡(luò)的入侵檢測技術(shù)。 提出了分類檢測器同步檢測的模型，并給出算法描述。每個檢測器就是一個訓(xùn)練好的遺傳神經(jīng)網(wǎng)絡(luò)，通過多線程同步原理，既可以保證每個檢測器高檢測率、低漏報率的特點，又可以保證檢測實時性的特性。,結(jié)束語和展望,論文主要工作,在樣本預(yù)處理基礎(chǔ)上進行了二次處理，將矩陣?yán)碚撝R應(yīng)用于樣本數(shù)據(jù)的精簡，并根據(jù)本文分類檢測器同步檢測模型的特點找出一條合理壓縮數(shù)據(jù)途徑。 通過仿真實驗，我們可以看出每個檢測器的檢測效率很高，同時也可以看出訓(xùn)練時遺傳神經(jīng)網(wǎng)絡(luò)收斂速度很快，而且因為實數(shù)編碼的原因，遺傳算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重過程時進化到85代就基本穩(wěn)定下來，大大減少了訓(xùn)練的時間。,結(jié)束語和展望,下一步工作,將數(shù)據(jù)挖掘與樣本處理結(jié)合，期望能進一步挖掘出符合具體檢測模型的檢測特征字段 對提出的分類檢測器同步檢測模型做進一步改進 ，使其在自適應(yīng)性方面得到提高 復(fù)合攻擊類型的入侵檢測技術(shù)研究，特別是基于行為分析的復(fù)合攻擊事件檢測技術(shù),結(jié)束語和展望,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測器同步檢測模型 數(shù)據(jù)預(yù)處理 仿真實驗 結(jié)束語和展望