kohonen神經(jīng)網(wǎng)絡(luò)課件

1、Kohonen神經(jīng)網(wǎng)絡(luò) 組長(zhǎng)：陳永興 組員：李文采 劉嬌 陳爽第1頁2kohonen神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)kohonen神經(jīng)網(wǎng)絡(luò)背景kohonen神經(jīng)網(wǎng)絡(luò)概念與原理kohonen神經(jīng)網(wǎng)絡(luò)應(yīng)用第2頁3背景在生物神經(jīng)系統(tǒng)中，存在著一個(gè)側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其它神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種抑制作用會(huì)使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是一些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑制。kohonen神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功效人工神經(jīng)網(wǎng)絡(luò)。第3頁4kohonen神經(jīng)網(wǎng)絡(luò)是一個(gè)無監(jiān)督學(xué)習(xí)，含有自組織功效神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)經(jīng)過本身訓(xùn)練，能自動(dòng)對(duì)輸入模式進(jìn)行分類。自組織競(jìng)

2、爭(zhēng)型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其它神經(jīng)網(wǎng)絡(luò)相比有自己特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它普通是由輸入層和競(jìng)爭(zhēng)層組成兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。第4頁5在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用信息處理動(dòng)力學(xué)原理來指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)誤差或能量函數(shù)作為算法準(zhǔn)則。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)組成基本思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)機(jī)會(huì)，最終僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)勝者。這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式分類。第5頁6kohonen神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)競(jìng)爭(zhēng)層輸入層kohonen概念與原理第6頁7分類分類是在類

3、別知識(shí)等導(dǎo)師信號(hào)指導(dǎo)下，將待識(shí)別輸入模式分配到各自模式類中去。聚類無導(dǎo)師指導(dǎo)分類稱為聚類，聚類目標(biāo)是將相同模式樣本劃歸一類，而將不相同分離開。競(jìng)爭(zhēng)學(xué)習(xí)概念第7頁8 相同性度量歐式距離法兩個(gè)模式向量歐式距離越小，兩個(gè)向量越靠近，所以認(rèn)為這兩個(gè)模式越相同，當(dāng)兩個(gè)模式完全相同時(shí)其歐式距離為零。假如對(duì)同一類內(nèi)各個(gè)模式向量間歐式距離作出要求，不允許超出某一最大值T，則最大歐式距離T就成為一個(gè)聚類判據(jù)，同類模式向量距離小于T，兩類模式向量距離大于T。第8頁9 相同性測(cè)量余弦法兩個(gè)模式向量越靠近，其夾角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其余弦夾角為1。假如對(duì)同一類內(nèi)各個(gè)模式向量間夾角作出要求，不允許

4、超出某一最大夾角a，則最大夾角就成為一個(gè)聚類判據(jù)。同類模式向量夾角小于a，兩類模式向量夾角大于a。余弦法適合模式向量長(zhǎng)度相同和模式特征只與向量方向相關(guān)相同性測(cè)量。第9頁101981年芬蘭Helsink大學(xué)T.Kohonen教授提出一個(gè)自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接收外界輸入模式時(shí)，將會(huì)分為不一樣對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ胶胁灰粯禹憫?yīng)特征，而且這個(gè)過程是自動(dòng)完成。自組織特征映射正是依據(jù)這一看法提出來，其特點(diǎn)與人腦自組織特征相類似。kohonen神經(jīng)網(wǎng)絡(luò)第10頁11(1)初始化 對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到 ，j=1,

5、2,m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率 賦初始值。(2)接收輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到 ，p1,2,P。(3)尋找獲勝節(jié)點(diǎn) 計(jì)算 與 點(diǎn)積，j=1,2,m，從中選出點(diǎn)積最大獲勝節(jié)點(diǎn)j*。Kohonen 學(xué)習(xí)算法（勝者全?。┑?1頁12(4)定義優(yōu)勝鄰域Nj*(t) 以j*為中心確定t 時(shí)刻權(quán)值調(diào)整域，普通初始鄰域Nj*(0)較大，訓(xùn)練過程中Nj*(t)隨訓(xùn)練時(shí)間逐步收縮。第12頁13(5)調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)全部節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓(xùn)練時(shí)間t 和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝經(jīng)元 j* 之間拓?fù)渚嚯xN 函數(shù)，該函數(shù)普通有以下規(guī)律：(6)輸出結(jié)果 獲勝節(jié)點(diǎn)為1，其它節(jié)點(diǎn)為0；第13頁14(7