自組織競爭神經(jīng)網(wǎng)絡(luò)SOM課件

1、第四章 自組織競爭型神經(jīng)網(wǎng)絡(luò)本章主要介紹自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、學習算法，及相關(guān)理論。2第四章自組織競爭型神經(jīng)網(wǎng)絡(luò)4.1 前言4.2 競爭學習的概念和原理4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)4.4自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計4.5 對偶傳播神經(jīng)網(wǎng)絡(luò)4.6小結(jié)34.1 前言在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個神經(jīng)細胞興奮以后，會對周圍其他神經(jīng)細胞產(chǎn)生抑制作用。這種抑制作用會使神經(jīng)細胞之間出現(xiàn)競爭，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細胞興奮，失敗神經(jīng)細胞抑制。自組織競爭型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。4自組織競爭型神經(jīng)網(wǎng)絡(luò)是一種無教師監(jiān)督學習，具有自組

2、織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)通過自身的訓練，能自動對輸入模式進行分類。這一點與Hopfield網(wǎng)絡(luò)的模擬人類功能十分相似，自組織競爭型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學習規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點。在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時競爭層各神經(jīng)元之間還存在橫向連接。5在學習算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭作用的信息處理的動力學原理來指導網(wǎng)絡(luò)的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準則。競爭型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層各神經(jīng)元競爭對輸入模式響應(yīng)的機會，最后僅有一個神經(jīng)元成為

3、競爭的勝者。這一獲勝神經(jīng)元則表示對輸入模式的分類。6自組織競爭人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓練和判斷，并將其最終分為不同的類型。 與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學習網(wǎng)絡(luò)的核心競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。7常用的自組織網(wǎng)絡(luò)自組織特征映射(Self-Organizing Feature Map)網(wǎng)絡(luò)對偶傳播(Counter propagation)網(wǎng)絡(luò) 返回 8自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)競爭層輸入層4.2 競爭學習的概念與原理9分類分類是在類別知識等導師信號的

4、指導下，將待識別的輸入模式分配到各自的模式類中去。聚類無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開。4.2 競爭學習的概念與原理競爭學習的概念10 相似性測量歐式距離法兩個模式向量的歐式距離越小，兩個向量越接近，因此認為這兩個模式越相似，當兩個模式完全相同時其歐式距離為零。如果對同一類內(nèi)各個模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)，同類模式向量的距離小于T，兩類模式向量的距離大于T。11 相似性測量余弦法兩個模式向量越接近，其夾角越小，余弦越大。當兩個模式向量完全相同時，其余弦夾角為1。如果對同一類內(nèi)各個模式

5、向量間的夾角作出規(guī)定，不允許超過某一最大夾角a，則最大夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于a，兩類模式向量的夾角大于a。余弦法適合模式向量長度相同和模式特征只與向量方向相關(guān)的相似性測量。12競爭學習原理競爭學習規(guī)則Winner-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All。4.2 競爭學習的概念與原理131.向量歸一化 首先將當前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星向量Wj 全部進行歸一化處理； (j=1,2,m)14向量歸一化

6、之前15向量歸一化之后16競爭學習原理競爭學習規(guī)則Winner-Take-All2.尋找獲勝神經(jīng)元 當網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：17從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：競爭學習規(guī)則Winner-Take-All183.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj*步驟3完成后回到步驟1繼續(xù)訓練，直到學習率衰減到0。競爭學習規(guī)則Winner-Take-All19競爭學習的幾何意義20 * 1W *jW * )()()()(*ttttjpWX

7、W-=hD * )(*1tj+W )(tpX jW mW * *競爭學習的幾何意義21例4.1 用競爭學習算法將下列各模式分為2類：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標形式 ：競爭層設(shè)兩個權(quán)向量，隨機初始化為單位向量：2223242526272829303132331981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認為：一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類似。4.

8、3自組織特征映射神經(jīng)網(wǎng)絡(luò)34SOM網(wǎng)的生物學基礎(chǔ)生物學研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當人腦通過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應(yīng)區(qū)域是連續(xù)映象的。對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學基礎(chǔ)。35SOM網(wǎng)的拓撲結(jié)構(gòu)SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。 36SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W習算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向

9、量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：3738SOM網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。39SOM網(wǎng)的運行原理訓練階段 w1 w2 w3 w4 w540SOM網(wǎng)的運行原理工作階段41SOM網(wǎng)的學習算法(1)初始化 對輸出層各權(quán)向量賦小隨機數(shù)并進行歸一化處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域Nj*(0)；學習率 賦初始值。(2)接受

10、輸入 從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到 ，p1,2,P。(3)尋找獲勝節(jié)點 計算 與 的點積，j=1,2,m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域Nj*(t) 以j*為中心確定t 時刻的權(quán)值調(diào)整域，一般初始鄰域Nj*(0)較大，訓練過程中Nj*(t)隨訓練時間逐漸收縮。Kohonen 學習算法4243(5)調(diào)整權(quán)值 對優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓練時間t 和鄰域內(nèi)第j 個神經(jīng)元與獲勝經(jīng)元 j* 之間的拓撲距離N 的函數(shù)，該函數(shù)一般有以下規(guī)律：44(6)結(jié)束檢查 學習率是否衰減到零或某個預(yù)定的正小數(shù)？4

11、5Kohonen學習算法程序流程46功 能 分 析(1)保序映射將輸入空間的樣本模式類有序地映射在輸出層上。例1：動物屬性特征映射。47功能分析48功 能 分 析(2) 數(shù)據(jù)壓縮-將高維空間的樣本在保持拓撲結(jié)構(gòu)不變的條件下投影到低維的空間，在這方面SOM網(wǎng)具有明顯的優(yōu)勢。無論輸入樣本空間是多少維，其模式都可以在SOM網(wǎng)輸出層的某個區(qū)域得到相應(yīng)。SOM網(wǎng)經(jīng)過訓練以后，在高維空間輸入相近的樣本，其輸出相應(yīng)的位置也相近。(3) 特征提取-從高維空間樣本向低維空間的映射，SOM網(wǎng)的輸出層相當于低維特征空間。494.4 自組織特征映射網(wǎng)絡(luò)的設(shè)計1. 輸出層設(shè)計a.節(jié)點數(shù)設(shè)計節(jié)點數(shù)與訓練集樣本有多少模式類

12、有關(guān)。如果節(jié)點數(shù)少于模式類數(shù)，則不足以區(qū)分全部模式類，訓練的結(jié)果勢必將相近的模式類合并為一類。這種情況相當于對輸入樣本進行“粗分”。如果節(jié)點數(shù)多于模式類數(shù)，一種可能是將類別分得過細，而另一種可能是出現(xiàn)“死節(jié)點”，即在訓練過程中，某個節(jié)點從未獲勝過且遠離其他獲勝節(jié)點，因此它們的權(quán)值從未得到過調(diào)整。在解決分類問題時，如果對類別數(shù)沒有確切的信息，寧可先設(shè)定較多的節(jié)點數(shù)，以便較好的映射樣本的拓撲結(jié)構(gòu)，如果分類過細再酌情減少輸出節(jié)點?！八拦?jié)點”問題一般可通過重新初始化權(quán)值得到解決。501. 輸出層設(shè)計b.節(jié)點排列的設(shè)計輸出層的節(jié)點排列成哪種形式取決于實際應(yīng)用的需要，排列形式應(yīng)盡量直觀反映出實際問題的物理

13、意義。例如，對于旅行路徑類的問題，二維平面比較直觀；對于一般的分類問題，一個輸出節(jié)點節(jié)能代表一個模式類，用一維線陣意義明確結(jié)構(gòu)簡單。512. 權(quán)值初始化問題SOM網(wǎng)的權(quán)值一般初始化為較小的隨機數(shù)，這樣做的目的是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整體上相對集中于高維空間的某個局部區(qū)域，全向量的初始位置卻隨機地分散于樣本空間的廣闊區(qū)域，訓練時必然是離整個樣本群最近的全向量被不斷調(diào)整，并逐漸進入全體樣本的中心位置，而其他權(quán)向量因初始位置遠離樣本群而永遠得不到調(diào)整。如此訓練的結(jié)果可能使全部樣本聚為一類。解決這類問題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分布區(qū)域充分重合。522. 權(quán)

14、值初始化問題一種簡單易行的方法是從訓練集中隨機抽取m個輸入樣本作為初始權(quán)值，即 其中 是輸入樣本的順序隨機數(shù)， 。因為任何一定是輸入空間某個模式類的成員，各個權(quán)向量按上式初始化后從訓練一開始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的“地形”。另一種可行的辦法是先計算出全體樣本的中心向量在該中心向量基礎(chǔ)上迭加小隨機數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中。533. 優(yōu)勝鄰域的設(shè)計優(yōu)勝領(lǐng)域設(shè)計原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對應(yīng)的權(quán)向量之間既有區(qū)別又有相當?shù)南嗨菩?，從而保證當獲勝節(jié)點對某一類模式產(chǎn)生最大響應(yīng)時，其領(lǐng)域節(jié)點也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形狀可以是正方形、

15、六邊形或者菱形。優(yōu)勢領(lǐng)域的大小用領(lǐng)域的半徑表示，r(t)的設(shè)計目前沒有一般化的數(shù)學方法，通常憑借經(jīng)驗來選擇 為于輸出層節(jié)點數(shù)m有關(guān)的正常數(shù)， 為大于1的常數(shù)，為預(yù)先選定的最大訓練次數(shù)。544. 學習率的設(shè)計在訓練開始時，學習率可以選取較大的值，之后以較快的速度下降，這樣有利于很快捕捉到輸入向量的大致結(jié)構(gòu)，然后學習率在較小的值上緩降至0值，這樣可以精細地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。55 4.5 對偶傳播神經(jīng)網(wǎng)絡(luò)對偶傳播網(wǎng)絡(luò)56 X(x1,x2 ,xn)T Y(y1,y2 ,ym)T，yi0,1，i=1,2,m O(o1,o2 ,ol)T d(d1,d2 ,dl)T V=(V1,V2

16、,Vj,Vm) W=(W1,W2 ,Wk ,Wl)網(wǎng)絡(luò)各層的數(shù)學描述如下：57CPN網(wǎng)運行過程58CPN的學習算法第一階段用競爭學習算法對輸入層至隱層的內(nèi)星權(quán)向量進行訓練，步驟如下：(1)將所有內(nèi)星權(quán)隨機地賦以01之間的初始值，并歸一化為單位長度，訓練集內(nèi)的所有輸入模式也要進行歸一化。(2)輸入一個模式Xp，計算凈輸入netj= ，j=1,2,m。(3)確定競爭獲勝神經(jīng)元。(4)CPN網(wǎng)絡(luò)的競爭算法不設(shè)優(yōu)勝鄰域，因此只調(diào)整獲勝神經(jīng)元的內(nèi)星權(quán)向量，調(diào)整規(guī)則為(5)重復步驟(2)至步驟(4)直到下降至0。需要注意的是，權(quán)向量經(jīng)過調(diào)整后必須重新作歸一化處理。59第二階段采用外星學習算法對隱層至輸出層的外星權(quán)向量進行訓練，步驟如下：(1)輸入一個模式對Xp,dp，計算凈輸入netj= ，j=1,2,m，(2)確定競爭獲勝神經(jīng)元，使 (3)調(diào)整隱層到輸出層的外星權(quán)向量，調(diào)整規(guī)則為 ok由下式計算 CPN的學習算法60權(quán)向量調(diào)整規(guī)則:(4)重復