《人工神經(jīng)網(wǎng)絡理論及應用》課件第13章 SOFM網(wǎng)絡

第13章

SOFM神經(jīng)網(wǎng)絡113.1概述TeuvoKaleviKohonen是芬蘭科學院的著名教授，為人工神經(jīng)網(wǎng)絡領域做出了許多貢獻，其中最著名的就是在1981年提出了自組織特征映射(Self-organizingfeatureMap，SOFM)神經(jīng)網(wǎng)絡。生物學研究表明，在人腦的感覺通道上，神經(jīng)元的組織是有序排列的。處于不同區(qū)域的神經(jīng)元具有不同的功能，也具有不同特征的輸入信息模式，對不同感官輸入模式的輸入信號具有敏感性，從而形成大腦中各種不同的感知路徑。例如，生物視網(wǎng)膜中有許多特定的細胞對特定的圖形比較敏感，當視網(wǎng)膜中有若干個接收單元同時受特定模式刺激時，就使大腦皮層中的特定神經(jīng)元開始興奮，輸入模式接近，與之對應的興奮神經(jīng)元也接近；2在聽覺通道上，神經(jīng)元在結構排列上與頻率的關系十分密切，對于某個頻率，特定的神經(jīng)元具有最大的響應，位置相鄰的神經(jīng)元具有相近的頻率特征，而遠離的神經(jīng)元具有的頻率特征差別也較大。在大腦皮層中，神經(jīng)元的輸入信號一部分來自感覺組織或其他區(qū)域的外部輸入信號，另一部分則來自同一區(qū)域的反饋信號。神經(jīng)元之間采用最鄰近的神經(jīng)元之間相互激勵，次遠的神經(jīng)元相互抑制，更遠處的又具有一定的激勵的方式進行信息交互，SOFM神經(jīng)網(wǎng)絡就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡。3同時，SOFM神經(jīng)網(wǎng)絡是一種使用無監(jiān)督學習將高維的輸入數(shù)據(jù)在低維的空間表示的人工神經(jīng)網(wǎng)絡，因此SOFM是一種減少維數(shù)的方法，這也使得SOFM可以通過類似于多維縮放的方法，創(chuàng)建高維數(shù)據(jù)的低維視圖，在數(shù)據(jù)可視化方面非常有用。SOFM神經(jīng)網(wǎng)絡與其他人工神經(jīng)網(wǎng)絡不同，因為它們采用競爭學習而不是使用類似于梯度下降的反向傳播糾錯學習方法，并且在某種意義上它們使用鄰域函數(shù)來保留輸入空間的拓撲屬性。413.2SOFM神經(jīng)網(wǎng)絡的結構SOFM神經(jīng)網(wǎng)絡一般具有輸入層和競爭層兩層結構，其中競爭層為其核心層。該網(wǎng)絡模擬了大腦神經(jīng)細胞對外界刺激的反應，通過對輸入樣本反復的無監(jiān)督學習，將輸入模式的特征映射到各個連接權值上，實現(xiàn)特定區(qū)域的神經(jīng)元對特定模式輸入產生響應的功能。圖13-1是一個具有R個輸入的SOFM神經(jīng)網(wǎng)絡的結構圖。該網(wǎng)絡中，競爭層同時又是輸出層，其中的||ndist||的輸入為輸入向量x與輸入層權值矩陣W，網(wǎng)絡凈輸入為一個包含S個元素的向量，其中各元素為輸入向量與權值矩陣的各個行向量之間的歐式距離，C指競爭傳遞函數(shù)。5

圖13-1SOFM神經(jīng)網(wǎng)絡結構圖SOFM神經(jīng)網(wǎng)絡對于勝出神經(jīng)元的輸出結果，競爭傳遞函數(shù)的響應為1，而對于其他的神經(jīng)元，競爭傳遞函數(shù)的輸出響應為0。同時，在勝出的神經(jīng)元附近的神經(jīng)元都要進行權值更新。6從圖13-1中可以看出SOFM神經(jīng)網(wǎng)絡是單層網(wǎng)絡結構，網(wǎng)絡的輸入節(jié)點與輸出神經(jīng)元的權值相互連接。通常情況下，網(wǎng)絡的輸入層是一維神經(jīng)元，具有多個節(jié)點，競爭層的神經(jīng)元處在二維平面網(wǎng)格節(jié)點上，構成一個二維節(jié)點矩陣。輸入層與競爭層的神經(jīng)元之間通過連接權值進行連接，競爭層鄰近的節(jié)點之間也存在著局部的連接。圖13-2所示是SOFM神經(jīng)網(wǎng)絡的的二維網(wǎng)絡模型。

圖13-2二維SOFM神經(jīng)網(wǎng)絡模型7SOFM神經(jīng)網(wǎng)絡通過引入網(wǎng)格形成了自組織映射空間，并且在各個神經(jīng)元之間建立了拓撲連接關系。神經(jīng)元之間的聯(lián)系是由它們在網(wǎng)格上的相互位置所決定的，這種聯(lián)系模式模擬了人腦中的神經(jīng)元之間的側抑制功能，成為網(wǎng)絡實現(xiàn)競爭的基礎。813.3SOFM神經(jīng)網(wǎng)絡的原理和學習算法在SOFM神經(jīng)網(wǎng)絡訓練過程中，對某個特定的輸入模式，首先在網(wǎng)絡的輸出層中會有某個神經(jīng)元產生最大響應而獲勝，當輸入模式的類別改變時，二維平面的獲勝神經(jīng)元也會改變。然后以獲勝的神經(jīng)元為中心定義一個領域，對其中所有神經(jīng)元的權值進行調整，調整力度依鄰域內各神經(jīng)元距離獲勝神經(jīng)元的遠近而逐漸衰減。隨著訓練的進行，此領域將會逐漸縮小，直到只包含勝出神經(jīng)元本身為止。13.3.1SOFM神經(jīng)網(wǎng)絡的原理9SOFM神經(jīng)網(wǎng)絡通過這種訓練方式，用大量訓練樣本調整網(wǎng)絡的權值，最后使輸出層各神經(jīng)元成為對特定模式敏感的神經(jīng)細胞。當兩個模式的特征接近時，代表這兩類的神經(jīng)元在位置也接近，從而在輸出層形成能夠反映樣本模式分布情況的有序特征圖。SOFM神經(jīng)網(wǎng)絡訓練結束后，輸出層各神經(jīng)元與各輸入模式類的特定關系就完全確定了，因此可用作模式分類器。當輸入一個模式時，網(wǎng)絡輸出層代表該模式類的特定神經(jīng)元將產生最大響應，從而將該輸入自動歸類。應當指出的是，當向網(wǎng)絡輸入的模式不屬于網(wǎng)絡訓練樣本中的任何模式類時，SOFM神經(jīng)網(wǎng)絡只能將它歸入最接近的模式類。為了將輸入模式分為若干類，需要根據(jù)相似性測量輸入模式向量之間的距離。通常使用歐式距離法和余弦法。101.歐式距離法設x、xi

為兩個輸入模式向量，其間的歐式距離為式中，d的值越小，表示x和xi二者越相似，當d=0

時，

x=xi

；以d=C（常數(shù)）作為判定邊界，可將輸入模式向量分為若干類。因為d12、d23、d31、d45、d56、d46都小于C，而d1i

>C(i=4,5,6)，

d2i

>C(i=4,5,6)，

d3i

>C(i=4,5,6)，所以可將輸入模式向量分為A類和B類兩類，如圖13-3所示。

圖13-3基于歐式距離法的模式分類112.余弦法設x、xi

為兩個輸入模式向量，其間的夾角余弦為式中，越小，表示x和xi越接近，二者越相似。當時，即，此時，x=

xi；同理，以作為判定邊界，可將輸入模式向量分為若干類。通過反復的學習，SOFM神經(jīng)網(wǎng)絡能夠使得連接權值空間分布密度與輸入模式的概率分布趨于一致，因而可以通過連接權值的空間分布完成對輸入模式的分類。12分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模式類中，無導師指導的分類也稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開來，實現(xiàn)模式樣本的類內相似性和類間分離性。由于無導師學習的訓練樣本中不含期望輸出，因此對于某一輸入模式樣本應屬于哪一類并沒有任何先驗知識。對于一組輸入模式，只能根據(jù)它們之間的相似程度來分為若干類，因此，相似性是輸入模式的聚類依據(jù)。13SOFM神經(jīng)網(wǎng)絡學習算法首先對輸出層各權值向量進行初始化，SOFM神經(jīng)網(wǎng)絡的初始權值常取較小的隨機數(shù)。權值初始化后，SOFM神經(jīng)網(wǎng)絡還應完成兩個基本過程：競爭過程和合作過程。競爭過程就是最優(yōu)匹配神經(jīng)元的選擇過程，合作過程則是網(wǎng)絡中權值的自組織過程。選擇最優(yōu)匹配神經(jīng)元實質是選擇輸入模式對應的中心神經(jīng)元，權值的自組織過程則是以“墨西哥帽”的形態(tài)來使輸入模式得以存放。這兩部分是密切相關的，它們共同作用才能完成自組織特征映射的學習過程。每執(zhí)行一次學習，SOFM神經(jīng)網(wǎng)絡中就會對外部輸入模式執(zhí)行一次自組織適應過程，其結果是強化現(xiàn)行模式的映射形態(tài)，弱化以往模式的映射形態(tài)。13.3.2SOFM神經(jīng)網(wǎng)絡的學習算法14學習算法的具體過程如下:(1)初始化。對輸出層各權值向量賦值小隨機數(shù)，并進行歸一化處理，得到初始權值矩陣W。建立初始優(yōu)勝鄰域Nj*(0)和學習率η的初始值。(2)樣本輸入。從訓練樣本中隨機選取一個輸入模式并進行歸一化處理，得到xi(i=1,2,…,R)，總共R個數(shù)據(jù)。(3)計算歐式距離，尋找獲勝神經(jīng)元。輸入樣本與每個輸出神經(jīng)元j之間的距離為并計算出一個具有最小距離的輸出神經(jīng)元j*

。15(4)定義優(yōu)勝鄰域。以j*為中心確定t時刻的權值調整域，一般初始鄰域Nj*(0)較大，訓練時Nj*(t)

隨訓練時間逐漸收縮，如圖13-4所示。

圖13-4鄰域Nj*(t)收縮圖16(5)對優(yōu)勝鄰域內的所有神經(jīng)元調整權值。式中，是訓練時間t和鄰域內第j個神經(jīng)元與獲勝神經(jīng)元j*之間的拓撲距離N的函數(shù)，該函數(shù)一般有如下規(guī)律隨著時間（離散的訓練迭代次數(shù)）變長，學習率逐漸降低；隨著拓撲距離的增大，學習率降低。學習率函數(shù)的形式一般為式中，可采用t的單調下降函數(shù)也稱退火函數(shù)。17(6)結束判定。當學習率時，訓練結束，不滿足結束條件時，轉到步驟(2)繼續(xù)進行訓練。1813.4應用案例案例一利用隨機函數(shù)生成50個二維輸入向量，設計一個SOFM神經(jīng)網(wǎng)絡，使用默認的距離函數(shù)來計算距離，完成對輸入向量的分類。要求該網(wǎng)絡包含12個神經(jīng)元，按3×4的形式排列。解

(1)創(chuàng)建SOFM神經(jīng)網(wǎng)絡。網(wǎng)絡包含12個神經(jīng)元，50個隨機二維輸入向量。19SOFM神經(jīng)網(wǎng)絡生成的隨機二維輸入向量分布如圖13-5所示，網(wǎng)絡初始權值分布如圖13-6所示。圖13-5輸入向量分布圖 圖13-6初始權值分布圖20

(2)訓練SOFM神經(jīng)網(wǎng)絡。訓練次數(shù)為10、50和90。在訓練次數(shù)不同的情況下，繪制出不同訓練次數(shù)的權值分布圖，其結果分別如圖13-7(a)、13-7(b)和13-7(c)所示

。21

(a)訓練10次

(b)訓練50次

(c)訓練90次

圖13-7網(wǎng)絡訓練后的權值分布圖從圖13-7中可以看出，網(wǎng)絡在訓練過程中，SOFM神經(jīng)網(wǎng)絡中12個神經(jīng)元的權值在不斷的發(fā)生變化，增加網(wǎng)絡的訓練次數(shù)，各個神經(jīng)元的權值會不斷逼近網(wǎng)絡的輸入向量，最終完成對輸入空間拓撲結構的映射，即對輸入向量完成模式分類。22案例二在人口統(tǒng)計中，人口分類是一個非常重要的指標，但是由于各方面的原因，我國人口出生率在性別上的差異較大，在同一時期出生的嬰兒中，男嬰的數(shù)量一般占多數(shù)，其男女比例已超過了正常的比例（出生人口性別比正常值域為102~107）。因此，正確的進行人口分類是對合理制定人口政策具有很大的幫助。通過查閱資料獲得了某年某一月份共10個地區(qū)的人口出生比例情況，其結果如表13-1所示。23將表13-1中的數(shù)據(jù)作為網(wǎng)絡的輸入向量x，創(chuàng)建一個SOFM神經(jīng)網(wǎng)絡完成對輸入向量x的分類，并利用某一地區(qū)的出生性別比例數(shù)據(jù)（0.55，0.45）來驗證訓練后的網(wǎng)絡的準確性。24

解

(1)創(chuàng)建、訓練、儲存神經(jīng)網(wǎng)絡。輸入樣本數(shù)據(jù)的分布情況如圖13-8所示，對于新建立的網(wǎng)絡，其初始權值分布結果如圖13-9所示。25圖13-8樣本數(shù)據(jù)分布圖圖13-9初始權值的分布圖圖13-9中的每一個點表示一個神經(jīng)元，因為網(wǎng)絡的初始權值都設置為0.5，所以這些點是重合在一起的，實際上圖中的一個點表示的是12個點。查看該網(wǎng)絡的初始權值為26w1_init=0.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.50000.500027(2)網(wǎng)絡仿真。網(wǎng)絡訓練結束后，網(wǎng)絡中的權值就固定不變了，其權值分布如圖13-10所示。以后輸入的每一個測試數(shù)據(jù)，訓練好的網(wǎng)絡會自動對其分類。loadnet16_2net%加載訓練后的網(wǎng)絡y=sim(net,x);%網(wǎng)絡仿真Y=vec2ind(y)%單值矢量組轉化為矩陣形式(3)結果輸出。網(wǎng)絡的輸出結果為Y=

491136118121128

圖13-10網(wǎng)絡訓練后權值分布圖29對結果進行分析，網(wǎng)絡的