第三章 人工神經(jīng)網(wǎng)絡-5-自組織自組織競爭人工神經(jīng)網(wǎng)絡課件

第五講自組織競爭人工神經(jīng)網(wǎng)絡

第五講自組織競爭人工神經(jīng)網(wǎng)絡在實際的神經(jīng)網(wǎng)絡中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。自組織競爭人工神經(jīng)網(wǎng)絡正是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓練和判斷，并將其最終分為不同的類型。與BP網(wǎng)絡相比，這種自組織自適應的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡在模式識別、分類方面的應用，另一方面，競爭學習網(wǎng)絡的核心——競爭層，又是許多種其他神經(jīng)網(wǎng)絡模型的重要組成部分。在實際的神經(jīng)網(wǎng)絡中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)25.1幾種聯(lián)想學習規(guī)則

格勞斯貝格(S．Grossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學習現(xiàn)象。內(nèi)星可以被訓練來識別矢量；外星可以被訓練來產(chǎn)生矢量。

5.1幾種聯(lián)想學習規(guī)則格勞斯貝格(S．Grossberg3圖8.1格勞斯貝格內(nèi)星模型圖

內(nèi)星是通過聯(lián)接權(quán)矢量W接受一組輸入信號P

圖8.1格勞斯貝格內(nèi)星模型圖內(nèi)星是通過聯(lián)接權(quán)矢量W接受4圖8．2格勞斯貝格外星模型圖

外星則是通過聯(lián)接權(quán)矢量向外輸出一組信號A。它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡的結(jié)構(gòu)像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部。圖8．2格勞斯貝格外星模型圖外星則是通過聯(lián)接權(quán)矢量向外5實現(xiàn)內(nèi)星輸入／輸出轉(zhuǎn)換的激活函數(shù)是硬限制函數(shù)?？梢酝ㄟ^內(nèi)星及其學習規(guī)則來訓練某一神經(jīng)元節(jié)點只響應特定的輸入矢量P，它是借助于調(diào)節(jié)網(wǎng)絡權(quán)矢量W近似于輸入矢量P來實現(xiàn)的。單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學習規(guī)則為：

(8．1)由(8．1)式可見，內(nèi)星神經(jīng)元聯(lián)接強度的變化Δw1j是與輸出成正比的。如果內(nèi)星輸出a被某一外部方式而維護高值時，那么通過不斷反復地學習，權(quán)值將能夠逐漸趨近于輸入矢量pj的值，并趨使Δw1j逐漸減少，直至最終達到w1j＝pj，從而使內(nèi)星權(quán)矢量學習了輸入矢量P，達到了用內(nèi)星來識別一個矢量的目的。另一方面，如果內(nèi)星輸出保持為低值時，網(wǎng)絡權(quán)矢量被學習的可能性較小，甚至不能被學習。5.1.1內(nèi)星學習規(guī)則實現(xiàn)內(nèi)星輸入／輸出轉(zhuǎn)換的激活函數(shù)是硬限制函數(shù)。單內(nèi)星中對6現(xiàn)在來考慮當不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況。首先，為了訓練的需要，必須將每一輸入矢量都進行單位歸一化處理。當?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡經(jīng)過訓練，最終達到W＝(p1)T。此后，給內(nèi)星輸入另一個輸入矢量p2，此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學習過矢量p1的點積，即：因為輸入矢量的模已被單位化為1，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦。現(xiàn)在來考慮當不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情7

根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：p2等于p1，即有θ12＝0，此時，內(nèi)星加權(quán)輸入和為1；p2不等于p1，內(nèi)星加權(quán)輸入和為0；p2＝-p1，即θ12＝180°時，內(nèi)星加權(quán)輸入和達到最小值-1。由此可見，對于一個已訓練過的內(nèi)星網(wǎng)絡，當輸入端再次出現(xiàn)該學習過的輸入矢量時，內(nèi)星產(chǎn)生1的加權(quán)輸入和；而與學習過的矢量不相同的輸入出現(xiàn)時，所產(chǎn)生的加權(quán)輸入和總是小于1。當多個相似輸入矢量輸入內(nèi)星，最終的訓練結(jié)果是使網(wǎng)絡的權(quán)矢量趨向于相似輸入矢量的平均值。根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況8內(nèi)星網(wǎng)絡中的相似度是由偏差b來控制，由設計者在訓練前選定，典型的相似度值為b＝-0.95，這意味著輸入矢量與權(quán)矢量之間的夾角小于18°48’。若選b＝-0.9時，則其夾角擴大為25°48’。一層具有s個神經(jīng)元的內(nèi)星，可以用相似的方式進行訓練，權(quán)值修正公式為：MATLAB神經(jīng)網(wǎng)絡工具箱中內(nèi)星學習規(guī)則的執(zhí)行是用函數(shù)learnis.m來完成上述權(quán)矢量的修正過程：dW＝1earnis(W，P，A，lr)；W=W十dW；內(nèi)星網(wǎng)絡中的相似度是由偏差b來控制，由設計者在訓練前選定，典9[例8.1]設計內(nèi)星網(wǎng)絡進行以下矢量的分類辨識：我們首先對網(wǎng)絡進行初始化處理：

[R，Q]＝size(P)；[S，Q]＝size(T)；W＝zeros(S，R)；B＝-0.95*ones(S，1)；max-epoch＝10；lr＝0.7；so81.m[例8.1]設計內(nèi)星網(wǎng)絡進行以下矢量的分類辨識：我們首先對10外星網(wǎng)絡的激活函數(shù)是線性函數(shù)，它被用來學習回憶一個矢量，其網(wǎng)絡輸入P也可以是另一個神經(jīng)元模型的輸出。外星被訓練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A。對于一個外星，其學習規(guī)則為：

與內(nèi)星不同，外星聯(lián)接強度的變化Δw是與輸入矢量P成正比的。這意味著當輸入矢量被保持高值，比如接近1時，每個權(quán)值wij將趨于輸出ai值，若pj＝1，則外星使權(quán)值產(chǎn)生輸出矢量。當輸入矢量pj為0時，網(wǎng)絡權(quán)值得不到任何學習與修正。

8.1.2外星學習規(guī)則外星網(wǎng)絡的激活函數(shù)是線性函數(shù)，它被用來學習回憶一個矢量，其網(wǎng)11當有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權(quán)值修正方式為：其中：W＝s×r權(quán)值列矢量；lr＝學習速率；A＝s×q外星輸出；P＝r×q外星輸入。MATLAB工具箱中實現(xiàn)外星學習與設計的函數(shù)為learnos.m，其調(diào)用過程如下：dW＝learnos(W，A，P，lr)；W＝W十dW；當有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星12[例8．2]下面有兩元素的輸入矢量以及與它們相關的四元素目標矢量，試設計一個外星網(wǎng)絡實現(xiàn)有效的矢量的獲得，外星沒有偏差。P＝[10]；T＝[0.18260.6325；0.3651 0.3162；0.5477 0.3162；0.7303 0.6325]；[例8．2]下面有兩元素的輸入矢量以及與它們相關的四元素目標13科荷倫學習規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的。科荷倫規(guī)則為：科荷倫學習規(guī)則實際上是內(nèi)星學習規(guī)則的一個特例，但它比采用內(nèi)星規(guī)則進行網(wǎng)絡設計要節(jié)省更多的學習，因而常常用來替代內(nèi)星學習規(guī)則。8．1．3科荷倫學習規(guī)則科荷倫學習規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的?？坪蓚悓W習規(guī)則實際上是14在MATLAB工具箱中，在調(diào)用科荷倫學習規(guī)則函數(shù)learnk.m時，一般通過先尋找輸出為1的行矢量i，然后僅對與i相連的權(quán)矩陣進行修正。使用方法如下：

i＝find(A==1)；dW＝learnk(W，P，i，1r)；W＝W十dW；一般情況下科荷倫學習規(guī)則比內(nèi)星學習規(guī)則能夠提高訓練速度1到2個數(shù)量級。

在MATLAB工具箱中，在調(diào)用科荷倫學習規(guī)則函數(shù)learnk158．2自組織競爭網(wǎng)絡8．2．1網(wǎng)絡結(jié)構(gòu)競爭網(wǎng)絡由單層神經(jīng)元網(wǎng)絡組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。因為網(wǎng)絡在學習中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層。

8．2自組織競爭網(wǎng)絡8．2．1網(wǎng)絡結(jié)構(gòu)16從網(wǎng)絡的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡的權(quán)值有兩類：一類是輸入節(jié)點j到i的權(quán)值wij(i＝1，2…、s；j＝1，2…、r)，這些權(quán)值是通過訓練可以被調(diào)整的；另一類是競爭層中互相抑制的權(quán)值wik(k＝1，2…、s)。這類權(quán)值是固定不變的，且它滿足一定的分布關系。它們是一種對稱權(quán)值，即有wik＝wki，同時相同神經(jīng)元之間的權(quán)值起加強的作用，即滿足w11＝w11＝…＝wkk＞0，而不同神經(jīng)元之間的權(quán)值相互抑制，對于k≠i有wij＜0。

從網(wǎng)絡的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡的權(quán)值有兩類：17設網(wǎng)絡的輸入矢量為：P＝[p1p2…pr]T；對應網(wǎng)絡的輸出矢量為：A＝[a1a2…as]T。由于競爭網(wǎng)絡中含有兩種權(quán)值，所以其激活函數(shù)的加權(quán)輸入和也分為兩部分：來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有：1)來自輸入節(jié)點的加權(quán)輸入和為：

2)來自競爭層內(nèi)互相抑制的加權(quán)輸入和為：

設網(wǎng)絡的輸入矢量為：P＝[p1p2…pr]T；2)來自18a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的輸出均為零，即：此時b)如果在競爭后，第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有：

此時a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的19所以對整個網(wǎng)絡的加權(quán)輸入總和有下式成立：sl=nl+wll

對于“贏”的節(jié)點lsi=ni-|wii| 對于所有”輸“的節(jié)點i＝1，2…s，i≠l由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大。競爭網(wǎng)絡的輸出為：

在判斷競爭網(wǎng)絡節(jié)點勝負的結(jié)果時，可直接采用ni，即：所以對整個網(wǎng)絡的加權(quán)輸入總和有下式成立：在判斷競爭網(wǎng)絡節(jié)點勝20取偏差B為零是判定競爭網(wǎng)絡獲勝節(jié)點時的典型情況，偶而也采用下式進行競爭結(jié)果的判定：通過上面分析，可以將競爭網(wǎng)絡的工作原理總結(jié)如下：競爭網(wǎng)絡的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描述如下：

取偏差B為零是判定競爭網(wǎng)絡獲勝節(jié)點時的典型情況，偶而也采用下21n＝W*P；[S，Q]＝size(n)；x＝n+b*ones(1，Q)；y＝max(x)；forq＝1：Q ％找出最大加權(quán)輸入和y(q)所在的行；

s＝find(x(:,q)＝y(tǒng)(q))； ％令元素a(z，q)＝1，其他值為零；

a(z(1)，q)＝1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中，A＝compet(W*P，B)；

n＝W*P；這個競爭過程的程序已被包含在競爭激活函數(shù)comp228．2．2競爭學習規(guī)則

競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權(quán)值進行調(diào)整，調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小，從而使訓練后的競爭網(wǎng)絡的權(quán)值能夠代表對應輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。

競爭網(wǎng)絡修正權(quán)值的公式為：

式中l(wèi)r為學習速率，且0＜lr＜1，一般的取值范圍為0.01-0.3；pj為經(jīng)過歸一化處理后的輸入。

8．2．2競爭學習規(guī)則競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，23用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學習規(guī)則：A＝compet(W*P)；dW＝learnis(P，A，lr，W)；W＝W十dW；更省時地是采用科荷倫學習規(guī)則如下：A＝compet(W*P)；i＝find(A==1)；dW＝learnis(P，i，lr，W)；W＝W十dW；

不論采用哪種學習方法，層中每個最接近輸入矢量的神經(jīng)元，通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡通過學習而識別了在網(wǎng)絡輸入端所出現(xiàn)的矢量，并將其分為某一類。

用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學習規(guī)則：24競爭網(wǎng)絡的學習和訓練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權(quán)矢量代表獲勝輸入矢量。這樣，當達到最大循環(huán)的值后，網(wǎng)絡已重復多次訓練了P中的所有矢量，訓練結(jié)束后，對于用于訓練的模式P，其網(wǎng)絡輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點與輸入節(jié)點相連的權(quán)矢量表示。競爭網(wǎng)絡的輸入層節(jié)點r是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)s是由設計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當?shù)卦黾有?shù)目來確定。

8.2.3競爭網(wǎng)絡的訓練過程競爭網(wǎng)絡的學習和訓練過程，實際上是對輸入矢量的劃分聚類過程，25另外還要事先確定的參數(shù)有：學習速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡的訓練是在達到最大循環(huán)次數(shù)后停止，這個數(shù)一般可取輸入矢量數(shù)組的15—20倍，即使每組輸入矢量能夠在網(wǎng)絡重復出現(xiàn)15~20次。競爭網(wǎng)絡的權(quán)值要進行隨機歸一化的初始化處理，這個過程在MATLAB中用函數(shù)randnr.m實現(xiàn)：w＝randnr(S，R)；然后網(wǎng)絡則可以進入競爭以及權(quán)值的調(diào)整階段。網(wǎng)絡的訓練全過程完全由計算機去做，工具箱中的競爭網(wǎng)絡訓練函數(shù)為trainc.m，它的用法如下：

另外還要事先確定的參數(shù)有：學習速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡的26

競爭網(wǎng)絡比較適合用于具有大批相似數(shù)組的分類問題。競爭學習網(wǎng)絡的局限性：競爭網(wǎng)絡適用于當具有典型聚類特性的大量數(shù)據(jù)的辨識，但當遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡就無能為力了，這時可以采用科荷倫網(wǎng)絡來解決。

競爭網(wǎng)絡比較適合用于具有大批相似數(shù)組的分類問題。278.3科荷倫自組織映射網(wǎng)絡神經(jīng)細胞模型中還存在著一種細胞聚類的功能柱。它是由多個細胞聚合而成的，在接受外界刺激后，它們會自動形成。一個功能柱中的細胞完成同一種功能。當外界輸入不同的樣本到科荷倫自組織映射網(wǎng)絡中，一開始時輸入樣本引起輸出興奮的位置各不相同，但通過網(wǎng)絡自組織后會形成一些輸出群，它們分別代表了輸入樣本的分布，反映了輸入樣本的圖形分布特征，所以科荷倫網(wǎng)絡常常被稱為特性圖。8.3科荷倫自組織映射網(wǎng)絡神經(jīng)細胞模型中還存在著一種細胞聚28科荷倫網(wǎng)絡使輸入樣本通過競爭學習后，功能相同的輸入靠得比較近，不同的分得比較開，以此將一些無規(guī)則的輸入自動排開，在聯(lián)接權(quán)的調(diào)整過程中，使權(quán)的分布與輸入樣本的概率密度分布相似。所以科荷倫網(wǎng)絡可以作為一種樣本特征檢測器，在樣本排序、樣本分類以及樣本檢測方面有廣泛地應用。一般可以這樣說，科荷倫網(wǎng)絡的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。當隨機樣本輸入到科荷倫網(wǎng)絡時，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域?？坪蓚惥W(wǎng)絡使輸入樣本通過競爭學習后，功能相同的輸入靠得比較近29科荷倫網(wǎng)絡結(jié)構(gòu)也是兩層：輸入層和競爭層。與基本競爭網(wǎng)絡不同之處是其競爭層可以由一維或二維網(wǎng)絡矩陣方式組成，且權(quán)值修正的策略也不同。1)一維網(wǎng)絡結(jié)構(gòu)與基本競爭學習網(wǎng)絡相同；2)二維網(wǎng)絡結(jié)構(gòu)：圖8.6二維科荷倫網(wǎng)絡結(jié)構(gòu)圖

8．3．1科荷倫網(wǎng)絡拓撲結(jié)構(gòu)科荷倫網(wǎng)絡結(jié)構(gòu)也是兩層：輸入層和競爭層。與基本競爭網(wǎng)絡不同之30圖8.7二維神經(jīng)元層示意圖

科荷倫網(wǎng)絡的激活函數(shù)為二值型函數(shù)。一般情況下b值固定，其學習方法與普通的競爭學習算法相同。在競爭層，每個神經(jīng)元都有自己的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。

圖8.7二維神經(jīng)元層示意圖科荷倫網(wǎng)絡的激活函數(shù)為二值型函31圖8．8二維網(wǎng)絡鄰域形狀

在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)neighb2d.m的用法如下：Np=[xy]；in＝neighb2d(i,Np,N)；

圖8．8二維網(wǎng)絡鄰域形狀在MATLAB工具箱中有一個求獲勝32對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=[S]；in＝neighb1d(i，Np，N)；

對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定338．3．2網(wǎng)絡的訓練過程訓練設計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)：(1)初始化1)由輸入矢量確定網(wǎng)絡結(jié)構(gòu)：[R,Q]＝size(P)；2)設置網(wǎng)絡競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，S＝X*Y；3)將輸入模式P作歸一化處理：P＝normc(P);4)歸一隨機化處理初始權(quán)值：W＝rands(S,R)*0.1；并設置：8．3．2網(wǎng)絡的訓練過程訓練設計步驟(適用于輸入矢量P具345)最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6)基本學習速率lr：一般取0.01~0.3，視具體情況而定；7)最大鄰層數(shù)max_neighb:

一維max_neighb＝S-1； 二維max_neighb＝max([XY])-1；

5)最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)