人工智能與神經(jīng)網(wǎng)絡(luò)-自組織神經(jīng)網(wǎng)絡(luò)(1)課件

自組織神經(jīng)網(wǎng)絡(luò)

提要：

1.自組織競爭ANN的簡介

2.競爭型自組織網(wǎng)絡(luò)

3.自適應(yīng)共振理論神經(jīng)網(wǎng)絡(luò)（ART）

4.自組織特征映射網(wǎng)絡(luò)（SOFM）

5.對向傳播網(wǎng)絡(luò)（CP）自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)預(yù)備知識競爭層輸入層預(yù)備知識自組織學(xué)習(xí)(self-organizedlearning)：通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。自組織網(wǎng)絡(luò)的自組織功能是通過競爭學(xué)習(xí)（competitivelearning）實(shí)現(xiàn)的。

預(yù)備知識基本概念分類——分類是在類別知識等導(dǎo)師信號的指導(dǎo)下，將待識別的輸入模式分配到各自的模式類中去。聚類——無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開。

相似性測量＿歐式距離法預(yù)備知識

相似性測量＿余弦法預(yù)備知識預(yù)備知識競爭學(xué)習(xí)規(guī)則——Winner-Take-All

網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。預(yù)備知識向量歸一化向量歸一化之前向量歸一化之后預(yù)備知識尋找獲勝神經(jīng)元：當(dāng)網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應(yīng)的權(quán)向量均與其進(jìn)行相似性比較，并將最相似的權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點(diǎn)積最大。即：

從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即：預(yù)備知識5.1自組織競爭ANN的簡介自組織的生物學(xué)基礎(chǔ)神經(jīng)細(xì)胞的興奮、抑制和競爭，從而從外界大量反復(fù)的刺激中提取出事物的本質(zhì)特征興奮：神經(jīng)元的幅值增高，不同神經(jīng)元興奮的程度不同，程度高的最后獲勝。抑制：該神經(jīng)元興奮，對其它所有元均抑制。側(cè)抑制：該神經(jīng)元興奮，對其臨近的元抑制，對遠(yuǎn)離它的神經(jīng)元不抑制。5.1自組織競爭ANN的簡介

在人類的認(rèn)識過程中，除了從教師那里得到知識外，還有一種不需要通過教師自動的向環(huán)境學(xué)習(xí)的能力，這種僅依靠環(huán)境刺激的“無師自通”的功能有稱為自組織學(xué)習(xí)方法。在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競爭層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有的競爭層各神經(jīng)元之間還存在橫向連接。

在學(xué)習(xí)算法上，它模擬生物神經(jīng)系統(tǒng)依靠神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競爭的作用來進(jìn)行信息處理的動力學(xué)原理指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)則。以競爭型神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)可以構(gòu)成一些具有自組織能力的網(wǎng)絡(luò)。如:自適應(yīng)共振理論（AdaptiveResonanceTheory）網(wǎng)絡(luò),自組織特征映射（Self-OrganizingFeatureMap）網(wǎng)絡(luò)，對向傳播（CounterPropagation）網(wǎng)絡(luò)。5.1自組織競爭ANN的簡介5.1自組織競爭ANN的簡介自組織的概念

前面討論的網(wǎng)絡(luò)均為有指導(dǎo)學(xué)習(xí)離散Hop網(wǎng)絡(luò)：Hebb規(guī)則——無指導(dǎo)學(xué)習(xí)，但它不是一種主動性學(xué)習(xí)。僅僅依靠外界環(huán)境的刺激自動向環(huán)境學(xué)習(xí)的方法，就稱為自組織學(xué)習(xí)方法。5.2競爭型自組織網(wǎng)絡(luò)

競爭學(xué)習(xí)是指同一層神經(jīng)元層次上的各個神經(jīng)元相互進(jìn)行競爭，競爭勝利的神經(jīng)元修改與其相連的連接權(quán)值。這種機(jī)制可以用來進(jìn)行模式聚類。競爭學(xué)習(xí)是一種無監(jiān)督的學(xué)習(xí)。在無監(jiān)督學(xué)習(xí)中，只向網(wǎng)絡(luò)提供一些學(xué)習(xí)樣本，而沒有期望的輸出。網(wǎng)絡(luò)根據(jù)輸入樣本進(jìn)行自組織，并將其劃分到相應(yīng)的模式類別中。由于不需要提供理想輸出，因而推廣了有監(jiān)督模式分類方法。競爭勝利的神經(jīng)元就代表著當(dāng)前輸入樣本的分類模式。5.2競爭型自組織網(wǎng)絡(luò)

競爭型神經(jīng)網(wǎng)絡(luò)有多種形式和算法，常用的一種基本結(jié)構(gòu)如下圖5.1所示。其中輸入層有n個神經(jīng)元，輸出層有m個神經(jīng)元。網(wǎng)絡(luò)的連接權(quán)W。圖5.1競爭學(xué)習(xí)網(wǎng)絡(luò)5.2競爭型自組織網(wǎng)絡(luò)一：基本競爭型網(wǎng)絡(luò)（興奮競爭）1：結(jié)構(gòu)：從輸入i→j輸出樣本模式：P對樣本矢量

滿足下面的條件：（5-1）輸入矢量和輸出元的狀態(tài)，都為{0，1}。5.2競爭型自組織網(wǎng)絡(luò)2：學(xué)習(xí)算法（1）初始化：按（5-1）式設(shè)置為[0,1]內(nèi)的隨機(jī)值（2）從P個樣本矢量中任選一加到輸入層（3）計(jì)算競爭層各元的凈輸入：（5-2）（4）采用WTA(WinnerTakesAll)機(jī)制，選s最大值的元作為獲勝的神經(jīng)元，將其輸出置1，其余全置0，即：

（5）對與獲勝元

j相連的各連接權(quán)按下列調(diào)整，而其它所有連接權(quán)值不變。（5-3）學(xué)習(xí)速率，取0.01-0.03，

為輸入層上輸出值為1的神經(jīng)元的個數(shù)。（6）另選一個樣本矢量，返回（3），直到P個樣本全部提供完為止。（7）返回步驟（2）直到時，整個學(xué)習(xí)結(jié)束。5.2競爭型自組織網(wǎng)絡(luò)

3：分析：的調(diào)整式①②

③5.2競爭型自組織網(wǎng)絡(luò)5.2競爭型自組織網(wǎng)絡(luò)

競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點(diǎn)后，則對與獲勝節(jié)點(diǎn)相連的權(quán)值進(jìn)行調(diào)整，修改后的神經(jīng)元權(quán)值將更接近于當(dāng)前的輸入。經(jīng)過這樣的調(diào)整后，權(quán)值與其輸入矢量之間的差別越來越小，從而使訓(xùn)練后的競爭網(wǎng)絡(luò)的權(quán)值能夠代表對應(yīng)輸入矢量的特征，當(dāng)下一次網(wǎng)絡(luò)輸入類似的矢量時，這一神經(jīng)元就極有可能在競爭中獲勝；若輸入的矢量與該神經(jīng)元的權(quán)值矢量相差很大時，則該神經(jīng)元極有可能落敗。隨著訓(xùn)練的進(jìn)行，網(wǎng)絡(luò)中的每一個神經(jīng)元將代表一類近似的矢量，當(dāng)接受某類矢量輸入時，對應(yīng)類別的神經(jīng)元將在競爭中獲勝，從而網(wǎng)絡(luò)就具有了分類的功能。5.2競爭型自組織網(wǎng)絡(luò)BP網(wǎng)絡(luò)分類學(xué)習(xí)必須預(yù)先知道將給定的模式分成幾類，而競爭網(wǎng)絡(luò)能將給定模式分成幾類預(yù)先并不知道，只有在學(xué)習(xí)以后才能確定。競爭網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)是由設(shè)計(jì)者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計(jì)，再適當(dāng)?shù)卦黾有?shù)目來確定。競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。

4：運(yùn)行首先將測試矢量加到輸入層，按照步驟（3）（4）可確定出獲勝的神經(jīng)元，該元的輸出就代表了最終的分類結(jié)果。5.2競爭型自組織網(wǎng)絡(luò)例：設(shè)有下面4個輸入矢量：={101}={100}={010}={011}，將其分成兩類（利用競爭網(wǎng)絡(luò)）。分析：4個矢量的相似程度按漢明距離

可知：競爭型網(wǎng)絡(luò)按漢明（Hamming）距離最小來分類漢明（Hamming）距離：兩個二值向量的對應(yīng)分量不相同的數(shù)目。二.抑制競爭型神經(jīng)網(wǎng)絡(luò)除了靠競爭手段使神經(jīng)元獲勝的方法外，還有靠抑制手段使神經(jīng)元獲勝的方法。這種網(wǎng)絡(luò)學(xué)習(xí)算法的基本思想是：當(dāng)競爭層某個神經(jīng)元的輸入值大于其它所有神經(jīng)元的輸入值時，依靠其輸出所具有的優(yōu)勢（即其輸出值較其他的神經(jīng)元大）通過抑制作用將其它神經(jīng)元的輸出之逐漸減小。這樣，競爭層各神經(jīng)元的輸出就形成連續(xù)變化的模擬量。5.2競爭型自組織網(wǎng)絡(luò)1.網(wǎng)絡(luò)結(jié)構(gòu)抑制競爭型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5.2所示，在基于競爭型網(wǎng)絡(luò)的基礎(chǔ)上，增加了競爭層各元間的橫向連接。 特點(diǎn)：競爭層之間存在起抑制作用的橫向連接（非連接加權(quán)，無具體數(shù)值，僅僅表示一種抑制）。5.2競爭型自組織網(wǎng)絡(luò)圖5.2抑制競爭學(xué)習(xí)網(wǎng)絡(luò)5.2競爭型自組織網(wǎng)絡(luò)2：學(xué)習(xí)算法（1）（2）（3）與基本競爭型相同（4）以競爭層各元的凈輸入作為其輸出的初始值（j=1，2，…，m）（5）計(jì)算競爭層各元下一時刻的輸出值

（5-7）

5.2競爭型自組織網(wǎng)絡(luò)（6）返回（5），計(jì)算到第j神經(jīng)元的輸出值遠(yuǎn)大于其他的(m-1)個