ART網(wǎng)絡(luò)市公開課一等獎省賽課獲獎?wù)n件

4.5自適應(yīng)共振理論主講：禹玥昀ART網(wǎng)絡(luò)第1頁引言傳統(tǒng)神經(jīng)網(wǎng)絡(luò)碰到問題在樣本數(shù)據(jù)訓(xùn)練過程中，不論是監(jiān)督式還是無監(jiān)督式訓(xùn)練，均會出現(xiàn)對新模式學(xué)習(xí)，時刻面臨著新知識學(xué)習(xí)記憶荷對舊知識退化忘卻問題在監(jiān)督式訓(xùn)練情況下，使網(wǎng)絡(luò)逐步到達穩(wěn)定記憶需要經(jīng)過重復(fù)訓(xùn)練，從而對已學(xué)習(xí)過模式部分甚至是全部忘卻在無監(jiān)督情況下，對新數(shù)據(jù)學(xué)習(xí)一樣會產(chǎn)生對某種已經(jīng)記憶經(jīng)典矢量修改，造成對已學(xué)習(xí)數(shù)據(jù)部分忘卻理想情況能夠?qū)W會新知識，同時對已學(xué)過知識沒有不利影響在輸入矢量尤其大情況下，極難實現(xiàn)。通常只能在新舊知識取舍上進行某種折衷，最大可能地接收新知識并較少地影響原有知識ART網(wǎng)絡(luò)第2頁ART網(wǎng)絡(luò)介紹自適應(yīng)共振理論(AdaptiveResonanceTheory,ART)網(wǎng)絡(luò)能夠很好地處理前述問題網(wǎng)絡(luò)和算法含有較大地靈活性，以適應(yīng)新輸入模式，同時極力防止對網(wǎng)絡(luò)先前學(xué)習(xí)過地模式修改記憶容量能夠隨樣本增加而自動增加，能夠在不破壞原記憶樣本情況下學(xué)習(xí)新樣本ART是美國波士頓大學(xué)A.Carpenter和Grossberg提出。含有兩種形式ART1處理雙極性（或二進制）數(shù)據(jù)ART2處理連續(xù)數(shù)據(jù)ART網(wǎng)絡(luò)第3頁自適應(yīng)共振理論（ART）歷史1976年，美國Boston大學(xué)學(xué)者G.A.Carpenter提出自適應(yīng)共振理論(AdaptiveResonanceTheory，縮寫為ART)，他多年來一直試圖為人類心理和認(rèn)知活動建立統(tǒng)一數(shù)學(xué)理論，ART就是這一理論關(guān)鍵部分。隨即G.A.Carpenter又與S.Grossberg提出了ATR網(wǎng)絡(luò)。共振現(xiàn)象一些例子自適應(yīng)共振理論ART網(wǎng)絡(luò)第4頁共振現(xiàn)象魚洗寺院無人敲而響磬軍隊過橋雪崩人類認(rèn)知（圖像）當(dāng)雙手策動力頻率跟物體固有頻率相等時，振幅最大，這種現(xiàn)象叫共振。水中發(fā)出嗡鳴聲是銅盆腔內(nèi)振動和摩擦頻率振動發(fā)生共振引發(fā)。

自適應(yīng)共振理論ART網(wǎng)絡(luò)第5頁ART網(wǎng)絡(luò)學(xué)習(xí)算法基本流程環(huán)境輸入模式與儲存經(jīng)典向量模式進行比較神經(jīng)網(wǎng)絡(luò)連接權(quán)值選擇最相同作為該模式代表類，并調(diào)整與該類別相關(guān)權(quán)值，以使以后與該模式相同輸入再與該模式匹配時能得到更大相同度。相同度參考門限需要在網(wǎng)絡(luò)中設(shè)置一個新模式類，同時建立與該模式類相連權(quán)值，用以代表和存放該模式以及以后輸入全部同類模式。ART網(wǎng)絡(luò)第6頁C——比較層R——識別層Reset

——復(fù)位信號G1和G2——邏輯控制信號4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1ARTⅠ型網(wǎng)絡(luò)ART網(wǎng)絡(luò)第7頁4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)(1)C層結(jié)構(gòu)

該層有n個節(jié)點，每個節(jié)點接收來自3個方面信號：來自外界輸入信號xi；來自R層獲勝神經(jīng)元外星向量返回信號Tj；來自G1控制信號。C層節(jié)點輸出ci是依據(jù)2/3“多數(shù)表決”標(biāo)準(zhǔn)產(chǎn)生，即輸出值ci與xi、tij、G13個信號中多數(shù)信號值相同。G1=1，反饋回送信號為0，C層輸出應(yīng)由輸入信號決定，有C=X。反饋回送信號不為0，G1=0，C層輸出應(yīng)取決于輸入信號與反饋信號比較情況，假如xi=tij，則ci=xi。不然ci=0。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)ART網(wǎng)絡(luò)第8頁4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)（2）R層結(jié)構(gòu)R層有m個節(jié)點，用以表示m個輸入模式類。m可動態(tài)增加，以設(shè)置新模式類。由C層向上連接到R第j個節(jié)點內(nèi)星權(quán)向量用Bj=（b1j，b2j，…,bnj）表示。C層輸出向量C沿m個內(nèi)星權(quán)向量Bj(j=1,2,…,m)向前傳送，抵達R層各個神經(jīng)元節(jié)點后經(jīng)過競爭在產(chǎn)生獲勝節(jié)點j*，指示此次輸入模式所屬類別。獲勝節(jié)點輸出=1，其余節(jié)點輸出為0。R層各模式類節(jié)點經(jīng)典向量。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)ART網(wǎng)絡(luò)第9頁4.5.1.2網(wǎng)絡(luò)運行原理相同程度可能出現(xiàn)兩種情況：①相同度超出參考門限

選該模式類作為當(dāng)前輸入模式代表類。權(quán)值調(diào)整規(guī)則是，相同度超出參考門限模式類調(diào)整其對應(yīng)內(nèi)外星權(quán)向量，以使其以后碰到與當(dāng)前輸入模式靠近樣本時能得到更大相同度；對其它權(quán)值向量則不做任何變動。②相同度不超出門限值需在網(wǎng)絡(luò)輸出端設(shè)置一個代表新模式類節(jié)點，用以代表及存放該模式，方便于參加以后匹配過程。網(wǎng)絡(luò)運行原理ART網(wǎng)絡(luò)第10頁4.5.1.3網(wǎng)絡(luò)學(xué)習(xí)算法ARTⅠ網(wǎng)絡(luò)能夠用學(xué)習(xí)算法實現(xiàn)，學(xué)習(xí)算法從軟件角度表達了網(wǎng)絡(luò)運行機制，與系統(tǒng)結(jié)構(gòu)圖并不一一對應(yīng)。訓(xùn)練可按以下步驟進行：(1)網(wǎng)絡(luò)初始化

從C層向R層內(nèi)星權(quán)向量Bj賦予相同較小數(shù)值，如(4.25)從R層到C層外星權(quán)向量Tj各分量均賦1(4.26)注:用C#實現(xiàn)時,下標(biāo)從0開始,i=0,1,2,…,n-1j=0,1,2,…,m-1ART網(wǎng)絡(luò)第11頁4.5.1.3網(wǎng)絡(luò)學(xué)習(xí)算法(2)網(wǎng)絡(luò)接收輸入

給定一個輸入模式，X＝(x1,x2,…，xn)，

xi(0,1)n。(3)匹配度計算

對R層全部內(nèi)星向量Bj計算與輸入模式X匹配度：，j=1,2,…，m。(4)選擇最正確匹配節(jié)點

在R層有效輸出節(jié)點集合J*內(nèi)選擇競爭獲勝最正確匹配節(jié)點j*，使得ART網(wǎng)絡(luò)第12頁(5)相同度計算

R層獲勝節(jié)點j*經(jīng)過外星送回獲勝模式類經(jīng)典向量，C層輸出信號給出對向量和X比較結(jié)果，i=1,2,…,n，由此結(jié)果可計算出兩向量相同度為4.5.1.3網(wǎng)絡(luò)學(xué)習(xí)算法(6)警戒門限檢驗

假如N0/N1<ρ，表明X與相同程度不滿足要求，此次競爭獲勝節(jié)點無效，所以從R層有效輸出節(jié)點集合J*中取消該節(jié)點并使，訓(xùn)練轉(zhuǎn)入步驟(7)；假如N0/N1>ρ，表明X應(yīng)歸為代表模式類，轉(zhuǎn)向步驟(8)調(diào)整權(quán)值。ART網(wǎng)絡(luò)第13頁4.5.1.3網(wǎng)絡(luò)學(xué)習(xí)算法(8)調(diào)整網(wǎng)絡(luò)權(quán)值修改R層節(jié)點j*對應(yīng)權(quán)向量，網(wǎng)絡(luò)學(xué)習(xí)采取了兩種規(guī)則，外星向量調(diào)整按以下規(guī)則:

i=1,2,…,n；j*J*(4.27)(7)搜索匹配模式類若有效輸出節(jié)點集合J*不為空，轉(zhuǎn)向步驟(4)重選匹配模式類；若J*為空集，需在R層增加一個節(jié)點。設(shè)新增節(jié)點序號為nc，應(yīng)使,i=1,2,…,n,此時有效輸出節(jié)點集合為J*={1,2,…,m,m+1,…,m+nc},轉(zhuǎn)向步驟(2)輸入新模式。內(nèi)星向量調(diào)整按以下規(guī)則:

i=1,2,…,n(4.28)ART網(wǎng)絡(luò)第14頁4.5.1.3網(wǎng)絡(luò)學(xué)習(xí)算法

ART網(wǎng)絡(luò)特點：

非離線學(xué)習(xí)即不是對輸入集樣本重復(fù)訓(xùn)練后才開始運行，而是邊學(xué)習(xí)邊運行實時方式。每次最多只有一個輸出節(jié)點為l每個輸出節(jié)點可看成一類相近樣本代表，當(dāng)輸入樣本距某一個內(nèi)星權(quán)向量較近時，代表它輸出節(jié)點才響應(yīng)。

經(jīng)過調(diào)整警戒門限大小可調(diào)整模式類數(shù)

小，模式類別少，大則模式類別多。ART網(wǎng)絡(luò)第15頁4個輸入模式向量為：設(shè)=0.7，取初始權(quán)值bij=1/(1+n)=1/26,tij=1.例一模式分類例一模式分類4.5.1.4

ARTⅠ網(wǎng)絡(luò)應(yīng)用ART網(wǎng)絡(luò)第16頁例一模式分類ART網(wǎng)絡(luò)第17頁例一模式分類ART網(wǎng)絡(luò)第18頁注意！ρ值選擇對分類過程影響很大。ρ值過大，造成分類劇增。ρ值太小，則不一樣模式均劃為同一類別。例一模式分類ART網(wǎng)絡(luò)第19頁例二帶噪聲模式分類ART網(wǎng)絡(luò)第20頁例二帶噪聲模式分類ART網(wǎng)絡(luò)第21頁ART網(wǎng)絡(luò)結(jié)構(gòu)從輸入矢量到輸出矢量作用部分被稱為識別層或R層（R－Recognition）從輸出A作為輸入返回到輸入層稱為比較層或C層（C－Comparison）從結(jié)構(gòu)上講R層為一個競爭網(wǎng)絡(luò)，含有s個節(jié)點，它代表了對輸入模式分類。該節(jié)點數(shù)能夠動態(tài)地增加，以滿足設(shè)置新模式地需要。C層為一個Grossberg網(wǎng)絡(luò)ART網(wǎng)絡(luò)第22頁ART運行過程將網(wǎng)絡(luò)訓(xùn)練與工作與工作過程有機技結(jié)合在一起自C層流向R層識別階段：輸入新矢量P，經(jīng)過競爭得出輸出A自R層流向C層比較階段按照一定地規(guī)則來確定這個新輸入是否屬于網(wǎng)絡(luò)衷已經(jīng)記憶地模式類別，判別標(biāo)準(zhǔn)為新輸入模式與全部已記憶模式之間相同程度R＝