自適應(yīng)諧振理論課件

神經(jīng)信息學(xué)

自組織網(wǎng)絡(luò)-自適應(yīng)諧振理論史忠植shizz@中科院計(jì)算所9/21/20231神經(jīng)信息學(xué)自組織網(wǎng)絡(luò)8/8/20231目錄1ART的結(jié)構(gòu)

2ART的初始化

3ART的實(shí)現(xiàn)識(shí)別、比較、查找、訓(xùn)練4ART29/21/20232目錄1ART的結(jié)構(gòu)8/8/20232自適應(yīng)諧振理論自適應(yīng)共振理論ART(AdaptiveResonanceTheory)模型是美國(guó)Boston大學(xué)的S．Grossberg和A．Carpenet在1976年提出的。ART是一種自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是無教師的學(xué)習(xí)網(wǎng)絡(luò)。當(dāng)在神經(jīng)網(wǎng)絡(luò)和環(huán)境有交互作用時(shí)，對(duì)環(huán)境信息的編碼會(huì)自發(fā)地在神經(jīng)網(wǎng)中產(chǎn)生，則認(rèn)為神經(jīng)網(wǎng)絡(luò)在進(jìn)行自組織活動(dòng)。ART就是這樣一種能自組織地產(chǎn)生對(duì)環(huán)境認(rèn)識(shí)編碼的神經(jīng)網(wǎng)絡(luò)理論模型。網(wǎng)絡(luò)的可塑性需要的4項(xiàng)功能9/21/20233自適應(yīng)諧振理論自適應(yīng)共振理論ART(AdaptiveRes自適應(yīng)諧振理論Grossberg一直對(duì)人類的心理和認(rèn)識(shí)活動(dòng)感興趣，他長(zhǎng)期埋頭于這方面的研究并希望用數(shù)學(xué)來刻劃人類這項(xiàng)活動(dòng)，建立人類的心理和認(rèn)知活動(dòng)的一種統(tǒng)一的數(shù)學(xué)模型和理論。

ART模型是基于下列問題的求解而提出的：1．對(duì)于一個(gè)學(xué)習(xí)系統(tǒng)，要求它有適應(yīng)性及穩(wěn)定性，適應(yīng)性可以響應(yīng)重要事件，穩(wěn)定性可以存儲(chǔ)重要事件。這種系統(tǒng)的設(shè)計(jì)問題。2．學(xué)習(xí)時(shí)，原有的信息和新信息如何處理，保留有用知識(shí)，接納新知識(shí)的關(guān)系如何及解決的問題。3．對(duì)外界信息與原存儲(chǔ)的信息結(jié)合并決策的問題。9/21/20234自適應(yīng)諧振理論Grossberg一直對(duì)人類的心理和認(rèn)識(shí)活動(dòng)感自適應(yīng)諧振理論ART理論已提出了三種模型結(jié)構(gòu)，即ARTt，ART2，ART3。ART1用于處理二進(jìn)制輸入的信息；ART2用于處理二進(jìn)制和模擬信息這兩種輸人；ART3用于進(jìn)行分級(jí)搜索。ART理論可以用于語(yǔ)音、視覺、嗅覺和字符識(shí)別等領(lǐng)域。9/21/20235自適應(yīng)諧振理論ART理論已提出了三種模型結(jié)構(gòu)，即ARTt，AART總體結(jié)構(gòu)圖

X識(shí)別層C(B)P(T)RC復(fù)位G2G1識(shí)別控制比較控制比較層復(fù)位控制精度控制參數(shù)ρ9/21/20236ART總體結(jié)構(gòu)圖X識(shí)別層C(B)P(T)RC復(fù)位G2G1識(shí)ART的結(jié)構(gòu)X=(x1，x2，…，xn)R=(r1，r2，…，rm)C=(c1，c2，…，cn)P=(p1，p2，…，pn)Ti=(ti1，ti2，…，tin)Bi=(b1i，b2i，…，bni)9/21/20237ART的結(jié)構(gòu)X=(x1，x2，…，xn)8/8/20237ART的結(jié)構(gòu)tij表示識(shí)別層的第i個(gè)神經(jīng)元到比較層的第j個(gè)神經(jīng)元的聯(lián)接權(quán)bij表示比較層的第i個(gè)神經(jīng)元到識(shí)別層的第j個(gè)神經(jīng)元的聯(lián)接權(quán)pi為比較層的第i個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入9/21/20238ART的結(jié)構(gòu)tij表示識(shí)別層的第i個(gè)神經(jīng)元到比較層的第j個(gè)神比較層和識(shí)別層rmr2r1T1p1c1TBB1x1G1p2c2cnpn復(fù)位G2復(fù)位G2T2TmBmB2XnG1x2G1復(fù)位G2………識(shí)別層比較層9/21/20239比較層和識(shí)別層rmr2r1T1p1c1TBB1x1G1p2cARTArchitectureFunctionsofeachmodels:Comparisonlayer: -acceptbinaryinputX

-initiallypassXtoC.SoC=X -binaryvectorRisproducedfrom recognitionlayertomodifyC

9/21/202310ARTArchitectureFunctionsofeARTArchitecture9/21/202311ARTArchitecture8/8/202311ARTArchitecture -eachneuroninthecomparisonlayerhas3 inputs:

X:inputvector

Pj:weightedsumofrecognitionlayeroutput

Gain1:samesignaltoallneurons -use“two-third”rule =>atleasttwoofaneuron’sthree inputsmustbeone,otherwise,the outputiszero. -initially,Gain1issettooneandR areset to0.9/21/202312ARTArchitecture -eachneuronARTArchitectureRecognitionlayer: -computedotproductofBandC -theneuronwithlargestoutputwins -thewinningneuronissettoone othersaresettozero.Gain2-ORofcomponentsof

X9/21/202313ARTArchitectureRecognitionlaARTArchitecture9/21/202314ARTArchitecture8/8/202314ARTArchitectureGain1ORofXcomponentsG2ORofR G1----------------------------------------------------0 0 0 01 1 011 1100 0 109/21/202315ARTArchitectureGain18/8/202比較層輸出信號(hào)控制

G1=┐(r1∨r2∨…∨rm)∧(x1∨x2∨…∨xn)

識(shí)別層輸出信號(hào)控制

G2=x1∨x2∨…∨xn

9/21/202316比較層輸出信號(hào)控制G1=┐(r1∨r2∨…∨rm)∧比較層

執(zhí)行2/3規(guī)則

ci=

1 xi+pi+G1≥2 ci=

0 xi+pi+G1<2C=XP=Tk

ci=xi∧pi

待命期工作周期

9/21/202317比較層執(zhí)行2/3規(guī)則C=XP=Tk待命期8/8/202識(shí)別層

識(shí)別層實(shí)現(xiàn)競(jìng)爭(zhēng)機(jī)制Bk與C有最大的點(diǎn)積

X的“暫定”代表RNk所獲得的網(wǎng)絡(luò)輸入為

與RN1，RN2，…，RNm相對(duì)應(yīng)向量B1，B2，…，Bm代表不同分類

9/21/202318識(shí)別層識(shí)別層實(shí)現(xiàn)競(jìng)爭(zhēng)機(jī)制X的“暫定”代表RNk所獲得的網(wǎng)絡(luò)系統(tǒng)復(fù)位控制

X與C的相似度

s≥ρ，當(dāng)前處于激發(fā)態(tài)的RNk所對(duì)應(yīng)的Bk、Tk為X的類表示；s<ρ，此RNk所對(duì)應(yīng)的Bk、Tk不能很好地代表X，需要重新尋找

9/21/202319系統(tǒng)復(fù)位控制X與C的相似度s≥ρ，當(dāng)前處于激發(fā)態(tài)的RNkART的初始化

T的初始化矩陣T的所有元素全為1

B的初始化 bij<L/(L-1+n)

n為輸入向量的維數(shù)；L為一個(gè)大于1的常數(shù)，其值應(yīng)該與輸入向量的位數(shù)相關(guān)Tk、Bk是RNk對(duì)應(yīng)類的兩種不同表示ρ的初始化ρ∈[0,1]

9/21/202320ART的初始化T的初始化8/8/202320ART的實(shí)現(xiàn)

四個(gè)階段：識(shí)別、比較、查找、訓(xùn)練一、識(shí)別

X(非0向量)未被加在網(wǎng)上時(shí)G2=0R=(r1，r2，…，rm)=(0，0，…，0)X(非0向量)被加在網(wǎng)絡(luò)上時(shí)G1=G2=1R=0導(dǎo)致P=(p1，p2，…，pm)=(0，0，…，0)

9/21/202321ART的實(shí)現(xiàn)四個(gè)階段：識(shí)別、比較、查找、訓(xùn)練8/8/202ART的實(shí)現(xiàn)在識(shí)別層，每個(gè)RNk完成的操作計(jì)算∑bikci

接收來自其它RN的抑制信號(hào)，并向其它的RN發(fā)出抑制信號(hào)

確定自己的輸出狀態(tài)

完成輸出

RN之間的抑制連接與抑制信號(hào)如果RNk輸出1，則表明，在本輪識(shí)別中，X暫時(shí)被認(rèn)為是屬于該RNk所對(duì)應(yīng)的類9/21/202322ART的實(shí)現(xiàn)在識(shí)別層，每個(gè)RNk完成的操作8/8/20232比較

X歸于RNk，RNk的輸出值1被分別以權(quán)重tkj傳送到比較層

向量P就是向量Tk

T的初始化及訓(xùn)練保證了T的每個(gè)元素取值為0或者1

Bk與Tk根據(jù)RNk進(jìn)行對(duì)應(yīng)，互為變換形式

如果對(duì)于所有的j，1≤j≤n，pj=xj，則表示X獲得良好的匹配。如果存在j，使得pj≠xj，則表明X與相應(yīng)的“類”的代表向量并不完全一致

9/21/202323比較X歸于RNk，RNk的輸出值1被分別以權(quán)重tkj傳送到比較當(dāng)系統(tǒng)復(fù)位控制模塊計(jì)算X和C的相似度s

如果s≥ρ，表明本輪所給出的類滿足精度要求。查找成功，系統(tǒng)進(jìn)入訓(xùn)練周期

如果s<ρ，表明本輪所給類不滿足精度要求。復(fù)位模塊要求識(shí)別層復(fù)位，使所有RN輸出0系統(tǒng)回到開始處理X的初態(tài)，重新進(jìn)行搜索復(fù)位信號(hào)屏蔽本次被激發(fā)的RN，在下一輪匹配中，該RN被排除在外，以便系統(tǒng)能夠找到其它更恰當(dāng)?shù)腞N

9/21/202324比較當(dāng)系統(tǒng)復(fù)位控制模塊計(jì)算X和C的相似度s8/8/2023查找

如果s≥ρ，認(rèn)為網(wǎng)絡(luò)查找成功，此時(shí)分類完成，無需再查找

如果s<ρ，表明本輪實(shí)現(xiàn)的匹配不能滿足要求，此時(shí)需要尋找新的匹配向量

查找過程9/21/202325查找如果s≥ρ，認(rèn)為網(wǎng)絡(luò)查找成功，此時(shí)分類完成，無需再查找查找

1復(fù)位模塊向識(shí)別層發(fā)出復(fù)位信號(hào)2所有RN被抑制：R=(r1,r2,…,rm)=(0，0,…,0)，上輪被激發(fā)的RN被屏蔽3G1的值恢復(fù)為14X的值再次被從比較層送到識(shí)別層：C=X5不同的RN被激發(fā)，使得不同的P(Tk)被反饋到比較層6比較層進(jìn)行相應(yīng)的比較，并判定本次匹配是否滿足要求9/21/202326查找1復(fù)位模塊向識(shí)別層發(fā)出復(fù)位信號(hào)8/8/202326查找如果本次匹配不成功，則重復(fù)1∽6直到如下情況之一發(fā)生

7.1本輪匹配成功。表明已找到一個(gè)與X匹配較好的模式，此時(shí)，網(wǎng)絡(luò)進(jìn)入訓(xùn)練期，對(duì)這個(gè)匹配的模式進(jìn)行適當(dāng)?shù)男薷模顾芨玫乇硎綳

7.2網(wǎng)絡(luò)中現(xiàn)存的模式均不匹配。因此，網(wǎng)絡(luò)需要重新構(gòu)造一個(gè)新模式表達(dá)此類

9/21/202327查找如果本次匹配不成功，則重復(fù)1∽6直到如下情況之一發(fā)生查找網(wǎng)絡(luò)用一個(gè)還未與任何類關(guān)聯(lián)的RN來對(duì)應(yīng)X所在的類根據(jù)X修改與此RN對(duì)應(yīng)的Tk、Bk被網(wǎng)絡(luò)選中的RNk對(duì)應(yīng)的Tk=（1，1，…，1）P=（1，1，…，1）被送入比較層。C=X∧P=X，被送入系統(tǒng)復(fù)位控制模塊，s=1。而ρ≤1，所以，s≥ρ。匹配獲得成功網(wǎng)絡(luò)進(jìn)入訓(xùn)練期

9/21/202328查找網(wǎng)絡(luò)用一個(gè)還未與任何類關(guān)聯(lián)的RN來對(duì)應(yīng)X所在的類8/8/查找首先被選中的RN不一定對(duì)應(yīng)X屬于的類受B取法的影響，有時(shí)候，獲得最大激勵(lì)值的RN對(duì)應(yīng)的類不一定是X所屬的類

例如：設(shè)n=5，三個(gè)輸入向量為： X1=（1，0，0，0，0） X2=（1，0，0，1，1） X3=（1，0，0，1，0）9/21/202329查找首先被選中的RN不一定對(duì)應(yīng)X屬于的類8/8/202329查找假定用初始化B，當(dāng)X1、X2被輸入時(shí)，RN1、RN2分別被激發(fā)

T1、T2、B1、B2分別取如下值

T1=(1,0,0,0,0)，B1=(1,0,0,0,0)T2=(1,0,0,1,1)，B2=(0.5,0,0,0.5,0.5)

當(dāng)X3被輸入系統(tǒng)時(shí)，RN1、RN2獲得的激勵(lì)值都是1RN2被選中,則成功9/21/202330查找假定用初始化B，當(dāng)X1、X2被輸入時(shí)，RN1、RN2分別查找RN1被選中，則出現(xiàn)問題比較層輸出向量C=（1，0，0，0，0），使得s=0.5，當(dāng)ρ>0.5時(shí)，選擇RN1就不能滿足精度要求，此時(shí)網(wǎng)絡(luò)就需要進(jìn)入查找工作階段1、RN1獲勝2、C取值（1，0，0，0，0）3、

9/21/202331查找RN1被選中，則出現(xiàn)問題8/8/202331查找4、s<ρ

5、RN1被屏蔽

6、網(wǎng)絡(luò)進(jìn)入第二個(gè)查找周期，RN2獲勝

7、C取值（1，0，0，1，0）

8、9/21/202332查找4、s<ρ8/8/202332查找9、滿足精度要求，停止查找，進(jìn)入訓(xùn)練期當(dāng)L取其它的值時(shí)，將會(huì)有不同的結(jié)果當(dāng)RN被系統(tǒng)認(rèn)為是不能滿足精度要求后，在繼續(xù)查找過程中，一直被屏蔽“查找周期”：網(wǎng)絡(luò)的五個(gè)功能模塊之間互相影響，加上信號(hào)的反饋，使得網(wǎng)絡(luò)中的信號(hào)較為復(fù)雜9/21/202333查找9、滿足精度要求，停止查找，進(jìn)入訓(xùn)練期8/8/20233訓(xùn)練Tk、Bk的修改tki=ci

9/21/202334訓(xùn)練Tk、Bk的修改tki=ci8/8/20233訓(xùn)練

L是常數(shù)

T的元素只可能從1變成0，不可能從0變成1：用1初始化T的所有元素如果RNk對(duì)應(yīng)的模式代表類{X1，X2，…，Xd}，則有Tk=X1∧X2∧…∧Xd網(wǎng)絡(luò)將向量共有的東西作為它的類表示，這也符合一般意義下的“共同特征”的要求9/21/202335訓(xùn)練L是常數(shù)8/8/202335訓(xùn)練中含有重要因子9/21/202336訓(xùn)練中含有重要因子8/8/202336訓(xùn)練

設(shè)X1、X2分別使RN1、RN2激發(fā)設(shè)T1=X1、T2=X2如果相應(yīng)式子中沒有該因子，則此時(shí)B1=T1、B2=T2

當(dāng)X1再一次被輸入時(shí)，RN1、RN2因?yàn)楂@得的網(wǎng)絡(luò)輸入相同而都有被選中的可能如果RN2被選中，則會(huì)導(dǎo)致網(wǎng)絡(luò)運(yùn)行錯(cuò)誤，使得原有的分類被嚴(yán)重破壞9/21/202337訓(xùn)練設(shè)X1、X2分別使RN1、RN2激發(fā)8/8/20233訓(xùn)練

∑Cj可以看成向量C的一個(gè)度量越大，產(chǎn)生的權(quán)值就越??；越小，產(chǎn)生的權(quán)值就越大。當(dāng)一個(gè)向量是另一個(gè)向量的子集時(shí)，能夠獲得較好的操作

例如 X1=（1，0，0，0，0） X2=（1，0，0，1，1） X3=（1，0，0，1，0）

9/21/202338訓(xùn)練∑Cj可以看成向量C的一個(gè)度量8/8/202338訓(xùn)練

①

X1被再次輸入，導(dǎo)致RN2被選中；②

識(shí)別層將T2送入比較層：P=T2；③

此時(shí)，C=P∧X1=X1；④

復(fù)位控制模塊根據(jù)C與X1計(jì)算出s=1；⑤

因?yàn)閟>ρ，所以對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練：T2=C。顯然，其原值被破壞了。而當(dāng)我們選擇一個(gè)適當(dāng)?shù)腖，同時(shí)在調(diào)整B時(shí)保留，這個(gè)問題就可以避免了。9/21/202339訓(xùn)練①

X1被再次輸入，導(dǎo)致RN2被選中；8/8/2訓(xùn)練

網(wǎng)絡(luò)的分類并不是一成不變的

繼續(xù)使用上面例子中的輸入向量，取L=6，初始化使B的所有元素均取值0.61、X1的輸入導(dǎo)致RN1被激發(fā)；B1被訓(xùn)練后取值為（1，0，0，0，0）2、輸入X2時(shí)，RN1

、RN2所獲得的網(wǎng)絡(luò)輸入分別為1和1.8，這導(dǎo)致RN2被激發(fā)；B2被訓(xùn)練后取值為（0.6，0，0，0.6，0.6）9/21/202340訓(xùn)練網(wǎng)絡(luò)的分類并不是一成不變的8/8/202340訓(xùn)練3、如果X1再次被輸入，RN1

、RN2所獲得的網(wǎng)絡(luò)輸入分別為1和0.6，從而正確的神經(jīng)元被激發(fā)；如果X2再次被輸入，RN1

、RN2所獲得的網(wǎng)絡(luò)輸入分別為1和1.8，從而也仍然有正確的神經(jīng)元被激發(fā)4、當(dāng)X3被輸入時(shí)，RN1

、RN2所獲網(wǎng)絡(luò)輸入分別為1和1.2，從而RN2被激發(fā)，此時(shí)，T2=（1，0，0，1，1）被送入比較層，使得C=T2∧X3=X3。從而導(dǎo)致s=1>ρ9/21/202341訓(xùn)練3、如果X1再次被輸入，RN1、RN2所獲得的網(wǎng)絡(luò)輸入訓(xùn)練5、網(wǎng)絡(luò)進(jìn)入訓(xùn)練：T2、B2被修改

T2=（1，0，0，1，0）B2=（6/7，0，0，6/7，0）6、當(dāng)再次輸入X2時(shí)，RN1

、RN2所獲得的網(wǎng)絡(luò)輸入分別為：1和12/7，這再次導(dǎo)致RN2被激發(fā)。但是，此時(shí)識(shí)別層送給比較層的T2=（1，0，0，1，0）。從而有s=2/3，如果系統(tǒng)的復(fù)位控制參數(shù)ρ>2/3，此時(shí)系統(tǒng)會(huì)重新為X3選擇一個(gè)新的神經(jīng)元可以讓ART在訓(xùn)練完成后，再投入運(yùn)行

9/21/202342訓(xùn)練5、網(wǎng)絡(luò)進(jìn)入訓(xùn)練：T2、B2被修改可以讓ART在訓(xùn)練完成ARTImplementationInitialization

Tj,Bj,Vigilancelevel

Bj: 0<bij<L/(L-1+m)foralli,j

m:#ofcomponentsintheinputvector

L:asconstant>1(L=2,typically) allbijarethesamevalue

Tj:tij=1foralli,j ρ:0<ρ<1coarsedistinctionatfirst,fine distinctionatlast.

9/21/202343ARTImplementationInitializatiARTImplementation2. Recognition

NETj=(Bj

C)

OUTj=1

NETj>T 0 otherwise3. Comparison

4. Search Searchingprocessisgoinguntilapatternismatchedornopatternismatched.

9/21/202344ARTImplementation2. RecognitiARTImplementation5. Training IftheinputXismatched, fornewlystoredTj:

9/21/202345ARTImplementation5. Training ARTAlgorithmInitialization L>1,0<ρ<1

0<bij<L/(L-1+m)foralli,j tij=1foralli,j2. Whilestoppingconditionisfalse,do3-12: 3. Foreachtrainingpattern(X), do4-11: 4. SetR=0,

C=X 5. Foreachnodein recognitionlayerthatis notinhibited(r-1):9/21/202346ARTAlgorithmInitialization8/8ARTAlgorithm 6.

Ifrj

-1,rj=

(Bj

C)

7. WhileResetistrue 8. Findwinning neuronj,

Ifrj

-1 thenthispattern cannotbe clustered. 9. LetP

=TJ, computeC

9/21/202347ARTAlgorithm 6. Ifrj-1ARTAlgorithm 10.

11. UpdateBJ,TJ=C 12. Testforstoppingconditions a. noweightchange b. maximumnumberof epochsreached. 9/21/202348ARTAlgorithm 10. 11. UARTAlgorithm** Stoppingconditions: a. noweightchange b. maximumnumberofepochs reached. 9/21/202349ARTAlgorithm** StoppingcondiART2SeveralsublayersreplaceF1layerUpdatefunctions:Parameters:

m: dimensionofinputvector

n: numberofclusterunits9/21/202350ART2SeveralsublayersreplaceART29/21/202351ART28/8/202351ART2Parameters(continue): a,b: fixedweightinF1,cannotbezero.

c: fixedweightusedintestingfor Reset,0<c<1.

d: outputactivationofF2,

e: asmallparametertoprevent divisionbyzerowhennormofa vectoriszero.

: noisesuppressionparameter : learningrate : vigilancelevel9/21/202