（推薦）7.第8章--自組織競爭神經(jīng)網(wǎng)絡(luò)

1、第8章 自組織競爭神經(jīng)網(wǎng)絡(luò),編 者,2,Outline,1.競爭神經(jīng)網(wǎng)絡(luò) 2.競爭神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 3.自組織特征映射網(wǎng)絡(luò) 4. SOM的學(xué)習(xí)算法 5.學(xué)習(xí)矢量量化網(wǎng)絡(luò) 6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解 7.自組織競爭神經(jīng)網(wǎng)絡(luò)應(yīng)用實例,3,1.競爭神經(jīng)網(wǎng)絡(luò),采用競爭學(xué)習(xí)的規(guī)則即可構(gòu)成最簡單的競爭神經(jīng)網(wǎng)絡(luò)，在此基礎(chǔ)上，還發(fā)展了形形色色的自組織網(wǎng)絡(luò)。,“勝者為王，敗者為寇” 。興奮最強的神經(jīng)元“戰(zhàn)勝”了其他神經(jīng)元，在權(quán)值調(diào)制中其興奮程度得到進一步加強，而其他神經(jīng)元則保持不變。 競爭神經(jīng)網(wǎng)絡(luò)通過這種競爭學(xué)習(xí)的方式獲取訓(xùn)練樣本的分布信息，每個訓(xùn)練樣本都對應(yīng)一個興奮的核心層神經(jīng)元，也就是對應(yīng)一個類別，當(dāng)

2、有新樣本輸入時，就可以根據(jù)興奮的神經(jīng)元進行模式分類。,4,2.競爭神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,內(nèi)星學(xué)習(xí)規(guī)則,內(nèi)星模型訓(xùn)練的目標(biāo)是使得神經(jīng)元只對某些特定的輸入向量產(chǎn)生興奮。這一點是通過連接權(quán)值的逐步調(diào)整得到的。,隨機權(quán)值中有一個被激活，其權(quán)值按上式向輸入樣本的方向調(diào)整，會變得越來越“像”輸入樣本 如果對內(nèi)星模型輸入多個樣本進行訓(xùn)練，最終得到的網(wǎng)絡(luò)權(quán)值趨近于各輸入向量的平均值。,5,2.競爭神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,Kohonen學(xué)習(xí)規(guī)則,在競爭型神經(jīng)網(wǎng)絡(luò)中，有可能某些神經(jīng)元始終無法贏得競爭，其初始值偏離所有樣本向量，因此無論訓(xùn)練多久都無法成為獲勝神經(jīng)元。這種神經(jīng)元稱為“死神經(jīng)元”。 可以給很少獲勝的神經(jīng)元以較

3、大的閾值，使其在輸入向量與權(quán)值相似性不太高的情況下也有可能獲勝；而對那些經(jīng)常獲勝的神經(jīng)元則給以較小的閾值 。有效解決了“死神經(jīng)元”問題。,競爭神經(jīng)網(wǎng)絡(luò)采用的Kohonen學(xué)習(xí)規(guī)則是從內(nèi)星學(xué)習(xí)規(guī)則發(fā)展而來的。,閾值學(xué)習(xí)規(guī)則,6,3.自組織特征映射網(wǎng)絡(luò),自組織特征映射網(wǎng)絡(luò)（Self-Organizing Feature Maps，SOFM）又稱自組織映射網(wǎng)絡(luò)（SOM）。自組織映射網(wǎng)絡(luò)是一種競爭性神經(jīng)網(wǎng)絡(luò)，同時引入了自組織特性。 自組織現(xiàn)象來源于人腦細(xì)胞的自組織性：大腦中不同區(qū)域有著不同的作用，不同的感官輸入由不同位置的腦細(xì)胞進行處理，這種特性不完全來自遺傳，更依賴于后天的學(xué)習(xí)和訓(xùn)練。,自組織映射網(wǎng)

4、絡(luò)除了能學(xué)習(xí)輸入樣本的分布外，還能夠識別輸入向量的拓?fù)浣Y(jié)構(gòu),7,3.自組織特征映射網(wǎng)絡(luò),自組織神經(jīng)網(wǎng)絡(luò)同樣包含輸入層、輸出層兩層網(wǎng)絡(luò)，但在輸出層引入網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，以更好地模擬生物學(xué)中的側(cè)抑制現(xiàn)象。,輸入神經(jīng)元與輸出神經(jīng)元通過權(quán)值相連，同時，近鄰的輸出神經(jīng)元之間也通過權(quán)值向量相連。輸出神經(jīng)元被放置在一維、二維甚至多維的網(wǎng)格節(jié)點中，最常見的是二維拓?fù)浣Y(jié)構(gòu)。,8,4. SOM的學(xué)習(xí)算法,競爭網(wǎng)絡(luò)與SOM網(wǎng)絡(luò)的主要區(qū)別在于： 在競爭神經(jīng)網(wǎng)絡(luò)中不存在核心層之間的相互連接，在更新權(quán)值時采用了勝者全得的方式，每次只更新獲勝神經(jīng)元對應(yīng)的連接權(quán)值； 而在自組織映射網(wǎng)絡(luò)中，每個神經(jīng)元附近一定鄰域內(nèi)的神經(jīng)元也會得

5、到更新，較遠(yuǎn)的神經(jīng)元則不更新，從而使幾何上相近的神經(jīng)元變得更相似。,9,4. SOM的學(xué)習(xí)算法,使用learnsom函數(shù)進行自組織映射網(wǎng)絡(luò)的學(xué)習(xí) 。在learsom函數(shù)學(xué)習(xí)過程中，學(xué)習(xí)率與鄰域大小是可調(diào)的。在訓(xùn)練過程中分為兩個階段進行調(diào)節(jié)：,排序階段：在排序階段，隨著迭代的進行，學(xué)習(xí)率從下降到，鄰域大小從下降到。在這個階段，權(quán)值根據(jù)輸入向量進行調(diào)整，使其相對位置體現(xiàn)了輸入樣本的分布。 調(diào)整階段：在這個階段，學(xué)習(xí)率從開始以緩慢的速度下降，鄰域大小則保持為不變，以確保學(xué)習(xí)的穩(wěn)定性,學(xué)習(xí)率有 、 兩個給定的參考值，且 ，鄰域大小也有兩個給定的參考值：,10,4. SOM的學(xué)習(xí)算法,（1）設(shè)定變量。,

6、（2）初始化。權(quán)值使用較小的隨機值進行初始化，并對輸入向量和權(quán)值都做歸一化處理,（3）將隨機抽取的樣本輸入網(wǎng)絡(luò)。,（4）更新權(quán)值。對獲勝神經(jīng)元拓?fù)溧徲騼?nèi)的神經(jīng)元，采用Kohonen規(guī)則進行更新,11,4. SOM的學(xué)習(xí)算法,（5）更新學(xué)習(xí)速率及拓?fù)溧徲颍W(xué)習(xí)后的權(quán)值進行重新歸一化。學(xué)習(xí)率和鄰域大小的調(diào)整按排序階段、調(diào)整階段兩步來進行。 （6）判斷是否收斂。判斷迭代次數(shù)是否達(dá)到預(yù)設(shè)的最大值，若沒有達(dá)到最大迭代次數(shù)則轉(zhuǎn)到第三步，否則結(jié)束算法。,12,5.學(xué)習(xí)矢量量化網(wǎng)絡(luò),自組織映射網(wǎng)絡(luò)具有有效的聚類功能，但由于沒有采用導(dǎo)師信號，適合無法獲知樣本類別的情況。將自組織競爭的思想與有監(jiān)督學(xué)習(xí)相結(jié)合，

7、這就是學(xué)習(xí)矢量量化網(wǎng)絡(luò)（Learning Vector Quantization，LVQ） 。 LVQ是SOM網(wǎng)絡(luò)的一種變形，它在原有兩層結(jié)構(gòu)的基礎(chǔ)上增加了線性層，競爭層得到的類別稱為子類，輸出層又稱線性層，線性層的類別標(biāo)簽是由導(dǎo)師信號給出的，是目標(biāo)分類。,13,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,gridtop網(wǎng)格拓?fù)浜瘮?shù),pos=gridtop(dim1,dim2,dimN) gridtop(2,3,4)表示 的三維拓?fù)浣Y(jié)構(gòu),用gridtop創(chuàng)建一個包含40個輸出層神經(jīng)元節(jié)點的網(wǎng)格，并輸入到selforgmap函數(shù)中。 pos = gridtop(8,5);% 創(chuàng)建網(wǎng)格 pos% 神經(jīng)元的坐標(biāo)

8、 net = selforgmap(8 5,topologyFcn,gridtop); plotsomtop(net)% 顯示網(wǎng)絡(luò),14,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,hextop六邊形拓?fù)浜瘮?shù),pos=hextop(dim1,dim2,dimN) 顯示三維六邊形拓?fù)浣Y(jié)構(gòu)。 pos = hextop(3,4,2);% 建立3*4的兩層六邊形 pos plot3(pos(1,:),pos(2,:),pos(3,:),o) % 顯示節(jié)點位置 title(hex拓?fù)? set(gcf,color,w),15,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,randtop隨機拓?fù)浣Y(jié)構(gòu)函數(shù) ： pos=randtop

9、(dim1,dim2,dimN) 神經(jīng)元節(jié)點被安排在N維的空間中，節(jié)點的位置都是隨機給定的。 創(chuàng)建一個隨機拓?fù)浣Y(jié)構(gòu)的自組織映射網(wǎng)絡(luò)，并顯示網(wǎng)絡(luò)結(jié)構(gòu) pos = randtop(8,5); rng(2)% 設(shè)置隨機數(shù)種子 net = selforgmap(8 5,topologyFcn,randtop); plotsomtop(net),16,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,tritop三角拓?fù)浜瘮?shù) pos=tritop(dim1,dim2,dimN),神經(jīng)元節(jié)點被安排在N維的空間中，節(jié)點按三角形的形狀排列。 pos = tritop(8,5);% 三角拓?fù)浜瘮?shù) net = selforgmap

10、(8 5,topologyFcn,tritop); plotsomtop(net),17,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,dist、boxdist、linkdist、mandist距離函數(shù),（1）歐氏距離,Z = dist(W,P),（2）boxdist函數(shù)用于求得的距離是向量個分量絕對差的最大值,（3）linkdist是newsom的默認(rèn)距離函數(shù),（4）Manhattan距離，即曼哈頓距離，也就是出租車幾何距離，相當(dāng)于向量之差的1-范數(shù)。,18,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,網(wǎng)絡(luò)中輸入層包含3個神經(jīng)元，輸出層包含4個神經(jīng)元，給定一個三維輸入向量，計算其與各個輸出神經(jīng)元對應(yīng)權(quán)值之間的歐氏距離

11、。 網(wǎng)絡(luò)中輸入層包含3個神經(jīng)元，輸出層包含4個神經(jīng)元，給定一個三維輸入向量，計算其與各個輸出神經(jīng)元對應(yīng)權(quán)值之間的歐氏距離。 rng(0) W = rand(4,3)% 權(quán)值矩陣 P = rand(3,1)% 輸入列向量 Z1 = dist(W,P),19,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,newc競爭網(wǎng)絡(luò),net=newc(P,S,KLR,CLR) P：R*Q矩陣，包含Q個R維的輸入樣本向量。 S：標(biāo)量，表示輸出層神經(jīng)元個數(shù)。 KLR：Kohonen學(xué)習(xí)率，默認(rèn)值為 0.01 CLR：“良心”學(xué)習(xí)率，默認(rèn)值為 0.001,20,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,使用競爭神經(jīng)網(wǎng)絡(luò)將4個坐標(biāo)點分為兩類

12、, P = .2 .8 .1 .9; .3 .5 .4 .5;% 待分類坐標(biāo)點 plot(P(1,:),P(2,:),o); % 繪制坐標(biāo)點 axis(0,1,0,1) set(gcf,color,w) grid on title(四個坐標(biāo)點的分類) net = newc(P,2);% 創(chuàng)建競爭層 net = train(net,P); Y = net(P) Yc = vec2ind(Y), P c1=P(:,Yc=1);% 繪制分類結(jié)果 c2=P(:,Yc=2); plot(c1(1,:),c1(2,:),ro,LineWidth,2) hold on plot(c2(1,:),c2(2,:

13、),k,LineWidth,2) title(四個坐標(biāo)點的分類結(jié)果) axis(0,1,0,1),21,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,competlayer新版競爭網(wǎng)絡(luò)函數(shù),net=competlayer(numClasses,kohonenLR,conscienceLR),numClasses：分類的類別數(shù) kohonenLR：Kohonen學(xué)習(xí)率 conscienceLR：“良心”學(xué)習(xí)率，即閾值學(xué)習(xí)規(guī)則的學(xué)習(xí)率 iris_dataset是MATLAB自帶的用于分類的樣本數(shù)據(jù)，其中包含了150分鳶尾花數(shù)據(jù)，每份數(shù)據(jù)用一個4維向量表示。用競爭神經(jīng)網(wǎng)絡(luò)將其分為3類 inputs = iris_

14、dataset;% 載入數(shù)據(jù) net = competlayer(3);% 創(chuàng)建競爭網(wǎng)絡(luò) net = train(net,inputs);% 訓(xùn)練 outputs = net(inputs);% 分類 classes = vec2ind(outputs)% 格式轉(zhuǎn)換。classes為分類結(jié)果，這里僅列出部分?jǐn)?shù)據(jù) c=hist(classes,3)% 每個類別的數(shù)量,22,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,newsom自組織特征映射網(wǎng)絡(luò),net=newsom(P,d1,d2,tfcn,dfcn,steps,in) P：R*Q矩陣，包含Q個典型的R維輸入向量 di：拓?fù)浣Y(jié)構(gòu)中第i維的大小。默認(rèn)值為

15、5,8,顯示自組織映射網(wǎng)絡(luò)與競爭神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)差別 net1=competlayer(40);% 40個節(jié)點的競爭層 load simpleclass_dataset net2=newsom(simpleclassInputs,5 8); view(net1) view(net2),23,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,selforgmap新版自組織映射網(wǎng)絡(luò)函數(shù),net=selforgmap(dimensions,coverSteps,initNeighbor,topologyFcn,distanceFcn) dimensions：一個表示拓?fù)浣Y(jié)構(gòu)的行向量，如表示二維結(jié)構(gòu) coverSteps

16、：訓(xùn)練次數(shù)。 initNeighbor：鄰域大小的初始值。 topologyFcn：表示拓?fù)浜瘮?shù)的字符串，可選值有hextop，gridtop，randtop等 distanceFcn：表示距離函數(shù)的字符串，可選值有boxdist，dist，linkdist和mandist等,24,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,simplecluster_dataset是MATLAB自帶的用于聚類的簡單數(shù)據(jù)，其中包含了1000個二維向量。用不同拓?fù)浯笮〉淖越M織映射網(wǎng)絡(luò)做聚類。, x = simplecluster_dataset;% 載入數(shù)據(jù) plot(x(1,:),x(2,:),o)% 顯示 set(gc

17、f,color,w) title(原始數(shù)據(jù)) 使用2*3拓?fù)渚W(wǎng)絡(luò)進行聚類 net = selforgmap(2,3); net = train(net,x); y = net(x); classes = vec2ind(y); c=hist(classes,6)% 6個類別包含的樣本個數(shù) plotsomhits(net,x)% 顯示每個類別的個數(shù) plotsompos(net,x)% 顯示類別中心點的位置,25,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,newlvq學(xué)習(xí)矢量量化網(wǎng)絡(luò),net=newlvq(P,S1,PC,LR,LF) P：R*Q矩陣，包含Q個R維輸入向量。 S1：競爭層神經(jīng)元的個數(shù)。,用

18、newlvq創(chuàng)建一個簡單的學(xué)習(xí)矢量量化網(wǎng)絡(luò)，給出用newlvq解決一個分類問題的完整過程。 P = -3 -2 -2 0 0 0 0 +2 +2 +3; .% 輸入樣本是10個二維向量 0 +1 -1 +2 +1 -1 -2 +1 -1 0; Tc = 1 1 1 2 2 2 2 1 1 1;% 目標(biāo)類別 T = ind2vec(Tc); net = newlvq(P,4,.6 .4);% 創(chuàng)建LVQ網(wǎng)絡(luò) view(net) net = train(net,P,T);% 訓(xùn)練 Y = net(P)% 測試 Yc = vec2ind(Y) Tc,26,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,lvqnet

19、新版學(xué)習(xí)矢量量化網(wǎng)絡(luò)函數(shù),net=lvqnet(hiddenSize,lvqLR,lvqLF) hiddenSize：競爭層神經(jīng)元節(jié)點個數(shù) lvqLR：學(xué)習(xí)率。 lvqLF：學(xué)習(xí)函數(shù)。, x,t = iris_dataset;% 加載數(shù)據(jù)，x為輸入樣本，t為期望輸出 rng(0) ri=randperm(150);% 劃分訓(xùn)練與測試集 x1=x(:,ri(1:50); t1=t(:,ri(1:50); x2=x(:,ri(51:150); t2=t(:,ri(51:150); net = lvqnet(20);% 創(chuàng)建網(wǎng)絡(luò)進行訓(xùn)練 net = train(net,x1,t1); y = net

20、(x2);% 測試 yy=vec2ind(y); ty=vec2ind(t2); sum(yy=ty)/length(yy),27,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,mapminmax歸一化函數(shù),在神經(jīng)網(wǎng)絡(luò)和其他機器學(xué)習(xí)算法中，往往需要對輸入的樣本做歸一化。mapminmax就是MATLAB提供的一個方便的歸一化函數(shù)。 Y,settings=mapminmax(X) Y=mapminmax(apply,X,settings) x1_again=mapminmax(reverse,y,settings),28,6.自組織競爭網(wǎng)絡(luò)相關(guān)函數(shù)詳解,對一個矩陣進行歸一化 x=1,2,3;1,2,4% 待歸

21、一化數(shù)據(jù) xx,settings=mapminmax(x);% 歸一化到0,1 xx settings.xmin,settings.xmax% 結(jié)構(gòu)體settings中保存了每行的最大最小值 fp.ymin=0;fp.ymax=10 xx,settings=mapminmax(x,fp);% 映射到0,10區(qū)間 xx xx,settings=mapminmax(x,fp);% 按列進行歸一化 xx,29,7.自組織競爭神經(jīng)網(wǎng)絡(luò)應(yīng)用實例,手算實現(xiàn)坐標(biāo)點的分類。,mycompet.m,30,7.自組織競爭神經(jīng)網(wǎng)絡(luò)應(yīng)用實例,clear,clc % 使用工具箱函數(shù)實現(xiàn)坐標(biāo)點分類 close all x0=4.1,1.8,0.5,2.9,4.0,0.6,3.8,4.3,3.2,1.0,3.0,3.6,3.8,3.7,3.7,8.6,9.1,. % 樣本數(shù)據(jù) 7.5,8.1,9.0,6.9,8.6,8.5,9.6,10.0,9.3,6.9,6.4,6.7,8.7;. 8.1,5.