人工神經(jīng)網(wǎng)絡(luò)例題

人工神經(jīng)網(wǎng)絡(luò)例題1、什么是BP網(wǎng)絡(luò)的泛化能力？如何保證BP網(wǎng)絡(luò)具有較好的泛化能力？（5分）解：（1）BP網(wǎng)絡(luò)訓(xùn)練后將所提取的樣本對(duì)中的非線性映射關(guān)系存儲(chǔ)在權(quán)值矩陣中，在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層感知器的泛化能力，它是衡量多層感知器性能優(yōu)劣的一個(gè)重要方面。（2）網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，而對(duì)泛化能力的測(cè)試不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，要用訓(xùn)練集以外的測(cè)試數(shù)據(jù)來進(jìn)行檢驗(yàn)。在隱節(jié)點(diǎn)數(shù)一定的情況下，為獲得更好的泛化能力，存在著一個(gè)最佳訓(xùn)練次數(shù)t0，訓(xùn)練時(shí)將訓(xùn)練與測(cè)試交替進(jìn)行，每訓(xùn)練一次記錄一訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變，用測(cè)試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測(cè)試均方誤差，利用兩種誤差數(shù)據(jù)得出兩條均方誤差隨訓(xùn)練次數(shù)變化的曲線，測(cè)試、訓(xùn)練數(shù)據(jù)均方誤差曲線如下圖1所示。訓(xùn)練次數(shù)t0稱為最佳訓(xùn)練次數(shù)，當(dāng)超過這個(gè)訓(xùn)練次數(shù)后，訓(xùn)練誤差次數(shù)減小而測(cè)試誤差則開始上升，在此之前停止訓(xùn)練稱為訓(xùn)練不足，在此之后稱為訓(xùn)練過度。圖1.測(cè)試、訓(xùn)練數(shù)據(jù)均方誤差曲線2、什么是LVQ網(wǎng)絡(luò)？它與SOM網(wǎng)絡(luò)有什么區(qū)別和聯(lián)系？（10分）解：（1）學(xué)習(xí)向量量化（learningvectorquantization，LVQ）網(wǎng)絡(luò)是在競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上提出的，LVQ將競(jìng)爭(zhēng)學(xué)習(xí)思想和監(jiān)督學(xué)習(xí)算法相結(jié)合，減少計(jì)算量和儲(chǔ)存量，其特點(diǎn)是網(wǎng)絡(luò)的輸出層采用監(jiān)督學(xué)習(xí)算法而隱層采用競(jìng)爭(zhēng)學(xué)習(xí)策略，結(jié)構(gòu)是由輸入層、競(jìng)爭(zhēng)層、輸出層組成。（2）在LVQ網(wǎng)絡(luò)學(xué)習(xí)過程中通過教師信號(hào)對(duì)輸入樣本的分配類別進(jìn)行規(guī)定，從而克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點(diǎn)。自組織映射可以起到聚類的作用，但還不能直接分類和識(shí)別，因此這只是自適應(yīng)解決模式分類問題中的第一步，第二步是學(xué)習(xí)向量量化，采用有監(jiān)督方法，在訓(xùn)練中加入教師信號(hào)作為分類信息對(duì)權(quán)值進(jìn)行細(xì)調(diào)，并對(duì)輸出神經(jīng)元預(yù)先指定其類別。3、設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)圖一中的三類線性不可分模式進(jìn)行分類，期望輸出向量分別用(1,-1,-1)T、(-1,1,-1)T、(-1,-1,1)T代表三類，輸入用樣本坐標(biāo)。要求：為正確，正確率達(dá)到100%。具體程序見附件一或者BPclassify.m。4、試設(shè)計(jì)一個(gè)吸引子為Xa=（0110)T，Xb=(1001)T的離散Hopfield人工神經(jīng)網(wǎng)絡(luò)。其權(quán)值和閾值在[-1，1]區(qū)間取值，試求權(quán)值和閾值。（10分）解：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值（包括閾值）決定的，設(shè)計(jì)吸引子的核心就是如何設(shè)計(jì)一組合適的權(quán)值。為了使所設(shè)計(jì)的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：(a)為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱陣。(b)為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱陣。(c)保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。具體設(shè)計(jì)時(shí)，這里采用了聯(lián)立方程法：以4節(jié)點(diǎn)DHNN為例，說明權(quán)值設(shè)計(jì)的聯(lián)立方程法。考慮到wij=wji，wii=0，對(duì)穩(wěn)態(tài)x(t+1)=x(t)。對(duì)于狀態(tài)Xa=(1001)T，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=w12×0+w13×0+w14×1?T1=w14?T1>0(1)net2=w12×1+w23×0+w24×1?T2=w12+w24?T2<0(2)net3=w13×1+w23×0+w34×1?T3=w13+w34?T3<0(3)net4=w14×1+w24×0+w34×0–T4=w14–T4>0(4)對(duì)于Xb=(0110)T狀態(tài)，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=w12×1+w13×1+w14×0?T1=w12+w13?T1<0(5)net2=w12×0+w23×1+w24×0?T2=w23?T2>0(6)net3=w13×0+w23×1+w34×0?T3=w23?T3>0(7)net4=w14×0+w24×1+w34×1–T4=w24+w34–T4<0(8)聯(lián)立以上8項(xiàng)不等式，可求出未知量的允許取值范圍。如取w14=0.7，則由式（1）有-1≤T1<0.7，取T1=0.6；則由式（4）有-1≤T4<0.7，取T4=0.6；取w12=0.4，由式（5），有-1≤w13<0.2，取w13=0.1；取w24=0.2由式（2），有0.6<T2≤1，取T2=0.8；由式（6），有0.8<w23≤1，取w23=0.9；由式（7），有?1≤T3<0.9，取T3=0.4；由式（3，8），有-1<w34≤0.3，取w34=0.2?？梢则?yàn)證，利用這組參數(shù)構(gòu)成的DHNN網(wǎng)對(duì)于任何初態(tài)最終都將演變到兩吸引子Xa=（1001)T和Xb=(0110)T。整理權(quán)值與閾值為：5、下面給出的訓(xùn)練集由玩具兔和玩具熊組成。輸入樣本向量的第一個(gè)分量代表玩具的重量，第二個(gè)分量代表玩具耳朵的長(zhǎng)度，教師信號(hào)為－1表示玩具兔，教師信號(hào)為1表示玩具熊。（1）用matlab訓(xùn)練一個(gè)感知器，求解此分類問題。（需附上matlab程序）（2）用輸入樣本對(duì)所訓(xùn)練的感知器進(jìn)行驗(yàn)證。（15分）分析：對(duì)于本題，輸入是樣本組成的2*8的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2，輸出由導(dǎo)師信號(hào)可知分為兩類。兩個(gè)輸入分量在幾何上構(gòu)成一個(gè)二維平面，輸入樣本可以用該平面上的一個(gè)點(diǎn)表示，玩具重量和長(zhǎng)度在坐標(biāo)中標(biāo)出，可以看出明顯分布在兩個(gè)區(qū)域，可以用一條線分開分為兩類，在線上方的輸出結(jié)果應(yīng)大于0，在線下方的輸出結(jié)果應(yīng)小于0。權(quán)向量為2*9的矩陣，輸入的第一個(gè)權(quán)向量權(quán)值賦予較小的非零隨機(jī)數(shù)，每一個(gè)新的權(quán)向量都由上一個(gè)權(quán)向量調(diào)整，下一次循環(huán)第1個(gè)權(quán)向量由第9個(gè)權(quán)向量來調(diào)整。對(duì)于這樣的樣本線性可分，經(jīng)過幾次調(diào)整后就穩(wěn)定到一個(gè)權(quán)向量，將樣本正確分類的權(quán)向量不是唯一的。具體程序見附件二或者ganzhiqi.m。輸出分類結(jié)果如下圖所示。表2.單層感知器訓(xùn)練、分類結(jié)果訓(xùn)練次數(shù)分類結(jié)果正確率4100%3100%5100%圖2.感知器在二維平面的分類結(jié)果附件一：第三題程序clearall;%%BP算法初始化D=[1,-1,-1;1,-1,-1;1,-1,-1;-1,1,-1;-1,1,-1;-1,1,-1;-1,-1,1;-1,-1,1;-1,-1,1]';X=[0.75,0.75;0.75,0.125;0.25,0.25;0.25,0.75;0.5,0.125;0.75,0.25;0.25,0.5;0.5,0.5;0.75,0.5]';[N,n]=size(X);[L,Pd]=size(D);%M=ceil(sqrt(N*L))+7;ceil函數(shù)為正無窮方向取整m=14;%隱層節(jié)點(diǎn)數(shù)%初始化權(quán)矩陣%輸入層到隱層權(quán)矩陣V=rand(N,m);%隱層到輸出層權(quán)矩陣W=rand(m,L);%開始訓(xùn)練，轉(zhuǎn)移函數(shù)選擇雙極性Sigmoid函數(shù)Q=100000;%訓(xùn)練次數(shù)計(jì)數(shù)器E=zeros(Q,1);%誤差Emin=0.3;%訓(xùn)練要求精度learnr=0.2;%學(xué)習(xí)率q=1;%訓(xùn)練次數(shù)計(jì)數(shù)，批訓(xùn)練%%權(quán)值調(diào)整whileq<Qnetj=V.'*X;Y=(1-exp(-netj))./(1+exp(-netj));netk=W.'*Y;O=(1-exp(-netk))./(1+exp(-netk));E(q)=sqrt(sum(sum((D-O).^2))/2);%計(jì)算總誤差ifE(q)<Eminbreak;endDelta_o=(D-O).*(1-O.^2)./2;W=W+learnr*(Delta_o*Y.').';%隱層和輸出層間的權(quán)矩陣調(diào)整Delta_y=(W*Delta_o).*(1-Y.^2)./2;V=V+learnr*(Delta_y*X.').';%輸入層和隱層間的權(quán)矩陣調(diào)整q=q+1;end%%輸出結(jié)果qO=sign(O)%符號(hào)函數(shù)取整A=find(O~=D);%和計(jì)算輸出和導(dǎo)師信號(hào)不同的個(gè)數(shù)length(A)%分類結(jié)果錯(cuò)誤的個(gè)數(shù)附件二：第五題程序clc;clear%%單層感知器初始化X=[1,4;1,5;2,4;2,5;3,1;3,2;4,1;4,2];%輸入信號(hào)d=[-1;-1;-1;-1;1;1;1;1];%輸入導(dǎo)師信號(hào)w=zeros(2,9);w(:,1)=rand(2,1);%第一組權(quán)值賦予較小的非零隨機(jī)數(shù)o=zeros(8,1);%輸出結(jié)果net=zeros(8,1);%凈輸入netlearnr=0.01;%學(xué)習(xí)率為0.1n=0;%循環(huán)次數(shù)%%調(diào)整權(quán)值whilen<100%訓(xùn)練次數(shù)最大設(shè)為100次fori=1:8net(i)=X(i,:)*w(:,i);%計(jì)算凈輸入neto(i)=sign(net(i));%計(jì)算輸出，轉(zhuǎn)移函數(shù)為符號(hào)函數(shù)w(:,i+1)=w(:,i)+learnr*(d(i)-o(i))*X(i,:)';%調(diào)整權(quán)值w(:,1)=w(:,9);%最后一組權(quán)值賦值給第一組權(quán)endn=n+1ifd==o%如果輸出等于導(dǎo)師信號(hào)，那么訓(xùn)練停