神經(jīng)網(wǎng)絡與仿真

關于神經(jīng)網(wǎng)絡與仿真第1頁，課件共145頁，創(chuàng)作于2023年2月Outline1.人工神經(jīng)網(wǎng)絡簡介2.神經(jīng)網(wǎng)絡的特點及應用3.神經(jīng)網(wǎng)絡模型4.神經(jīng)網(wǎng)絡的學習方式第2頁，課件共145頁，創(chuàng)作于2023年2月1.人工神經(jīng)網(wǎng)絡簡介人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，ANN），通常簡稱為神經(jīng)網(wǎng)絡，是一種在生物神經(jīng)網(wǎng)絡的啟示下建立的數(shù)據(jù)處理模型。主要通過調(diào)整神經(jīng)元之間的權值來對輸入的數(shù)據(jù)進行建模，最終具備解決實際問題。第3頁，課件共145頁，創(chuàng)作于2023年2月1.人工神經(jīng)網(wǎng)絡簡介

單層感知器結構

人工神經(jīng)網(wǎng)絡的可塑性表現(xiàn)于，其連接權值都是可調(diào)整的，它將一系列僅具有簡單處理能力的節(jié)點通過權值相連，當權值調(diào)整至恰當時，就能輸出正確的結果。網(wǎng)絡將知識存儲在調(diào)整后的各權值中，這一點是神經(jīng)網(wǎng)絡的精髓。第4頁，課件共145頁，創(chuàng)作于2023年2月2.神經(jīng)網(wǎng)絡的特點及應用1.自學習和自適應性。給神經(jīng)網(wǎng)絡輸入新的訓練樣本，網(wǎng)絡能夠自動調(diào)整結構參數(shù)，改變映射關系2.非線性性。人工神經(jīng)元處于激活或抑制狀態(tài)，表現(xiàn)為數(shù)學上的非線性關系。3.魯棒性與容錯性。局部的損害會使人工神經(jīng)網(wǎng)絡的運行適度減弱，但不會產(chǎn)生災難性的錯誤。4.計算的并行性與存儲的分布性。每個神經(jīng)元都可以根據(jù)接收到的信息進行獨立運算和處理。人工神經(jīng)網(wǎng)絡具有強大的模式識別和數(shù)據(jù)擬合能力

第5頁，課件共145頁，創(chuàng)作于2023年2月2.神經(jīng)網(wǎng)絡的特點及應用1.模式分類。需要提供已知樣本2.聚類。不需要提供已知樣本。3.回歸與擬合。相似的樣本輸入在神經(jīng)網(wǎng)絡的映射下，往往能得到相近的輸出。4.優(yōu)化計算。尋找一組參數(shù)組合，使由該組合確定的目標函數(shù)達到最小值。5.數(shù)據(jù)壓縮。將數(shù)據(jù)保存于連接權值中。第6頁，課件共145頁，創(chuàng)作于2023年2月3.神經(jīng)網(wǎng)絡模型單層網(wǎng)絡：單層感知器，線性網(wǎng)絡。多層網(wǎng)絡：其他網(wǎng)絡。前向網(wǎng)絡：BP、徑向基網(wǎng)絡、自組織網(wǎng)絡等。反饋網(wǎng)絡：Hopfield網(wǎng)絡，Elman網(wǎng)絡等。本書共介紹了單層感知器、線性網(wǎng)絡、BP網(wǎng)絡、徑向基網(wǎng)絡、自組織競爭網(wǎng)絡、反饋網(wǎng)絡、隨機神經(jīng)網(wǎng)絡等神經(jīng)網(wǎng)絡模型。第7頁，課件共145頁，創(chuàng)作于2023年2月4.神經(jīng)網(wǎng)絡的學習方式1.有監(jiān)督學習（有教師學習）。訓練樣本對應一個教師信號。2.無監(jiān)督學習（無教師學習）。網(wǎng)絡只接受一系列的輸入樣本，而對該樣本應有的輸出值一無所知。1.Hebb學習規(guī)則：權值的調(diào)整量與輸入前一神經(jīng)元輸出值和后一神經(jīng)元輸出值的乘積成正比。2.糾錯學習規(guī)則：權值的調(diào)整量與誤差大小成正比。3.隨機學習規(guī)則：Boltzmann機事實上就是模擬退火算法。4.競爭學習規(guī)則：只有一個獲勝神經(jīng)元可以進行權值調(diào)整，其他神經(jīng)元的權值維持不變，體現(xiàn)了神經(jīng)元之間的側向抑制。第8頁，課件共145頁，創(chuàng)作于2023年2月單神經(jīng)元網(wǎng)絡第9頁，課件共145頁，創(chuàng)作于2023年2月神經(jīng)元模型圖中為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號，，為表示從單元到單元的連接權系數(shù)，單神經(jīng)元模型可描述為：第10頁，課件共145頁，創(chuàng)作于2023年2月通常情況下，取即第11頁，課件共145頁，創(chuàng)作于2023年2月圖7-1單神經(jīng)元模型第12頁，課件共145頁，創(chuàng)作于2023年2月常用的神經(jīng)元非線性特性有以下四種：（1）閾值型圖7-2閾值型函數(shù)第13頁，課件共145頁，創(chuàng)作于2023年2月（2）分段線性型圖7-3分段線性函數(shù)第14頁，課件共145頁，創(chuàng)作于2023年2月（3）Sigmoid函數(shù)型圖7-4Sigmoid函數(shù)第15頁，課件共145頁，創(chuàng)作于2023年2月單層感知器第16頁，課件共145頁，創(chuàng)作于2023年2月Outline1.單層感知器的結構2.單層感知器的學習算法3.感知器的局限性4.單層感知器應用實例第17頁，課件共145頁，創(chuàng)作于2023年2月1.單層感知器的結構單層感知器屬于單層前向網(wǎng)絡，即除了輸入層和輸出層之外只擁有一層神經(jīng)元節(jié)點。

感知器（perception）的原理相對簡單，是學習其他復雜神經(jīng)網(wǎng)絡的基礎。由單個神經(jīng)元組成的單層感知器只能用來解決線性可分的二分類問題。典型使用場景：將其用于兩類模式分類時，就相當于在高維樣本空間中，用一個超平面將樣本分開。Rosenblatt證明，如果兩類模式線性可分，則算法一定收斂。第18頁，課件共145頁，創(chuàng)作于2023年2月1.單層感知器的結構輸入是一個N維向量其中的每一個分量都對應于一個權值，隱含層的輸出疊加為一個標量值：隨后在二值閾值元件中對得到的v值進行判斷，產(chǎn)生二值輸出：第19頁，課件共145頁，創(chuàng)作于2023年2月1.單層感知器的結構二維空間中的超平面是一條直線。在直線下方的點，輸出-1；在直線上方的點，輸出1。分類面：第20頁，課件共145頁，創(chuàng)作于2023年2月2.單層感知器的學習算法在實際應用中，通常采用糾錯學習規(guī)則的學習算法。將偏置作為一個固定輸入輸入權值第21頁，課件共145頁，創(chuàng)作于2023年2月2.單層感知器的學習算法（1）定義變量和參數(shù)。X為輸入，y為實際輸出，d為期望輸出，b為偏置，w為權值。（2）初始化。n=0，將權值向量設置為隨機值或全零值。（3）激活。輸入訓練樣本，對每個訓練樣本指定其期望輸出

。d（4）計算實際輸出。第22頁，課件共145頁，創(chuàng)作于2023年2月2.單層感知器的學習算法（5）更新權值向量。（6）判斷。若滿足收斂條件，算法結束；若不滿足，n自增1，轉到第3步繼續(xù)執(zhí)行。誤差小于某個預先設定的較小的值兩次迭代之間的權值變化已經(jīng)很小設定最大迭代次數(shù)M，當?shù)薓次之后算法就停止迭代條件的混合使用，防止出現(xiàn)算法不收斂現(xiàn)象。

第23頁，課件共145頁，創(chuàng)作于2023年2月2.單層感知器的學習算法確定學習率不應當過大，以便為輸入向量提供一個比較穩(wěn)定的權值估計不應當過小，以便使權值能夠根據(jù)輸入的向量x實時變化，體現(xiàn)誤差對權值的修正作用粗準焦螺旋和細準焦螺旋的類比?！赃m應學習率。第24頁，課件共145頁，創(chuàng)作于2023年2月3.感知器的局限性單層感知器無法解決線性不可分問題，只能做近似分類。感知器的激活函數(shù)使用閾值函數(shù)，輸出值只有兩種取值，限制了在分類種類上的擴展。如果輸入樣本存在奇異樣本，網(wǎng)絡需要花費很長的時間。感知器的學習算法只對單層有效。第25頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例1.手算2.使用工具箱函數(shù)坐標點的二類模式分類問題：二維平面坐標系中存在一系列坐標點，已知部分坐標點屬于第一類，部分坐標點屬于第二類，求新坐標點的類別。第26頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例序號Xy所屬類型（期望輸出）1-915021813-12404-450501106591第27頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例定義：>>n=0.2;>>P=[-91-12-40,5;...15-84511,9];>>d=[0,1,0,0,0,1];>>P=[ones(1,6);P]第28頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例（2）初始化，將權值和偏置初始化為零。>>w=[0,0,0];（3）第一次迭代。>>v=w*P %輸出層的輸入>>y=hardlim(v) %計算網(wǎng)絡的輸出根據(jù)調(diào)整權值>>e=(d-y) %誤差>>ee=mae(e) %計算誤差的平均絕對差>>w=w+n*(T-y)*P' %調(diào)整w第29頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例（4）第二次迭代。重復以上的步驟>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)%誤差不為零！>>w=w+n*(T-y)*P'均勻分布元素的方差第30頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例（5）第三次迭代，重復以上步驟。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'第31頁，課件共145頁，創(chuàng)作于2023年2月5.單層感知器應用實例（6）第四次迭代。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'perception_hand.m誤差為零，權值w不再更新，得到的分類超平面為：第32頁，課件共145頁，創(chuàng)作于2023年2月4.單層感知器應用實例2.使用工具箱函數(shù)用到的函數(shù)：newptrainsimperception_fcn.m第33頁，課件共145頁，創(chuàng)作于2023年2月程序%perception_hand.m%%清理（1）定義變量定義輸入期望輸出clear,clccloseall%%n=0.2;%學習率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];P第34頁，課件共145頁，創(chuàng)作于2023年2月P=111111-91-12-40515-845119第35頁，課件共145頁，創(chuàng)作于2023年2月%%（2）顯示要分類的點figure;subplot(2,1,1);%顯示待分類的點和分類結果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標點的二分類');第36頁，課件共145頁，創(chuàng)作于2023年2月第37頁，課件共145頁，創(chuàng)作于2023年2月%%（3）初始化w=[0,0,0];%%（4）第一次迭代計算V和y值v=w*P;vy=hardlim(v);%實際輸出y%%y是實際輸出，與期望輸出d不一致需要根據(jù)誤差d-y調(diào)整權值和偏置e=(d-y);eee=mae(e);eew=w+n*(d-y)*P';w第38頁，課件共145頁，創(chuàng)作于2023年2月v=000000y=111111e=-10-1-1-10ee=0.6667w=-0.80005.0000-7.0000第39頁，課件共145頁，創(chuàng)作于2023年2月%%（5）第二次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，實際輸出與期望輸出仍然不一致，還需要再次調(diào)整w向量w=w+n*(d-y)*P';w第40頁，課件共145頁，創(chuàng)作于2023年2月v=-150.800060.2000-88.8000-55.8000-77.8000-38.8000y=010000e=000001ee=0.1667w=-0.60006.0000-5.2000第41頁，課件共145頁，創(chuàng)作于2023年2月%%（6）第三次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，mae值與前一次迭代相比沒有變化，但是v值已經(jīng)有了更新，繼續(xù)調(diào)整權值和偏置w=w+n*(d-y)*P';w第42頁，課件共145頁，創(chuàng)作于2023年2月v=-132.600047.0000-93.4000-50.6000-57.8000-17.4000y=010000e=000001ee=0.1667w=-0.40007.0000-3.4000第43頁，課件共145頁，創(chuàng)作于2023年2月%%（7）第四次迭代v=w*P;vy=hardlim(v);%實際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，程序在第四次迭代時就已經(jīng)取得正確的結果，mae值為0，此時算法就收斂了，由于mae值為0，因此即使繼續(xù)更新w向量，其值也保持不變：w=w+n*(d-y)*P';w第44頁，課件共145頁，創(chuàng)作于2023年2月v=-114.400033.8000-98.0000-45.4000-37.80004.0000y=010001e=000000ee=0第45頁，課件共145頁，創(chuàng)作于2023年2月w=w+n*(d-y)*P';ww=-0.40007.0000-3.4000程序在第4次迭代時就已經(jīng)取得了正確的結果，mae值為零。此時算法就收斂了，由于mae值為零，因此繼續(xù)更新w向量，其值也保持不變。第46頁，課件共145頁，創(chuàng)作于2023年2月%%顯示figure;subplot(2,1,1);%顯示待分類的點和分類結果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標點的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第47頁，課件共145頁，創(chuàng)作于2023年2月第48頁，課件共145頁，創(chuàng)作于2023年2月總程序%perception_hand.m%%清理clear,clccloseall%%n=0.2;%學習率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];MAX=20;%最大迭代次數(shù)為20次%%訓練i=0;第49頁，課件共145頁，創(chuàng)作于2023年2月while1v=w*P;y=hardlim(v);%實際輸出

%更新

e=(d-y);ee(i+1)=mae(e);if(ee(i+1)<0.001)%判斷

disp('wehavegotit:');disp(w);break;end%更新權值和偏置

w=w+n*(d-y)*P';第50頁，課件共145頁，創(chuàng)作于2023年2月if(i>=MAX)%達到最大迭代次數(shù)，退出

disp('MAXtimesloop');disp(w);disp(ee(i+1));break;endi=i+1;end第51頁，課件共145頁，創(chuàng)作于2023年2月%%顯示figure;subplot(2,1,1);%顯示待分類的點和分類結果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標點的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第52頁，課件共145頁，創(chuàng)作于2023年2月subplot(2,1,2);%顯示mae值的變化x=0:i;plot(x,ee,'o-');s=sprintf('mae的值(迭代次數(shù):%d)',i+1);title(s);第53頁，課件共145頁，創(chuàng)作于2023年2月第54頁，課件共145頁，創(chuàng)作于2023年2月線性神經(jīng)網(wǎng)絡第55頁，課件共145頁，創(chuàng)作于2023年2月Outline1.線性神經(jīng)網(wǎng)絡的結構2.LMS學習算法3.LMS算法中學習率的選擇4.線性神經(jīng)網(wǎng)絡與感知器的對比5.線性神經(jīng)網(wǎng)絡實現(xiàn)直線擬合6.線性神經(jīng)網(wǎng)絡應用實例-與第56頁，課件共145頁，創(chuàng)作于2023年2月1.線性神經(jīng)網(wǎng)絡的結構線性神經(jīng)網(wǎng)絡最典型的例子是自適應線性元件（AdaptiveLinearElement，Adaline）。線性神經(jīng)網(wǎng)絡與感知器的主要區(qū)別在于，感知器的傳輸函數(shù)只能輸出兩種可能的值，而線性神經(jīng)網(wǎng)絡的輸出可以取任意值，其傳輸函數(shù)是線性函數(shù)。線性神經(jīng)網(wǎng)絡在收斂的精度和速度上較感知器都有了較大提高，但由于其線性運算規(guī)則，它也只能解決線性可分的問題。

第57頁，課件共145頁，創(chuàng)作于2023年2月1.線性神經(jīng)網(wǎng)絡的結構線性神經(jīng)網(wǎng)絡在結構上與感知器網(wǎng)絡非常相似，只是神經(jīng)元傳輸函數(shù)不同。第58頁，課件共145頁，創(chuàng)作于2023年2月1.線性神經(jīng)網(wǎng)絡的結構若網(wǎng)絡中包含多個神經(jīng)元節(jié)點，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡叫Madaline網(wǎng)絡。Madaline可以用一種間接的方式解決線性不可分的問題，方法是用多個線性函數(shù)對區(qū)域進行劃分，然后對各個神經(jīng)元的輸出做邏輯運算。第59頁，課件共145頁，創(chuàng)作于2023年2月1.線性神經(jīng)網(wǎng)絡的結構線性神經(jīng)網(wǎng)絡解決線性不可分問題的另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成分，這樣做會使等效的輸入維度變大。第60頁，課件共145頁，創(chuàng)作于2023年2月2.LMS學習算法LMS算法與感知器網(wǎng)絡的學習算法在權值調(diào)整上都基于糾錯學習規(guī)則，但LMS更易實現(xiàn)，因此得到了廣泛應用，成為自適應濾波的標準算法。也稱為規(guī)則采用均方誤差作為評價指標是輸入訓練樣本的個數(shù)。線性神經(jīng)網(wǎng)絡學習的目標是找到適當?shù)?，使得誤差的均方差最小。只要用對求偏導，再令該偏導等于零即可求出的極值。顯然，必為正值，因此二次函數(shù)是凹向上的，求得的極值必為極小值。第61頁，課件共145頁，創(chuàng)作于2023年2月2.LMS學習算法誤差表示為求導誤差等于期望輸出—實際輸出求導代入，有：權值的修正值正比于當前位置上的梯度第62頁，課件共145頁，創(chuàng)作于2023年2月2.LMS學習算法（1）定義變量和參數(shù)。（2）初始化。給向量賦一個較小的隨機初值。（3）輸入樣本，計算實際輸出和誤差。（4）調(diào)整權值向量。（5）判斷算法是否收斂。若滿足收斂條件，則算法結束，否則跳轉到第3步重新計算。第63頁，課件共145頁，創(chuàng)作于2023年2月3.LMS算法中學習率的選擇學習率越小，算法的運行時間就越長，算法也就記憶了更多過去的數(shù)據(jù)。因此，學習率的倒數(shù)反映了LMS算法的記憶容量大小。1996年Hayjin證明，只要學習率滿足下式，LMS算法就是按方差收斂的：輸入向量自相關矩陣的最大特征值一般不可知，用矩陣的跡代替，跡就是主對角線元素之和。第64頁，課件共145頁，創(chuàng)作于2023年2月3.LMS算法中學習率的選擇自相關矩陣的主對角線元素就是各輸入向量的均方值，故：在感知器學習算法中曾提到，學習率隨著學習的進行逐漸下降比始終不變更加合理。反比例函數(shù)指數(shù)式下降搜索—收斂方案第65頁，課件共145頁，創(chuàng)作于2023年2月4.線性神經(jīng)網(wǎng)絡與感知器的對比網(wǎng)絡傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)網(wǎng)絡的傳輸函數(shù)是線性的。這就決定了感知器只能做簡單的分類，而線性神經(jīng)網(wǎng)絡還可以實現(xiàn)擬合或逼近。學習算法。LMS算法得到的分類邊界往往處于兩類模式的正中間，而感知器學習算法在剛剛能正確分類的位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。第66頁，課件共145頁，創(chuàng)作于2023年2月5.線性神經(jīng)網(wǎng)絡實現(xiàn)直線擬合對于一些離散的數(shù)據(jù)點，從中找到這些點的規(guī)律，就做一條直線，穿過盡可能多的點，使得這些數(shù)據(jù)和直線上所的估計的點的方差最小，找到的這條直線就是擬合直線，該直線代表了數(shù)據(jù)之間的線性規(guī)律。第67頁，課件共145頁，創(chuàng)作于2023年2月%%清理clear,clccloseall%%定義數(shù)據(jù)P=-5:5;%輸入：11個標量Pd=3*P-7;drandn('state',2); d=d+randn(1,length(d))*1.5%期望輸出：加了噪聲的線性函數(shù)d第68頁，課件共145頁，創(chuàng)作于2023年2月P=[ones(1,length(P));P]%P加上偏置Plp.lr=0.01;%學習率MAX=150;%最大迭代次數(shù)ep1=0.1;%均方差終止閾值ep2=0.0001;%權值變化終止閾值%%初始化w=[0,0];第69頁，課件共145頁，創(chuàng)作于2023年2月%%循環(huán)更新

fori=1:MAXfprintf('第%d次迭代：\n',i)e=d-purelin(w*P);%求得誤差向量

ms(i)=mse(e);%均方差

ms(i)if(ms(i)<ep1)%如果均方差小于某個值，則算法收斂

fprintf('均方差小于指定數(shù)而終止\n');break;end第70頁，課件共145頁，創(chuàng)作于2023年2月dW=lp.lr*e*P';%權值調(diào)整量

if(norm(dW)<ep2)%如果權值變化小于指定值，則算法收斂

fprintf('權值變化小于指定數(shù)而終止\n');break;endw=w+dW%用dW更新權值

end第71頁，課件共145頁，創(chuàng)作于2023年2月%%顯示fprintf('算法收斂于：\nw=(%f,%f),MSE:%f\n',w(1),w(2),ms(i));figure;subplot(2,1,1);%繪制散點和直線plot(P(2,:),d,'o');title('散點與直線擬合結果');xlabel('x');ylabel('y');axis([-6,6,min(d)-1,max(d)+1]);x1=-5:.2:5;y1=w(1)+w(2)*x1;holdon;plot(x1,y1);subplot(2,1,2);%繪制均方差下降曲線semilogy(1:i,ms,'-o');xlabel('迭代次數(shù)');ylabel('MSE');title('均方差下降曲線');第72頁，課件共145頁，創(chuàng)作于2023年2月第73頁，課件共145頁，創(chuàng)作于2023年2月6.線性神經(jīng)網(wǎng)絡應用實例——與網(wǎng)絡的訓練中共需確定3個自由變量，而輸入的訓練向量則有4個，因此可以形成一個線性方程組：由于方程的個數(shù)超過了自變量的個數(shù)，因此方程沒有精確解，只有近似解，用偽逆的方法可以求得權值向量的值：>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P]>>d=[0,0,0,1] >>pinv(P')*d'

第74頁，課件共145頁，創(chuàng)作于2023年2月6.線性神經(jīng)網(wǎng)絡應用實例——與手算：%定義>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P] %包含偏置的輸入向量>>d=[0,0,0,1] %期望輸出向量%初始化>>w=[0,0,0] %權值向量初始化為零向量>>lr=maxlinlr(P) %根據(jù)輸入矩陣求解最大學習率>>MAX=200; %最大迭代次數(shù)，根據(jù)經(jīng)驗確定第75頁，課件共145頁，創(chuàng)作于2023年2月>>fori=1:MAX...fprintf('第%d次迭代\n',i);v=w*P; %求出輸出y=v;disp('線性網(wǎng)絡的二值輸出：');yy=y>=0.5 %將模擬輸出轉化為二值輸出，以0.5為閾值e=d-y; %誤差m(i)=mse(e); %均方誤差fprintf('均方誤差：%f\n',m(i));dw=lr*e*P'; %權值向量的調(diào)整量fprintf('權值向量：\n');w=w+dw %調(diào)整權值向量end6.線性神經(jīng)網(wǎng)絡應用實例——與第76頁，課件共145頁，創(chuàng)作于2023年2月plot([0,0,1],[0,1,0],'o');holdon;plot(1,1,'d');x=-2:.2:2;y=1.5-x;plot(x,y)axis([-0.5,2,-0.5,2])xlabel('x');ylabel('ylabel');title('線性神經(jīng)網(wǎng)絡用于求解與邏輯')legend('0','1','分類面');6.線性神經(jīng)網(wǎng)絡應用實例——與第77頁，課件共145頁，創(chuàng)作于2023年2月得到的分類超平面為：第78頁，課件共145頁，創(chuàng)作于2023年2月使用工具箱函數(shù)：and_linearlayer.m：線性網(wǎng)絡與感知器的對比線性網(wǎng)絡得到的分類面大致位于兩類坐標點的中間位置，而感知器得到的分類面恰好穿過其中一個坐標點。線性神經(jīng)網(wǎng)絡魯棒性強，優(yōu)于感知器。6.線性神經(jīng)網(wǎng)絡應用實例——與第79頁，課件共145頁，創(chuàng)作于2023年2月添加非線性輸入：6.線性神經(jīng)網(wǎng)絡應用實例——異或運行xor_linearlayer.m第80頁，課件共145頁，創(chuàng)作于2023年2月6.線性神經(jīng)網(wǎng)絡應用實例——異或使用Madaline：兩個神經(jīng)元運行xor_madaline.m第81頁，課件共145頁，創(chuàng)作于2023年2月第6章BP神經(jīng)網(wǎng)絡第82頁，課件共145頁，創(chuàng)作于2023年2月Outline1.BP神經(jīng)網(wǎng)絡的結構2.BP網(wǎng)絡的學習算法3.設計BP網(wǎng)絡的方法4.BP神經(jīng)網(wǎng)絡的局限性5.BP神經(jīng)網(wǎng)絡應用實例第83頁，課件共145頁，創(chuàng)作于2023年2月1.BP神經(jīng)網(wǎng)絡的結構

BP神經(jīng)網(wǎng)絡是包含多個隱含層的網(wǎng)絡，具備處理線性不可分問題的能力。誤差反向傳播算法（ErrorBackPropagtion，BP），解決了多層神經(jīng)網(wǎng)絡的學習問題。是一種多層前向網(wǎng)絡，又叫多層感知器。BP網(wǎng)絡是前向神經(jīng)網(wǎng)絡的核心部分，也是整個人工神經(jīng)網(wǎng)絡體系中的精華，廣泛應用于分類識別、逼近、回歸、壓縮等領域。在實際應用中，大約80%的神經(jīng)網(wǎng)絡模型采取了BP網(wǎng)絡或BP網(wǎng)絡的變化形式。第84頁，課件共145頁，創(chuàng)作于2023年2月1.BP神經(jīng)網(wǎng)絡的結構網(wǎng)絡由多層構成，層與層之間全連接，同一層之間的神經(jīng)元無連接。包含一個多多個隱層，可以實現(xiàn)復雜的映射關系。第85頁，課件共145頁，創(chuàng)作于2023年2月1.BP神經(jīng)網(wǎng)絡的結構

BP網(wǎng)絡的傳遞函數(shù)必須可微。BP網(wǎng)絡一般使用Sigmoid函數(shù)或線性函數(shù)作為傳遞函數(shù)。Sigmoid函數(shù)是光滑、可微的函數(shù)，在分類時它比線性函數(shù)更精確，容錯性較好。將輸入從負無窮到正無窮的范圍映射到0~1或-1~1區(qū)間內(nèi)，具有非線性的放大功能。Log-SigmoidTan-Sigmoid第86頁，課件共145頁，創(chuàng)作于2023年2月1.BP神經(jīng)網(wǎng)絡的結構“誤差反向傳播”：誤差信號反向傳播。修正權值時，網(wǎng)絡根據(jù)誤差從后向前逐層進行修正?！胺答伾窠?jīng)網(wǎng)絡”：輸出層的輸出值又連接到輸入神經(jīng)元作為下一次計算的輸入，如此循環(huán)迭代，直到網(wǎng)絡的輸出值進入穩(wěn)定狀態(tài)為止。在本書后面的章節(jié)中會專門介紹反饋神經(jīng)網(wǎng)絡，包括Hopfield網(wǎng)絡、Elman網(wǎng)絡等。BP神經(jīng)網(wǎng)絡屬于多層前向網(wǎng)絡，工作信號始終正向流動，沒有反饋結構。

BP網(wǎng)絡采用誤差反向傳播算法（Back-PropagationAlgorithm）進行學習。在BP網(wǎng)絡中，數(shù)據(jù)從輸入層經(jīng)隱含層逐層向后傳播，訓練網(wǎng)絡權值時，則沿著減少誤差的方向，從輸出層經(jīng)過中間各層逐層向前修正網(wǎng)絡的連接權值。第87頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法BP學習算法的原理與LMS算法比較類似，屬于最速下降法。最速下降法最速下降法可以求某指標（目標函數(shù)）的極小值，若將目標函數(shù)取為均方誤差，就得到了LMS算法。對于實值函數(shù)，如果在某點處有定義且可微，則函數(shù)在該點處沿著梯度相反的方向下降最快。因此，使用梯度下降法時，應首先計算函數(shù)在某點處的梯度，再沿著梯度的反方向以一定的步長調(diào)整自變量的值。當步長足夠小時反復迭代求得函數(shù)最小值第88頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法最速下降法實例：求函數(shù)的最小值根據(jù)梯度值可以再函數(shù)中畫出一系列的等值線或等值面，在等值線或等值面上函數(shù)值相等。梯度下降法相當于沿著垂直于等值線方向向最小值所在位置移動。第89頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法（1）目標函數(shù)必須可微。（2）如果最小值附近比較平坦，算法會在最小值附近停留很久，收斂緩慢。

“之”字形下降（3）對于包含多個極小值的函數(shù)，所獲得的結果依賴初始值。算法有可能陷入局部極小值點，而沒有達到全局最小值點。BP神經(jīng)網(wǎng)絡來說，由于傳遞函數(shù)都是可微的，因此能滿足最速下降法的使用條件。第90頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法最速下降BP法隱含層傳遞函數(shù)為Sigmoid函數(shù)，輸出層傳遞函數(shù)為線性函數(shù)1.工作信號正向傳播2.誤差信號反向傳播權值調(diào)整量=學習率*局部梯度*上一層輸出信號第91頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法當輸出層傳遞函數(shù)為線性函數(shù)時，輸出層與隱含層之間權值調(diào)整的規(guī)則類似于線性神經(jīng)網(wǎng)絡的權值調(diào)整規(guī)則。BP網(wǎng)絡的復雜之處在于，隱含層與隱含層之間、隱含層與輸入層之間調(diào)整權值時，局部梯度的計算需要用到上一步計算的結果。前一層的局部梯度是后一層局部梯度的加權和。因此，BP網(wǎng)絡學習權值時只能從后向前依次計算。串行方式。在線方式，網(wǎng)絡每獲得一個新樣本，就計算一次誤差并更新權值，直到樣本輸入完畢。隨機輸入樣本，不容易陷入局部最優(yōu)陷阱。批量方式：離線方式。網(wǎng)絡獲得所有的訓練樣本，計算所有樣本均方誤差的和作為總誤差。容易并行化，速度快。第92頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法動量BP法在標準BP算法的權值更新階段引入動量因子，使權值修正值具有一定慣性：本次權值的更新方向和幅度不但與本次計算所得的梯度有關，還與上一次更新的方向和幅度有關（1）如果前后兩次計算所得的梯度方向相同，得到的權值較大，可以加速收斂過程。（2）如果前后兩次計算所得梯度方向相反，則說明兩個位置之間可能存在一個極小值，可以得到一個較小的步長，更容易找到最小值點，而不會陷入來回振蕩第93頁，課件共145頁，創(chuàng)作于2023年2月2.BP網(wǎng)絡的學習算法

學習率可變的BP算法：當誤差以減小的方式趨于目標時，說明修正方向是正確的，可以增加學習率；當誤差增加超過一定范圍時，說明前一步修正進行地不正確，應減小步長，并撤銷前一步修正過程。

擬牛頓法。牛頓法具有收斂快的優(yōu)點，但需要計算誤差性能函數(shù)的二階導數(shù)，計算較為復雜。擬牛頓法只需要知道目標函數(shù)的梯度，通過測量梯度的變化進行迭代，收斂速度大大優(yōu)于最速下降法。擬牛頓法有DFP方法、BFGS方法、SR1方法和Broyden族方法。第94頁，課件共145頁，創(chuàng)作于2023年2月3.設計BP網(wǎng)絡的方法1.網(wǎng)絡層數(shù)。對于大部分應用場合，單個隱含層即可滿足需要2.輸入層節(jié)點數(shù)。輸入層節(jié)點數(shù)取決于輸入向量的維數(shù)。如果輸入的是的圖像，則輸入向量應為圖像中所有的像素形成的4096維向量。如果待解決的問題是二元函數(shù)擬合，則輸入向量應為二維向量。3.隱含層節(jié)點數(shù)。較多的隱含層節(jié)點數(shù)可以帶來更好的性能，但可能導致訓練時間過長。經(jīng)驗公式：BP網(wǎng)絡的設計主要包括網(wǎng)絡層數(shù)、輸入層節(jié)點數(shù)、隱含層節(jié)點數(shù)、輸出層節(jié)點數(shù)及傳輸函數(shù)、訓練方法、訓練參數(shù)的設置等幾個方面。樣本數(shù)輸入層結點數(shù)第95頁，課件共145頁，創(chuàng)作于2023年2月3.設計BP網(wǎng)絡的方法輸出層神經(jīng)元的個數(shù)同樣需要根據(jù)從實際問題中得到的抽象模型來確定。在模式分類問題中，如果共有n種類別，則輸出可以采用n個神經(jīng)元。也可以將節(jié)點個數(shù)設計為個，表示最小的不小于的整數(shù)。由于輸出共有4種情況，因此采用二維輸出即可覆蓋整個輸出空間，00、01、10和11分別表示一種類別。輸出層神經(jīng)元個數(shù)傳遞函數(shù)的選擇一般隱含層使用Sigmoid函數(shù)，而輸出層使用線性函數(shù)。如果輸出層也采用Sigmoid函數(shù)，輸出值將會被限制在0~1或-1~1之間。第96頁，課件共145頁，創(chuàng)作于2023年2月3.設計BP網(wǎng)絡的方法訓練方法的選擇使用LM算法收斂速度最快，均方誤差也較小。LM算法對于模式識別相關問題的處理能力較弱，且需要較大的存儲空間模式識別問題，使用RPROP算法能收到較好的效果SCG算法對于模式識別和函數(shù)逼近問題都有較好的性能表現(xiàn)。初始權值的確定通常將初始權值定義為較小的非零隨機值，經(jīng)驗值為：權值輸入端連接的神經(jīng)元個數(shù)第97頁，課件共145頁，創(chuàng)作于2023年2月3.設計BP網(wǎng)絡的方法確定以上參數(shù)后，將訓練數(shù)據(jù)進行歸一化處理，并輸入網(wǎng)絡中進行學習，若網(wǎng)絡成功收斂，即可得到所需的神經(jīng)網(wǎng)絡。第98頁，課件共145頁，創(chuàng)作于2023年2月4.BP神經(jīng)網(wǎng)絡的局限性BP網(wǎng)絡具有實現(xiàn)任何復雜非線性映射的能力，特別適合求解內(nèi)部機制復雜的問題，但BP網(wǎng)絡也具有一些難以克服的局限性（1）需要的參數(shù)較多，且參數(shù)的選擇沒有有效的方法。隱含層結點個數(shù)。（2）容易陷入局部最優(yōu)。（3）樣本依賴性。如果樣本集合代表性差、矛盾樣本多、存在冗余樣本，網(wǎng)絡就很難達到預期的性能（4）初始權重敏感性。訓練的第一步是給定一個較小的隨機初始權重，由于權重是隨機給定的，BP網(wǎng)絡往往具有不可重現(xiàn)性。第99頁，課件共145頁，創(chuàng)作于2023年2月5.BP神經(jīng)網(wǎng)絡應用實例實現(xiàn)二值邏輯——異或學習率為0.6，動量因子為0.8，默認最大迭代次數(shù)為1000次采用手算實現(xiàn)基于BP網(wǎng)絡的異或邏輯。訓練時采用批量訓練的方法，訓練算法使用帶動量因子的最速下降法。main_xor.m第100頁，課件共145頁，創(chuàng)作于2023年2月6.BP神經(jīng)網(wǎng)絡應用實例分類面xy第101頁，課件共145頁，創(chuàng)作于2023年2月%%清理clearallclcrandn('state',2);%%參數(shù)eb=0.01;%誤差容限eta=0.6;%學習率mc=0.8;%動量因子maxiter=1000;%最大迭代次數(shù)第102頁，課件共145頁，創(chuàng)作于2023年2月%%初始化網(wǎng)絡nSampNum=4;nSampDim=2;nHidden=3;nOut=1;w=2*(rand(nHidden,nSampDim)-1/2);b=2*(rand(nHidden,1)-1/2);wex=[w,b];

W=2*(rand(nOut,nHidden)-1/2);B=2*(rand(nOut,1)-1/2);WEX=[W,B];第103頁，課件共145頁，創(chuàng)作于2023年2月%%數(shù)據(jù)SampIn=[0,0,1,1;...0,1,0,1;...1,1,1,1];expected=[0,1,1,0];第104頁，課件共145頁，創(chuàng)作于2023年2月%%訓練iteration=0;errRec=[];outRec=[];

fori=1:maxiter%工作信號正向傳播

hp=wex*SampIn;tau=logsig(hp);tauex=[tau',1*ones(nSampNum,1)]';第105頁，課件共145頁，創(chuàng)作于2023年2月HM=WEX*tauex;out=logsig(HM);outRec=[outRec,out'];

err=expected-out;sse=sumsqr(err);errRec=[errRec,sse];fprintf('第%d次迭代，誤差：%f\n',i,sse)第106頁，課件共145頁，創(chuàng)作于2023年2月%判斷是否收斂

iteration=iteration+1;ifsse<=ebbreak;end

%誤差信號反向傳播

%DELTA和delta為局部梯度

DELTA=err.*dlogsig(HM,out);delta=W'*DELTA.*dlogsig(hp,tau);dWEX=DELTA*tauex';dwex=delta*SampIn';第107頁，課件共145頁，創(chuàng)作于2023年2月

%更新權值

ifi==1WEX=WEX+eta*dWEX;wex=wex+eta*dwex;elseWEX=WEX+(1-mc)*eta*dWEX+mc*dWEXOld;wex=wex+(1-mc)*eta*dwex+mc*dwexOld;end

dWEXOld=dWEX;dwexOld=dwex;

W=WEX(:,1:nHidden);

end第108頁，課件共145頁，創(chuàng)作于2023年2月%%顯示figure(1)grid[nRow,nCol]=size(errRec);semilogy(1:nCol,errRec,'LineWidth',1.5);title('誤差曲線');xlabel('迭代次數(shù)');x=-0.2:.05:1.2;[xx,yy]=meshgrid(x);第109頁，課件共145頁，創(chuàng)作于2023年2月fori=1:length(xx)forj=1:length(yy)xi=[xx(i,j),yy(i,j),1];hp=wex*xi';tau=logsig(hp);tauex=[tau',1]';HM=WEX*tauex;out=logsig(HM);z(i,j)=out;endend第110頁，課件共145頁，創(chuàng)作于2023年2月figure(2)mesh(x,x,z);figure(3)plot([0,1],[0,1],'*','LineWidth',2);holdonplot([0,1],[1,0],'o','LineWidth',2);[C,h]=contour(x,x,z,0.5,'b');clabel(C,h);legend('0','1','分類面');title('分類面')第111頁，課件共145頁，創(chuàng)作于2023年2月徑向基函數(shù)網(wǎng)絡第112頁，課件共145頁，創(chuàng)作于2023年2月Outline1.徑向基神經(jīng)網(wǎng)絡的兩種結構2.徑向基神經(jīng)網(wǎng)絡的學習算法3.徑向基神經(jīng)網(wǎng)絡與多層感知器的比較4.概率神經(jīng)網(wǎng)絡5.廣義回歸神經(jīng)網(wǎng)絡6.徑向基網(wǎng)絡應用實例第113頁，課件共145頁，創(chuàng)作于2023年2月1.徑向基神經(jīng)網(wǎng)絡的兩種結構Broomhead和Lowe根據(jù)生物神經(jīng)元具有局部響應的原理，將徑向基函數(shù)引入到神經(jīng)網(wǎng)絡中。很快，RBF網(wǎng)絡被證明對非線性網(wǎng)絡具有一致逼近的性能，在不同行業(yè)和領域逐步得到了廣泛應用。由三層構成的前向網(wǎng)絡。第一層為輸入層，節(jié)點個數(shù)等于輸入的維數(shù)；第二層為隱含層，節(jié)點個數(shù)視問題的復雜度而定；第三層為輸出層，節(jié)點個數(shù)等于輸出數(shù)據(jù)的維數(shù)。隱含層是非線性的，采用徑向基函數(shù)作為基函數(shù)，從而將輸入向量空間轉換到隱含層空間，使原來線性不可分的問題變得線性可分，輸出層則是線性的。徑向基網(wǎng)絡概率神經(jīng)網(wǎng)絡廣義回歸網(wǎng)絡模式分類和函數(shù)逼近第114頁，課件共145頁，創(chuàng)作于2023年2月1.徑向基神經(jīng)網(wǎng)絡的兩種結構徑向基函數(shù)：有多種形式，其中最為常用的，是高斯函數(shù)輸入層隱含層輸出層（線性）1.正則化網(wǎng)絡是一個通用逼近器，這意味著，只要有足夠多的隱含節(jié)點，它就可以以任意精度逼近任意多遠連續(xù)函數(shù)。2.給定一個未知的非線性函數(shù)f，總可以選擇一組系數(shù)，使得網(wǎng)絡對f的逼近是最優(yōu)的。第115頁，課件共145頁，創(chuàng)作于2023年2月1.徑向基神經(jīng)網(wǎng)絡的兩種結構正則化網(wǎng)絡的一個特點就是：隱含節(jié)點的個數(shù)等于輸入訓練樣本的個數(shù)。因此如果訓練樣本的個數(shù)N過大，網(wǎng)絡的計算量將是驚人的，從而導致過低的效率甚至根本不可實現(xiàn)。解決的方案是用Galerkin方法來減少隱含層神經(jīng)單元的個數(shù)，此時求得的解是較低維數(shù)空間上的次優(yōu)解。這就是廣義網(wǎng)絡在實際應用中，一般都采用廣義徑向基函數(shù)網(wǎng)絡。第116頁，課件共145頁，創(chuàng)作于2023年2月2.徑向基神經(jīng)網(wǎng)絡的學習算法確定隱含層結點中心隱含層中基函數(shù)的標準差網(wǎng)絡權值（隱含層到輸出層）所選取的中心之間的最大距離n為隱含節(jié)點的個數(shù)隨機選取固定中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘法網(wǎng)絡權值可以采用偽逆法G為隱含層輸出，d為輸出層的期望輸出第117頁，課件共145頁，創(chuàng)作于2023年2月3.徑向基神經(jīng)網(wǎng)絡與多層感知器的比較徑向基神經(jīng)網(wǎng)絡是三層網(wǎng)絡（輸入層、隱含層、輸出層），只有一個隱含層，而多層感知器則可以有多個隱含層徑向基神經(jīng)網(wǎng)絡的隱含層和輸出層完全不同，隱含層采用非線性函數(shù)（徑向基函數(shù)）作為基函數(shù)，而輸出層采用線性函數(shù)，兩者作用不同。徑向基神經(jīng)網(wǎng)絡的基函數(shù)計算的是輸入向量與基函數(shù)中心之間的歐式距離（兩者取差值，再取歐幾里德范數(shù)），而多層感知器的隱單元的激勵函數(shù)則計算輸入向量與權值的內(nèi)積多層感知器對非線性映射全局逼近，徑向基函數(shù)局部逼近第118頁，課件共145頁，創(chuàng)作于2023年2月4.概率神經(jīng)網(wǎng)絡概率神經(jīng)網(wǎng)絡（ProbabilisticNeuralNetworks，PNN）在模式分類問題中獲得了廣泛應用。概率神經(jīng)網(wǎng)絡可以視為一種徑向基神經(jīng)網(wǎng)絡，在RBF網(wǎng)絡的基礎上，融合了密度函數(shù)估計和貝葉斯決策理論。在某些易滿足的條件下，以PNN實現(xiàn)的判別邊界漸進地逼近貝葉斯最佳判定面。貝葉斯：通過先驗概率求后驗概率。第119頁，課件共145頁，創(chuàng)作于2023年2月4.概率神經(jīng)網(wǎng)絡第一層為輸入層，用于接收來自訓練樣本的值，將數(shù)據(jù)傳遞給隱含層徑向基層，每一個隱含層的神經(jīng)元節(jié)點擁有一個中心，該層接收輸入層的樣本輸入，計算輸入向量與中心的距離，最后返回一個標量值求和層把隱含層中屬于同一類的隱含神經(jīng)元的輸出做加權平均輸出層取求和層中最大的一個作為輸出的類別概率神經(jīng)網(wǎng)絡由輸入層、隱含層、求和層和輸出層組成第120頁，課件共145頁，創(chuàng)作于2023年2月4.概率神經(jīng)網(wǎng)絡PNN網(wǎng)絡的優(yōu)點訓練容易，收斂速度快，從而非常適用于實時處理?？梢詫崿F(xiàn)任意的非線性逼近，用PNN網(wǎng)絡所形成的判決曲面與貝葉斯最優(yōu)準則下的曲面非常接近。只要有充足的樣本數(shù)據(jù)，概率神經(jīng)網(wǎng)絡都能收斂到貝葉斯分類器，沒有BP網(wǎng)絡的局部極小值問題擴充性能好。網(wǎng)絡的學習過程簡單，增加或減少類別模式時不需要重新進行長時間的訓練學習第121頁，課件共145頁，創(chuàng)作于2023年2月5.廣義回歸神經(jīng)網(wǎng)絡廣義回歸神經(jīng)網(wǎng)絡（GeneralRegressionNeuralNetwork，GRNN）是徑向基網(wǎng)絡的另外一種變形形式

廣義回歸網(wǎng)絡以徑向基網(wǎng)絡為基礎，因此具有良好的非線性逼近性能，與徑向基網(wǎng)絡相比，訓練更為方便廣義回歸神經(jīng)網(wǎng)絡尤其適合解決曲線擬合的問題在MATLAB中newgrnn函數(shù)可以方便的實現(xiàn)GRNN網(wǎng)絡第122頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例異或問題RBF網(wǎng)絡曲線擬合第123頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例異或問題輸入層為兩個神經(jīng)元，輸出層為一個神經(jīng)元，隱含層定位兩個神經(jīng)元1.顯然問題是對稱的，因此假定輸出單元的兩個權值相等，即w1=w2=w2.輸出單元擁有一個偏置b，以保證網(wǎng)絡具有非零均值的輸出值兩個隱含層結點的中心：t1=[1,1]T，t2=[0,0]T第124頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例輸入數(shù)據(jù)（0,0），（1,0），（0,1），（1,1）gji表示第j個輸入向量與第i個隱含節(jié)點的中心的距離。>>x=[0,0;0,1;1,1;1,0] %輸入向量>>t=[0,1;0,1] %隱含節(jié)點的中心>>z=dist(x,t) %計算輸入向量到中心的距離>>G=radbas(z) %將算得的距離輸入到徑向基函數(shù)中G相當于徑向基層的輸出。再加上偏置b=1，形成矩陣第125頁，課件共145頁，創(chuàng)作于2023年2月>>G=[G,ones(4,1)] %加上偏置>>d=[0,1,0,1]‘ %期望輸出>>w=inv(G.'*G)*G.'*d %求權值向量d=[0,1,0,1]T，w=[w,w,b]T采用以下公式求解w最終：w=[-2.5027,-2.5027,2.8413]T計算實際輸出：>>Y=G*w %%計算實際輸出第126頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例忽略第三列偏置，第一行是第一個輸入向量[0,0]T在隱含層的輸出，其余行以此類推。表示為坐標的形式RBF網(wǎng)絡的隱含層經(jīng)過高斯函數(shù)的運算，將原向量空間中的四個點映射為隱含層空間中的三個點。原空間中四個點線性不可分，而在新的空間中卻可由一條直線正確地分成兩類一些解釋第127頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例%xor_hand.m%%清理clearallcloseallclc%%輸入%輸入向量x=[0,0;0,1;1,1;1,0]%隱含節(jié)點的中心t=[0,1;0,1]第128頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例%%計算網(wǎng)絡%計算輸入向量到中心的距離z=dist(x,t)%將算得的距離輸入到徑向基函數(shù)中G=radbas(z)%加上偏置G=[G,ones(4,1)]第129頁，課件共145頁，創(chuàng)作于2023年2月6.徑向基網(wǎng)絡應用實例%期望輸出d=[0,1,0,1]'%