神經(jīng)網(wǎng)絡(luò)與仿真

關(guān)于神經(jīng)網(wǎng)絡(luò)與仿真第1頁，講稿共145頁，2023年5月2日，星期三Outline1.人工神經(jīng)網(wǎng)絡(luò)簡介2.神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及應(yīng)用3.神經(jīng)網(wǎng)絡(luò)模型4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式第2頁，講稿共145頁，2023年5月2日，星期三1.人工神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），通常簡稱為神經(jīng)網(wǎng)絡(luò)，是一種在生物神經(jīng)網(wǎng)絡(luò)的啟示下建立的數(shù)據(jù)處理模型。主要通過調(diào)整神經(jīng)元之間的權(quán)值來對輸入的數(shù)據(jù)進(jìn)行建模，最終具備解決實(shí)際問題。第3頁，講稿共145頁，2023年5月2日，星期三1.人工神經(jīng)網(wǎng)絡(luò)簡介

單層感知器結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)的可塑性表現(xiàn)于，其連接權(quán)值都是可調(diào)整的，它將一系列僅具有簡單處理能力的節(jié)點(diǎn)通過權(quán)值相連，當(dāng)權(quán)值調(diào)整至恰當(dāng)時，就能輸出正確的結(jié)果。網(wǎng)絡(luò)將知識存儲在調(diào)整后的各權(quán)值中，這一點(diǎn)是神經(jīng)網(wǎng)絡(luò)的精髓。第4頁，講稿共145頁，2023年5月2日，星期三2.神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及應(yīng)用1.自學(xué)習(xí)和自適應(yīng)性。給神經(jīng)網(wǎng)絡(luò)輸入新的訓(xùn)練樣本，網(wǎng)絡(luò)能夠自動調(diào)整結(jié)構(gòu)參數(shù)，改變映射關(guān)系2.非線性性。人工神經(jīng)元處于激活或抑制狀態(tài)，表現(xiàn)為數(shù)學(xué)上的非線性關(guān)系。3.魯棒性與容錯性。局部的損害會使人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行適度減弱，但不會產(chǎn)生災(zāi)難性的錯誤。4.計算的并行性與存儲的分布性。每個神經(jīng)元都可以根據(jù)接收到的信息進(jìn)行獨(dú)立運(yùn)算和處理。人工神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的模式識別和數(shù)據(jù)擬合能力

第5頁，講稿共145頁，2023年5月2日，星期三2.神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及應(yīng)用1.模式分類。需要提供已知樣本2.聚類。不需要提供已知樣本。3.回歸與擬合。相似的樣本輸入在神經(jīng)網(wǎng)絡(luò)的映射下，往往能得到相近的輸出。4.優(yōu)化計算。尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達(dá)到最小值。5.數(shù)據(jù)壓縮。將數(shù)據(jù)保存于連接權(quán)值中。第6頁，講稿共145頁，2023年5月2日，星期三3.神經(jīng)網(wǎng)絡(luò)模型單層網(wǎng)絡(luò)：單層感知器，線性網(wǎng)絡(luò)。多層網(wǎng)絡(luò)：其他網(wǎng)絡(luò)。前向網(wǎng)絡(luò)：BP、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)等。反饋網(wǎng)絡(luò)：Hopfield網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)等。本書共介紹了單層感知器、線性網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、自組織競爭網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、隨機(jī)神經(jīng)網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)模型。第7頁，講稿共145頁，2023年5月2日，星期三4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式1.有監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）。訓(xùn)練樣本對應(yīng)一個教師信號。2.無監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）。網(wǎng)絡(luò)只接受一系列的輸入樣本，而對該樣本應(yīng)有的輸出值一無所知。1.Hebb學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與輸入前一神經(jīng)元輸出值和后一神經(jīng)元輸出值的乘積成正比。2.糾錯學(xué)習(xí)規(guī)則：權(quán)值的調(diào)整量與誤差大小成正比。3.隨機(jī)學(xué)習(xí)規(guī)則：Boltzmann機(jī)事實(shí)上就是模擬退火算法。4.競爭學(xué)習(xí)規(guī)則：只有一個獲勝神經(jīng)元可以進(jìn)行權(quán)值調(diào)整，其他神經(jīng)元的權(quán)值維持不變，體現(xiàn)了神經(jīng)元之間的側(cè)向抑制。第8頁，講稿共145頁，2023年5月2日，星期三單神經(jīng)元網(wǎng)絡(luò)第9頁，講稿共145頁，2023年5月2日，星期三神經(jīng)元模型圖中為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號，，為表示從單元到單元的連接權(quán)系數(shù)，單神經(jīng)元模型可描述為：第10頁，講稿共145頁，2023年5月2日，星期三通常情況下，取即第11頁，講稿共145頁，2023年5月2日，星期三圖7-1單神經(jīng)元模型第12頁，講稿共145頁，2023年5月2日，星期三常用的神經(jīng)元非線性特性有以下四種：（1）閾值型圖7-2閾值型函數(shù)第13頁，講稿共145頁，2023年5月2日，星期三（2）分段線性型圖7-3分段線性函數(shù)第14頁，講稿共145頁，2023年5月2日，星期三（3）Sigmoid函數(shù)型圖7-4Sigmoid函數(shù)第15頁，講稿共145頁，2023年5月2日，星期三單層感知器第16頁，講稿共145頁，2023年5月2日，星期三Outline1.單層感知器的結(jié)構(gòu)2.單層感知器的學(xué)習(xí)算法3.感知器的局限性4.單層感知器應(yīng)用實(shí)例第17頁，講稿共145頁，2023年5月2日，星期三1.單層感知器的結(jié)構(gòu)單層感知器屬于單層前向網(wǎng)絡(luò)，即除了輸入層和輸出層之外只擁有一層神經(jīng)元節(jié)點(diǎn)。

感知器（perception）的原理相對簡單，是學(xué)習(xí)其他復(fù)雜神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。由單個神經(jīng)元組成的單層感知器只能用來解決線性可分的二分類問題。典型使用場景：將其用于兩類模式分類時，就相當(dāng)于在高維樣本空間中，用一個超平面將樣本分開。Rosenblatt證明，如果兩類模式線性可分，則算法一定收斂。第18頁，講稿共145頁，2023年5月2日，星期三1.單層感知器的結(jié)構(gòu)輸入是一個N維向量其中的每一個分量都對應(yīng)于一個權(quán)值，隱含層的輸出疊加為一個標(biāo)量值：隨后在二值閾值元件中對得到的v值進(jìn)行判斷，產(chǎn)生二值輸出：第19頁，講稿共145頁，2023年5月2日，星期三1.單層感知器的結(jié)構(gòu)二維空間中的超平面是一條直線。在直線下方的點(diǎn)，輸出-1；在直線上方的點(diǎn)，輸出1。分類面：第20頁，講稿共145頁，2023年5月2日，星期三2.單層感知器的學(xué)習(xí)算法在實(shí)際應(yīng)用中，通常采用糾錯學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。將偏置作為一個固定輸入輸入權(quán)值第21頁，講稿共145頁，2023年5月2日，星期三2.單層感知器的學(xué)習(xí)算法（1）定義變量和參數(shù)。X為輸入，y為實(shí)際輸出，d為期望輸出，b為偏置，w為權(quán)值。（2）初始化。n=0，將權(quán)值向量設(shè)置為隨機(jī)值或全零值。（3）激活。輸入訓(xùn)練樣本，對每個訓(xùn)練樣本指定其期望輸出

。d（4）計算實(shí)際輸出。第22頁，講稿共145頁，2023年5月2日，星期三2.單層感知器的學(xué)習(xí)算法（5）更新權(quán)值向量。（6）判斷。若滿足收斂條件，算法結(jié)束；若不滿足，n自增1，轉(zhuǎn)到第3步繼續(xù)執(zhí)行。誤差小于某個預(yù)先設(shè)定的較小的值兩次迭代之間的權(quán)值變化已經(jīng)很小設(shè)定最大迭代次數(shù)M，當(dāng)?shù)薓次之后算法就停止迭代條件的混合使用，防止出現(xiàn)算法不收斂現(xiàn)象。

第23頁，講稿共145頁，2023年5月2日，星期三2.單層感知器的學(xué)習(xí)算法確定學(xué)習(xí)率不應(yīng)當(dāng)過大，以便為輸入向量提供一個比較穩(wěn)定的權(quán)值估計不應(yīng)當(dāng)過小，以便使權(quán)值能夠根據(jù)輸入的向量x實(shí)時變化，體現(xiàn)誤差對權(quán)值的修正作用粗準(zhǔn)焦螺旋和細(xì)準(zhǔn)焦螺旋的類比?！赃m應(yīng)學(xué)習(xí)率。第24頁，講稿共145頁，2023年5月2日，星期三3.感知器的局限性單層感知器無法解決線性不可分問題，只能做近似分類。感知器的激活函數(shù)使用閾值函數(shù)，輸出值只有兩種取值，限制了在分類種類上的擴(kuò)展。如果輸入樣本存在奇異樣本，網(wǎng)絡(luò)需要花費(fèi)很長的時間。感知器的學(xué)習(xí)算法只對單層有效。第25頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例1.手算2.使用工具箱函數(shù)坐標(biāo)點(diǎn)的二類模式分類問題：二維平面坐標(biāo)系中存在一系列坐標(biāo)點(diǎn)，已知部分坐標(biāo)點(diǎn)屬于第一類，部分坐標(biāo)點(diǎn)屬于第二類，求新坐標(biāo)點(diǎn)的類別。第26頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例序號Xy所屬類型（期望輸出）1-915021813-12404-450501106591第27頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例定義：>>n=0.2;>>P=[-91-12-40,5;...15-84511,9];>>d=[0,1,0,0,0,1];>>P=[ones(1,6);P]第28頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例（2）初始化，將權(quán)值和偏置初始化為零。>>w=[0,0,0];（3）第一次迭代。>>v=w*P %輸出層的輸入>>y=hardlim(v) %計算網(wǎng)絡(luò)的輸出根據(jù)調(diào)整權(quán)值>>e=(d-y) %誤差>>ee=mae(e) %計算誤差的平均絕對差>>w=w+n*(T-y)*P' %調(diào)整w第29頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例（4）第二次迭代。重復(fù)以上的步驟>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)%誤差不為零！>>w=w+n*(T-y)*P'均勻分布元素的方差第30頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例（5）第三次迭代，重復(fù)以上步驟。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'第31頁，講稿共145頁，2023年5月2日，星期三5.單層感知器應(yīng)用實(shí)例（6）第四次迭代。>>v=w*P>>y=hardlim(v)>>e=(d-y)>>ee=mae(e)>>w=w+n*(T-y)*P'perception_hand.m誤差為零，權(quán)值w不再更新，得到的分類超平面為：第32頁，講稿共145頁，2023年5月2日，星期三4.單層感知器應(yīng)用實(shí)例2.使用工具箱函數(shù)用到的函數(shù)：newptrainsimperception_fcn.m第33頁，講稿共145頁，2023年5月2日，星期三程序%perception_hand.m%%清理（1）定義變量定義輸入期望輸出clear,clccloseall%%n=0.2;%學(xué)習(xí)率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];P第34頁，講稿共145頁，2023年5月2日，星期三P=111111-91-12-40515-845119第35頁，講稿共145頁，2023年5月2日，星期三%%（2）顯示要分類的點(diǎn)figure;subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點(diǎn)的二分類');第36頁，講稿共145頁，2023年5月2日，星期三第37頁，講稿共145頁，2023年5月2日，星期三%%（3）初始化w=[0,0,0];%%（4）第一次迭代計算V和y值v=w*P;vy=hardlim(v);%實(shí)際輸出y%%y是實(shí)際輸出，與期望輸出d不一致需要根據(jù)誤差d-y調(diào)整權(quán)值和偏置e=(d-y);eee=mae(e);eew=w+n*(d-y)*P';w第38頁，講稿共145頁，2023年5月2日，星期三v=000000y=111111e=-10-1-1-10ee=0.6667w=-0.80005.0000-7.0000第39頁，講稿共145頁，2023年5月2日，星期三%%（5）第二次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實(shí)際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，實(shí)際輸出與期望輸出仍然不一致，還需要再次調(diào)整w向量w=w+n*(d-y)*P';w第40頁，講稿共145頁，2023年5月2日，星期三v=-150.800060.2000-88.8000-55.8000-77.8000-38.8000y=010000e=000001ee=0.1667w=-0.60006.0000-5.2000第41頁，講稿共145頁，2023年5月2日，星期三%%（6）第三次迭代，根據(jù)第一次迭代更新的w向量的值，計算V和y值v=w*P;vy=hardlim(v);%實(shí)際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，mae值與前一次迭代相比沒有變化，但是v值已經(jīng)有了更新，繼續(xù)調(diào)整權(quán)值和偏置w=w+n*(d-y)*P';w第42頁，講稿共145頁，2023年5月2日，星期三v=-132.600047.0000-93.4000-50.6000-57.8000-17.4000y=010000e=000001ee=0.1667w=-0.40007.0000-3.4000第43頁，講稿共145頁，2023年5月2日，星期三%%（7）第四次迭代v=w*P;vy=hardlim(v);%實(shí)際輸出ye=(d-y);eee=mae(e);ee%%可以發(fā)現(xiàn)，程序在第四次迭代時就已經(jīng)取得正確的結(jié)果，mae值為0，此時算法就收斂了，由于mae值為0，因此即使繼續(xù)更新w向量，其值也保持不變：w=w+n*(d-y)*P';w第44頁，講稿共145頁，2023年5月2日，星期三v=-114.400033.8000-98.0000-45.4000-37.80004.0000y=010001e=000000ee=0第45頁，講稿共145頁，2023年5月2日，星期三w=w+n*(d-y)*P';ww=-0.40007.0000-3.4000程序在第4次迭代時就已經(jīng)取得了正確的結(jié)果，mae值為零。此時算法就收斂了，由于mae值為零，因此繼續(xù)更新w向量，其值也保持不變。第46頁，講稿共145頁，2023年5月2日，星期三%%顯示figure;subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點(diǎn)的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第47頁，講稿共145頁，2023年5月2日，星期三第48頁，講稿共145頁，2023年5月2日，星期三總程序%perception_hand.m%%清理clear,clccloseall%%n=0.2;%學(xué)習(xí)率w=[0,0,0];P=[-9,1,-12,-4,0,5;...15,-8,4,5,11,9];d=[0,1,0,0,0,1];%期望輸出P=[ones(1,6);P];MAX=20;%最大迭代次數(shù)為20次%%訓(xùn)練i=0;第49頁，講稿共145頁，2023年5月2日，星期三while1v=w*P;y=hardlim(v);%實(shí)際輸出

%更新

e=(d-y);ee(i+1)=mae(e);if(ee(i+1)<0.001)%判斷

disp('wehavegotit:');disp(w);break;end%更新權(quán)值和偏置

w=w+n*(d-y)*P';第50頁，講稿共145頁，2023年5月2日，星期三if(i>=MAX)%達(dá)到最大迭代次數(shù)，退出

disp('MAXtimesloop');disp(w);disp(ee(i+1));break;endi=i+1;end第51頁，講稿共145頁，2023年5月2日，星期三%%顯示figure;subplot(2,1,1);%顯示待分類的點(diǎn)和分類結(jié)果plot([-9,-12-40],[15,4511],'o');holdon;plot([1,5],[-8,9],'*');axis([-13,6,-10,16]);legend('第一類','第二類');title('6個坐標(biāo)點(diǎn)的二分類');x=-13:.2:6;y=x*(-w(2)/w(3))-w(1)/w(3);plot(x,y);holdoff;第52頁，講稿共145頁，2023年5月2日，星期三subplot(2,1,2);%顯示mae值的變化x=0:i;plot(x,ee,'o-');s=sprintf('mae的值(迭代次數(shù):%d)',i+1);title(s);第53頁，講稿共145頁，2023年5月2日，星期三第54頁，講稿共145頁，2023年5月2日，星期三線性神經(jīng)網(wǎng)絡(luò)第55頁，講稿共145頁，2023年5月2日，星期三Outline1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.LMS學(xué)習(xí)算法3.LMS算法中學(xué)習(xí)率的選擇4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比5.線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)直線擬合6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例-與第56頁，講稿共145頁，2023年5月2日，星期三1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)最典型的例子是自適應(yīng)線性元件（AdaptiveLinearElement，Adaline）。線性神經(jīng)網(wǎng)絡(luò)與感知器的主要區(qū)別在于，感知器的傳輸函數(shù)只能輸出兩種可能的值，而線性神經(jīng)網(wǎng)絡(luò)的輸出可以取任意值，其傳輸函數(shù)是線性函數(shù)。線性神經(jīng)網(wǎng)絡(luò)在收斂的精度和速度上較感知器都有了較大提高，但由于其線性運(yùn)算規(guī)則，它也只能解決線性可分的問題。

第57頁，講稿共145頁，2023年5月2日，星期三1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上與感知器網(wǎng)絡(luò)非常相似，只是神經(jīng)元傳輸函數(shù)不同。第58頁，講稿共145頁，2023年5月2日，星期三1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)若網(wǎng)絡(luò)中包含多個神經(jīng)元節(jié)點(diǎn)，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline網(wǎng)絡(luò)。Madaline可以用一種間接的方式解決線性不可分的問題，方法是用多個線性函數(shù)對區(qū)域進(jìn)行劃分，然后對各個神經(jīng)元的輸出做邏輯運(yùn)算。第59頁，講稿共145頁，2023年5月2日，星期三1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)解決線性不可分問題的另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成分，這樣做會使等效的輸入維度變大。第60頁，講稿共145頁，2023年5月2日，星期三2.LMS學(xué)習(xí)算法LMS算法與感知器網(wǎng)絡(luò)的學(xué)習(xí)算法在權(quán)值調(diào)整上都基于糾錯學(xué)習(xí)規(guī)則，但LMS更易實(shí)現(xiàn)，因此得到了廣泛應(yīng)用，成為自適應(yīng)濾波的標(biāo)準(zhǔn)算法。也稱為規(guī)則采用均方誤差作為評價指標(biāo)是輸入訓(xùn)練樣本的個數(shù)。線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是找到適當(dāng)?shù)?，使得誤差的均方差最小。只要用對求偏導(dǎo)，再令該偏導(dǎo)等于零即可求出的極值。顯然，必為正值，因此二次函數(shù)是凹向上的，求得的極值必為極小值。第61頁，講稿共145頁，2023年5月2日，星期三2.LMS學(xué)習(xí)算法誤差表示為求導(dǎo)誤差等于期望輸出—實(shí)際輸出求導(dǎo)代入，有：權(quán)值的修正值正比于當(dāng)前位置上的梯度第62頁，講稿共145頁，2023年5月2日，星期三2.LMS學(xué)習(xí)算法（1）定義變量和參數(shù)。（2）初始化。給向量賦一個較小的隨機(jī)初值。（3）輸入樣本，計算實(shí)際輸出和誤差。（4）調(diào)整權(quán)值向量。（5）判斷算法是否收斂。若滿足收斂條件，則算法結(jié)束，否則跳轉(zhuǎn)到第3步重新計算。第63頁，講稿共145頁，2023年5月2日，星期三3.LMS算法中學(xué)習(xí)率的選擇學(xué)習(xí)率越小，算法的運(yùn)行時間就越長，算法也就記憶了更多過去的數(shù)據(jù)。因此，學(xué)習(xí)率的倒數(shù)反映了LMS算法的記憶容量大小。1996年Hayjin證明，只要學(xué)習(xí)率滿足下式，LMS算法就是按方差收斂的：輸入向量自相關(guān)矩陣的最大特征值一般不可知，用矩陣的跡代替，跡就是主對角線元素之和。第64頁，講稿共145頁，2023年5月2日，星期三3.LMS算法中學(xué)習(xí)率的選擇自相關(guān)矩陣的主對角線元素就是各輸入向量的均方值，故：在感知器學(xué)習(xí)算法中曾提到，學(xué)習(xí)率隨著學(xué)習(xí)的進(jìn)行逐漸下降比始終不變更加合理。反比例函數(shù)指數(shù)式下降搜索—收斂方案第65頁，講稿共145頁，2023年5月2日，星期三4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)是線性的。這就決定了感知器只能做簡單的分類，而線性神經(jīng)網(wǎng)絡(luò)還可以實(shí)現(xiàn)擬合或逼近。學(xué)習(xí)算法。LMS算法得到的分類邊界往往處于兩類模式的正中間，而感知器學(xué)習(xí)算法在剛剛能正確分類的位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。第66頁，講稿共145頁，2023年5月2日，星期三5.線性神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)直線擬合對于一些離散的數(shù)據(jù)點(diǎn)，從中找到這些點(diǎn)的規(guī)律，就做一條直線，穿過盡可能多的點(diǎn)，使得這些數(shù)據(jù)和直線上所的估計的點(diǎn)的方差最小，找到的這條直線就是擬合直線，該直線代表了數(shù)據(jù)之間的線性規(guī)律。第67頁，講稿共145頁，2023年5月2日，星期三%%清理clear,clccloseall%%定義數(shù)據(jù)P=-5:5;%輸入：11個標(biāo)量Pd=3*P-7;drandn('state',2); d=d+randn(1,length(d))*1.5%期望輸出：加了噪聲的線性函數(shù)d第68頁，講稿共145頁，2023年5月2日，星期三P=[ones(1,length(P));P]%P加上偏置Plp.lr=0.01;%學(xué)習(xí)率MAX=150;%最大迭代次數(shù)ep1=0.1;%均方差終止閾值ep2=0.0001;%權(quán)值變化終止閾值%%初始化w=[0,0];第69頁，講稿共145頁，2023年5月2日，星期三%%循環(huán)更新

fori=1:MAXfprintf('第%d次迭代：\n',i)e=d-purelin(w*P);%求得誤差向量

ms(i)=mse(e);%均方差

ms(i)if(ms(i)<ep1)%如果均方差小于某個值，則算法收斂

fprintf('均方差小于指定數(shù)而終止\n');break;end第70頁，講稿共145頁，2023年5月2日，星期三dW=lp.lr*e*P';%權(quán)值調(diào)整量

if(norm(dW)<ep2)%如果權(quán)值變化小于指定值，則算法收斂

fprintf('權(quán)值變化小于指定數(shù)而終止\n');break;endw=w+dW%用dW更新權(quán)值

end第71頁，講稿共145頁，2023年5月2日，星期三%%顯示fprintf('算法收斂于：\nw=(%f,%f),MSE:%f\n',w(1),w(2),ms(i));figure;subplot(2,1,1);%繪制散點(diǎn)和直線plot(P(2,:),d,'o');title('散點(diǎn)與直線擬合結(jié)果');xlabel('x');ylabel('y');axis([-6,6,min(d)-1,max(d)+1]);x1=-5:.2:5;y1=w(1)+w(2)*x1;holdon;plot(x1,y1);subplot(2,1,2);%繪制均方差下降曲線semilogy(1:i,ms,'-o');xlabel('迭代次數(shù)');ylabel('MSE');title('均方差下降曲線');第72頁，講稿共145頁，2023年5月2日，星期三第73頁，講稿共145頁，2023年5月2日，星期三6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與網(wǎng)絡(luò)的訓(xùn)練中共需確定3個自由變量，而輸入的訓(xùn)練向量則有4個，因此可以形成一個線性方程組：由于方程的個數(shù)超過了自變量的個數(shù)，因此方程沒有精確解，只有近似解，用偽逆的方法可以求得權(quán)值向量的值：>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P]>>d=[0,0,0,1] >>pinv(P')*d'

第74頁，講稿共145頁，2023年5月2日，星期三6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與手算：%定義>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P] %包含偏置的輸入向量>>d=[0,0,0,1] %期望輸出向量%初始化>>w=[0,0,0] %權(quán)值向量初始化為零向量>>lr=maxlinlr(P) %根據(jù)輸入矩陣求解最大學(xué)習(xí)率>>MAX=200; %最大迭代次數(shù)，根據(jù)經(jīng)驗(yàn)確定第75頁，講稿共145頁，2023年5月2日，星期三>>fori=1:MAX...fprintf('第%d次迭代\n',i);v=w*P; %求出輸出y=v;disp('線性網(wǎng)絡(luò)的二值輸出：');yy=y>=0.5 %將模擬輸出轉(zhuǎn)化為二值輸出，以0.5為閾值e=d-y; %誤差m(i)=mse(e); %均方誤差fprintf('均方誤差：%f\n',m(i));dw=lr*e*P'; %權(quán)值向量的調(diào)整量fprintf('權(quán)值向量：\n');w=w+dw %調(diào)整權(quán)值向量end6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與第76頁，講稿共145頁，2023年5月2日，星期三plot([0,0,1],[0,1,0],'o');holdon;plot(1,1,'d');x=-2:.2:2;y=1.5-x;plot(x,y)axis([-0.5,2,-0.5,2])xlabel('x');ylabel('ylabel');title('線性神經(jīng)網(wǎng)絡(luò)用于求解與邏輯')legend('0','1','分類面');6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與第77頁，講稿共145頁，2023年5月2日，星期三得到的分類超平面為：第78頁，講稿共145頁，2023年5月2日，星期三使用工具箱函數(shù)：and_linearlayer.m：線性網(wǎng)絡(luò)與感知器的對比線性網(wǎng)絡(luò)得到的分類面大致位于兩類坐標(biāo)點(diǎn)的中間位置，而感知器得到的分類面恰好穿過其中一個坐標(biāo)點(diǎn)。線性神經(jīng)網(wǎng)絡(luò)魯棒性強(qiáng)，優(yōu)于感知器。6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與第79頁，講稿共145頁，2023年5月2日，星期三添加非線性輸入：6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——異或運(yùn)行xor_linearlayer.m第80頁，講稿共145頁，2023年5月2日，星期三6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——異或使用Madaline：兩個神經(jīng)元運(yùn)行xor_madaline.m第81頁，講稿共145頁，2023年5月2日，星期三第6章BP神經(jīng)網(wǎng)絡(luò)第82頁，講稿共145頁，2023年5月2日，星期三Outline1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法3.設(shè)計BP網(wǎng)絡(luò)的方法4.BP神經(jīng)網(wǎng)絡(luò)的局限性5.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例第83頁，講稿共145頁，2023年5月2日，星期三1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是包含多個隱含層的網(wǎng)絡(luò)，具備處理線性不可分問題的能力。誤差反向傳播算法（ErrorBackPropagtion，BP），解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題。是一種多層前向網(wǎng)絡(luò)，又叫多層感知器。BP網(wǎng)絡(luò)是前向神經(jīng)網(wǎng)絡(luò)的核心部分，也是整個人工神經(jīng)網(wǎng)絡(luò)體系中的精華，廣泛應(yīng)用于分類識別、逼近、回歸、壓縮等領(lǐng)域。在實(shí)際應(yīng)用中，大約80%的神經(jīng)網(wǎng)絡(luò)模型采取了BP網(wǎng)絡(luò)或BP網(wǎng)絡(luò)的變化形式。第84頁，講稿共145頁，2023年5月2日，星期三1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)由多層構(gòu)成，層與層之間全連接，同一層之間的神經(jīng)元無連接。包含一個多多個隱層，可以實(shí)現(xiàn)復(fù)雜的映射關(guān)系。第85頁，講稿共145頁，2023年5月2日，星期三1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

BP網(wǎng)絡(luò)的傳遞函數(shù)必須可微。BP網(wǎng)絡(luò)一般使用Sigmoid函數(shù)或線性函數(shù)作為傳遞函數(shù)。Sigmoid函數(shù)是光滑、可微的函數(shù)，在分類時它比線性函數(shù)更精確，容錯性較好。將輸入從負(fù)無窮到正無窮的范圍映射到0~1或-1~1區(qū)間內(nèi)，具有非線性的放大功能。Log-SigmoidTan-Sigmoid第86頁，講稿共145頁，2023年5月2日，星期三1.BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)“誤差反向傳播”：誤差信號反向傳播。修正權(quán)值時，網(wǎng)絡(luò)根據(jù)誤差從后向前逐層進(jìn)行修正?！胺答伾窠?jīng)網(wǎng)絡(luò)”：輸出層的輸出值又連接到輸入神經(jīng)元作為下一次計算的輸入，如此循環(huán)迭代，直到網(wǎng)絡(luò)的輸出值進(jìn)入穩(wěn)定狀態(tài)為止。在本書后面的章節(jié)中會專門介紹反饋神經(jīng)網(wǎng)絡(luò)，包括Hopfield網(wǎng)絡(luò)、Elman網(wǎng)絡(luò)等。BP神經(jīng)網(wǎng)絡(luò)屬于多層前向網(wǎng)絡(luò)，工作信號始終正向流動，沒有反饋結(jié)構(gòu)。

BP網(wǎng)絡(luò)采用誤差反向傳播算法（Back-PropagationAlgorithm）進(jìn)行學(xué)習(xí)。在BP網(wǎng)絡(luò)中，數(shù)據(jù)從輸入層經(jīng)隱含層逐層向后傳播，訓(xùn)練網(wǎng)絡(luò)權(quán)值時，則沿著減少誤差的方向，從輸出層經(jīng)過中間各層逐層向前修正網(wǎng)絡(luò)的連接權(quán)值。第87頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法BP學(xué)習(xí)算法的原理與LMS算法比較類似，屬于最速下降法。最速下降法最速下降法可以求某指標(biāo)（目標(biāo)函數(shù)）的極小值，若將目標(biāo)函數(shù)取為均方誤差，就得到了LMS算法。對于實(shí)值函數(shù)，如果在某點(diǎn)處有定義且可微，則函數(shù)在該點(diǎn)處沿著梯度相反的方向下降最快。因此，使用梯度下降法時，應(yīng)首先計算函數(shù)在某點(diǎn)處的梯度，再沿著梯度的反方向以一定的步長調(diào)整自變量的值。當(dāng)步長足夠小時反復(fù)迭代求得函數(shù)最小值第88頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法最速下降法實(shí)例：求函數(shù)的最小值根據(jù)梯度值可以再函數(shù)中畫出一系列的等值線或等值面，在等值線或等值面上函數(shù)值相等。梯度下降法相當(dāng)于沿著垂直于等值線方向向最小值所在位置移動。第89頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法（1）目標(biāo)函數(shù)必須可微。（2）如果最小值附近比較平坦，算法會在最小值附近停留很久，收斂緩慢。

“之”字形下降（3）對于包含多個極小值的函數(shù)，所獲得的結(jié)果依賴初始值。算法有可能陷入局部極小值點(diǎn)，而沒有達(dá)到全局最小值點(diǎn)。BP神經(jīng)網(wǎng)絡(luò)來說，由于傳遞函數(shù)都是可微的，因此能滿足最速下降法的使用條件。第90頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法最速下降BP法隱含層傳遞函數(shù)為Sigmoid函數(shù)，輸出層傳遞函數(shù)為線性函數(shù)1.工作信號正向傳播2.誤差信號反向傳播權(quán)值調(diào)整量=學(xué)習(xí)率*局部梯度*上一層輸出信號第91頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法當(dāng)輸出層傳遞函數(shù)為線性函數(shù)時，輸出層與隱含層之間權(quán)值調(diào)整的規(guī)則類似于線性神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整規(guī)則。BP網(wǎng)絡(luò)的復(fù)雜之處在于，隱含層與隱含層之間、隱含層與輸入層之間調(diào)整權(quán)值時，局部梯度的計算需要用到上一步計算的結(jié)果。前一層的局部梯度是后一層局部梯度的加權(quán)和。因此，BP網(wǎng)絡(luò)學(xué)習(xí)權(quán)值時只能從后向前依次計算。串行方式。在線方式，網(wǎng)絡(luò)每獲得一個新樣本，就計算一次誤差并更新權(quán)值，直到樣本輸入完畢。隨機(jī)輸入樣本，不容易陷入局部最優(yōu)陷阱。批量方式：離線方式。網(wǎng)絡(luò)獲得所有的訓(xùn)練樣本，計算所有樣本均方誤差的和作為總誤差。容易并行化，速度快。第92頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法動量BP法在標(biāo)準(zhǔn)BP算法的權(quán)值更新階段引入動量因子，使權(quán)值修正值具有一定慣性：本次權(quán)值的更新方向和幅度不但與本次計算所得的梯度有關(guān)，還與上一次更新的方向和幅度有關(guān)（1）如果前后兩次計算所得的梯度方向相同，得到的權(quán)值較大，可以加速收斂過程。（2）如果前后兩次計算所得梯度方向相反，則說明兩個位置之間可能存在一個極小值，可以得到一個較小的步長，更容易找到最小值點(diǎn)，而不會陷入來回振蕩第93頁，講稿共145頁，2023年5月2日，星期三2.BP網(wǎng)絡(luò)的學(xué)習(xí)算法

學(xué)習(xí)率可變的BP算法：當(dāng)誤差以減小的方式趨于目標(biāo)時，說明修正方向是正確的，可以增加學(xué)習(xí)率；當(dāng)誤差增加超過一定范圍時，說明前一步修正進(jìn)行地不正確，應(yīng)減小步長，并撤銷前一步修正過程。

擬牛頓法。牛頓法具有收斂快的優(yōu)點(diǎn)，但需要計算誤差性能函數(shù)的二階導(dǎo)數(shù)，計算較為復(fù)雜。擬牛頓法只需要知道目標(biāo)函數(shù)的梯度，通過測量梯度的變化進(jìn)行迭代，收斂速度大大優(yōu)于最速下降法。擬牛頓法有DFP方法、BFGS方法、SR1方法和Broyden族方法。第94頁，講稿共145頁，2023年5月2日，星期三3.設(shè)計BP網(wǎng)絡(luò)的方法1.網(wǎng)絡(luò)層數(shù)。對于大部分應(yīng)用場合，單個隱含層即可滿足需要2.輸入層節(jié)點(diǎn)數(shù)。輸入層節(jié)點(diǎn)數(shù)取決于輸入向量的維數(shù)。如果輸入的是的圖像，則輸入向量應(yīng)為圖像中所有的像素形成的4096維向量。如果待解決的問題是二元函數(shù)擬合，則輸入向量應(yīng)為二維向量。3.隱含層節(jié)點(diǎn)數(shù)。較多的隱含層節(jié)點(diǎn)數(shù)可以帶來更好的性能，但可能導(dǎo)致訓(xùn)練時間過長。經(jīng)驗(yàn)公式：BP網(wǎng)絡(luò)的設(shè)計主要包括網(wǎng)絡(luò)層數(shù)、輸入層節(jié)點(diǎn)數(shù)、隱含層節(jié)點(diǎn)數(shù)、輸出層節(jié)點(diǎn)數(shù)及傳輸函數(shù)、訓(xùn)練方法、訓(xùn)練參數(shù)的設(shè)置等幾個方面。樣本數(shù)輸入層結(jié)點(diǎn)數(shù)第95頁，講稿共145頁，2023年5月2日，星期三3.設(shè)計BP網(wǎng)絡(luò)的方法輸出層神經(jīng)元的個數(shù)同樣需要根據(jù)從實(shí)際問題中得到的抽象模型來確定。在模式分類問題中，如果共有n種類別，則輸出可以采用n個神經(jīng)元。也可以將節(jié)點(diǎn)個數(shù)設(shè)計為個，表示最小的不小于的整數(shù)。由于輸出共有4種情況，因此采用二維輸出即可覆蓋整個輸出空間，00、01、10和11分別表示一種類別。輸出層神經(jīng)元個數(shù)傳遞函數(shù)的選擇一般隱含層使用Sigmoid函數(shù)，而輸出層使用線性函數(shù)。如果輸出層也采用Sigmoid函數(shù)，輸出值將會被限制在0~1或-1~1之間。第96頁，講稿共145頁，2023年5月2日，星期三3.設(shè)計BP網(wǎng)絡(luò)的方法訓(xùn)練方法的選擇使用LM算法收斂速度最快，均方誤差也較小。LM算法對于模式識別相關(guān)問題的處理能力較弱，且需要較大的存儲空間模式識別問題，使用RPROP算法能收到較好的效果SCG算法對于模式識別和函數(shù)逼近問題都有較好的性能表現(xiàn)。初始權(quán)值的確定通常將初始權(quán)值定義為較小的非零隨機(jī)值，經(jīng)驗(yàn)值為：權(quán)值輸入端連接的神經(jīng)元個數(shù)第97頁，講稿共145頁，2023年5月2日，星期三3.設(shè)計BP網(wǎng)絡(luò)的方法確定以上參數(shù)后，將訓(xùn)練數(shù)據(jù)進(jìn)行歸一化處理，并輸入網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，若網(wǎng)絡(luò)成功收斂，即可得到所需的神經(jīng)網(wǎng)絡(luò)。第98頁，講稿共145頁，2023年5月2日，星期三4.BP神經(jīng)網(wǎng)絡(luò)的局限性BP網(wǎng)絡(luò)具有實(shí)現(xiàn)任何復(fù)雜非線性映射的能力，特別適合求解內(nèi)部機(jī)制復(fù)雜的問題，但BP網(wǎng)絡(luò)也具有一些難以克服的局限性（1）需要的參數(shù)較多，且參數(shù)的選擇沒有有效的方法。隱含層結(jié)點(diǎn)個數(shù)。（2）容易陷入局部最優(yōu)。（3）樣本依賴性。如果樣本集合代表性差、矛盾樣本多、存在冗余樣本，網(wǎng)絡(luò)就很難達(dá)到預(yù)期的性能（4）初始權(quán)重敏感性。訓(xùn)練的第一步是給定一個較小的隨機(jī)初始權(quán)重，由于權(quán)重是隨機(jī)給定的，BP網(wǎng)絡(luò)往往具有不可重現(xiàn)性。第99頁，講稿共145頁，2023年5月2日，星期三5.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例實(shí)現(xiàn)二值邏輯——異或?qū)W習(xí)率為0.6，動量因子為0.8，默認(rèn)最大迭代次數(shù)為1000次采用手算實(shí)現(xiàn)基于BP網(wǎng)絡(luò)的異或邏輯。訓(xùn)練時采用批量訓(xùn)練的方法，訓(xùn)練算法使用帶動量因子的最速下降法。main_xor.m第100頁，講稿共145頁，2023年5月2日，星期三6.BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例分類面xy第101頁，講稿共145頁，2023年5月2日，星期三%%清理clearallclcrandn('state',2);%%參數(shù)eb=0.01;%誤差容限eta=0.6;%學(xué)習(xí)率mc=0.8;%動量因子maxiter=1000;%最大迭代次數(shù)第102頁，講稿共145頁，2023年5月2日，星期三%%初始化網(wǎng)絡(luò)nSampNum=4;nSampDim=2;nHidden=3;nOut=1;w=2*(rand(nHidden,nSampDim)-1/2);b=2*(rand(nHidden,1)-1/2);wex=[w,b];

W=2*(rand(nOut,nHidden)-1/2);B=2*(rand(nOut,1)-1/2);WEX=[W,B];第103頁，講稿共145頁，2023年5月2日，星期三%%數(shù)據(jù)SampIn=[0,0,1,1;...0,1,0,1;...1,1,1,1];expected=[0,1,1,0];第104頁，講稿共145頁，2023年5月2日，星期三%%訓(xùn)練iteration=0;errRec=[];outRec=[];

fori=1:maxiter%工作信號正向傳播

hp=wex*SampIn;tau=logsig(hp);tauex=[tau',1*ones(nSampNum,1)]';第105頁，講稿共145頁，2023年5月2日，星期三HM=WEX*tauex;out=logsig(HM);outRec=[outRec,out'];

err=expected-out;sse=sumsqr(err);errRec=[errRec,sse];fprintf('第%d次迭代，誤差：%f\n',i,sse)第106頁，講稿共145頁，2023年5月2日，星期三%判斷是否收斂

iteration=iteration+1;ifsse<=ebbreak;end

%誤差信號反向傳播

%DELTA和delta為局部梯度

DELTA=err.*dlogsig(HM,out);delta=W'*DELTA.*dlogsig(hp,tau);dWEX=DELTA*tauex';dwex=delta*SampIn';第107頁，講稿共145頁，2023年5月2日，星期三

%更新權(quán)值

ifi==1WEX=WEX+eta*dWEX;wex=wex+eta*dwex;elseWEX=WEX+(1-mc)*eta*dWEX+mc*dWEXOld;wex=wex+(1-mc)*eta*dwex+mc*dwexOld;end

dWEXOld=dWEX;dwexOld=dwex;

W=WEX(:,1:nHidden);

end第108頁，講稿共145頁，2023年5月2日，星期三%%顯示figure(1)grid[nRow,nCol]=size(errRec);semilogy(1:nCol,errRec,'LineWidth',1.5);title('誤差曲線');xlabel('迭代次數(shù)');x=-0.2:.05:1.2;[xx,yy]=meshgrid(x);第109頁，講稿共145頁，2023年5月2日，星期三fori=1:length(xx)forj=1:length(yy)xi=[xx(i,j),yy(i,j),1];hp=wex*xi';tau=logsig(hp);tauex=[tau',1]';HM=WEX*tauex;out=logsig(HM);z(i,j)=out;endend第110頁，講稿共145頁，2023年5月2日，星期三figure(2)mesh(x,x,z);figure(3)plot([0,1],[0,1],'*','LineWidth',2);holdonplot([0,1],[1,0],'o','LineWidth',2);[C,h]=contour(x,x,z,0.5,'b');clabel(C,h);legend('0','1','分類面');title('分類面')第111頁，講稿共145頁，2023年5月2日，星期三徑向基函數(shù)網(wǎng)絡(luò)第112頁，講稿共145頁，2023年5月2日，星期三Outline1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)2.徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法3.徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較4.概率神經(jīng)網(wǎng)絡(luò)5.廣義回歸神經(jīng)網(wǎng)絡(luò)6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例第113頁，講稿共145頁，2023年5月2日，星期三1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)Broomhead和Lowe根據(jù)生物神經(jīng)元具有局部響應(yīng)的原理，將徑向基函數(shù)引入到神經(jīng)網(wǎng)絡(luò)中。很快，RBF網(wǎng)絡(luò)被證明對非線性網(wǎng)絡(luò)具有一致逼近的性能，在不同行業(yè)和領(lǐng)域逐步得到了廣泛應(yīng)用。由三層構(gòu)成的前向網(wǎng)絡(luò)。第一層為輸入層，節(jié)點(diǎn)個數(shù)等于輸入的維數(shù)；第二層為隱含層，節(jié)點(diǎn)個數(shù)視問題的復(fù)雜度而定；第三層為輸出層，節(jié)點(diǎn)個數(shù)等于輸出數(shù)據(jù)的維數(shù)。隱含層是非線性的，采用徑向基函數(shù)作為基函數(shù)，從而將輸入向量空間轉(zhuǎn)換到隱含層空間，使原來線性不可分的問題變得線性可分，輸出層則是線性的。徑向基網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)廣義回歸網(wǎng)絡(luò)模式分類和函數(shù)逼近第114頁，講稿共145頁，2023年5月2日，星期三1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)徑向基函數(shù)：有多種形式，其中最為常用的，是高斯函數(shù)輸入層隱含層輸出層（線性）1.正則化網(wǎng)絡(luò)是一個通用逼近器，這意味著，只要有足夠多的隱含節(jié)點(diǎn)，它就可以以任意精度逼近任意多遠(yuǎn)連續(xù)函數(shù)。2.給定一個未知的非線性函數(shù)f，總可以選擇一組系數(shù)，使得網(wǎng)絡(luò)對f的逼近是最優(yōu)的。第115頁，講稿共145頁，2023年5月2日，星期三1.徑向基神經(jīng)網(wǎng)絡(luò)的兩種結(jié)構(gòu)正則化網(wǎng)絡(luò)的一個特點(diǎn)就是：隱含節(jié)點(diǎn)的個數(shù)等于輸入訓(xùn)練樣本的個數(shù)。因此如果訓(xùn)練樣本的個數(shù)N過大，網(wǎng)絡(luò)的計算量將是驚人的，從而導(dǎo)致過低的效率甚至根本不可實(shí)現(xiàn)。解決的方案是用Galerkin方法來減少隱含層神經(jīng)單元的個數(shù)，此時求得的解是較低維數(shù)空間上的次優(yōu)解。這就是廣義網(wǎng)絡(luò)在實(shí)際應(yīng)用中，一般都采用廣義徑向基函數(shù)網(wǎng)絡(luò)。第116頁，講稿共145頁，2023年5月2日，星期三2.徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法確定隱含層結(jié)點(diǎn)中心隱含層中基函數(shù)的標(biāo)準(zhǔn)差網(wǎng)絡(luò)權(quán)值（隱含層到輸出層）所選取的中心之間的最大距離n為隱含節(jié)點(diǎn)的個數(shù)隨機(jī)選取固定中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘法網(wǎng)絡(luò)權(quán)值可以采用偽逆法G為隱含層輸出，d為輸出層的期望輸出第117頁，講稿共145頁，2023年5月2日，星期三3.徑向基神經(jīng)網(wǎng)絡(luò)與多層感知器的比較徑向基神經(jīng)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)（輸入層、隱含層、輸出層），只有一個隱含層，而多層感知器則可以有多個隱含層徑向基神經(jīng)網(wǎng)絡(luò)的隱含層和輸出層完全不同，隱含層采用非線性函數(shù)（徑向基函數(shù)）作為基函數(shù)，而輸出層采用線性函數(shù)，兩者作用不同。徑向基神經(jīng)網(wǎng)絡(luò)的基函數(shù)計算的是輸入向量與基函數(shù)中心之間的歐式距離（兩者取差值，再取歐幾里德范數(shù)），而多層感知器的隱單元的激勵函數(shù)則計算輸入向量與權(quán)值的內(nèi)積多層感知器對非線性映射全局逼近，徑向基函數(shù)局部逼近第118頁，講稿共145頁，2023年5月2日，星期三4.概率神經(jīng)網(wǎng)絡(luò)概率神經(jīng)網(wǎng)絡(luò)（ProbabilisticNeuralNetworks，PNN）在模式分類問題中獲得了廣泛應(yīng)用。概率神經(jīng)網(wǎng)絡(luò)可以視為一種徑向基神經(jīng)網(wǎng)絡(luò)，在RBF網(wǎng)絡(luò)的基礎(chǔ)上，融合了密度函數(shù)估計和貝葉斯決策理論。在某些易滿足的條件下，以PNN實(shí)現(xiàn)的判別邊界漸進(jìn)地逼近貝葉斯最佳判定面。貝葉斯：通過先驗(yàn)概率求后驗(yàn)概率。第119頁，講稿共145頁，2023年5月2日，星期三4.概率神經(jīng)網(wǎng)絡(luò)第一層為輸入層，用于接收來自訓(xùn)練樣本的值，將數(shù)據(jù)傳遞給隱含層徑向基層，每一個隱含層的神經(jīng)元節(jié)點(diǎn)擁有一個中心，該層接收輸入層的樣本輸入，計算輸入向量與中心的距離，最后返回一個標(biāo)量值求和層把隱含層中屬于同一類的隱含神經(jīng)元的輸出做加權(quán)平均輸出層取求和層中最大的一個作為輸出的類別概率神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層、求和層和輸出層組成第120頁，講稿共145頁，2023年5月2日，星期三4.概率神經(jīng)網(wǎng)絡(luò)PNN網(wǎng)絡(luò)的優(yōu)點(diǎn)訓(xùn)練容易，收斂速度快，從而非常適用于實(shí)時處理?？梢詫?shí)現(xiàn)任意的非線性逼近，用PNN網(wǎng)絡(luò)所形成的判決曲面與貝葉斯最優(yōu)準(zhǔn)則下的曲面非常接近。只要有充足的樣本數(shù)據(jù)，概率神經(jīng)網(wǎng)絡(luò)都能收斂到貝葉斯分類器，沒有BP網(wǎng)絡(luò)的局部極小值問題擴(kuò)充性能好。網(wǎng)絡(luò)的學(xué)習(xí)過程簡單，增加或減少類別模式時不需要重新進(jìn)行長時間的訓(xùn)練學(xué)習(xí)第121頁，講稿共145頁，2023年5月2日，星期三5.廣義回歸神經(jīng)網(wǎng)絡(luò)廣義回歸神經(jīng)網(wǎng)絡(luò)（GeneralRegressionNeuralNetwork，GRNN）是徑向基網(wǎng)絡(luò)的另外一種變形形式

廣義回歸網(wǎng)絡(luò)以徑向基網(wǎng)絡(luò)為基礎(chǔ)，因此具有良好的非線性逼近性能，與徑向基網(wǎng)絡(luò)相比，訓(xùn)練更為方便廣義回歸神經(jīng)網(wǎng)絡(luò)尤其適合解決曲線擬合的問題在MATLAB中newgrnn函數(shù)可以方便的實(shí)現(xiàn)GRNN網(wǎng)絡(luò)第122頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例異或問題RBF網(wǎng)絡(luò)曲線擬合第123頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例異或問題輸入層為兩個神經(jīng)元，輸出層為一個神經(jīng)元，隱含層定位兩個神經(jīng)元1.顯然問題是對稱的，因此假定輸出單元的兩個權(quán)值相等，即w1=w2=w2.輸出單元擁有一個偏置b，以保證網(wǎng)絡(luò)具有非零均值的輸出值兩個隱含層結(jié)點(diǎn)的中心：t1=[1,1]T，t2=[0,0]T第124頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例輸入數(shù)據(jù)（0,0），（1,0），（0,1），（1,1）gji表示第j個輸入向量與第i個隱含節(jié)點(diǎn)的中心的距離。>>x=[0,0;0,1;1,1;1,0] %輸入向量>>t=[0,1;0,1] %隱含節(jié)點(diǎn)的中心>>z=dist(x,t) %計算輸入向量到中心的距離>>G=radbas(z) %將算得的距離輸入到徑向基函數(shù)中G相當(dāng)于徑向基層的輸出。再加上偏置b=1，形成矩陣第125頁，講稿共145頁，2023年5月2日，星期三>>G=[G,ones(4,1)] %加上偏置>>d=[0,1,0,1]‘ %期望輸出>>w=inv(G.'*G)*G.'*d %求權(quán)值向量d=[0,1,0,1]T，w=[w,w,b]T采用以下公式求解w最終：w=[-2.5027,-2.5027,2.8413]T計算實(shí)際輸出：>>Y=G*w %%計算實(shí)際輸出第126頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例忽略第三列偏置，第一行是第一個輸入向量[0,0]T在隱含層的輸出，其余行以此類推。表示為坐標(biāo)的形式RBF網(wǎng)絡(luò)的隱含層經(jīng)過高斯函數(shù)的運(yùn)算，將原向量空間中的四個點(diǎn)映射為隱含層空間中的三個點(diǎn)。原空間中四個點(diǎn)線性不可分，而在新的空間中卻可由一條直線正確地分成兩類一些解釋第127頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例%xor_hand.m%%清理clearallcloseallclc%%輸入%輸入向量x=[0,0;0,1;1,1;1,0]%隱含節(jié)點(diǎn)的中心t=[0,1;0,1]第128頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例%%計算網(wǎng)絡(luò)%計算輸入向量到中心的距離z=dist(x,t)%將算得的距離輸入到徑向基函數(shù)中G=radbas(z)%加上偏置G=[G,ones(4,1)]第129頁，講稿共145頁，2023年5月2日，星期三6.徑向基網(wǎng)絡(luò)應(yīng)用實(shí)例%期望輸出d=[0,1,0,1]'%求權(quán)