線性神經(jīng)網(wǎng)絡(luò)

線性神經(jīng)網(wǎng)絡(luò)第一頁，共十七頁，編輯于2023年，星期三2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元模型它與感知器的主要不同之處在于其神經(jīng)元有一個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。第二頁，共十七頁，編輯于2023年，星期三2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元激活函數(shù)第三頁，共十七頁，編輯于2023年，星期三2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元網(wǎng)絡(luò)分類圖示雙輸入輸出如下式所示第四頁，共十七頁，編輯于2023年，星期三2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第五頁，共十七頁，編輯于2023年，星期三2.3.2線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法Widrow-Hoff學(xué)習(xí)規(guī)則又稱為最小均方誤差LMS（LeastMeanSquareError）學(xué)習(xí)算法，由Widrow-Hoff提出，屬于有導(dǎo)師學(xué)習(xí)算法LMS學(xué)習(xí)規(guī)則定義如下:目標(biāo)是通過調(diào)節(jié)權(quán)值，使mse從誤差空間的某點(diǎn)開始，沿著mse的斜面向下滑行,最終使mse達(dá)到最小值。BernardWidrow第六頁，共十七頁，編輯于2023年，星期三2.3.2線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法算法實(shí)現(xiàn)步驟第一步:初始化給各個(gè)連接賦一個(gè)較小的隨機(jī)值第二步：輸入一個(gè)樣本，計(jì)算連接權(quán)值的調(diào)整量第七頁，共十七頁，編輯于2023年，星期三2.3.2線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法其中表示第次循環(huán)中的第個(gè)輸入向量。則有：第三步：調(diào)整連接權(quán)值根據(jù)負(fù)梯度下降的原則，網(wǎng)絡(luò)權(quán)值和閾值修正公式如下式中為學(xué)習(xí)率,當(dāng)其取較大值時(shí)，可以加快網(wǎng)絡(luò)的訓(xùn)練速度，但是如果其值太大，會(huì)導(dǎo)致網(wǎng)絡(luò)穩(wěn)定性的降低和訓(xùn)練誤差的增加。所以，為了保證網(wǎng)絡(luò)進(jìn)行穩(wěn)定的訓(xùn)練，學(xué)習(xí)率的值必須選擇一個(gè)合適的值。第八頁，共十七頁，編輯于2023年，星期三2.3.2線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法第四步：計(jì)算均方誤差第五步：判斷誤差是否為零或者是否達(dá)到預(yù)先設(shè)定的要求。如果是，則結(jié)束算法，否則輸入下一個(gè)樣本，返回第二步進(jìn)入下一輪求解過程第九頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)

MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能函數(shù)名功能newlin()新建一個(gè)線性層learnwh()Widrow-Hoff的學(xué)習(xí)函數(shù)purelin()線性傳輸函數(shù)mse()最小均方誤差性能函數(shù)第十頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能newlin()功能新建一個(gè)線性神經(jīng)網(wǎng)絡(luò)函數(shù)。格式

(1)net=newlin(2)net=newlin(PR，S，ID，LR)說明式(1)返回一個(gè)沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界面函數(shù)nntool的幫助文字；式(2)中net為生成的線性神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量中的最大值和最小值組成的矩陣[Pmin，Pmax]；S為輸出向量的個(gè)數(shù)；ID為輸入延時(shí)向量（可省略）；LR為學(xué)習(xí)速率（可省略），默認(rèn)值為0.01。learnwh()功能線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)格式(1)[dW,LS]=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)(2)[db,LS]=learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)

第十一頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能Purelin()功能純線性傳輸函數(shù)格式A=purelin(N)說明函數(shù)purelin(N)為返回網(wǎng)絡(luò)輸入向量N的輸出矩陣a；神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，newlin和newlind函數(shù)建立的網(wǎng)絡(luò)都可以用該函數(shù)做為傳遞函數(shù)。mse()功能均方誤差性能函數(shù)格式perf=mae(E，w，pp)說明perf表示均方誤差,E為誤差矩陣或向量(網(wǎng)絡(luò)的目標(biāo)向量與輸出向量之差),w為所有權(quán)值和偏值向量(可忽略)，pp為性能參數(shù)(可忽略)。第十二頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)例2-2要求設(shè)計(jì)一個(gè)線性神經(jīng)網(wǎng)絡(luò)，尋找給定數(shù)據(jù)之間的線性關(guān)系。P=[1.1-1.3];T=[0.61];%創(chuàng)建一個(gè)只有一個(gè)輸出，輸入延時(shí)為0，學(xué)習(xí)速率為0.01的線性神經(jīng)網(wǎng)絡(luò)，minmax(P)表示樣%本數(shù)據(jù)的取值范圍net=newlin(minmax(P),1,0,0.01);%對創(chuàng)建的線性神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，設(shè)置權(quán)值和閾值的初始值net=init(net);net.trainParam.epochs=500;%設(shè)置網(wǎng)絡(luò)訓(xùn)練后的目標(biāo)誤差為0.0001net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P)%求解網(wǎng)絡(luò)的均方誤差值E=mse(y-T)第十三頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)例2-2的輸出結(jié)果%使用TRAINB作為訓(xùn)練函數(shù)，最大訓(xùn)練次數(shù)為500，開始訓(xùn)練時(shí)的均方誤差值為0.68，%目標(biāo)誤差為0.0001>>TRAINB,Epoch0/500,MSE0.68/0.0001.......TRAINB,Epoch200/500,MSE0.000193748/0.0001.TRAINB,Epoch217/500,MSE9.87777e-005/0.0001.%訓(xùn)練到217次時(shí)，達(dá)到目標(biāo)誤差要求，結(jié)束訓(xùn)練TRAINB,Performancegoalmet.y=0.58830.9922E=9.8778e-005第十四頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)例2-2的訓(xùn)練誤差曲線第十五頁，共十七頁，編輯于2023年，星期三2.3.3線性神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)原數(shù)據(jù)關(guān)系與線性