神經(jīng)網(wǎng)絡(luò)實用教程義

1、神經(jīng)網(wǎng)絡(luò)實用教程神經(jīng)網(wǎng)絡(luò)實用教程學(xué)習(xí)資料與課程內(nèi)容學(xué)習(xí)資料與課程內(nèi)容2021-11-72教材教材書名：神經(jīng)網(wǎng)絡(luò)實用教程出版社：機械工業(yè)出版社出版日期：2008年2月作者：張良均 曹晶 蔣世忠2021-11-732021-11-74課件、實驗及學(xué)習(xí)支持網(wǎng)站1、智能中國網(wǎng)： 2、神經(jīng)網(wǎng)絡(luò)在線： http:/ :細胞體細胞體(cell body) (cell body) 樹突樹突(dendrite)(dendrite)軸突軸突(axon)(axon)突觸突觸(synapse) (synapse) 用來完成神經(jīng)元間信息的接收、傳遞和處理。用來完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有人類大腦

2、皮層約有100100億個神經(jīng)元，億個神經(jīng)元，6060億個神經(jīng)億個神經(jīng)突觸以及它們的連接體突觸以及它們的連接體2021-11-792021-11-710 存存儲儲器器 指指令令 輸輸入入設(shè)設(shè)備備 運運算算器器 輸輸出出設(shè)設(shè)備備 控控制制器器馮馮.諾諾依依曼曼體體系系計計算算機機記憶與聯(lián)想能力記憶與聯(lián)想能力學(xué)習(xí)與認知能力學(xué)習(xí)與認知能力信息加工能力信息綜合能力信息綜合能力信息處理速度信息處理速度 2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作的基本信息處理人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位單位, ,是神經(jīng)網(wǎng)絡(luò)設(shè)計的基礎(chǔ)。是神經(jīng)網(wǎng)絡(luò)設(shè)計

3、的基礎(chǔ)。p人工神經(jīng)元模型可以看成是由三種基本元素組成：人工神經(jīng)元模型可以看成是由三種基本元素組成：(1)一組連接 連接強度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負值，權(quán)值為正表示激活，權(quán)值為負表示抑制。(2)一個加法器 用于求輸入信號對神經(jīng)元的相應(yīng)突觸加權(quán)之和。(3)一個激活函數(shù) 用來限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因為它將輸入信號壓制(限制)到允許范圍之內(nèi)的一定值。 另外，可以給一個神經(jīng)元模型加一個外部偏置，其作另外，可以給一個神經(jīng)元模型加一個外部偏置，其作用是增加或降低激活函數(shù)的網(wǎng)絡(luò)輸入。用是增加或降低激活函數(shù)的網(wǎng)絡(luò)輸入。 2021-11-7.2人工神

4、經(jīng)元模型人工神經(jīng)元模型2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p一個神經(jīng)元可以用以下公式表示：一個神經(jīng)元可以用以下公式表示：m1kikiiuw xf()kkkyub2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p激活函數(shù)主要的三種形式：激活函數(shù)主要的三種形式：階梯函數(shù)分段線性函數(shù)10f00vvv（ ） 1, 1f, 111, 1vvvvv 2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p非線性函數(shù)非線性函數(shù)單極s型函數(shù)雙極s型函數(shù)2021-11-7.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方

5、式p人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式理方式p根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)網(wǎng)絡(luò)分為兩大類：網(wǎng)絡(luò)分為兩大類：分層網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò) 2021-11-7.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式p分層網(wǎng)絡(luò)分層網(wǎng)絡(luò)單純的前向網(wǎng)絡(luò)具有反饋的前向網(wǎng)絡(luò) 層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)p相互連接型網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò) 2021-11-7.3神經(jīng)網(wǎng)絡(luò)的結(jié)

6、構(gòu)及工作方式神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式2021-11-7191.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)p學(xué)習(xí)方式學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）無導(dǎo)師學(xué)習(xí)（無監(jiān)督學(xué)習(xí)）再勵學(xué)習(xí)2021-11-7201.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)p學(xué)習(xí)算法：學(xué)習(xí)算法是指針對學(xué)習(xí)問題學(xué)習(xí)算法：學(xué)習(xí)算法是指針對學(xué)習(xí)問題的明確規(guī)則，不同的學(xué)習(xí)算法對神經(jīng)元的的明確規(guī)則，不同的學(xué)習(xí)算法對神經(jīng)元的權(quán)值調(diào)整的表達式是不同的。權(quán)值調(diào)整的表達式是不同的。p算法分類算法分類hebb學(xué)習(xí)算法 學(xué)習(xí)算法隨機學(xué)習(xí)算法競爭學(xué)習(xí)算法2021-11-7211.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)phebbhebb學(xué)習(xí)算法學(xué)習(xí)算法由donald o. hebb提出。如果兩個神經(jīng)元

7、同時興奮，則它們之間的突觸連接加強。如果神經(jīng)元 是神經(jīng)元 的上層結(jié)點，用 分別表示兩神經(jīng)元的激活值(輸出)， 表示兩個神經(jīng)元之間的連接權(quán)，則hebb學(xué)習(xí)規(guī)則可以表示為: 式中式中 表示學(xué)習(xí)速率表示學(xué)習(xí)速率hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作hebb學(xué)習(xí)規(guī)則的變形ij,ijv vijwijijwvv2021-11-7221.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)p 學(xué)習(xí)算法學(xué)習(xí)算法誤差校正學(xué)習(xí)算法是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導(dǎo)師學(xué)習(xí) 權(quán)值調(diào)整公式：調(diào)整目標是使下述公式所表達的誤差為最小ijjiwv q211( )( )2oooed ky

8、 k2021-11-7231.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)p隨機學(xué)習(xí)算法隨機學(xué)習(xí)算法誤差學(xué)習(xí)算法通常采用梯度下降法，因此存在局部最小問題，隨機學(xué)習(xí)算法通過引入不穩(wěn)定因子來處理這種情況。經(jīng)典隨機學(xué)習(xí)算法模擬退化算法模擬退化算法遺傳算法。遺傳算法。 2021-11-7241.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)p競爭學(xué)習(xí)算法競爭學(xué)習(xí)算法競爭學(xué)習(xí)屬于無導(dǎo)師算法 神經(jīng)元通過互相競爭來做出不同的響應(yīng)競爭獲勝的神經(jīng)元按規(guī)則修正權(quán)值經(jīng)典競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)(self-organization map(self-organization map，som)som)自適應(yīng)共振網(wǎng)絡(luò)自適應(yīng)共振網(wǎng)絡(luò)(ada

9、ptive resonace theory(adaptive resonace theory，art) art) 2021-11-7251.2 神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用p神經(jīng)網(wǎng)絡(luò)的特點神經(jīng)網(wǎng)絡(luò)的特點 并行分布式處理 非線性處理 具有自學(xué)習(xí)功能 神經(jīng)網(wǎng)絡(luò)可采用硬件實現(xiàn) 2021-11-7261.2 神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用p神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 語音識別語音識別娃娃語音識別娃娃圖像識別與理解人臉檢測人臉檢測2021-11-7271.2 神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用p神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域機器人智能故障檢測智能故障檢測醫(yī)學(xué)應(yīng)用醫(yī)學(xué)圖像處理醫(yī)學(xué)圖像處理2021-11-728p神經(jīng)

10、網(wǎng)絡(luò)的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域國防軍事應(yīng)用航天器姿態(tài)控制航天器姿態(tài)控制導(dǎo)彈的智能引導(dǎo)導(dǎo)彈的智能引導(dǎo) 2021-11-729小結(jié)小結(jié)p生物神經(jīng)網(wǎng)絡(luò)構(gòu)成生物神經(jīng)網(wǎng)絡(luò)構(gòu)成p人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型p人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式p人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法p人工神經(jīng)網(wǎng)絡(luò)特點人工神經(jīng)網(wǎng)絡(luò)特點p人工神經(jīng)網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)應(yīng)用2.1matlab2.1matlab快速入門快速入門2021-11-7312.1matlab2.1matlab快速入門快速入門p2.1.1 matlab2.1.1 matlab界面組成界面組成p2.1.2 matlab2.1.2 mat

11、lab基本運算基本運算 p2.1.3 matlab2.1.3 matlab繪圖函數(shù)繪圖函數(shù)2021-11-7322.1.1 matlab界面組成工作空間瀏覽器窗工作空間瀏覽器窗命令行窗口命令行窗口命令歷史窗口命令歷史窗口當前目錄窗口當前目錄窗口2021-11-7332.1.1 matlab界面組成pmatlab界面組成命令行窗口命令行窗口命令歷史窗口命令歷史窗口 工作空間瀏覽器窗口工作空間瀏覽器窗口 當前目錄窗口當前目錄窗口編輯調(diào)試窗口編輯調(diào)試窗口2021-11-7342.1.1 matlab界面組成p在matlab主窗口中，點擊“start”“desktop tools”“editor”即可

12、打開編輯調(diào)試窗口。2021-11-7352.1.2 matlab2.1.2 matlab基本運算基本運算 p基本運算基本運算 (5*2+1.3-0.8)*10/25 ans =4.2000 x = (5*2+1.3-0.8)*102/25 x = 42 變量命名規(guī)則第一個字母必須是英文字母；第一個字母必須是英文字母； 字母間不可留空格；字母間不可留空格；最多只能有最多只能有1919個字母，個字母，matlabmatlab會忽略多余字母。會忽略多余字母。 2021-11-7362.1.2 matlab2.1.2 matlab基本運算基本運算p基本運算基本運算若不想讓matlab每次都顯示運算結(jié)果

13、，只需在運算式最后加上 “;”即可matlab可同時執(zhí)行數(shù)個命令，只要以逗號或分號將命令隔開： x = sin(pi/3); y = x2; z = y*10, z = 7.5000 若一個數(shù)學(xué)運算式太長，可用三個句點將其延伸到下一行： z = 10*sin(pi/3)* . sin(pi/3); 2021-11-7372.1.2 matlab2.1.2 matlab基本運算基本運算p matlab matlab的查詢命令的查詢命令鍵入help inv即可得知有關(guān)inv命令的用法p向量與矩陣的表示及運算向量與矩陣的表示及運算向量的表示方法與運算 x = 1 3 5 2; %表示一個行向量 y

14、= 2*x+1 y = 3 7 11 5 2021-11-7382.1.2 matlab2.1.2 matlab基本運算基本運算p向量與矩陣的表示及運算向量與矩陣的表示及運算更改、增加或刪除向量中的元素y(3) = 2 % 更改第三個元素 y = % 更改第三個元素后的結(jié)果3 7 2 5 y(6) = 10 % 加入第六個元素 y = %加入第六個元素后的結(jié)果3 7 2 5 0 10 y(4) = % 刪除第四個元素 y = %刪除第四個元素后的結(jié)果 3 7 2 0 10 2021-11-7392.1.2 matlab2.1.2 matlab基本運算基本運算p向量與矩陣的表示及運算向量與矩陣的

15、表示及運算向量的一個元素或一部分向量的運算x(2)*3+y(4) % 取出x的第二個元素和y的第四個元素來做運算 ans = 9 y(2:4)-1 %用y的第二至第四個元素分別做減1運算，2:4代表向量中 的第2、3、4號元素 ans = 6 1 -1轉(zhuǎn)置z = x z = x z = z = 1 1 3 3 5 5 2 2 2021-11-7402.1.2 matlab2.1.2 matlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式表示在命令窗口中輸入 a = 1 2 3 4; 5 6 7 8; 9 10 11 12 結(jié)果為：a = 1 2 3 4 5 6

16、7 8 9 10 11 12 2021-11-7412.1.2 matlab2.1.2 matlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式運算a(2,3) = 5 % 將矩陣第二行，第三列的元素值置為5 a = %置值后的矩陣1 2 3 4 5 6 5 8 9 10 11 12 b = a(2,1:3) %取出矩陣a中第二行第一個到第三個元素，構(gòu)成 矩陣b b = 5 6 5 a = a b %將b轉(zhuǎn)置后，再以列向量并入a a = 1 2 3 4 5 5 6 5 8 6 9 10 11 12 5 2021-11-7422.1.2 matlab2.1.2 ma

17、tlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式運算a(:, 2) = %刪除第二列，符號：代表所有列 a = 1 3 4 5 5 5 8 6 9 11 12 5 a = a; 4 3 2 1 %加入第四行 a = 1 3 4 5 5 5 8 6 9 11 12 5 4 3 2 1 a(1 4, :) = % 刪除第一和第四行，符號:代表所有行 a = 5 5 8 6 9 11 12 5 2021-11-7432.1.3 matlab繪圖函數(shù)p二維繪圖函數(shù)二維繪圖函數(shù)plot plot plot(x) 當x為向量時，則以x元素為縱坐標，以相應(yīng)元素的下標作為橫坐

18、標來繪圖。當x為實數(shù)矩陣時，則按列繪制每列元素值相對其下標的連線圖，圖中曲線x陣的列數(shù)。plot(x,y) 如果x、y為同維向量，則繪制以x、y為橫縱坐標的連線圖。如果x是向量，y是一個與x同維的矩陣，則繪制多條不同色彩的連線圖，連線條數(shù)等于y陣的另一維數(shù)。如果x和y是同維矩陣，則以x、y對應(yīng)元素為橫縱坐標分別繪制曲線，曲線的條數(shù)等于矩陣的行數(shù)。plot(x,y,s) s表示線條的顏色和類型，如s=r+，表示各點是由紅色的+號繪制的，如果沒有特別說明，默認的類型為藍色的線條。2021-11-7442.1.3 matlab繪圖函數(shù)p二維繪圖函數(shù)二維繪圖函數(shù)plotplothold on設(shè)置在同一

19、張圖上繪制多條曲線設(shè)置在同一張圖上繪制多條曲線 hold off取消在同一張圖上繪制多條曲線設(shè)置取消在同一張圖上繪制多條曲線設(shè)置figure下次的圖和已經(jīng)繪制的圖將不在同一張圖上下次的圖和已經(jīng)繪制的圖將不在同一張圖上 2021-11-7452.1.3 matlab繪圖函數(shù)p繪圖函數(shù)使用示例繪圖函數(shù)使用示例%橫坐標變化范圍為-6 6，每間隔0.1個單位繪制一次x=-6:0.1:6;y1=cos(x);y2=cos(2*x);y3=cos(3*x);%以x、y為橫縱坐標繪圖plot(x,y1);%保存繪圖句柄，使下一次的圖和已經(jīng)繪制的圖在同一張圖上hold onplot(x,y2,r+);%關(guān)閉繪

20、圖句柄下次的圖和已經(jīng)繪制的圖將不在現(xiàn)一張圖上hold off%打開一張新的繪圖面figure%以x、y為橫縱坐標，以藍色的*繪圖plot(x,y3,b*);2021-11-7462.1.3 matlab繪圖函數(shù)2021-11-7472.1.3 matlab繪圖函數(shù)2021-11-748小結(jié)小結(jié)pmatlabmatlab快速入門快速入門pmatlabmatlab界面組成界面組成pmatlabmatlab基本運算基本運算pmatlabmatlab繪圖函數(shù)繪圖函數(shù)2.22.2感知器神經(jīng)網(wǎng)絡(luò)模型感知器神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法與學(xué)習(xí)算法2021-11-.1單層感知器單層感知器p概述概述由

21、美國學(xué)者rosenblatt在1957年首次提出學(xué)習(xí)算法是rosenblatt在1958年提出的 包含一個突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式 ieee設(shè)立以其名字命名的獎項 2021-11-.1單層感知器單層感知器p單層感知器模型單層感知器模型2021-11-.1單層感知器單層感知器p單層感知器工作原理單層感知器工作原理 單層感知器可將外部輸入分為兩類和。當單層感知器可將外部輸入分為兩類和。當感知器的輸出為感知器的輸出為+1+1時，輸入屬于時，輸入屬于 類，當感知類，當感知器的輸出為器的輸出為-1-1時，輸入屬于時，輸入屬于

22、類，從而實現(xiàn)兩類，從而實現(xiàn)兩類目標的識別。在維空間，單層感知器進行模類目標的識別。在維空間，單層感知器進行模式識別的判決超平面由下式?jīng)Q定：式識別的判決超平面由下式?jīng)Q定： 10miiiw xb1l2l2021-11-.1單層感知器單層感知器p單層感知器工作原理單層感知器工作原理 對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的 和 ，當它用于兩類模式的分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。1 12 20wxwxb 1w2w2021-11-.2單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法p單層感知器學(xué)習(xí)算法思想單

23、層感知器學(xué)習(xí)算法思想基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵钭鳛樯窠?jīng)元突觸權(quán)值向量的第一個分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 t121,mnxnxnxn x t12,mnb nw nwnwnw2021-11-.2單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法p單層感知器學(xué)習(xí)算法單層感知器學(xué)習(xí)算法第一步,設(shè)置變量和參量。 為激活函數(shù)為激活函數(shù), , 為網(wǎng)絡(luò)實際輸出，為網(wǎng)絡(luò)實際輸出， 為期望輸出，為期望輸出， 為學(xué)習(xí)為學(xué)習(xí)速率，速率， 為迭代次數(shù)，為迭代次數(shù)， 為實際輸出與期望輸出的

24、誤差。為實際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量給權(quán)值向量 的各個分量賦一個較小的隨機非零值，置的各個分量賦一個較小的隨機非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預(yù)設(shè)的值，則算法結(jié)束，否則將值增加小于預(yù)設(shè)的值，則算法結(jié)束，否則將值增加1 1，并用下式調(diào)整權(quán)值：，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進入下一輪計算過程然后轉(zhuǎn)到第三步，進入下一輪計算過程 f( ) ( )ny(

25、)ndne(0)w0n 121,mnxnxnxn x( )nd0( )f( )( )miiiy nwn x n( )( )ed ny n 1w nw nd ny nx n2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn) p matlab matlab中單層感知器常用工具函數(shù)名稱中單層感知器常用工具函數(shù)名稱和基本功能和基本功能 函函 數(shù)數(shù) 名名功功 能能newp()生成一個感知器生成一個感知器hardlim()硬限幅激活函數(shù)硬限幅激活函數(shù)learnp()感知器的學(xué)習(xí)函數(shù)感知器的學(xué)習(xí)函數(shù)train()神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)sim()神經(jīng)網(wǎng)

26、絡(luò)仿真函數(shù)神經(jīng)網(wǎng)絡(luò)仿真函數(shù)mae()平均絕對誤差性能函數(shù)平均絕對誤差性能函數(shù)plotpv()在坐標圖上繪出樣本點在坐標圖上繪出樣本點plotpc()在已繪制的圖上加分類線在已繪制的圖上加分類線2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)pnewp()newp()功能：創(chuàng)建一個感知器神經(jīng)網(wǎng)絡(luò)的函數(shù)格式：net = newp(pr，s，tf，lf)說明：net為生成的感知機神經(jīng)網(wǎng)絡(luò)；pr為一個r2的矩陣，由r組輸入向量中的最大值和最小值組成；s表示神經(jīng)元的個數(shù)；tf表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；lf表示網(wǎng)絡(luò)的學(xué)習(xí)函

27、數(shù)，缺省值為learnp phardlim()hardlim()功能 硬限幅激活函數(shù)格式 a = hardlim(n) 說明 函數(shù)hardlim(n)在給定網(wǎng)絡(luò)的輸入矢量矩陣n時，返回該層的輸出矢量矩陣a。當n中的元素大于等于零時，返回的值為l；否則為0。也就是說，如果網(wǎng)絡(luò)的輸入達到閾值，則硬限幅傳輸函數(shù)的輸出為1；否則，為0。 plearnp()learnp()功能 感知機的權(quán)值和閾值學(xué)習(xí)函數(shù) 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)ptrain()train()功能 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)格式 net，tr，y，e，pf，af = tra

28、in(net，p，t，pi，ai，vv，tv)說明 net為訓(xùn)練后的網(wǎng)絡(luò)；tr為訓(xùn)練記錄；y為網(wǎng)絡(luò)輸出矢量；e為誤差矢量；pf為訓(xùn)練終止時的輸入延遲狀態(tài)；af為訓(xùn)練終止時的層延遲狀態(tài)；net為訓(xùn)練前的網(wǎng)絡(luò)；p為網(wǎng)絡(luò)的輸入向量矩陣；t表示網(wǎng)絡(luò)的目標矩陣，缺省值為0；pi表示初始輸入延時，缺省值為0；ai表示初始的層延時，缺省值為0； vv為驗證矢量（可省略）；tv為測試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一種通用的學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個網(wǎng)絡(luò)上，每次都更新網(wǎng)絡(luò)，直到達到了某種準則，停止準則可能是達到最大的學(xué)習(xí)步數(shù)、最小的誤差梯度或誤差目標等。2021-11-72.2.3 2.2

29、.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)psim()sim()功能 對網(wǎng)絡(luò)進行仿真格式 (1) y(1) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，p p，pipi，aiai，t) t) (2) y(2) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，q tsq ts，pipi，aiai，t) t) (3) y(3) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，q q，pipi，aiai，t)t)說明 y為網(wǎng)絡(luò)的輸出；pf表示最終的輸入

30、延時狀態(tài)；af表示最終的層延時狀態(tài)；e為實際輸出與目標矢量之間的誤差；perf為網(wǎng)絡(luò)的性能值；net為要測試的網(wǎng)絡(luò)對象；p為網(wǎng)絡(luò)的輸入向量矩陣；pi為初始的輸入延時狀態(tài)（可省略）；ai為初始的層延時狀態(tài)（可省略）；t為目標矢量（可省略）。式(1)、(2)用于沒有輸入的網(wǎng)絡(luò)，其中q為批處理數(shù)據(jù)的個數(shù)，ts為網(wǎng)絡(luò)仿真的時間步數(shù)。2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p mae() mae()功能 平均絕對誤差性能函數(shù)格式 perf=mae(e，w，pp) 說明 perf表示平均絕對誤差和， e為誤差矩陣或向量(網(wǎng)絡(luò)的目標向量與輸出向量之差

31、)， w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p plotpv() plotpv()功能 繪制樣本點的函數(shù)格式 (1) plotpv(p，t) (2) plotpv(p，t，v)說明 p定義了n個2或3維的樣本，是一個2n維或3n維的矩陣；t表示各樣本點的類別，是一個n維的向量；v=x_min x_max y_min y_max，為一設(shè)置繪圖坐標值范圍的向量。利用plotpv()函數(shù)可在坐標圖中繪出給定的樣本點及其類別，不同的類別使用不同的符號。如果t只含一元矢量，則目標為

32、0的輸入矢量在坐標圖中用符號o表示： 目標為1的輸入矢量在坐標圖中用符號+表示。如果t含二元矢量，則輸入矢量在坐標圖中所采用的符號分別如下：0 0用o表示；0 1用+表示：1 0用*表示；1 1用表示。 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)pplotpc()plotpc()功能 在存在的圖上繪制出感知器的分類線函數(shù)格式 (1) plotpc(w，b) (2) plotpc(w，b，h)說明 硬特性神經(jīng)元可將輸入空間用一條直線(如果神經(jīng)元有兩個輸入)，或用一個平面(如果神經(jīng)元有三個輸入)，或用一個超平面(如果神經(jīng)元有三個以上輸入)分成

33、兩個區(qū)域。plotpc(w，b)對含權(quán)矩陣w和偏差矢量b的硬特性神經(jīng)元的兩個或三個輸入畫一個分類線。這一函數(shù)返回分類線的句柄以便以后調(diào)用。plotpc(w，b，h)包含從前的一次調(diào)用中返回的句柄。它在畫新分類線之前，刪除舊線。2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p使用使用matlabmatlab實現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：實現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：第一步 根據(jù)應(yīng)用創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)；第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；第三步 輸入測試數(shù)據(jù)，測試訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。p例例2-12-1：見：見神經(jīng)網(wǎng)絡(luò)實用教

34、程神經(jīng)網(wǎng)絡(luò)實用教程第第2222頁頁 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p= -0.4 -0.5 0.6; 0.9 0 0.1; p= -0.4 -0.5 0.6; 0.9 0 0.1; % %給定訓(xùn)練樣本數(shù)據(jù)給定訓(xùn)練樣本數(shù)據(jù)t= 1 1 0; t= 1 1 0; % %給定樣本數(shù)據(jù)所對應(yīng)的類別，用給定樣本數(shù)據(jù)所對應(yīng)的類別，用1 1和和0 0來表示兩種類別來表示兩種類別% %創(chuàng)建一個有兩個輸入、樣本數(shù)據(jù)的取值范圍都在創(chuàng)建一個有兩個輸入、樣本數(shù)據(jù)的取值范圍都在-1-1，11之間，并且之間，并且% %網(wǎng)絡(luò)只有一個神經(jīng)元的感知器神經(jīng)網(wǎng)絡(luò)網(wǎng)

35、絡(luò)只有一個神經(jīng)元的感知器神經(jīng)網(wǎng)絡(luò)net=newp(-1 1;-1 1,1);net=newp(-1 1;-1 1,1);net.trainparam.epochs = 20; net.trainparam.epochs = 20; % %設(shè)置網(wǎng)絡(luò)的最大訓(xùn)練次數(shù)為設(shè)置網(wǎng)絡(luò)的最大訓(xùn)練次數(shù)為2020次次net=train(net,p,t); net=train(net,p,t); % %使用訓(xùn)練函數(shù)對創(chuàng)建的網(wǎng)絡(luò)進行訓(xùn)練使用訓(xùn)練函數(shù)對創(chuàng)建的網(wǎng)絡(luò)進行訓(xùn)練y=sim(net,p) y=sim(net,p) % %對訓(xùn)練后的網(wǎng)絡(luò)進行仿真對訓(xùn)練后的網(wǎng)絡(luò)進行仿真e1=mae(y-t) e1=mae(y-t) %

36、 %計算網(wǎng)絡(luò)的平均絕對誤差，表示網(wǎng)絡(luò)錯誤分類計算網(wǎng)絡(luò)的平均絕對誤差，表示網(wǎng)絡(luò)錯誤分類q=0.6 0.9 -0.1; -0.1 -0.5 0.5; q=0.6 0.9 -0.1; -0.1 -0.5 0.5; % %檢測訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能檢測訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能y1=sim(net,q) y1=sim(net,q) % %對網(wǎng)絡(luò)進行仿真，仿真輸出即為分類的結(jié)果對網(wǎng)絡(luò)進行仿真，仿真輸出即為分類的結(jié)果figure; figure; % %創(chuàng)建一個新的繪圖窗口創(chuàng)建一個新的繪圖窗口plotpv(q,y1); plotpv(q,y1); % %在坐標圖中繪制測試數(shù)據(jù)在坐標圖中繪制測試數(shù)據(jù)plotpc

37、(net.iw1,net.b1) plotpc(net.iw1,net.b1) % %在坐標圖中繪制分類線在坐標圖中繪制分類線2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1運行后在命令行窗口中得到的結(jié)果如下：運行后在命令行窗口中得到的結(jié)果如下： trainc, epoch 0/20 trainc, epoch 0/20% %使用使用trainctrainc作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)，第作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)，第0 0次訓(xùn)練，最次訓(xùn)練，最% %大訓(xùn)練次數(shù)為大訓(xùn)練次數(shù)為2020trainc, epoch 3/20trainc, ep

38、och 3/20% %達到目標誤差要求，結(jié)束訓(xùn)練達到目標誤差要求，結(jié)束訓(xùn)練trainc, performance goal met.trainc, performance goal met.y =y = 1 1 0 1 1 0e1 =e1 = 0 0y1 =y1 = 0 0 1 0 0 1 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1訓(xùn)練誤差曲線訓(xùn)練誤差曲線 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1訓(xùn)練后的分類線訓(xùn)練后的分類線 2021-11-72

39、.2.4 2.2.4 多層感知機多層感知機 p單層感知器的缺點是只能解決線性可分的分類單層感知器的缺點是只能解決線性可分的分類模式問題模式問題p采用多層網(wǎng)絡(luò)結(jié)構(gòu)可以增強網(wǎng)絡(luò)的分類能力，采用多層網(wǎng)絡(luò)結(jié)構(gòu)可以增強網(wǎng)絡(luò)的分類能力，即在輸入層與輸出層之間增加一個隱含層，從即在輸入層與輸出層之間增加一個隱含層，從而構(gòu)成多層感知器而構(gòu)成多層感知器(multilayer perceprons (multilayer perceprons ，mlp)mlp)。p由輸入層、隱含層由輸入層、隱含層( (可以是一層或者多層可以是一層或者多層) )和輸和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為

40、多層前向神經(jīng)網(wǎng)絡(luò)。 2021-11-72.2.4 2.2.4 多層感知機多層感知機 p多層感知器的拓撲結(jié)構(gòu)多層感知器的拓撲結(jié)構(gòu) 2021-11-72.2.4 2.2.4 多層感知機多層感知機p多層感知器的特點多層感知器的特點含有一層或多層隱單元,從輸入模式中獲得了更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。每個神經(jīng)元的激活函數(shù)采用可微的函數(shù)sigmoidsigmoid函數(shù)函數(shù)多個突觸使得網(wǎng)絡(luò)更具連通性 具有獨特的學(xué)習(xí)算法 bpbp算法算法 2021-11-7小結(jié)小結(jié)p單層感知器模型及工作原理單層感知器模型及工作原理p單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法p單層感知器的單層感知器的matlab

41、matlab實現(xiàn)實現(xiàn)p單層感知器的應(yīng)用示例單層感知器的應(yīng)用示例p多層感知器概述多層感知器概述智能中國網(wǎng)提供學(xué)習(xí)支持智能中國網(wǎng)提供學(xué)習(xí)支持2.3 2.3 線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò) 2.3.1 線性神經(jīng)元網(wǎng)絡(luò)模型p線性神經(jīng)元模型線性神經(jīng)元模型它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。2.3.1 線性神經(jīng)元網(wǎng)絡(luò)模型p線性神經(jīng)元激活函數(shù)線性神經(jīng)元激活函數(shù)2.3.1 線性神經(jīng)元網(wǎng)絡(luò)模型p線性神經(jīng)元網(wǎng)絡(luò)分類圖示雙輸入雙輸入輸出如下式所示輸出如下式所示111212yw pw pb2.3.1 線性神經(jīng)元網(wǎng)絡(luò)模型p線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)線

42、性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 2.3.2 線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法pwidrow-hoffwidrow-hoff學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則又稱為最小均方誤差lms（least mean square error）學(xué)習(xí)算法， 由widrow-hoff提出，屬于有導(dǎo)師學(xué)習(xí)算法lms學(xué)習(xí)規(guī)則定義如下: 目標是通過調(diào)節(jié)權(quán)值，使是通過調(diào)節(jié)權(quán)值，使msemse從誤差空間的某點開始，沿著從誤差空間的某點開始，沿著msemse的斜面向下滑行的斜面向下滑行, ,最終使最終使msemse達到最小值。達到最小值。221111( )( )( )mmkkmsee kd ky kmmbernard widrowbernard widrow2.3

43、.2 線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法p算法實現(xiàn)步驟第一步第一步: :初始化初始化給各個連接賦一個較小的隨機值第二步：輸入一個樣本，計算連接權(quán)值第二步：輸入一個樣本，計算連接權(quán)值的調(diào)整量的調(diào)整量 22ijijekeke kww 22ekeke kbb r11,2,ijiiijije ked kw p kbjsww2.3.2 線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法其中其中 表示第表示第 次循環(huán)中的第個輸入向量。則有：次循環(huán)中的第個輸入向量。則有：第三步：調(diào)整連接權(quán)值第三步：調(diào)整連接權(quán)值根據(jù)負梯度下降的原則，網(wǎng)絡(luò)權(quán)值和閾值修正公式如下根據(jù)負梯度下降的原則，網(wǎng)絡(luò)權(quán)值和閾值修正公式如下式中式中 為學(xué)習(xí)率為學(xué)習(xí)率, ,當其取較大

44、值時，可以加快網(wǎng)絡(luò)的訓(xùn)練速當其取較大值時，可以加快網(wǎng)絡(luò)的訓(xùn)練速度，但是如果其值太大，會導(dǎo)致網(wǎng)絡(luò)穩(wěn)定性的降低和訓(xùn)練誤度，但是如果其值太大，會導(dǎo)致網(wǎng)絡(luò)穩(wěn)定性的降低和訓(xùn)練誤差的增加。所以，為了保證網(wǎng)絡(luò)進行穩(wěn)定的訓(xùn)練，學(xué)習(xí)率的差的增加。所以，為了保證網(wǎng)絡(luò)進行穩(wěn)定的訓(xùn)練，學(xué)習(xí)率的值必須選擇一個合適的值。值必須選擇一個合適的值。 iije kp kw 1e kb k( )ip kt(1)( )2( )( )(1)( )2( )w kw ke kkb kb ke kp2.3.2 線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法第四步：計算均方誤差第四步：計算均方誤差第五步：判斷誤差是否為零或者是否第五步：判斷誤差是否為零或者是否達到

45、預(yù)先設(shè)定的要求。如果是，則結(jié)束達到預(yù)先設(shè)定的要求。如果是，則結(jié)束算法，否則輸入下一個樣本，返回第二算法，否則輸入下一個樣本，返回第二步進入下一輪求解過程步進入下一輪求解過程221111( )( )( )mmkkmsee kd ky kmm2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn) pmatlabmatlab中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能和基本功能 函函 數(shù)數(shù) 名名功功 能能newlin()新建一個線性層新建一個線性層learnwh()widrow-hoff的學(xué)習(xí)函數(shù)的學(xué)習(xí)函數(shù)purelin()線性傳輸函數(shù)線性傳輸函數(shù)mse()最小均方誤差性能函數(shù)最小均方誤差

46、性能函數(shù)2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)pmatlabmatlab中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能newlin()功能功能 新建一個線性神經(jīng)網(wǎng)絡(luò)函數(shù)。新建一個線性神經(jīng)網(wǎng)絡(luò)函數(shù)。格式格式 (1) net = newlin (1) net = newlin (2) net = newlin(pr (2) net = newlin(pr，s s，idid，lr) lr) 說明說明 式式(1)(1)返回一個沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界返回一個沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界面函數(shù)面函數(shù)nntoolnntool的幫助文字；式的幫助文字

47、；式(2)(2)中中netnet為生成的線性神經(jīng)網(wǎng)絡(luò)；為生成的線性神經(jīng)網(wǎng)絡(luò)；prpr為網(wǎng)絡(luò)輸入向量中的最大值和最小值組成的矩陣為網(wǎng)絡(luò)輸入向量中的最大值和最小值組成的矩陣pminpmin，pmaxpmax；s s為輸出向量的個數(shù)；為輸出向量的個數(shù)；idid為輸入延時向量（可省略）；為輸入延時向量（可省略）；lrlr為學(xué)習(xí)速為學(xué)習(xí)速率（可省略），默認值為率（可省略），默認值為0.010.01。 learnwh( )功能功能 線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)格式格式 (1) dw,ls = learnwh(w,p,z,n,a,t,e,gw,ga,d,lp,ls)(1) dw,ls = lea

48、rnwh(w,p,z,n,a,t,e,gw,ga,d,lp,ls) (2) db,ls = learnwh(b,ones(1,q),z,n,a,t,e,gw,ga,d,lp,ls) (2) db,ls = learnwh(b,ones(1,q),z,n,a,t,e,gw,ga,d,lp,ls) 2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)pmatlabmatlab中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能中線性神經(jīng)網(wǎng)絡(luò)相關(guān)的常用函數(shù)和基本功能purelin()功能功能 純線性傳輸函數(shù)純線性傳輸函數(shù)格式格式 a = purelin(n)a = purelin(n)說明說明 函數(shù)函數(shù)purelin(n)

49、purelin(n)為返回網(wǎng)絡(luò)輸入向量為返回網(wǎng)絡(luò)輸入向量n n的輸出矩陣的輸出矩陣a a；神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，newlinnewlin和和newlindnewlind函數(shù)建立的網(wǎng)絡(luò)都可以用該函數(shù)做為傳遞函數(shù)建立的網(wǎng)絡(luò)都可以用該函數(shù)做為傳遞函數(shù)。函數(shù)。mse()功能功能 均方誤差性能函數(shù)均方誤差性能函數(shù)格式格式 perf=mae(eperf=mae(e，w w，pp) pp) 說明說明 perfperf表示均方誤差表示

50、均方誤差,e,e為誤差矩陣或向量為誤差矩陣或向量( (網(wǎng)絡(luò)的目標網(wǎng)絡(luò)的目標向量與輸出向量之差向量與輸出向量之差),w),w為所有權(quán)值和偏值向量為所有權(quán)值和偏值向量( (可忽略可忽略) )， pppp為性能參數(shù)為性能參數(shù)( (可忽略可忽略) )。 2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)p例例2-2 2-2 要求設(shè)計一個線性神經(jīng)網(wǎng)絡(luò)，尋找給定數(shù)據(jù)之間的線性關(guān)要求設(shè)計一個線性神經(jīng)網(wǎng)絡(luò)，尋找給定數(shù)據(jù)之間的線性關(guān)系。系。p=1.1 -1.3;t=0.6 1;% %創(chuàng)建一個只有一個輸出，輸入延時為創(chuàng)建一個只有一個輸出，輸入延時為0 0，學(xué)習(xí)速率為，學(xué)習(xí)速率為0.010.01的線性神經(jīng)網(wǎng)絡(luò)，的線性神經(jīng)網(wǎng)

51、絡(luò)，minmax(p)minmax(p)表示樣表示樣% %本數(shù)據(jù)的取值范圍本數(shù)據(jù)的取值范圍net=newlin(minmax(p),1,0,0.01);% %對創(chuàng)建的線性神經(jīng)網(wǎng)絡(luò)進行初始化，設(shè)置權(quán)值和閾值的初始值對創(chuàng)建的線性神經(jīng)網(wǎng)絡(luò)進行初始化，設(shè)置權(quán)值和閾值的初始值net=init(net);net.trainparam.epochs=500;% %設(shè)置網(wǎng)絡(luò)訓(xùn)練后的目標誤差為設(shè)置網(wǎng)絡(luò)訓(xùn)練后的目標誤差為0.00010.0001net.trainparam.goal=0.0001;net=train(net,p,t);y=sim(net,p)% %求解網(wǎng)絡(luò)的均方誤差值求解網(wǎng)絡(luò)的均方誤差值e=mse

52、(y-t) 2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)p例例2-22-2的輸出結(jié)果的輸出結(jié)果% %使用使用trainbtrainb作為訓(xùn)練函數(shù)，最大訓(xùn)練次數(shù)為作為訓(xùn)練函數(shù)，最大訓(xùn)練次數(shù)為500500，開始訓(xùn)練時的均，開始訓(xùn)練時的均方誤差值為方誤差值為0.680.68，% %目標誤差為目標誤差為0.00010.0001 trainb, epoch 0/500, mse 0.68/0.0001.trainb, epoch 200/500, mse 0.000193748/0.0001.trainb, epoch 217/500, mse 9.87777e-005/0.0001.% %訓(xùn)練到訓(xùn)練到2

53、17217次時，達到目標誤差要求，結(jié)束訓(xùn)練次時，達到目標誤差要求，結(jié)束訓(xùn)練trainb, performance goal met.y = 0.5883 0.9922e = 9.8778e-005 2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)p例例2-22-2的訓(xùn)練誤差曲線的訓(xùn)練誤差曲線 2.3.3 線性神經(jīng)網(wǎng)絡(luò)的matlab實現(xiàn)p原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡(luò)逼近關(guān)系對比原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡(luò)逼近關(guān)系對比注：兩者仍存在誤差，可以通過修改訓(xùn)練步數(shù)或精度來減少兩者注：兩者仍存在誤差，可以通過修改訓(xùn)練步數(shù)或精度來減少兩者的誤差的誤差小結(jié)小結(jié)p線性神經(jīng)網(wǎng)絡(luò)模型線性神經(jīng)網(wǎng)絡(luò)模型p線性神經(jīng)網(wǎng)絡(luò)激活函數(shù)線性神經(jīng)

54、網(wǎng)絡(luò)激活函數(shù)p神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法p線性神經(jīng)網(wǎng)絡(luò)的線性神經(jīng)網(wǎng)絡(luò)的matlabmatlab實現(xiàn)實現(xiàn)p線性神經(jīng)網(wǎng)絡(luò)的局限性線性神經(jīng)網(wǎng)絡(luò)的局限性智能中國網(wǎng)提供學(xué)習(xí)支持智能中國網(wǎng)提供學(xué)習(xí)支持2.4 bp2.4 bp神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法概述概述prumelhartrumelhart，mcclellandmcclelland于于19851985年提出了年提出了bpbp網(wǎng)絡(luò)的誤差反網(wǎng)絡(luò)的誤差反向后傳向后傳bp(back propagation)bp(back propagation)學(xué)習(xí)算法學(xué)習(xí)算法pbpbp算法基本原理算法基本原理利用輸出后的誤差來估計輸出層的直接前導(dǎo)層

55、的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 j. mcclelland david rumelhart 2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型p三層三層bpbp網(wǎng)絡(luò)網(wǎng)絡(luò)1x2x1nx1y2y2ny1z2z3nz123n1t2tihwhjw- - -隱含層輸出層輸入層3nt2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型p激活函數(shù)激活函數(shù)必須處處可導(dǎo)一般都使用一般都使用s s型函數(shù)型函數(shù) p使用使用s s型激活函數(shù)時型激活函數(shù)時bpbp網(wǎng)絡(luò)輸入與輸出關(guān)網(wǎng)絡(luò)輸入與輸出關(guān)系系輸入輸出1122.nnnetx wx wx w

56、1f()1enetynet2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)211f ()(1)1e(1e)-netnetnetyy根據(jù)根據(jù)s s型激活函數(shù)的圖形可知型激活函數(shù)的圖形可知, ,對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，應(yīng)該將對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，應(yīng)該將netnet的值盡的值盡量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) 2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法p學(xué)習(xí)的過程：學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。p學(xué)習(xí)的本質(zhì)：學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整p學(xué)習(xí)規(guī)則：學(xué)習(xí)規(guī)則：權(quán)值調(diào)整

57、規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法- -算法思想算法思想p學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)p核心思想：核心思想： 將輸出誤差以某種形式通過隱層向輸入層逐層反傳p學(xué)習(xí)的過程：學(xué)習(xí)的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有將誤差分攤給各層的所有單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法- -學(xué)習(xí)過程學(xué)習(xí)過程p正向傳播：正向傳播： 輸入樣本輸入層各隱層輸出層p判斷是否轉(zhuǎn)入

58、反向傳播階段：判斷是否轉(zhuǎn)入反向傳播階段： 若輸出層的實際輸出與期望的輸出（教師信號）不符p誤差反傳誤差反傳 誤差以某種形式在各層表示修正各層單元的權(quán)值p網(wǎng)絡(luò)輸出的誤差減少到可接受的程度網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法 p網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元p變量定義變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 12,nxxxx12,phihihihi12,pho hohoho12,

59、qyiyiyiyi12,qyoyoyoyo12,qdddod2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法p第一步，網(wǎng)絡(luò)初始化第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值 和最大學(xué)習(xí)次數(shù)m。p第二步第二步, ,隨機選取第隨機選取第 個輸入

60、樣本及對應(yīng)個輸入樣本及對應(yīng)期望輸出期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法p第三步，計算隱含層各神經(jīng)元的輸入和第三步，計算隱含層各神經(jīng)元的輸入和輸出輸出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq2.4.2 bp2.4.2 bp網(wǎng)絡(luò)的標準學(xué)習(xí)算法網(wǎng)絡(luò)的標準學(xué)習(xí)算法p第四步，利用網(wǎng)絡(luò)