第4章(人工神經(jīng)網(wǎng)絡(luò)1-基礎(chǔ)知識)

1、第第4章章 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)內(nèi)容內(nèi)容：教材：教材 109-119 、191-200 頁頁4.1 基礎(chǔ)知識（補充）基礎(chǔ)知識（補充）4.2 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3 反向傳播神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)4.4 離散的離散的Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)4.1 基礎(chǔ)知識基礎(chǔ)知識1 最速下降法（梯度法）最速下降法（梯度法）2 Matlab程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱 1 最速下降法最速下降法 最速下降法最速下降法（又稱（又稱梯度法梯度法）是）是1847年年 Cauchy 提提出來的最優(yōu)化算法，用于求解非線性函數(shù)的局部出來的最優(yōu)化算法，用于求解非線性函數(shù)的局部最小

2、值（最小點）最小值（最小點）min( )nRfxx回顧高等數(shù)學(xué)中一元函數(shù)的求極值問題：回顧高等數(shù)學(xué)中一元函數(shù)的求極值問題：極小點的條件是極小點的條件是：()0()0fxfxn 元函數(shù)極小點的條件元函數(shù)極小點的條件：矩陣是半正定的矩陣是半正定的T2 ( ) 0fyx y12( )( )( )0.( )nfxfxffxxxxx21121222122212( )( )( ).( )( )( ).( )0.( )( )( )nnnnnfffxx xx xfffx xxx xffffxxxxx xxxxxxxxxxHesse矩陣矩陣梯度梯度自然而然想到的求極小值的方法自然而然想到的求極小值的方法 令梯度

3、為零，通過解非線性方程組，求出一組令梯度為零，通過解非線性方程組，求出一組極值點極值點 根據(jù)每一個極值點處的矩陣是否為半正定，來根據(jù)每一個極值點處的矩陣是否為半正定，來判斷極小值點判斷極小值點在實際中，在實際中，這一方法是不可行的這一方法是不可行的： 變量的個數(shù)多變量的個數(shù)多 不易求解非線性方程組不易求解非線性方程組 不易判斷矩陣是否半正定不易判斷矩陣是否半正定在最優(yōu)化技術(shù)中，采用迭代的方法求出其中的在最優(yōu)化技術(shù)中，采用迭代的方法求出其中的一個解一個解不同的初始值可能對應(yīng)于不同的解，并求出不同的初始值可能對應(yīng)于不同的解，并求出局部極值局部極值在最速下降法中，以負(fù)梯度方在最速下降法中，以負(fù)梯度方

4、向作為極小化算法的下降方向向作為極小化算法的下降方向迭代格式為迭代格式為kkkkgxx1梯度梯度k是迭代步長，可以用一維搜索來確定是迭代步長，可以用一維搜索來確定 ()min kkkkfxg終止準(zhǔn)則終止準(zhǔn)則 ：2kg向量的向量的2范數(shù)：范數(shù)：12221()niixx最速下降法的計算步驟最速下降法的計算步驟：1：給定初始點：給定初始點 x1，允許誤差允許誤差，置置 k=12：計算搜索方向：計算搜索方向 g(xk) = f (xk) 3：如果：如果 | g(x) |2，則終止計算，算法找到解。否則終止計算，算法找到解。否則，從則，從 x k 出發(fā)，沿出發(fā)，沿 -g(xk) 進(jìn)行一維搜索，求出進(jìn)行一

5、維搜索，求出k ，使得使得 f(xk -k g(xk) = min f(xk - g(xk)4：置置 xk+1= xk -k g(xk) ，k=k+1，轉(zhuǎn)到轉(zhuǎn)到步步2 說明說明： 在編程時，還需要設(shè)置最大允許迭代次數(shù)，在編程時，還需要設(shè)置最大允許迭代次數(shù)，以提前終止迭代過程以提前終止迭代過程 在人工神經(jīng)網(wǎng)絡(luò)的算法中經(jīng)常人為地設(shè)定迭在人工神經(jīng)網(wǎng)絡(luò)的算法中經(jīng)常人為地設(shè)定迭代步長（學(xué)習(xí)率）代步長（學(xué)習(xí)率） （常量或者單調(diào)減小常量或者單調(diào)減小）梯度法的特點梯度法的特點：一般來說，只能找到一個局部最小點（多解）一般來說，只能找到一個局部最小點（多解）收斂速度較慢收斂速度較慢算法結(jié)構(gòu)簡單，易于用各種編程語

6、言來實現(xiàn)算法結(jié)構(gòu)簡單，易于用各種編程語言來實現(xiàn)2 Matlab程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱 (1) Matlab簡介簡介 Matlab（Matrix Laboratory）是美國是美國MathWorks公司的產(chǎn)品，是一種功能強大、效率高、便于進(jìn)行公司的產(chǎn)品，是一種功能強大、效率高、便于進(jìn)行科學(xué)和工程計算的交互式軟件包。科學(xué)和工程計算的交互式軟件包。當(dāng)前使用的版本當(dāng)前使用的版本：Matlab6.1、Matlab6.5和和Matlab7.0Matlab的特點的特點：高效方便的矩陣和數(shù)組運算高效方便的矩陣和數(shù)組運算例如：求例如：求Ax=b， 語句是語句是 x=Ab 求特征

7、值，語句是求特征值，語句是 e=eig(A)編程效率高編程效率高M(jìn)atlab語言簡潔緊湊，使用靈活方便，程序書語言簡潔緊湊，使用靈活方便，程序書寫形式自由。庫函數(shù)豐富寫形式自由。庫函數(shù)豐富結(jié)構(gòu)化結(jié)構(gòu)化/ /面向?qū)ο竺嫦驅(qū)ο螽?dāng)前當(dāng)前Matlab版本采用版本采用C+編寫的，既有結(jié)構(gòu)化的控編寫的，既有結(jié)構(gòu)化的控制語句（制語句（for, while, break, continue, if），），又有面向又有面向?qū)ο缶幊痰奶匦詫ο缶幊痰奶匦苑奖愕睦L圖功能方便的繪圖功能能夠繪制各種二維、三維圖件能夠繪制各種二維、三維圖件用戶使用方便用戶使用方便 使用方式有命令行和使用方式有命令行和.m文件（腳本文件（腳

8、本M文件、函數(shù)文件、函數(shù)M文件）。后者作為編譯型語言使用：編輯文件）。后者作為編譯型語言使用：編輯-編譯編譯-連連接接-執(zhí)行與調(diào)試執(zhí)行與調(diào)試功能強大的工具箱功能強大的工具箱近三十個工具箱近三十個工具箱 擴(kuò)充能力強擴(kuò)充能力強用戶可以自己編寫函數(shù)，建立新的庫函數(shù)和擴(kuò)充用戶可以自己編寫函數(shù)，建立新的庫函數(shù)和擴(kuò)充庫函數(shù)。核心文件和工具箱文件都是可讀可寫的庫函數(shù)。核心文件和工具箱文件都是可讀可寫的源文件，用戶可以修改。可以與源文件，用戶可以修改。可以與C，C+語言混語言混合編程合編程計算速度比計算速度比C語言慢，易學(xué)會難精通語言慢，易學(xué)會難精通(2) Matlab語言的要點語言的要點 注釋行注釋行注釋行

9、的開頭是注釋行的開頭是“ ”變量變量變量命名規(guī)則是：變量命名規(guī)則是：區(qū)分大小寫區(qū)分大小寫長度最多不能超過長度最多不能超過19個字符個字符變量名必須以字母開頭，由字母、數(shù)字和下劃變量名必須以字母開頭，由字母、數(shù)字和下劃線組成線組成數(shù)組數(shù)組 數(shù)組是一系列數(shù)的有序排列，用方括號數(shù)組是一系列數(shù)的有序排列，用方括號“ ”表示表示 數(shù)組的下標(biāo)從數(shù)組的下標(biāo)從 1 開始開始 元素之間用元素之間用“ 空格空格 ”或或“ 逗號逗號 ”分開分開例：例：x=0 , 1 , 2 , 3 , 4 , 5 , 6;（行向量行向量）x( 1 )：第一個元素：第一個元素x( 1 : 5 )：第一到第五個元素：第一到第五個元素x

10、( 3 : -1 : 1 )：第三到第一個元素：第三到第一個元素 注意注意：如果語句最后沒有如果語句最后沒有“ ；”，則顯示，則顯示 x 的所有值的所有值有分號則不顯示有分號則不顯示矩陣矩陣矩陣用矩陣用“ 方括號方括號 ”來表示來表示同一行的數(shù)據(jù)用同一行的數(shù)據(jù)用“ 空格空格 ”或或“ 逗號逗號 ”隔開隔開不同行的數(shù)據(jù)用不同行的數(shù)據(jù)用“ 分號分號 ”隔開隔開 例：例：A= 1 , 0 , 0 ; 0 , 1 , 0 ; 0 , 0, 1 ;引用一個元素可以用兩個下標(biāo)來表示引用一個元素可以用兩個下標(biāo)來表示例例 A(i , j)引用多個元素可以用冒號來表示引用多個元素可以用冒號來表示例例 A（：，（

11、：，j）：第第 j 列的所有元素列的所有元素4.1.2.3 神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱 神經(jīng)網(wǎng)絡(luò)工具箱包含了人工神經(jīng)網(wǎng)絡(luò)中的主要模型與算法，神經(jīng)網(wǎng)絡(luò)工具箱包含了人工神經(jīng)網(wǎng)絡(luò)中的主要模型與算法，具體有：具體有：感知器神經(jīng)網(wǎng)絡(luò)感知器神經(jīng)網(wǎng)絡(luò)（Perceptron，Rosenblatt，1957）線性神經(jīng)網(wǎng)路（線性神經(jīng)網(wǎng)路（Adaline, Widrow和和Hoff， 1960）BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（BP，Rumelhart和和McCelland， 1986）自組織網(wǎng)絡(luò)自組織網(wǎng)絡(luò)（SOM，Kohonen，1980）離散的離散的Hopfield網(wǎng)絡(luò)（網(wǎng)絡(luò)（Hopfield，1986）第第4章章 人工

12、神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)4.1 基礎(chǔ)知識（補充）基礎(chǔ)知識（補充）4.2 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3 反向傳播神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)4.4 離散的離散的Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)4.2.1 生理神經(jīng)元生理神經(jīng)元4.2.2 人工神經(jīng)元人工神經(jīng)元4.2.3 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)4.2.1 生理神經(jīng)元生理神經(jīng)元1 生理神經(jīng)元的結(jié)構(gòu)生理神經(jīng)元的結(jié)構(gòu) 2 生理神經(jīng)元的工作原理生理神經(jīng)元的工作原理典型的神經(jīng)元分成：典型的神經(jīng)元分成： 細(xì)胞體細(xì)胞體(cell body) 突突(process)1 生理神經(jīng)元的結(jié)構(gòu)生理神經(jīng)元的結(jié)構(gòu)軸突軸突(axon)樹突樹突(dendrite)生理神經(jīng)元的組成生理神經(jīng)元的組

13、成軸突軸突是個突出部分，長度可達(dá)是個突出部分，長度可達(dá) l m，把本神把本神經(jīng)元的輸出發(fā)送到與其相連接的其它神經(jīng)元經(jīng)元的輸出發(fā)送到與其相連接的其它神經(jīng)元生理神經(jīng)元的組成生理神經(jīng)元的組成輸出端輸出端樹突樹突是突出部分，但一般較短，且分枝很多，是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號元的生物信號 生理神經(jīng)元的組成生理神經(jīng)元的組成輸入端輸入端輸出端輸出端突觸突觸是軸突的末端與樹突進(jìn)行信號傳遞的界面是軸突的末端與樹突進(jìn)行信號傳遞的界面生理神經(jīng)元的組成生理神經(jīng)元的組成接口接口輸出端輸出端輸入端輸入端輸入端輸入端2

14、 神經(jīng)元的工作原理神經(jīng)元的工作原理只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平閾值電平后，后，神經(jīng)元才會產(chǎn)生一個全強度的輸出神經(jīng)元才會產(chǎn)生一個全強度的輸出窄脈沖窄脈沖，從細(xì)，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。此時，稱為神經(jīng)元的胞體經(jīng)軸突進(jìn)入軸突分枝。此時，稱為神經(jīng)元的觸發(fā)觸發(fā)（抑制轉(zhuǎn)化為興奮）（抑制轉(zhuǎn)化為興奮）神經(jīng)元通過突觸形成的神經(jīng)元通過突觸形成的網(wǎng)絡(luò)網(wǎng)絡(luò)，傳遞神經(jīng)元間的，傳遞神經(jīng)元間的興興奮與抑制奮與抑制；大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓；大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實現(xiàn)撲網(wǎng)絡(luò)群體，用于實現(xiàn)記憶記憶與與思維思維4.2.2 人工神經(jīng)元人工神經(jīng)元人工神經(jīng)元

15、是生理神經(jīng)元的人工神經(jīng)元是生理神經(jīng)元的數(shù)學(xué)模型數(shù)學(xué)模型，由，由McCulloch 與與 Pitts 在在 1943 年首先建立的，現(xiàn)在年首先建立的，現(xiàn)在的模型經(jīng)過后人適當(dāng)?shù)母倪M(jìn)與完善的模型經(jīng)過后人適當(dāng)?shù)母倪M(jìn)與完善在人工神經(jīng)元模型中在人工神經(jīng)元模型中： 用權(quán)值和乘法器模擬突觸特性用權(quán)值和乘法器模擬突觸特性 用加法器模擬樹突的互聯(lián)作用用加法器模擬樹突的互聯(lián)作用 用與閾值比較來模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生用與閾值比較來模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開關(guān)特性的開關(guān)特性n 個輸入個輸入 xi R ( i=1,n )，相當(dāng)于其它神經(jīng)元的相當(dāng)于其它神經(jīng)元的輸出值，其中輸出值，其中 n 是輸入（信號）的數(shù)目（即，

16、與是輸入（信號）的數(shù)目（即，與其相連的其他神經(jīng)元的個數(shù)）其相連的其他神經(jīng)元的個數(shù)）人工神經(jīng)元模型人工神經(jīng)元模型n 個連接權(quán)系數(shù)（權(quán)值）個連接權(quán)系數(shù)（權(quán)值） w j i R ( i=1,n )，相當(dāng)于突觸的連接強度（對于激發(fā)狀態(tài)取正值，相當(dāng)于突觸的連接強度（對于激發(fā)狀態(tài)取正值，對于抑制狀態(tài)取負(fù)值）對于抑制狀態(tài)取負(fù)值）j ：神經(jīng)元的閾值，相當(dāng)于動作電平的閾值神經(jīng)元的閾值，相當(dāng)于動作電平的閾值 總輸入總輸入：輸入信號的加權(quán)和，即：輸入信號的加權(quán)和，即1njiiiw x單輸出單輸出 y 為：為：1( )()njjiijiy tfw x f 稱為激發(fā)函數(shù)、作用函數(shù)、激勵函數(shù)、變換稱為激發(fā)函數(shù)、作用函數(shù)、

17、激勵函數(shù)、變換函數(shù)、轉(zhuǎn)換函數(shù)、傳遞函數(shù)函數(shù)、轉(zhuǎn)換函數(shù)、傳遞函數(shù)激發(fā)函數(shù)激發(fā)函數(shù) f 的常用形式的常用形式閾值函數(shù)閾值函數(shù)或者階躍函數(shù)或者階躍函數(shù)（非線性函數(shù)，不可微非線性函數(shù)，不可微）1 x0( )0 x0f x符號函數(shù)符號函數(shù)（非線性函數(shù)，不可微非線性函數(shù)，不可微） 1 x0( )sgn( )1 x0f xx線性函數(shù)線性函數(shù)（ 線性函數(shù)、線性函數(shù)、1 階可微）階可微）( )f xxSigmoid函數(shù)函數(shù) （非線性函數(shù)，任意階可微非線性函數(shù)，任意階可微）1( ) x(,) ( ) 1, 11xxef xf xe 1( ) x(,) ( )0, 11xf xf xe Sigmoid函數(shù)的特點：函

18、數(shù)的特點：第一第一、非線性、單調(diào)性（單調(diào)增）、非線性、單調(diào)性（單調(diào)增）第二第二、無限次可微、無限次可微第三第三、當(dāng)值很大時，可以近似閾值函數(shù)或符號函數(shù)、當(dāng)值很大時，可以近似閾值函數(shù)或符號函數(shù)第四第四、當(dāng)值很小時，可以近似線性函數(shù)、當(dāng)值很小時，可以近似線性函數(shù) 神經(jīng)元的動作：神經(jīng)元的動作： 求加權(quán)和求加權(quán)和 與閾值比較與閾值比較 用激發(fā)函數(shù)得到輸出用激發(fā)函數(shù)得到輸出1( )()njjiijiytfwx公式表示上的簡化公式表示上的簡化令令w j 0 = -j ，并記并記w j = (wj 0, wj 1, , wj n)T x = ( 1, x1, , xn )T 則有則有 yj = f ( w

19、j Tx ) 注意注意：有些神經(jīng)元可能不包含閾值：有些神經(jīng)元可能不包含閾值圖形表示上的簡化圖形表示上的簡化將神經(jīng)元簡化為圓圈或者實心元將神經(jīng)元簡化為圓圈或者實心元閾值閾值4.2.3 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元（人工神經(jīng)元）相是由大量處理單元（人工神經(jīng)元）相互連結(jié)組成的非線性、大規(guī)模、自適應(yīng)的動力系統(tǒng)。互連結(jié)組成的非線性、大規(guī)模、自適應(yīng)的動力系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式，設(shè)計出一種新的機(jī)器使之具有像人腦那樣的信息處設(shè)計出一種新的機(jī)器使之具有像人腦那樣的信息處理能力理能力 人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的特點并行分布處理并行分布處理神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實現(xiàn)能力，神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實現(xiàn)能力，因而具有較好的容錯能力和較快的總體處理能因而具有較好的容錯能力和較快的總體處理能力，所以特別適于力，所以特別適于實時和動態(tài)處理實時和動態(tài)處理非線性映射非線性映射神經(jīng)網(wǎng)絡(luò)具有神經(jīng)網(wǎng)絡(luò)具有高度高度非線性非線性映射映射（