第4章(人工神經(jīng)網(wǎng)絡(luò)1-基礎(chǔ)知識)ppt課件

.,第4章人工神經(jīng)網(wǎng)絡(luò),內(nèi)容：教材109-119、191-200頁,4.1基礎(chǔ)知識（補充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò),.,4.1基礎(chǔ)知識1最速下降法（梯度法）2Matlab程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱,.,1最速下降法,最速下降法（又稱梯度法）是1847年Cauchy提出來的最優(yōu)化算法，用于求解非線性函數(shù)的局部最小值（最小點）,.,回顧高等數(shù)學中一元函數(shù)的求極值問題：,極小點的條件是：,.,n元函數(shù)極小點的條件：,矩陣是半正定的,Hesse矩陣,梯度,.,自然而然想到的求極小值的方法令梯度為零，通過解非線性方程組，求出一組極值點根據(jù)每一個極值點處的矩陣是否為半正定，來判斷極小值點,.,在實際中，這一方法是不可行的：變量的個數(shù)多不易求解非線性方程組不易判斷矩陣是否半正定,.,在最優(yōu)化技術(shù)中，采用迭代的方法求出其中的一個解,不同的初始值可能對應于不同的解，并求出局部極值,.,在最速下降法中，以負梯度方向作為極小化算法的下降方向迭代格式為,梯度,.,是迭代步長，可以用一維搜索來確定,終止準則：,向量的2范數(shù)：,.,最速下降法的計算步驟：1：給定初始點x1，允許誤差，置k=12：計算搜索方向g(xk)=f(xk),.,3：如果|g(x)|2，則終止計算，算法找到解。否則，從xk出發(fā)，沿-g(xk)進行一維搜索，求出k，使得f(xk-kg(xk)=minf(xk-g(xk)4：置xk+1=xk-kg(xk)，k=k+1，轉(zhuǎn)到步2,.,.,說明：在編程時，還需要設(shè)置最大允許迭代次數(shù)，以提前終止迭代過程在人工神經(jīng)網(wǎng)絡(luò)的算法中經(jīng)常人為地設(shè)定迭代步長（學習率）（常量或者單調(diào)減?。?.,梯度法的特點：一般來說，只能找到一個局部最小點（多解）收斂速度較慢算法結(jié)構(gòu)簡單，易于用各種編程語言來實現(xiàn),.,2Matlab程序設(shè)計語言與神經(jīng)網(wǎng)絡(luò)工具箱,(1)Matlab簡介,Matlab（MatrixLaboratory）是美國MathWorks公司的產(chǎn)品，是一種功能強大、效率高、便于進行科學和工程計算的交互式軟件包。當前使用的版本：Matlab6.1、Matlab6.5和Matlab7.0,.,Matlab的特點：高效方便的矩陣和數(shù)組運算例如：求Ax=b，語句是x=Ab求特征值，語句是e=eig(A)編程效率高Matlab語言簡潔緊湊，使用靈活方便，程序書寫形式自由。庫函數(shù)豐富,.,結(jié)構(gòu)化/面向?qū)ο螽斍癕atlab版本采用C+編寫的，既有結(jié)構(gòu)化的控制語句（for,while,break,continue,if），又有面向?qū)ο缶幊痰奶匦苑奖愕睦L圖功能能夠繪制各種二維、三維圖件,.,用戶使用方便使用方式有命令行和.m文件（腳本M文件、函數(shù)M文件）。后者作為編譯型語言使用：編輯-編譯-連接-執(zhí)行與調(diào)試功能強大的工具箱近三十個工具箱,.,擴充能力強用戶可以自己編寫函數(shù)，建立新的庫函數(shù)和擴充庫函數(shù)。核心文件和工具箱文件都是可讀可寫的源文件，用戶可以修改?？梢耘cC，C+語言混合編程計算速度比C語言慢，易學會難精通,.,(2)Matlab語言的要點,注釋行注釋行的開頭是“”,.,變量變量命名規(guī)則是：區(qū)分大小寫長度最多不能超過19個字符變量名必須以字母開頭，由字母、數(shù)字和下劃線組成,.,數(shù)組數(shù)組是一系列數(shù)的有序排列，用方括號“”表示數(shù)組的下標從1開始元素之間用“空格”或“逗號”分開,.,例：x=0,1,2,3,4,5,6;（行向量）x(1)：第一個元素x(1:5)：第一到第五個元素x(3:-1:1)：第三到第一個元素,.,注意：如果語句最后沒有“；”，則顯示x的所有值有分號則不顯示,.,矩陣矩陣用“方括號”來表示同一行的數(shù)據(jù)用“空格”或“逗號”隔開不同行的數(shù)據(jù)用“分號”隔開,.,例：A=1,0,0;0,1,0;0,0,1;引用一個元素可以用兩個下標來表示例A(i,j)引用多個元素可以用冒號來表示例A（：，j）：第j列的所有元素,.,4.1.2.3神經(jīng)網(wǎng)絡(luò)工具箱,神經(jīng)網(wǎng)絡(luò)工具箱包含了人工神經(jīng)網(wǎng)絡(luò)中的主要模型與算法，具體有：感知器神經(jīng)網(wǎng)絡(luò)（Perceptron，Rosenblatt，1957）線性神經(jīng)網(wǎng)路（Adaline,Widrow和Hoff，1960）BP神經(jīng)網(wǎng)絡(luò)（BP，Rumelhart和McCelland，1986）,.,自組織網(wǎng)絡(luò)（SOM，Kohonen，1980）離散的Hopfield網(wǎng)絡(luò)（Hopfield，1986）,.,第4章人工神經(jīng)網(wǎng)絡(luò),4.1基礎(chǔ)知識（補充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò),.,4.2.1生理神經(jīng)元4.2.2人工神經(jīng)元4.2.3神經(jīng)網(wǎng)絡(luò),.,4.2.1生理神經(jīng)元1生理神經(jīng)元的結(jié)構(gòu)2生理神經(jīng)元的工作原理,.,典型的神經(jīng)元分成：細胞體(cellbody)突(process),1生理神經(jīng)元的結(jié)構(gòu),軸突(axon)樹突(dendrite),生理神經(jīng)元的組成,.,軸突是個突出部分，長度可達lm，把本神經(jīng)元的輸出發(fā)送到與其相連接的其它神經(jīng)元,生理神經(jīng)元的組成,輸出端,.,樹突是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號,生理神經(jīng)元的組成,輸入端,輸出端,.,突觸是軸突的末端與樹突進行信號傳遞的界面,生理神經(jīng)元的組成,接口,輸出端,輸入端,輸入端,.,2神經(jīng)元的工作原理,只有神經(jīng)元所有輸入的總效應達到閾值電平后，神經(jīng)元才會產(chǎn)生一個全強度的輸出窄脈沖，從細胞體經(jīng)軸突進入軸突分枝。此時，稱為神經(jīng)元的觸發(fā)（抑制轉(zhuǎn)化為興奮）,.,神經(jīng)元通過突觸形成的網(wǎng)絡(luò)，傳遞神經(jīng)元間的興奮與抑制；大腦的全部神經(jīng)元構(gòu)成極其復雜的拓撲網(wǎng)絡(luò)群體，用于實現(xiàn)記憶與思維,.,4.2.2人工神經(jīng)元,人工神經(jīng)元是生理神經(jīng)元的數(shù)學模型，由McCulloch與Pitts在1943年首先建立的，現(xiàn)在的模型經(jīng)過后人適當?shù)母倪M與完善,.,在人工神經(jīng)元模型中：用權(quán)值和乘法器模擬突觸特性用加法器模擬樹突的互聯(lián)作用用與閾值比較來模擬細胞體內(nèi)電化學作用產(chǎn)生的開關(guān)特性,.,n個輸入xiR(i=1,n)，相當于其它神經(jīng)元的輸出值，其中n是輸入（信號）的數(shù)目（即，與其相連的其他神經(jīng)元的個數(shù)）,人工神經(jīng)元模型,.,n個連接權(quán)系數(shù)（權(quán)值）wjiR(i=1,n)，相當于突觸的連接強度（對于激發(fā)狀態(tài)取正值，對于抑制狀態(tài)取負值）,.,j：神經(jīng)元的閾值，相當于動作電平的閾值,.,總輸入：輸入信號的加權(quán)和，即,單輸出y為：,.,f稱為激發(fā)函數(shù)、作用函數(shù)、激勵函數(shù)、變換函數(shù)、轉(zhuǎn)換函數(shù)、傳遞函數(shù),.,激發(fā)函數(shù)f的常用形式,閾值函數(shù)或者階躍函數(shù)（非線性函數(shù)，不可微）,.,符號函數(shù)（非線性函數(shù)，不可微）,.,線性函數(shù)（線性函數(shù)、1階可微）,.,Sigmoid函數(shù)（非線性函數(shù)，任意階可微）,.,.,Sigmoid函數(shù)的特點：第一、非線性、單調(diào)性（單調(diào)增）第二、無限次可微第三、當值很大時，可以近似閾值函數(shù)或符號函數(shù)第四、當值很小時，可以近似線性函數(shù),.,神經(jīng)元的動作：求加權(quán)和與閾值比較用激發(fā)函數(shù)得到輸出,.,公式表示上的簡化令wj0=-j，并記wj=(wj0,wj1,wjn)Tx=(1,x1,xn)T則有yj=f(wjTx),注意：有些神經(jīng)元可能不包含閾值,.,圖形表示上的簡化將神經(jīng)元簡化為圓圈或者實心元,閾值,.,4.2.3神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元（人工神經(jīng)元）相互連結(jié)組成的非線性、大規(guī)模、自適應的動力系統(tǒng)。它是在現(xiàn)代神經(jīng)科學研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式，設(shè)計出一種新的機器使之具有像人腦那樣的信息處理能力,.,人工神經(jīng)網(wǎng)絡(luò)的特點并行分布處理神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實現(xiàn)能力，因而具有較好的容錯能力和較快的總體處理能力，所以特別適于實時和動態(tài)處理,.,非線性映射神經(jīng)網(wǎng)絡(luò)具有高度非線性映射（變換）能力，是處理非線性問題的一種有效手段,.,學習能力神經(jīng)網(wǎng)絡(luò)通過樣本數(shù)據(jù)完成學習或訓練。訓練后的神經(jīng)網(wǎng)絡(luò)具有推廣或者泛化能力（對未來數(shù)據(jù)的預測能力）。因此，神經(jīng)網(wǎng)絡(luò)能夠解決數(shù)學模型或規(guī)則難以處理的問題（類似于黑盒子）,.,適應性與集成性神經(jīng)網(wǎng)絡(luò)可以用于在線處理，并能同時進行定量和定性操作。神經(jīng)網(wǎng)絡(luò)的強適應和信息融合能力使得它可以同時輸入大量不