第11章 人工神經(jīng)網(wǎng)絡(luò)

模式識(shí)別

徐蔚然北京郵電大學(xué)信息工程學(xué)院11.1引言研究模式識(shí)別與人工智能的兩個(gè)方面自頂向下：從實(shí)際的功能出發(fā)自底向上：模擬人腦人工神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)模式識(shí)別相同點(diǎn)要解決的問(wèn)題是相同的人工神經(jīng)網(wǎng)絡(luò)的不同點(diǎn)計(jì)算是體現(xiàn)在一種網(wǎng)絡(luò)結(jié)構(gòu)中實(shí)現(xiàn)的網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)是通過(guò)學(xué)習(xí)而逐漸修正的引言人工神經(jīng)網(wǎng)絡(luò)發(fā)展1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts，形似神經(jīng)元的數(shù)學(xué)模型；1949年，心理學(xué)家D.O.Hebb，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)準(zhǔn)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)奠定了基礎(chǔ)20世紀(jì)50年代末，Rosenblatt，感知器模型1969年，Minsky和Papert，《感知器》進(jìn)入低谷引言人工神經(jīng)網(wǎng)絡(luò)發(fā)展1982年，Hopfield，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型能量函數(shù)概念，網(wǎng)絡(luò)的動(dòng)力學(xué)特性電子線路實(shí)現(xiàn)這一網(wǎng)絡(luò)方案1986年，Rumelhart和LeCun，多層感知器的反向傳播算法引言人工神經(jīng)元網(wǎng)絡(luò)方法神經(jīng)元網(wǎng)絡(luò)的復(fù)興與發(fā)展，它在信息領(lǐng)域，以及其它領(lǐng)域都得到廣泛的應(yīng)用傳統(tǒng)的模式識(shí)別方法人工神經(jīng)元網(wǎng)絡(luò)方法解決模式識(shí)別問(wèn)題引言學(xué)習(xí)目標(biāo)(1)通過(guò)本章學(xué)習(xí)要掌握人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)各種計(jì)算功能的原理，及通過(guò)學(xué)習(xí)方法確定網(wǎng)絡(luò)參數(shù)的原理(2)典型的人工神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)：前饋網(wǎng)絡(luò)(3)了解誤差回傳算法的原理11.2人工神經(jīng)元人工神經(jīng)元網(wǎng)絡(luò)的組成基本組成部分:結(jié)點(diǎn)和網(wǎng)絡(luò)11.2人工神經(jīng)元11.2人工神經(jīng)元結(jié)點(diǎn)作為人工神經(jīng)元網(wǎng)絡(luò)的結(jié)點(diǎn)是仿照生物細(xì)胞結(jié)構(gòu)而造出的典型的結(jié)點(diǎn)模型是1940年提出的McCulloch-Pitts模型人工神經(jīng)元結(jié)點(diǎn)這種模型所實(shí)現(xiàn)的功能正是前面提到的線性分類器。非線性的映射單元人工神經(jīng)元結(jié)點(diǎn)幾十年來(lái)，結(jié)點(diǎn)模型變化不大主要的變化是所使用的非線性映射函數(shù)非線性映射函數(shù):如S型，高斯型

S型函數(shù)(0,1)(-1,1)Sigmoid函數(shù)人工神經(jīng)元Sigmoid函數(shù)人工神經(jīng)元S型函數(shù)好處非線性單調(diào)性無(wú)限次可微當(dāng)權(quán)值很大時(shí)可近似閾值函數(shù)當(dāng)權(quán)值很小時(shí)可近似線性函數(shù)使用哪一種非線性函數(shù)取決于具體的網(wǎng)絡(luò)結(jié)構(gòu)及應(yīng)用而使用McCulloch-Pitts模型只能實(shí)現(xiàn)二值的映射人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)：也就是結(jié)點(diǎn)之間的連接人工神經(jīng)元網(wǎng)絡(luò)之所以能有許多復(fù)雜的功能，主要體現(xiàn)在將這些結(jié)點(diǎn)組合成網(wǎng)絡(luò)將執(zhí)行最簡(jiǎn)單計(jì)算的結(jié)點(diǎn)組合起來(lái)，實(shí)現(xiàn)復(fù)雜的運(yùn)算，這就是人工神經(jīng)元網(wǎng)絡(luò)最根本的特點(diǎn)而之所以能將簡(jiǎn)單的運(yùn)算組合成復(fù)雜的運(yùn)算，最主要是一條是結(jié)點(diǎn)的運(yùn)算中具有的非線性映射有了結(jié)點(diǎn)運(yùn)算的非線性映射，才使得人工神經(jīng)元網(wǎng)絡(luò)作為一個(gè)整體能實(shí)現(xiàn)復(fù)雜的非線性映射功能能夠?qū)崿F(xiàn)任意復(fù)雜的函數(shù)人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元網(wǎng)絡(luò)的成功體現(xiàn)在通過(guò)學(xué)習(xí)機(jī)制確定參數(shù)這一點(diǎn)感知準(zhǔn)則函數(shù)方法在人工神經(jīng)元網(wǎng)絡(luò)中就是單層感知器學(xué)習(xí)確定網(wǎng)絡(luò)各參數(shù)則成為人工神經(jīng)元網(wǎng)絡(luò)確定參數(shù)的最基本方法神經(jīng)網(wǎng)絡(luò)為什么會(huì)實(shí)現(xiàn)復(fù)雜計(jì)算感知器(perceptron)感知器:感知準(zhǔn)則函數(shù)方法設(shè)計(jì)的分類器只能實(shí)現(xiàn)對(duì)兩類樣本的線性分類或者說(shuō)他只能將特征空間用線性函數(shù)劃分成兩個(gè)區(qū)域f(x)是x的一個(gè)線性函數(shù)McCulloch-Pitts模型中的閾值函數(shù)，可以寫成人工神經(jīng)元網(wǎng)絡(luò)工作原理復(fù)雜一些的判別函數(shù)將特征空間劃分成兩個(gè)區(qū)域兩條射線組成的折線來(lái)劃分在折線的一邊為y=1，在折線的另一邊y=0顯然用一個(gè)神經(jīng)元是不行人工神經(jīng)元網(wǎng)絡(luò)工作原理復(fù)雜一些的判別函數(shù)整個(gè)空間將因這兩個(gè)函數(shù)值的極性不同分成四個(gè)區(qū)域y=0這個(gè)區(qū)域所具有的特點(diǎn)是

與

都小于零需要增加一個(gè)邏輯運(yùn)算才能解決問(wèn)題三個(gè)運(yùn)算可以通過(guò)三個(gè)神經(jīng)元結(jié)點(diǎn)人工神經(jīng)元網(wǎng)絡(luò)工作原理復(fù)雜一些的判別函數(shù)Whereasatwo-layernetworkclassifiercanonlyimplementalineardecisionboundary,givenanadequatenumberofhiddenunits,three-,four-andhigher-layernetworkscanimplementarbitrarydecisionboundaries.Thedecisionregionsneednotbeconvexorsimplyconnected.From:RichardO.Duda,PeterE.Hart,andDavidG.Stork,PatternClassification.Copyrightc2001byJohnWiley&Sons,Inc.人工神經(jīng)元網(wǎng)絡(luò)工作原理人工神經(jīng)元網(wǎng)絡(luò)的工作原理與特點(diǎn)：(1)人工神經(jīng)元網(wǎng)絡(luò)由數(shù)量較多的結(jié)點(diǎn)(每個(gè)結(jié)點(diǎn)是一個(gè)神經(jīng)元)以適當(dāng)?shù)姆绞较嗷ミB接組成，每個(gè)結(jié)點(diǎn)的輸入可以是輸入數(shù)據(jù)的某一個(gè)分量，也可以是其他結(jié)點(diǎn)的輸出。(2)每個(gè)結(jié)點(diǎn)都執(zhí)行簡(jiǎn)單的兩步運(yùn)算：對(duì)輸入信號(hào)實(shí)現(xiàn)加權(quán)和；對(duì)加權(quán)和執(zhí)行非線性映射。(3)由于結(jié)點(diǎn)之間的相互連接，可實(shí)現(xiàn)對(duì)簡(jiǎn)單運(yùn)算的組合，而實(shí)現(xiàn)復(fù)雜的運(yùn)算。(4)人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)各種功能取決于所采用的結(jié)點(diǎn)間連接方式以及每個(gè)結(jié)點(diǎn)的參數(shù)值的選擇。11.3前饋網(wǎng)絡(luò)感知器的局限性解決不了異或(XOR)或奇偶校驗(yàn)如果在輸入端與輸出結(jié)點(diǎn)之間引入隱含層，則上述一些運(yùn)算的執(zhí)行就不成問(wèn)題問(wèn)題在于在人工神經(jīng)網(wǎng)絡(luò)研究的早期，人們還不知道如何用訓(xùn)練方式確定含隱含層結(jié)點(diǎn)網(wǎng)絡(luò)的所有參數(shù)1985年前后分別發(fā)表了基于誤差回傳的訓(xùn)練算法，從而在原理上解決了多層網(wǎng)格的訓(xùn)練問(wèn)題前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)及基本功能結(jié)構(gòu)特點(diǎn)是將結(jié)點(diǎn)分層安排處于最低層的輸入端子從外界接收輸入信號(hào)，并將輸入信號(hào)各分量經(jīng)過(guò)不同加權(quán)往送第一隱含層該層的運(yùn)算結(jié)果又依次送往其高一層，直至輸出層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)及基本功能由于在這種網(wǎng)絡(luò)中信息具有沿單方向傳送的特點(diǎn)，因此被稱為前饋網(wǎng)絡(luò)。

習(xí)慣上把含有一個(gè)隱含層的網(wǎng)絡(luò)稱為兩層網(wǎng)絡(luò)前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)及基本功能前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)學(xué)習(xí)的任務(wù)已知網(wǎng)絡(luò)的結(jié)構(gòu)即，網(wǎng)絡(luò)層數(shù)和每層結(jié)點(diǎn)個(gè)數(shù)已知結(jié)點(diǎn)的數(shù)學(xué)模型非線性函數(shù)的數(shù)學(xué)模型問(wèn)題:確定各個(gè)結(jié)點(diǎn)之間的連接系數(shù)Wij利用訓(xùn)練樣本使得經(jīng)驗(yàn)誤差最小前饋網(wǎng)絡(luò):反向傳播算法反向傳播算法基本思想(1)設(shè)計(jì)一個(gè)代價(jià)函數(shù)作為迭代學(xué)習(xí)過(guò)程的目標(biāo)函數(shù)。(2)利用代價(jià)函數(shù)對(duì)各參數(shù)的偏導(dǎo)數(shù)來(lái)確定各參數(shù)的修正量。(3)利用網(wǎng)絡(luò)計(jì)算的分層結(jié)構(gòu)導(dǎo)出計(jì)算的分層表示