第2章 前向多層人工神經(jīng)網(wǎng)絡課件

第二章前向多層人工神經(jīng)網(wǎng)絡§2.1概述

ANN的主要功能之一——模式識別

(PatternRecognition)

模式識別是人類的一項基本智能行為，在日常生活中，我們幾乎時刻在進行著“模式識別”。模式：

廣義地說，存在于時間和空間中可觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱之為模式；

狹義地說，模式是通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息；

模式類：把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類);

模式識別：在一定量度或觀測基礎上把待識模式劃分到各自的模式類中去的過程叫作模式識別；

模式識別——

對表征事物或現(xiàn)象的各種形式的（數(shù)值的，文字的和邏輯關系的）信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程，是信息科學和人工智能的重要組成部分。

買西瓜：西瓜可分為生、熟兩類，此時，研究的范疇是“西瓜”，在此范疇上定義了兩類模式：熟瓜和生瓜；種西瓜：西瓜分早熟品種、晚熟品種兩類，即定義了兩類模式：早熟和晚熟；河北省早熟品種分類：河北省常見品種有“新紅寶”、“蜜梅”、“京欣”、“冀早2號”…等；此時，研究范疇是“河北常見早熟西瓜品種”，在此范疇上定義了多類模式：新紅寶、蜜梅、京欣、冀早2號等等買西瓜：兩類模式分類問題，通過聲音的頻率x1和聲音持續(xù)時間長度x2來判斷瓜的生熟。對編號為

i的瓜進行敲擊測試，得到矢量元素Xi=(x1i，x2i)T

，對N個有生有熟的瓜進行實驗可以得到N個數(shù)據(jù)：X={X1,X2,X3,…,XN}

，根據(jù)瓜的生熟可以將X中的元素劃分為兩類，一類對應于生瓜一類對應于熟瓜。于是，模式其實就是具有特定性質的矢量/數(shù)據(jù)。用C1代表生瓜類，C2代表熟瓜類，則X中的任意一個元素Xn必然滿足:Xn屬于C1或者Xn屬于C2。2024/11/111第2章前向多層人工神經(jīng)網(wǎng)絡模式識別，舉例：水果分級系統(tǒng)。水果品質參數(shù)：重量、大小、比重、果形、顏色等特征矢量：X

=[x1,x2,x3,x4,x5]T特征空間：用參數(shù)張成。模式：每個蘋果為一個模式，其特征矢量為特征空間中的一個點；模式類：一個級別為一個類，一類模式分布在特征空間的某個特定區(qū)域；模式識別：找出各類之間的分界面。2024/11/112第2章前向多層人工神經(jīng)網(wǎng)絡ANN的主要功能之二——聯(lián)想

(AssociativeMemory)聯(lián)想的心理學定義：當一個事物的表象被激活時，也就是說該表象所包含的若干屬性單元同時有效時，我們的注意力焦點就集中在這個表象上，如果對該表象的處理使的表象被否決時，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻），導致該表象無法成立的時候，剩余的屬性單元或許可以構成另一種事物的表象，或許還需要結合那些被激活了的新的屬性（或是由外界事物具有的新的屬性所激活，或是因降低了對一些屬性的抑制所導致的激活）。

例如：看到檸檬，感覺到嘴里口水增多。因為，由檸檬聯(lián)想到了酸味。

字符識別：2024/11/113第2章前向多層人工神經(jīng)網(wǎng)絡再論模式識別：對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進行處理和分析，以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程稱為“模式識別”，是信息科學和人工智能的重要組成部分。

人在分辨不同類別的事物時，抽取了同類事物之間的相同點以及不同類事物之間的不同點；字符識別：例如漢字“中”可以有各種寫法，但都屬于同一類別。更為重要的是，即使對于某個“中”的具體寫法從未見過，也能把它分到“中”這一類別。識別目標：人們走向一個目的地的時候，總是在不斷的觀察周圍的景物，判斷所選擇的路線是否正確。實際上，是對眼睛看到的圖象做“正確”和“不正確”的分類判斷。人腦的這種思維能力就構成了“模式”的概念和“模式識別”的過程。

模式是和類別（集合）的概念分不開的，只要認識這個集合的有限數(shù)量的事物或現(xiàn)象，就可以識別這個集合中的任意多的事物或現(xiàn)象。為了強調能從具體的事物或現(xiàn)象中推斷出總體，我們就把個別的事物或現(xiàn)象稱作“模式”，而把總體稱作類別或范疇。特征矢量：最簡單的情況是用一組稱為“特征參數(shù)”的數(shù)值信息表示一個客觀對象。例如，水果品質分類中用到的大小、重量、比重、果型、顏色，其取值均為數(shù)值。表示成特征矢量形式：Xi=[xi1,xi2,xi3,xi4,xi5]；樣本：對一個具體對象進行觀測得到的一個特征矢量稱為一個“樣本”，Xi稱為第i個樣本，或者第i個樣本的特征矢量。特征空間：即特征矢量張成的空間，每個樣本對應于特征空間上的一點。針對一個具體的模式識別問題，選定特征參數(shù)非常重要，關乎模式識別的成敗。著名國際大師傅京孫教授曾說過模式識別問題的關鍵是特征提取。特征參數(shù)應能區(qū)分所定義的模式，同時有沒有過多的重復，即：完備而不冗余。選定特征參數(shù)的過程稱“為特征提取”。特征提取沒有統(tǒng)一的方法，事實上，特征提取是一個不同專業(yè)領域范疇內的問題。正因為如此，模式識別應用問題往往是跨專業(yè)領域的工程。傅京孫(1930—1985)麗水縣城人。1954年畢業(yè)于臺灣大學電機系獲學士學位，后留學加拿大多倫多大學獲應用科學碩士學位，1956年轉入美國伊利諾斯大學，獲博士學位。1961年起任美國普渡大學電機工程系助教、副教授、教授，加州大學柏克萊分校及斯坦福大學訪問教授。1971年起當選為美國電機工程學會榮譽會員。同年得顧根漢基金研究獎助金。1975年起任普渡大學高斯工程講座教授。以后開設概率論，創(chuàng)立圖形識別科學，影像處理及其在遙測、醫(yī)學方面的應用，曾任第一屆國際圖形識別會議主席。1976年當選為美國國家工程學院院士，獲得麥考艾科學貢獻獎。1977年獲得美國計算機學會杰出論文獎。1978年任臺灣“中央研究院”院士。2024/11/114第2章前向多層人工神經(jīng)網(wǎng)絡模式類：特征參數(shù)選擇合理時，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；模式識別所要做的事情，包含兩個方面：在不同類別樣本點集之間，尋找合理的分界面，或稱作“判別函數(shù)（DecisionFunction）”——因為判別函數(shù)來自于實際觀測數(shù)據(jù)，因此稱此階段為“學習”或“訓練”；給定未知模式，判斷該樣本所屬類別，稱為“工作”或“應用”。

特征選擇的好壞是模式識別成敗的關鍵，但如何選擇“特征”，即，選擇什么物理量作為特征，是具體專業(yè)“領域”的問題，需要運用“領域”的專業(yè)知識來解決。例如，語音識別，如何從自然語音中提取“特征”，是語音識別的專業(yè)問題；圖象識別，如何從CCD圖象獲取適當?shù)奶卣?，是圖象處理領域的問題，即使在圖象處理領域，不同應用目的所取的特征也不同。模式識別的全過程，應該包括特征提取階段。但是，我們這里將要講到的有關智能方法，都只涉及到特征提取之后的工作。以上所說的“學習”或“訓練”，是根據(jù)若干已知樣本在空間找到合適的分類面。對于一個樣本Xi，用yi表示它所屬的類別，例如，它屬于第k類。樣本已知，意思是{Xi

，

yi}已知。這種“學習”又稱為“有監(jiān)督”學習，即，通過對已知樣本{Xi

，yi}的學習找到合理的判別函數(shù)。所謂“工作”，指的是給定類別未知的樣本Xi

，求yi的值。Xi是對某個客觀對象觀測的結果，其取值無法事先限定。但類別yi的取值是離散的、有限的，是事先主觀規(guī)定的。2024/11/115第2章前向多層人工神經(jīng)網(wǎng)絡神經(jīng)元模型

神經(jīng)元的輸入：

所完成的運算為：式中：稱為神經(jīng)元的“權值矢量”；稱為神經(jīng)元的“功能函數(shù)”；稱為神經(jīng)元的“凈輸入”；稱為神經(jīng)元的“輸出”；稱為神經(jīng)元的“閾值”；2024/11/116第2章前向多層人工神經(jīng)網(wǎng)絡常用的神經(jīng)元功能函數(shù)類型

線性函數(shù)又稱為“恒同函數(shù)”

硬限幅函數(shù)

S函數(shù)(Sigmoid)fs

取值于[0,1]之間。2024/11/117第2章前向多層人工神經(jīng)網(wǎng)絡前項人工神經(jīng)網(wǎng)絡的拓撲結構

前層的輸出作為后層的輸入；

各層的神經(jīng)元個數(shù)可以不同；

層數(shù)兩層以上，目前大多為3層；

輸入矢量X代表從客觀對象觀測得到的特征；輸出層包含一個或多個神經(jīng)元，用于表達更為復雜的運算結果；

同層神經(jīng)元不能連接，后層不能向前層反向連接；

連接強度（即，權值大小）可以為0，強度為0實際上就是沒有連接；2024/11/118第2章前向多層人工神經(jīng)網(wǎng)絡§2.2采用硬限幅函數(shù)時單個神經(jīng)元的分類功能

線性可分性(LinearSeparable

)設有C0和C1兩類模式R0：C0類模式的樣本集；R1：C1類模式的樣本集；分類的第一步：在兩類樣本分布區(qū)域之間尋找一個分類函數(shù)（分類線、面）使得兩類樣本各處在一邊；

實現(xiàn)這一目標的過程，稱為“學習”或“訓練”，所用到的計算策略稱為“學習算法”；樣本集合R0和R1稱為學習樣本集合。分類的第二步：當獲得了分類函數(shù)l以后，就可以進入工作階段了。任給未知模式X，若它位于R0一側，則判定其為C0類；若它位于R1一側，則判定其為C1類；若它落在分類線l

上，則不可識別。

給定兩類C0和C1的學習樣本集合R0和R1，若存在線性分類函數(shù)（直線、平面、超平面）l，將兩類學習樣本無誤差地分開，則稱該分類問題為“線性可分問題”。2024/11/119第2章前向多層人工神經(jīng)網(wǎng)絡假設，二維分類問題的分類函數(shù)為l：任給樣本X=[x1,x2]，l應該滿足：令：則模式識別問題可以表達成：把看作權值，看作閾值，用一個神經(jīng)元來表示以上二維分類問題，則：任意輸入一個模式X，若X屬于C0則y=1；若X屬于C1則y=0；其中：X=

[x1,x2]是任意樣本，W=[w0,w1]是權值矢量。

WT.X–q=w0.x0+w1.x1–q=0

是直線的矢量方程，若W為單位矢量，即：w02+w12

=1則q的意義如圖所示。2024/11/1110第2章前向多層人工神經(jīng)網(wǎng)絡學習算法

將輸入矢量X

和權矢量W

作如下擴張：

神經(jīng)元模型成為：(2-7)

學習的目的，就是要找到權矢量W。對于前面的例子，就是尋找能夠無誤差分開兩類樣本的直線參數(shù)[w0,w1,q]。

學習是針對給定的學習樣本集合進行的，不同的樣本集合可以得到不同的學習結果。對于兩類可分問題，能夠無誤差地分開學習樣本的結果都是正確的。2024/11/1111第2章前向多層人工神經(jīng)網(wǎng)絡設二維分類問題，有學習樣本：其中

訓練樣本k；訓練樣本的值；起初，我們隨意指定一個權矢量：這相當于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個樣本X(k)，用y(k)表示得到的輸出，顯然y(k)不一定等于X(k)的實際類別值d(k)，令：若fh為硬限幅函數(shù)，則必有：(2-29)2024/11/1112第2章前向多層人工神經(jīng)網(wǎng)絡學習算法：為了找到正確的W，依次向神經(jīng)元輸入學習樣本X(k)，k=0,1,2,…，并且依照誤差e

(k)的正負來修正W

：式中a

稱為“步幅”，用來控制每次調整的步長。如此不斷重復，W(k)隨著迭代次數(shù)k的增加，逐漸趨于正確答案。(2-7)

若輸出y(k)與樣本類別值d(k)相同，即，則:W(k+1)=W(k)，不調整W。

若輸出y(k)與樣本類別值d(k)不同，即，則:W根據(jù)e

(k)的正負被調整；2024/11/1113第2章前向多層人工神經(jīng)網(wǎng)絡算法的幾何原理：為直觀起見，設：理想分類線過原點，即：，閾值q為0。訓練樣本：權值矢量：由直線方程可知，W(k)是直線l

的法線，即:

若，X恰好位于l上，則：

若，Xa位于l

上方，則：

若，Xb位于l下方，則：2024/11/1114第2章前向多層人工神經(jīng)網(wǎng)絡假設已經(jīng)輸入了k個樣本，運行到了第

k

步，當前的權值W(k)。假設輸入X(k)

得到y(tǒng)(k)=1，但給定的X(k)屬于C1類，即，d(k)=0，則：于是，有：可見，分類線

l得到了合理的調整。再假設，接下來輸入的X(k+1)屬于

C0類，即d(k)=1，被錯分為C1類，即，由X(k+1)和W(k+1)計算得到y(tǒng)(k+1)=0

：于是，有：錯把C1

當C0;2024/11/1115第2章前向多層人工神經(jīng)網(wǎng)絡§2.3線性函數(shù)神經(jīng)元的最小二乘分類算法

線性不可分

在誤差最小的前提下，尋找分類函數(shù)，給定樣本集：其中

2024/11/1116第2章前向多層人工神經(jīng)網(wǎng)絡采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：權值矢量：神經(jīng)元完成的運算為：判別規(guī)則：注意到，理想值為：

對于權矢量W的某個具體取值，其誤差定義為：學習的目的是，針對所有學習樣本，尋找x最小的W取值，它即為誤差最小的分類函數(shù)。(2-10)2024/11/1117第2章前向多層人工神經(jīng)網(wǎng)絡設學習樣本集{(X0,d0)，(X1,d1)，…，(XK-1,dK-1)，則x

的估計為：以

x

最小為目標的優(yōu)化過程，統(tǒng)稱為“最小二乘法(LeastMeanSquare)”。顯然，樣本的分布給定后x

是權矢量W的函數(shù)，即：x=x(W)；

首先需要證明，存在W*使得x

min=x(W*)

成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：(2-11)代入(2-10)得到：(2-12)2024/11/1118第2章前向多層人工神經(jīng)網(wǎng)絡用下列符號代表式中一些參量：

為了簡化，我們考慮二維并且閾值q=0的情況，有：(2-13)(2-14)顯然，R是隨機矢量X的相關矩陣，它是一個對稱矩陣，且正定。將以上符號代入(2-12)，得到：(2-15)2024/11/1119第2章前向多層人工神經(jīng)網(wǎng)絡

顯然，若存W*在

使得x

min=x(W*)

成立。并且，在W*點上x關于W的所有元素w0,w1,…(二維情況下只有w0和w1)的偏導數(shù)都為0，或者，說x關于矢量W的梯度在W*點為零矢量。即，對(2-15)求梯度得到：(2-16)或用多元函數(shù)微分求梯度，重寫誤差公式：2024/11/1120第2章前向多層人工神經(jīng)網(wǎng)絡令：注意到，R是正定的，它的逆存在，于是，得到：(2-17)代回(2.15)式可以得到最小誤差平方和：

(2-18)命題得證，并且找到了最佳的W：解(2-17)式即可得到W*。但這還不是我們想要的學習算法，為了實現(xiàn)自適應學習，必須找到求解W*的迭代算法。2024/11/1121第2章前向多層人工神經(jīng)網(wǎng)絡LMS學習問題的最陡梯度算法

k表示迭代學習過程的序號；p=0,1,2,……表示樣本序號，Xp(k)表示當前一輪迭代時的第p個輸入的學習樣本，即，第k步的第p個樣本。

定義誤差平方和為：(2-38)當兩類樣本的分布不變時（統(tǒng)計意義上），J(k)是W的函數(shù)。LMS學習的最陡梯度法就是以J(k)為目標函數(shù)，尋找使得J(k)最小的權值矢量W。

W(k)表示迭代學習第k步時的權值矢量，dp(k)和yp(k)分別為輸入學習樣本Xp(k)

的實際類別值(dp取+1或–1)和當前神經(jīng)元的輸出(-1<

yp<1)。

Xp(k)

的誤差為：ep(k)=

dp(k)-yp(k)2024/11/1122第2章前向多層人工神經(jīng)網(wǎng)絡

函數(shù)J(W)的圖象稱為“誤差響應面”。

尋優(yōu)的策略：從某個隨意選定的起始點W(0)開始，沿著梯度最大的反方向，一步一步前行，走到梯度為0的點的時候，得到的W就是W*；用表示第k步時的梯度，學習算法為：2024/11/1123第2章前向多層人工神經(jīng)網(wǎng)絡梯度算法的正確性：(2-39)(2-40)為了逐步走向W的最小點，選擇其增量為：，即：或者：(2-41)當很小時，誤差平方和的增量可以用其全微分來近似：2024/11/1124第2