神經網(wǎng)絡模式識別法介紹

第8章神經網(wǎng)絡模式識別法介紹第1頁8.1人工神經網(wǎng)絡發(fā)展概況8.2神經網(wǎng)絡基本概念8.3前饋神經網(wǎng)絡8.4反饋網(wǎng)絡模型Hopfield網(wǎng)絡第8章神經網(wǎng)絡模式識別法神經網(wǎng)絡模式識別法介紹第2頁8.1人工神經網(wǎng)絡發(fā)展概況人工神經網(wǎng)絡(ArtificialNeuralNetworks，ANN)：簡稱神經網(wǎng)絡。模擬人腦神經細胞工作特點：與當前按串行安排程序指令計算機結構截然不一樣。*單元間廣泛連接；*并行分布式信息存貯與處理；*自適應學習能力等。優(yōu)點：(1)較強容錯性;(2)很強自適應學習能力；(3)可將識別和若干預處理融為一體進行；神經網(wǎng)絡模式識別法介紹第3頁(4)并行工作方式；(5)對信息采取分布式記憶，含有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經元數(shù)學模型提出。第二階段：低潮期，始于1969年?！陡兄鳌?Perceptions)一書出版，指出不足。第三階段：復興期，從1982年到1986年。Hopfield兩篇論文提出新神經網(wǎng)絡模型；《并行分布處理》出版，提出反向傳輸算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經網(wǎng)絡與人工智能”。神經網(wǎng)絡模式識別法介紹第4頁8.2神經網(wǎng)絡基本概念8.2.1生物神經元1．生物神經元結構細胞體、樹突、軸突和突觸。神經網(wǎng)絡模式識別法介紹第5頁2．生物神經元工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)神經元由樹突和細胞體接收傳來興奮電位不應期產生輸出脈沖輸入興奮總量超出閾值神經元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經元神經網(wǎng)絡模式識別法介紹第6頁8.2.2人工神經元及神經網(wǎng)絡人工神經元：生物神經元簡化模擬。人工神經元間互連：信息傳遞路徑軸突-突觸-樹突簡化；連接權值：兩個互連神經元之間相互作用強弱。圖8.2人工神經元模型接收信息(其它神經元輸出)

互連強度作比較閾值n維輸入向量X

輸出輸出函數(shù)神經網(wǎng)絡模式識別法介紹第7頁神經元動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設，點積形式：式中，神經網(wǎng)絡模式識別法介紹第8頁8.2.3神經網(wǎng)絡學習學習：同一個訓練集樣本輸入輸出模式重復作用于網(wǎng)絡，網(wǎng)絡按照一定訓練規(guī)則自動調整神經元之間連接強度或拓撲結構，使實際輸出滿足期望要求或者趨于穩(wěn)定。實質：1．Hebb學習規(guī)則經典權值修正方法：Hebb學習規(guī)則、誤差修正學習假如神經網(wǎng)絡中某一神經元與另一直接與其相連神經元同時處于興奮狀態(tài)，那么這兩個神經元之間連接強度應該加強。神經網(wǎng)絡最主要特征之一。神經網(wǎng)絡模式識別法介紹第9頁wij(t+1)：修正一次后某一權值；η：學習因子，表示學習速率百分比常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經元狀態(tài)（輸出）。由有：神經元間連接神經網(wǎng)絡模式識別法介紹第10頁2.δ學習規(guī)則（3）更新權值，閾值可視為輸入恒為（－1）一個權值；（1）選擇一組初始權值wij(1)；（2）計算某一輸入模式對應實際輸出與期望輸出誤差；式中，（4）返回(2)，直到對全部訓練模式網(wǎng)絡輸出均能滿足要求。dj，yj(t)：第j個神經元期望輸出與實際輸出；xi(t)：第j個神經元第i個輸入。神經網(wǎng)絡學習表達在：η：學習因子；權值改變；網(wǎng)絡結構改變。神經網(wǎng)絡模式識別法介紹第11頁8.2.4神經網(wǎng)絡結構分類分層結構有顯著層次，信息流向由輸入層到輸出層?！梆伨W(wǎng)絡沒有顯著層次，任意兩個神經元之間可達，含有輸出單元到隱層單元或輸入單元反饋連接?！答伨W(wǎng)絡相互連接結構神經網(wǎng)絡模式識別法介紹第12頁8.3前饋神經網(wǎng)絡8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結構示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權值可調。結構特點：*輸出層神經元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經元）。神經網(wǎng)絡模式識別法介紹第13頁設輸入模式向量，，共M類。輸出層第j個神經元對應第j個模式類，θj：第j個神經元閾值；wij：輸入模式第i個分量與輸出層第j個神經元間連接權。令。取

有輸出為輸出單元對全部輸入數(shù)值加權求和，經閾值型輸出函數(shù)產生一組輸出模式。神經網(wǎng)絡模式識別法介紹第14頁M類問題判決規(guī)則(神經元輸出函數(shù))為*正確判決關鍵：輸出層每個神經元必須有一組適當權值。*感知器采取監(jiān)督學習算法得到權值；*權值更新方法：δ學習規(guī)則。算法描述第一步：設置初始權值wij(1)，w(n+1)j(1)為第j個神經元閾值。第二步：輸入新模式向量。第三步：計算神經元實際輸出。神經網(wǎng)絡模式識別法介紹第15頁設第k次輸入模式向量為Xk，與第j個神經元相連權向量為第j個神經元實際輸出為第四步：修正權值。dj：第j個神經元期望輸出。第五步：轉到第二步。當全部學習樣本都能正確分類時，學習過程結束。經驗證實，當η隨k增加而減小時，算法一定收斂。神經網(wǎng)絡模式識別法介紹第16頁8.3.2BP網(wǎng)絡BP網(wǎng)絡：采取BP算法（Back-PropagationTrainingAlgorithm）多層感知器。誤差反向傳輸算法認識最清楚、應用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學習算法不足：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡；結構：只允許一層連接權可調。神經網(wǎng)絡模式識別法介紹第17頁2．BP算法兩個階段正向傳輸階段：逐層狀態(tài)更新反向傳輸階段：誤差BP算法學習過程設：某層任一神經元j輸入為netj，輸出為yj；相鄰低一層中任一神經元i輸出為yi。jiwij：神經元i與j之間連接權；f(?)：神經元輸出函數(shù)。神經網(wǎng)絡模式識別法介紹第18頁S型輸出函數(shù)：θj：神經元閾值；h0：修改輸出函數(shù)形狀參數(shù)。設：輸出層中第k個神經元實際輸出為yk，輸入為netk；與輸出層相鄰隱層中任一神經元j輸出為yj。神經網(wǎng)絡模式識別法介紹第19頁對輸入模式Xp，若輸出層中第k個神經元期望輸出為dpk，實際輸出為ypk。輸出層輸出方差：若輸入N個模式，網(wǎng)絡系統(tǒng)均方差為：當輸入Xp時，wjk修正增量：其中，由式得到：神經網(wǎng)絡模式識別法介紹第20頁令，可得輸出單元誤差：輸出單元修正增量：對于與輸出層相鄰隱層中神經元j和該隱層前低一層中神經元i：輸出層中神經元輸出誤差反向傳輸?shù)角懊娓鲗?，對各層之間權值進行修正。神經網(wǎng)絡模式識別法介紹第21頁BP算法步驟：第一步：對權值和神經元閾值初始化：(0，1)上分布隨機數(shù)。第二步：輸入樣本，指定輸出層各神經元希望輸出值。第三步：依次計算每層神經元實際輸出，直到輸出層。第四步：從輸出層開始修正每個權值，直到第一隱層。若j是輸出層神經元，則：若j是隱層神經元，則：第五步：轉到第二步，循環(huán)至權值穩(wěn)定為止。神經網(wǎng)絡模式識別法介紹第22頁改進權值修正：——收斂快、權值平滑改變α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目標選取無普通指導標準；*新加入學習樣本影響已學完樣本學習結果。神經網(wǎng)絡模式識別法介紹第23頁*輸出層各單元之間相互用較大負權值輸入對方，組成正反饋。8.3.3競爭學習神經網(wǎng)絡1．競爭學習經典非監(jiān)督學習策略。與二層前饋網(wǎng)絡類似；結構特點：輸出層含有側抑制。競爭層：競爭學習網(wǎng)絡關鍵側抑制：加強本身*含有最高輸入總和單元輸出狀態(tài)為1，其它單元為0。神經網(wǎng)絡模式識別法介紹第24頁2．漢明(Hamming)網(wǎng)分類器結構：仿效生物神經網(wǎng)“中心激勵，側向抑制”功效。神經網(wǎng)絡模式識別法介紹第25頁工作原理：*每個模式類由一個經典樣本代表；*匹配網(wǎng)計算輸入樣本與各類經典樣本匹配度，由匹配度決定匹配網(wǎng)輸出；*由最大網(wǎng)給出輸入樣本所在類別號（分類）。匹配度=n－輸入樣本與經典樣本之間漢明距離xij：第j類經典樣本第i個分量；xi：輸入樣本第i個分量；n：樣本向量維數(shù)。輸入樣本與典型樣本越相同：漢明距離越小，匹配度越大。二值模式向量(分量：+1,-1)分類準則：樣本間漢明距離最小。神經網(wǎng)絡模式識別法介紹第26頁匹配網(wǎng)上層每個神經元輸出：：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經元連接權；：第j個神經元閾值。

wij由第j類經典樣本各分量確定。匹配網(wǎng)輸出函數(shù)f(?)：神經網(wǎng)絡模式識別法介紹第27頁漢明網(wǎng)算法步驟：第一步：設置權值和神經元閾值。wlk：最大網(wǎng)中第l個神經元和第k個神經元連接權；最大網(wǎng)中神經元閾值為零。xij：第j類經典樣本第i個分量；wij：匹配網(wǎng)上層神經元j和輸入樣本第i個分量連接權;θj

：神經元j閾值。神經網(wǎng)絡模式識別法介紹第28頁第三步，進行迭代運算直到收斂。第四步：轉到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經元輸出sj，設置最大網(wǎng)中神經元輸出初始值。設最大網(wǎng)中第j個神經元在t時刻輸出為y(t)，則神經網(wǎng)絡模式識別法介紹第29頁3．自組織特征映射神經網(wǎng)絡

（SOM網(wǎng)絡）圖8.10神經元之間相互作用與距離關系神經網(wǎng)絡中鄰近各神經元經過側向交互作用彼此相互競爭，自適應地發(fā)展成檢測不一樣信號特殊檢測器。T.Kohonen關于自組織特征映射含義：神經網(wǎng)絡模式識別法介紹第30頁輸入層：每個神經元與輸出層全部神經元連接。輸入連續(xù)值模式向量。SOM網(wǎng)絡結構：輸出層：廣泛連接，格陣形式。競爭學習算法：由交互作用函數(shù)取代簡單側抑制。神經網(wǎng)絡模式識別法介紹第31頁自組織特征映射算法步驟：第一步：設置初始權值，定義輸出層神經元鄰域。第二步：輸入新模式向量。第三步：計算輸入模式到每個輸出層神經元j距離dj。wij(t)：t時刻輸入層神經元i到輸出層神經元j之間連接權。第四步：選擇與輸入模式距離最小輸出層神經元j*。第五步：修改與j*及其鄰域中神經元連接權值。設t時刻神經元j*鄰域用表示，權值修改為：：修正參數(shù)，，隨t增加而減小。第六步：轉到第二步。神經網(wǎng)絡模式識別法介紹第32頁聚類中心：存放在與神經元j*連接權值上。輸出層神經元鄰域選擇：初始鄰域選擇大些，隨算法進行逐步收縮。神經網(wǎng)絡模式識別法介紹第33頁8.4反饋網(wǎng)絡模型Hopfield網(wǎng)絡尋找記憶：模擬人腦聯(lián)想記憶功效神經網(wǎng)絡模型。網(wǎng)絡由初始狀態(tài)向穩(wěn)定狀態(tài)演化過程。初始輸出模式向量單層全互連、權值對稱神經網(wǎng)絡。結構：Hopfield網(wǎng)絡（HNN）離散型HNN(DHNN)：M-P模型二值神經元連續(xù)型HNN(CHNN)：神經元為連續(xù)時間輸出。神經網(wǎng)絡模式識別法介紹第34頁*每個神經元輸出經過加權與其余神經元輸入端連接；*輸入模式向量各分量及神經元輸出值取(+1)或(-1)；*神經元個數(shù)與輸入模式向量維數(shù)相同；*記憶樣本記憶在神經元之間連接權上。DHNN：*每個模式類有一個記憶樣本，是網(wǎng)絡一個穩(wěn)定輸出狀態(tài)。神經網(wǎng)絡模式識別法介紹第35頁設是第s類記憶樣本。為了存放M個記憶樣本，神經元i和神經元j之間權值wij為設有M類模式，則有M個記憶樣本，分別是網(wǎng)絡M個穩(wěn)定輸出狀態(tài)。若神經元i輸入為ui，輸出為，則式中，神經網(wǎng)絡模式識別法介紹第36頁