數(shù)學建模之人工神經(jīng)網(wǎng)絡ppt課件

1、 0 0 引例引例譫妄的診斷譫妄的診斷一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述二二 一個闡明性的例子一個闡明性的例子三三 幾類常見的神經(jīng)網(wǎng)絡幾類常見的神經(jīng)網(wǎng)絡四四 前向網(wǎng)絡及前向網(wǎng)絡及BPBP學習算法學習算法五五 神經(jīng)網(wǎng)絡在譫妄診斷中的運用神經(jīng)網(wǎng)絡在譫妄診斷中的運用 醫(yī)學定義：醫(yī)學定義：delirium delirium 是一種以興奮性增高為主的是一種以興奮性增高為主的高級神經(jīng)中樞急性活動失調(diào)形狀，臨床主要表現(xiàn)為認高級神經(jīng)中樞急性活動失調(diào)形狀，臨床主要表現(xiàn)為認識模糊、定向力喪失、覺得錯亂、躁動不安、言語雜識模糊、定向力喪失、覺得錯亂、躁動不安、言語雜亂。因急性起病、病程短暫、病情開展迅速，故又稱亂。因急

2、性起病、病程短暫、病情開展迅速，故又稱為急性腦綜合征。為急性腦綜合征。 檢查表內(nèi)包含檢查表內(nèi)包含1111項：項： 1. 1.急性起病；急性起病；2.2.留意力妨礙；留意力妨礙；3.3.思想混亂；思想混亂；4.4.認識程度的改動；認識程度的改動；5.5.定向妨礙；定向妨礙；6.6.記憶力減退；記憶力減退；7.7.知知覺妨礙；覺妨礙；8.8.精神運動性興奮；精神運動性興奮；9.9.精神運動性緩慢；精神運動性緩慢；10.10.精神情況動搖性；精神情況動搖性；11.11.睡眠睡眠覺悟周期紊亂。覺悟周期紊亂。 察看和提問進而打分：察看和提問進而打分： 每項分每項分4 4個等級：不存在個等級：不存在11分

3、，輕度存在分，輕度存在22分，中度存在分，中度存在33分，嚴重存在分，嚴重存在44分。分。 0 0 引例：譫妄的診斷引例：譫妄的診斷序號起病注意思維意識定向記憶錯覺興奮遲滯波動睡眠22分標準量表診斷13222221123222Y Y24443332414436Y Y32221221133120N N43322332213428Y Y53332132313226Y Y62223232213325Y Y74322433414434Y Y83322322122123Y Y94322324313330Y Y103423222243128Y Y113222312313325Y Y122322122213

4、323Y Y134321221313426Y Y142221221132119N N153322231133124Y Y162222333212325Y Y172122221122118N N183322212313325Y Y192211111122115N N202312231134123Y Y1.1.什么是人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡由大量處置單元互聯(lián)組成的非線性、自順應信息處置由大量處置單元互聯(lián)組成的非線性、自順應信息處置系統(tǒng)。試圖經(jīng)過模擬大腦神經(jīng)網(wǎng)絡處置、記憶信息的系統(tǒng)。試圖經(jīng)過模擬大腦神經(jīng)網(wǎng)絡處置、記憶信息的方式進展信息處置。具有如下四個根本特征：方式進展信息處置。具有如下四個根

5、本特征： 1 1非線性非線性 ：神經(jīng)元處于激活或抑制形狀，這種行：神經(jīng)元處于激活或抑制形狀，這種行為在數(shù)學上表現(xiàn)為一種非線性為在數(shù)學上表現(xiàn)為一種非線性 。2 2非局限性非局限性 ：由多個神經(jīng)元廣泛銜接而成：由多個神經(jīng)元廣泛銜接而成 。3 3非常定性非常定性 ：具有自順應、自組織、自學習才干。：具有自順應、自組織、自學習才干。 4 4非凸性非凸性 ：指這種函數(shù)有多個極值，故系統(tǒng)具有：指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，多個較穩(wěn)定的平衡態(tài)， 一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述根據(jù)神經(jīng)元機理，人工單神經(jīng)元模型應具備三個要素：(1一組銜接，銜接強度由各銜接上的權值表示，權值 為正表示激活，

6、權值為負表示抑制；(2) 一個求和單元，用于求取各輸入信號的加權和；(3) 一個非線性激活函數(shù)，起非線性映射作用，并將 神經(jīng)元的輸出幅度限制在一定范圍內(nèi)比如(0,1)或 者(-1,+1).一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述單神經(jīng)元構(gòu)造bwpnRiii1p1fanbW1WRp2p31)(nfa 常用的激活函數(shù)見page11表2-1單神經(jīng)元構(gòu)造一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述Rp記輸入矢量為P，多神經(jīng)元權矩陣為 W,凈輸入矢量為n，偏值矢量為b，激活矢量函數(shù)為F，那么多神經(jīng)元輸出矢量為a為：RsssRRwwwwwwwwwW,2,1,22,21,2,12,11,1bPnWTsaaa21aTRppp21PT

7、sbbb21bTfffF)(nFa 一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述多神經(jīng)元構(gòu)造多神經(jīng)元構(gòu)造iRjjijibwpn1,W1,1p1Ws,Rp2p3pRfa1n1b11fa2n2b21fasnsbs1)(iinfa 一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述某一多神經(jīng)元網(wǎng)絡的輸出作為另一多神經(jīng)元網(wǎng)絡的輸入，以這樣銜接方式構(gòu)成多神經(jīng)元、多層次網(wǎng)絡就成為人工神經(jīng)網(wǎng)絡。銜接方式可以是串連、并聯(lián)，也可以是反響銜接方式。我們以串連方式來闡明問題。p1f111a11b11nf112a12b12nf11sa1sb1sn11 , 1w1,Rswp2p3pRf121a21b21nf122a22b22nf12sa2sb2sn21

8、 , 1w2,Rswf131a31b31nf132a32b32nf13sa3sb3sn31 , 1w3,Rsw輸入層隱含層輸出層一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述 激活函數(shù)： 1. 線性函數(shù) 2. 階躍函數(shù) 3. S形函數(shù)00lim ( )10 xhards xx一一 神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡概述10lim ( )10 xhards xx( )purelin xx11( )111 1xlinear xxxx 1log( )1xsig xetan( )xxxxeesig xee 例1. 某商販有一個存儲各種水果和蔬菜的貨倉。當將水果放進貨倉時，不同類型的水果能夠會混淆在一同，所以商販非常希望有一臺可以幫

9、他將水果自動分類擺放的機器。假設從水果卸車的地方到貨倉之間有一條傳送帶。傳送帶要經(jīng)過一組特定的傳感器，這組傳感器可以分別丈量水果的三個特征：外形、質(zhì)地、分量。 這些傳感器功能比較簡單。假設水果根本上是圓的，外形傳感器的輸出就為1，假設水果更接近于橢圓，那么外形傳感器的輸出就為-1；假設水果外表光滑，質(zhì)地傳感器的輸出就是1，假設水果外表比較粗糙，那么質(zhì)地傳感器的輸出就為-1，當水果分量超越1磅時，分量傳感器的輸出就為1，假設水果分量輕于1磅，分量傳感器的輸出就為-1。 下面需求設計這樣一個網(wǎng)絡分類器，當水果從傳感器經(jīng)過時，根據(jù)傳感器的相應輸出，判別傳送帶上是什么水果。 二二 一個闡明性的例子一個

10、闡明性的例子在引見例子之前，我們先研討一個簡單的在引見例子之前，我們先研討一個簡單的2輸入單神經(jīng)元分輸入單神經(jīng)元分類問題。神經(jīng)元如以下圖所示。類問題。神經(jīng)元如以下圖所示。 這里這里, 激活傳輸函數(shù)選用對稱硬極限傳輸函數(shù)，即：激活傳輸函數(shù)選用對稱硬極限傳輸函數(shù)，即： 0,10,1nanaf1bnap1p2 w1w2二二 一個闡明性的例子一個闡明性的例子求解這一神經(jīng)網(wǎng)絡，本質(zhì)上就是求解求解這一神經(jīng)網(wǎng)絡，本質(zhì)上就是求解w1、w2和和b 。按。按照神經(jīng)網(wǎng)絡的求解方法，設計訓練樣本，即：照神經(jīng)網(wǎng)絡的求解方法，設計訓練樣本，即： 10 2 , 1TPt210 , 1TPt302 , 0TPt420 , 0

11、TPt求解的一個結(jié)果為：求解的一個結(jié)果為： 23Tw 3b 二二 一個闡明性的例子一個闡明性的例子如今，我們回到要引見的例子上。假設有兩種水果，如今，我們回到要引見的例子上。假設有兩種水果，蘋果和橘子。用三維矢量來描畫任一水果。蘋果和橘子。用三維矢量來描畫任一水果。磅表示小于磅，表示大于表示非光滑表示光滑，表示非圓表示圓形，重量質(zhì)地外形11111111P因此，規(guī)范的蘋果和橘子可表示為：因此，規(guī)范的蘋果和橘子可表示為：TP 111 蘋果TP 111 橘子設計一個三輸入的單神經(jīng)元網(wǎng)絡，將蘋果和橘子分開。設計一個三輸入的單神經(jīng)元網(wǎng)絡，將蘋果和橘子分開。這是一個簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡的輸出為：這

12、是一個簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡的輸出為：蘋果，蘋果， a=1；橘子，；橘子，a=-1.二二 一個闡明性的例子一個闡明性的例子fbnap1p2 w1w2p3w3二二 一個闡明性的例子一個闡明性的例子設計一個三輸入的單神經(jīng)元網(wǎng)絡，將蘋果和橘子分開。設計一個三輸入的單神經(jīng)元網(wǎng)絡，將蘋果和橘子分開。這是一個簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡的輸出為：這是一個簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡的輸出為：蘋果，蘋果， a=1；橘子，；橘子，a=-1.111121323limpahardswwwpbp10lim ( )10 xhards xx權值向量偏置值輸出為：橘子，輸出為：橘子，a=-1a=-1；蘋果，；蘋果，

13、 a=1 a=1二二 一個闡明性的例子一個闡明性的例子1 10W 0b 橘子：1lim1 1 01011ahards蘋果：1lim1 1 01011ahards訓練得：三維空間二二 一個闡明性的例子一個闡明性的例子思索題：試根據(jù)傳感器的三個丈量值外形、質(zhì)地和分量來區(qū)分香蕉和菠蘿：香蕉：3-1 1 -1TP 菠蘿：4-1 -1 1TP 二二 一個闡明性的例子一個闡明性的例子當輸入： TP 1111a此輸入比較接近于橘子，輸出結(jié)果也恰好是橘子。 單層前向神經(jīng)網(wǎng)絡線性網(wǎng)絡 階躍網(wǎng)絡 多層前向神經(jīng)網(wǎng)絡反推學習規(guī)那么即BP算法 Elman網(wǎng)絡、Hopfield網(wǎng)絡、雙向聯(lián)想記憶網(wǎng)絡、自組織競爭網(wǎng)絡等等三

14、三 幾類常用的神經(jīng)網(wǎng)絡幾類常用的神經(jīng)網(wǎng)絡1.1.前向網(wǎng)絡要求每一層內(nèi)的神經(jīng)元無相關連關系前向網(wǎng)絡要求每一層內(nèi)的神經(jīng)元無相關連關系，而上一層的輸出時下一層的輸入；，而上一層的輸出時下一層的輸入；2.2.假設多層神經(jīng)網(wǎng)絡的每一層都采用線性激活函假設多層神經(jīng)網(wǎng)絡的每一層都采用線性激活函數(shù)階躍激活函數(shù)輸出，稱之為多層簡單線數(shù)階躍激活函數(shù)輸出，稱之為多層簡單線性前向網(wǎng)絡多層階躍前向網(wǎng)絡；性前向網(wǎng)絡多層階躍前向網(wǎng)絡；3.3.常用的是采用常用的是采用S S形函數(shù)為激活函數(shù)的多層神經(jīng)形函數(shù)為激活函數(shù)的多層神經(jīng)網(wǎng)絡；網(wǎng)絡；四四 前向網(wǎng)絡及前向網(wǎng)絡及BPBP學習算法學習算法 就有指點的單層神經(jīng)網(wǎng)絡畫圖為例來闡明：

15、就有指點的單層神經(jīng)網(wǎng)絡畫圖為例來闡明： 輸入輸入X=(x1,x2,xm)TX=(x1,x2,xm)T，輸出結(jié)果為，輸出結(jié)果為Y=(y1,y2,ym)TY=(y1,y2,ym)T，偏，偏置值置值=(1, 2, m)T=(1, 2, m)T，wjiwji為輸入為輸入i i與神經(jīng)元與神經(jīng)元j j的權數(shù)，那的權數(shù)，那么第么第j j個神經(jīng)元的接受和輸出值為：個神經(jīng)元的接受和輸出值為：四四 前向網(wǎng)絡及前向網(wǎng)絡及BPBP學習算法學習算法1mjjiiizw x()jjjjyfz用矩陣、向量表示為：用矩陣、向量表示為：111()(),()nnnYF WXf zfz 假設理想輸出為假設理想輸出為D=(d1,d2,

16、dm)TD=(d1,d2,dm)T，那么我們的目的是讓，那么我們的目的是讓Y Y與與D D足夠的接近足夠的接近, ,用一個期望誤差去衡量他們的接近程度：用一個期望誤差去衡量他們的接近程度：四四 前向網(wǎng)絡及前向網(wǎng)絡及BPBP學習算法學習算法 TEYDYD上式本質(zhì)上是上式本質(zhì)上是W的函數(shù)，利用最速下降法求的函數(shù)，利用最速下降法求W的改良方向的改良方向以及設定改提高長，從而構(gòu)造一個迭代過程；以及設定改提高長，從而構(gòu)造一個迭代過程； 上面討論的是單層情形下的過程，假設網(wǎng)絡為多層，也就是上面討論的是單層情形下的過程，假設網(wǎng)絡為多層，也就是中間有隱含層的時候，輸出的誤差不能直接更改一切的權值中間有隱含層的時候，輸出的誤差不能直接更改一切的權值矩陣的值，故提出非常有意義的反推學習規(guī)那么矩陣的值，故提出非常有意義的反推學習規(guī)那么Back-Back-propagationpropagation算法：算法： 步驟步驟1 1 給定學習樣本，隨機確定各層的初始的權值矩給定學習樣本，隨機確定各層的初始的權值矩陣陣W W，給定最小二乘目的函數(shù)的偏向上界，以及迭代次數(shù)的上，給定最小二乘目的函數(shù)的偏向上界，以及迭代次數(shù)的上限；限； 步驟步驟2 2 用逐層或成批的規(guī)那么修正各層的權值矩陣直用逐層或成批的規(guī)那么修正各層的權值矩陣直到到達偏向要求或迭代次數(shù)上限。到到達偏向要求