數(shù)學建模之人工神經網絡

數(shù)學建模之人工神經網絡第1頁/共25頁人工神經網絡0引例——譫妄的診斷一神經網絡概述二一個說明性的例子三幾類常見的神經網絡四前向網絡及BP學習算法五神經網絡在譫妄診斷中的應用第2頁/共25頁醫(yī)學定義：[delirium]是一種以興奮性增高為主的高級神經中樞急性活動失調狀態(tài)，臨床主要表現(xiàn)為意識模糊、定向力喪失、感覺錯亂、躁動不安、語言雜亂。因急性起病、病程短暫、病情發(fā)展迅速，故又稱為急性腦綜合征。檢查表內包含11項：

1.急性起病；2.注意力障礙；3.思維混亂；4.意識水平的改變；5.定向障礙；6.記憶力減退；7.知覺障礙；8.精神運動性興奮；9.精神運動性遲緩；10.精神狀況波動性；11.睡眠—覺醒周期紊亂。觀察和提問進而打分：每項分4個等級：不存在—1分，輕度存在—2分，中度存在—3分，嚴重存在—4分。0引例：譫妄的診斷第3頁/共25頁序號起病注意思維意識定向記憶錯覺興奮遲滯波動睡眠22分標準量表診斷13222221123222Y24443332414436Y32221221133120N43322332213428Y53332132313226Y62223232213325Y74322433414434Y83322322122123Y94322324313330Y103423222243128Y113222312313325Y122322122213323Y134321221313426Y142221221132119N153322231133124Y162222333212325Y172122221122118N183322212313325Y192211111122115N202312231134123Y第4頁/共25頁1.什么是人工神經網絡由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。具有如下四個基本特征：

（1）非線性：神經元處于激活或抑制狀態(tài)，這種行為在數(shù)學上表現(xiàn)為一種非線性。（2）非局限性：由多個神經元廣泛連接而成。（3）非常定性：具有自適應、自組織、自學習能力。（4）非凸性：指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，一神經網絡概述第5頁/共25頁根據神經元機理，人工單神經元模型應具備三個要素：(1）一組連接，連接強度由各連接上的權值表示，權值為正表示激活，權值為負表示抑制；(2)一個求和單元，用于求取各輸入信號的加權和；(3)一個非線性激活函數(shù)，起非線性映射作用，并將神經元的輸出幅度限制在一定范圍內（比如(0,1)或者(-1,+1)）.一神經網絡概述單神經元結構第6頁/共25頁p1∑f…anbW1WRp2p31常用的激活函數(shù)見page11表2-1單神經元結構一神經網絡概述第7頁/共25頁記輸入矢量為P，多神經元權矩陣為W,凈輸入矢量為n，偏值矢量為b，激活矢量函數(shù)為F，則多神經元輸出矢量為a為：一神經網絡概述多神經元結構第8頁/共25頁多神經元結構W1,1p1…Ws,Rp2p3pR∑fa1n1b11∑fa2n2b21∑fasnsbs1……一神經網絡概述第9頁/共25頁某一多神經元網絡的輸出作為另一多神經元網絡的輸入，以這樣連接方式構成多神經元、多層次網絡就成為人工神經網絡。連接方式可以是串連、并聯(lián)，也可以是反饋連接方式。我們以串連方式來說明問題。p1………∑f1∑f1∑f1p2p3pR……∑f1∑f1∑f1……∑f1∑f1∑f1輸入層隱含層輸出層一神經網絡概述第10頁/共25頁激活函數(shù)：

1.線性函數(shù)2.階躍函數(shù)

3.S形函數(shù)一神經網絡概述第11頁/共25頁例1.某商販有一個存儲各種水果和蔬菜的貨倉。當將水果放進貨倉時，不同類型的水果可能會混淆在一起，所以商販非常希望有一臺能夠幫他將水果自動分類擺放的機器。假設從水果卸車的地方到貨倉之間有一條傳送帶。傳送帶要通過一組特定的傳感器，這組傳感器可以分別測量水果的三個特征：外形、質地、重量。這些傳感器功能比較簡單。如果水果基本上是圓的，外形傳感器的輸出就為1，如果水果更接近于橢圓，那么外形傳感器的輸出就為-1；如果水果表面光滑，質地傳感器的輸出就是1，如果水果表面比較粗糙，那么質地傳感器的輸出就為-1，當水果重量超過1磅時，重量傳感器的輸出就為1，如果水果重量輕于1磅，重量傳感器的輸出就為-1。

下面需要設計這樣一個網絡（分類器），當水果從傳感器通過時，根據傳感器的相應輸出，判斷傳送帶上是什么水果。二一個說明性的例子第12頁/共25頁在介紹例子之前，我們先研究一個簡單的2輸入單神經元分類問題。神經元如下圖所示。

這里,

激活傳輸函數(shù)選用對稱硬極限傳輸函數(shù)，即：∑f1bnap1p2

w1w2二一個說明性的例子第13頁/共25頁求解這一神經網絡，實質上就是求解w1、w2和b

。按照神經網絡的求解方法，設計訓練樣本，即：求解的一個結果為：二一個說明性的例子第14頁/共25頁現(xiàn)在，我們回到要介紹的例子上。假設有兩種水果，蘋果和橘子。用三維矢量來描述任一水果。因此，標準的蘋果和橘子可表示為：設計一個三輸入的單神經元網絡，將蘋果和橘子分開。這是一個簡單的二分問題。規(guī)定神經網絡的輸出為：蘋果，a=1；橘子，a=-1.二一個說明性的例子第15頁/共25頁∑fbnap1p2

w1w2p3w3二一個說明性的例子設計一個三輸入的單神經元網絡，將蘋果和橘子分開。這是一個簡單的二分問題。規(guī)定神經網絡的輸出為：蘋果，a=1；橘子，a=-1.第16頁/共25頁權值向量偏置值輸出為：橘子，a=-1；蘋果，a=1二一個說明性的例子第17頁/共25頁橘子：蘋果：訓練得：（三維空間）二一個說明性的例子第18頁/共25頁思考題：試根據傳感器的三個測量值（外形、質地和重量）來區(qū)分香蕉和菠蘿：香蕉：菠蘿：二一個說明性的例子當輸入：此輸入比較接近于橘子，輸出結果也恰好是橘子。第19頁/共25頁單層前向神經網絡——線性網絡階躍網絡多層前向神經網絡（反推學習規(guī)則即BP算法）Elman網絡、Hopfield網絡、雙向聯(lián)想記憶網絡、自組織競爭網絡等等三幾類常用的神經網絡第20頁/共25頁1.前向網絡要求每一層內的神經元無相關連關系，而上一層的輸出時下一層的輸入；2.若多層神經網絡的每一層都采用線性激活函數(shù)（階躍激活函數(shù)）輸出，稱之為多層簡單線性前向網絡（多層階躍前向網絡）；3.常用的是采用S形函數(shù)為激活函數(shù)的多層神經網絡；四前向網絡及BP學習算法第21頁/共25頁就有指導的單層神經網絡（畫圖）為例來說明：輸入X=(x1,x2,…xm)T，輸出結果為Y=(y1,y2,…ym)T，偏置值θ=(θ1,θ2,…θm)T，wji為輸入i與神經元j的權數(shù)，則第j個神經元的接受和輸出值為：四前向網絡及BP學習算法用矩陣、向量表示為：第22頁/共25頁若理想輸出為D=(d1,d2,…dm)T，則我們的目標是讓Y與D足夠的接近,用一個期望誤差去衡量他們的接近程度：四前向網絡及BP學習算法上式實質上是W的函數(shù)，利用最速下降法求W的改進方向以及設定改進步長，從而構造一個迭代過程；第23頁/共25頁上面討論的是單層情形下的過程，若網絡為多層，也就是中間有隱含層的時候，輸出的誤差不能直接更改所有的權值矩陣的值，故提出非常有意義的反推學習規(guī)則（Back-propagation算法）：步驟1給定學