神經(jīng)網(wǎng)絡2PPT課件

1、12021-11-16類神經(jīng)網(wǎng)絡，類似人類神經(jīng)元結構。神經(jīng)元的主要功能是接受刺激和傳遞信息。神經(jīng)元通過傳入神經(jīng)接受來自體內外環(huán)境變化的刺激信息，并對這些信息加以分析、綜合和儲存，再經(jīng)過傳出神經(jīng)把指令傳到所支配的器官和組織，產(chǎn)生調節(jié)和控制效應。第1頁/共39頁22021-11-16yVj第2頁/共39頁3 類神經(jīng)網(wǎng)絡和回歸分析不同，沒有任何假設的概率分布，是模式識別和誤差最小化的過程，在每一次經(jīng)驗中提取和學習信息。 類神經(jīng)網(wǎng)絡可以處理連續(xù)型和類別型的數(shù)據(jù)，對數(shù)據(jù)進行預測。 神經(jīng)網(wǎng)絡是有監(jiān)督學習。神經(jīng)網(wǎng)絡的特點：神經(jīng)網(wǎng)絡的特點：第3頁/共39頁二、類神經(jīng)網(wǎng)絡的架構二、類神經(jīng)網(wǎng)絡的架構 類神經(jīng)網(wǎng)絡主

2、要結構是由神經(jīng)元（neuron）、層（layer）和網(wǎng)絡（network）三個部份所組成。 整個類神經(jīng)網(wǎng)絡包含一系列基本的神經(jīng)元，通過權重（weight）相互連接。 這些單元以層的方式組織，每一層的每個神經(jīng)元和前一層、后一層的神經(jīng)元連接。4第4頁/共39頁后向傳播神經(jīng)網(wǎng)絡后向傳播神經(jīng)網(wǎng)絡輸入層輸入層隱藏層隱藏層(可多層可多層)輸出層輸出層(決策層決策層)5神經(jīng)元第5頁/共39頁什么是后向傳播？什么是后向傳播？ 后向傳播是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡的學習算法。這個神經(jīng)網(wǎng)絡包括輸入層、隱藏層和輸出層。 這種學習算法下的神經(jīng)網(wǎng)絡是一組連接的輸入/輸出單元，其中每個連接都與一個權相連。它的

3、學習規(guī)則是使用最速下降法，按照誤差糾正規(guī)則反向傳播來不斷調整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小，從而使得能夠預測輸入樣本的正確類標號。 前向傳播：在前向傳播過程中，神經(jīng)網(wǎng)絡中的所有突觸的權重都是固定不變的。6第6頁/共39頁 不同的信息流向導致不同類型的網(wǎng)絡，可區(qū)分為”前饋神經(jīng)網(wǎng)絡”（feed forward neural network）和”反饋式神經(jīng)網(wǎng)絡”（feedback neural network）。7什么是前饋神經(jīng)網(wǎng)絡：什么是前饋神經(jīng)網(wǎng)絡：第7頁/共39頁 前饋神經(jīng)網(wǎng)絡是指信息只朝一個方向流動，也就是數(shù)據(jù)在神經(jīng)元之間的流動方向是單向的，沒有循環(huán)。 這種網(wǎng)絡而在分類過程中數(shù)據(jù)只

4、能向前傳送，直到到達輸出層，層間沒有向后的反饋信號，因此被稱為前饋網(wǎng)絡。 后向傳播是在多層前饋神經(jīng)網(wǎng)絡上學習的。8第8頁/共39頁 反饋式神經(jīng)網(wǎng)絡是指數(shù)據(jù)在神經(jīng)元之間的流動方向是雙向關系，神經(jīng)元會輸出到其他所有的神經(jīng)元，也會接收其他神經(jīng)元的輸出成為輸入。9什么是反饋式神經(jīng)網(wǎng)絡？第9頁/共39頁什么是自組織網(wǎng)絡 ( SOM ,Self-Organizing Neural Networks ) 自組織神經(jīng)網(wǎng)絡是一種無監(jiān)督學習網(wǎng)絡。它通過自動尋找樣本中的內在規(guī)律和本質屬性，自組織、自適應地改變網(wǎng)絡參數(shù)與結構。10第10頁/共39頁11 類神經(jīng)網(wǎng)絡的分為輸入層、輸出層和隱藏層，三層連結形成一個神經(jīng)網(wǎng)絡

5、。 輸入層只從外部環(huán)境接收信息，該層的每個神經(jīng)元相當于自變量，不完成任何計算，只為下一層傳遞信息。 輸出層生成最終結果，為網(wǎng)絡送給外部系統(tǒng)的結果值。什么是層？什么是層？第11頁/共39頁12 隱藏層介于輸入層和輸出層之間，這些層完全用于分析，其函數(shù)聯(lián)系輸入層變量和輸出層變量，使其更擬合(fit)資料。 隱藏層的功能主要是增加類神經(jīng)網(wǎng)絡的復雜性，以能夠模擬復雜的非線性關系。 隱藏層的多少要適當，過多容易過度擬合。 一層加權神經(jīng)元的網(wǎng)絡稱單層感知器，多層加權神經(jīng)元的網(wǎng)絡稱多層感知器（multi-layer perceptrons）。第12頁/共39頁一一個輸個輸出元出元的兩的兩層神層神經(jīng)網(wǎng)經(jīng)網(wǎng)絡絡

6、13神經(jīng)網(wǎng)絡的形式：神經(jīng)網(wǎng)絡的形式：第13頁/共39頁14一個輸出元的三層神經(jīng)網(wǎng)絡第14頁/共39頁多個輸出元的三層神經(jīng)網(wǎng)絡多個輸出元的三層神經(jīng)網(wǎng)絡15第15頁/共39頁三、神經(jīng)元的結構三、神經(jīng)元的結構16 一個神經(jīng)元 j，有閾值，從上一層連接的神經(jīng)元得到n個輸入變量X，每個輸入變量附加一個鏈接權重w。 輸入變量將依照不同權重加以合并（一般是加權總和），鏈接成組合函數(shù)（combination function），組合函數(shù)的值稱為電位（potential）；然后，啟動（轉換、激活、賦活)函數(shù)（activation function）將電位轉換成輸出信號。第16頁/共39頁j1njijijiIw

7、o n表示變量的個數(shù) Oi表示第i個輸入值(X) Wij表示第j個神經(jīng)元的第i個輸入值的權重：o1o2onw1jw2jwnjOjIjf(Ij)ixix17 是第j個神經(jīng)元的偏置（偏差）：偏差有增大或者減小激活函數(shù)的凈輸入的作用，取決于該偏差是負值還是正值。 表示第j個神經(jīng)元的輸入值(組合函數(shù))。f（）是神經(jīng)元的啟動（激活或賦活）函數(shù)Oj=f(Ij)是第j個神經(jīng)元的輸出值(Y)。jjI第17頁/共39頁四、四、啟動函數(shù)啟動函數(shù)f()類型類型 181、線性啟動函數(shù)：啟動函數(shù)就是負責將神經(jīng)元接受的輸入脈沖總和，轉換成輸出脈沖，但是人類神經(jīng)在處理外部刺激時，輸出信號是有極限的，否則可能會因為輸出信號過

8、強而造成對神經(jīng)元的傷害。因此，類神經(jīng)網(wǎng)絡在選取啟動函數(shù)時，不能夠使用傳統(tǒng)的線性函數(shù)，通常來說會選擇兼具正向收斂與負向收斂的函數(shù)。jjfII第18頁/共39頁191,1 1,00,0jjjIf II 1,01,0jjjIf II ,0,0jjjIf II0, 12.階梯（step）啟動函數(shù)的一般形式：階梯啟動函數(shù)又稱閾值（threshold）啟動函數(shù)。當 時，得到當 時，得到對稱階梯函數(shù)。即：第19頁/共39頁對稱階梯函數(shù)+1-10階梯函數(shù)120第20頁/共39頁3.Sigmoid（或稱S型）啟動函數(shù)Sigmoid啟動函數(shù)輸出值界于-1和1，或是0和1之間，是單調遞增函數(shù)，函數(shù)型數(shù)有許多種，最常

9、用的是Logistic函數(shù)。式中是正常數(shù)（一般為零），Sigmoid啟動函數(shù)是最常用啟動函數(shù)，非線性函數(shù)，但是易于微分和了解。2111jjIfIe第21頁/共39頁+1S 函數(shù)022第22頁/共39頁4、分段線性啟動函數(shù)、分段線性啟動函數(shù)23 1,1,010,0jjjjjIf IIII分段線性函數(shù)+10第23頁/共39頁242jIVjfIejI5、高斯啟動函數(shù)鐘型曲線（bell-shaped curve），輸出值在0和1之間，其中， 是均值，V是函數(shù)事先定義的方差。第24頁/共39頁五、類神經(jīng)網(wǎng)絡的訓練五、類神經(jīng)網(wǎng)絡的訓練25 類神經(jīng)網(wǎng)絡學習前，必須建立出一個訓練樣本（training pat

10、tern）使類神經(jīng)網(wǎng)絡在學習的過程中有一個參考，訓練樣本的建立來自于實際系統(tǒng)輸入與輸出或是以往的經(jīng)驗。 例如：洗衣機洗凈衣服的時間，與衣服的質料、數(shù)量、骯臟的程度有關，因此我們必須先針對不同質料、數(shù)量、骯臟的程度的衣服統(tǒng)計出洗衣所需的時間，建立訓練樣本。不同衣服的質料、數(shù)量、骯臟程度就是類神經(jīng)網(wǎng)絡的輸入，而洗衣所需的時間則為類神經(jīng)網(wǎng)絡的目標值（target），也就是類神經(jīng)網(wǎng)絡的參考輸出。第25頁/共39頁26 神經(jīng)網(wǎng)絡學習就是不斷調整權重的過程。 訓練之前，必須將數(shù)據(jù)集分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集，將權重指定給第一層的神經(jīng)元。 大多數(shù)軟件包使用向后傳播方法(Back propagation)，任

11、何一種后向傳播算法的最重要部分都是使用誤差度量來調整權重。第26頁/共39頁 后向傳播神經(jīng)網(wǎng)絡通過更新權重和偏置使得網(wǎng)絡預測的誤差達到最小。具體步驟如下： 通過輸入節(jié)點將輸入變量加以標準化，標準化后的變量數(shù)值落在0和1之間，或者是-1和1之間。 將網(wǎng)絡權重初始值設定為0（或隨機產(chǎn)生）。通過各節(jié)點的函數(shù)，估計數(shù)據(jù)的目標變量值。27六、六、權重和偏置的調整權重和偏置的調整第27頁/共39頁 比較實際值和估計值之間的誤差，并根據(jù)誤差值重新調整各權重和偏置。 重新執(zhí)行第二步驟，反復執(zhí)行，一直到實際值和估計值之間的誤差值最小，此時才停止學習，此時獲得最佳權重。28第28頁/共39頁29舉例說明舉例說明權

12、重和偏置的調整過程權重和偏置的調整過程第29頁/共39頁 1、首先利用隨機的方式，產(chǎn)生各神經(jīng)元間的權重，以及隱藏層與輸出層神經(jīng)元的偏置。30w14w15w24w25w34w35w46w560.2--0.50.2-0.3-0.2456-第30頁/共39頁2、根據(jù)輸入信號，計算各隱藏層神經(jīng)元的輸出信號，假設輸入的樣本是(X1,X2,X3,Y)=(1,0,1,1)。 神經(jīng)元4： 神經(jīng)元5：314441*0.20*0.4 1*( 0.5)0.40.7iiiIw O 總輸入信號：440.711=0.3321+1+IOee轉換輸出信號：5551*( 0.3)0*0.1

13、1*iiiIw O總輸入信號：550.111=0.5251+1+IOee轉換輸出信號：jijijiIw O總輸入信號：1=1+jjIOe轉換輸出信號：第31頁/共39頁3、根據(jù)隱藏層輸出信號，計算輸入層神經(jīng)元的輸出信號。 神經(jīng)元632566640.332*( 0.3)0.525*( 0.2)0.10.105iiiIw O 總輸入信號：660.10511=0.4741+1+IOee轉換輸出信號：第32頁/共39頁4、此時，輸出值0.474與真值1不一致，我們可以計算神經(jīng)元6的誤差項。 神經(jīng)元6的誤差項：5、將此誤差項反饋至隱藏層，此時可以計算隱藏層神經(jīng)元誤差值。 神經(jīng)元4誤差項

14、： 神經(jīng)元5誤差項：3366666=(1)()0.474(1 0.474)(1 0.474)0.1311ErrorOOTO4444=(1)0.332(1 0.332)*0.1311*( 0.3)0.0087iiiErrorOOErrorw5555=(1)0.525(1 0.525)*0.1311*( 0.2)0.0065kkkErrorOOError w=(1)()jjjjjkErrorOOTOError=(1)jjjkjkkErrorOOError w第33頁/共39頁6、最后根據(jù)神經(jīng)元誤差項，更新各神經(jīng)元的權重以及偏置，假設學習速率為0.9。34*14*15*24*25*34*35*460

15、.20.9(0.0087)*10.2080.30.9(0.0065)*10.2940.40.9(0.0087)*00.40.1 0.9(0.0065)*0(0.0087)*10.4920.20.9(0.0065)*10.2060.30.9(0.1311)*0.3320.339wwwwwww *56*4*5*60.20.9(0.1311)*0.5250.1380.40.9(0.0087)0.3920.20.9(0.0065)0.2060.1 0.9(0.1311)0.218w *ijjiijijijjjjjjwError OwwwError學習速率：通常是介于01之間，當其數(shù)值

16、越大，每次權數(shù)的修正量就越大。不能太小或太大。經(jīng)驗設置為1/t，t為迭代次數(shù)。目前調整權重的方法是一種最陡坡降法。第34頁/共39頁 如此，即達成一個學習循環(huán)的類神經(jīng)網(wǎng)絡權重修正，接下來持續(xù)此步驟，使得輸出值越來越接近真值，從而達到建立模型的目的。 另外，根據(jù)理論當學習時間無限長時，誤差應該會無限接近于零。但事實上，如果當模型訓練越久，就有可能出現(xiàn)過度擬合的問題，因此一般有兩種方法來處理： 設定閥值。 使用測試樣本。一般，測試組誤差一開始會隨著上述誤差的減小而減小，但當過度擬合現(xiàn)象發(fā)生時，測試組的誤差會開始從小到大變化。35第35頁/共39頁七、類神經(jīng)網(wǎng)絡的優(yōu)點七、類神經(jīng)網(wǎng)絡的優(yōu)點 類神經(jīng)網(wǎng)絡可以建構非線性的模型，模型的準確度高。 類神經(jīng)網(wǎng)絡有良好的推廣性，對于未知的輸入亦可得到正確的輸出。 類神經(jīng)網(wǎng)絡可以接受不同種類的變量作為輸入，適應性強。 類神經(jīng)網(wǎng)絡可應用的領域相當廣泛，模型建構能力強。 類