神經(jīng)網(wǎng)絡(luò)課堂講義PPT課件

1、主要內(nèi)容第1頁/共36頁人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)（Artificial Neural Network，ANN）是20世紀80年代后期迅速發(fā)展起來的人工智能技術(shù)，對未經(jīng)訓練的數(shù)據(jù)具有分類模擬的能力，因此在網(wǎng)站信息、生物信息和基因以及文本的數(shù)據(jù)挖掘等領(lǐng)域得到了越來越廣泛的應(yīng)用。 人工神經(jīng)網(wǎng)絡(luò)分為前饋和遞歸。在前饋神經(jīng)網(wǎng)絡(luò)中,每一層的節(jié)點僅和下一層的節(jié)點相連。其中最簡單的模型是感知器。在遞歸神經(jīng)網(wǎng)絡(luò)中，允許同一層節(jié)點或一層的節(jié)點連到前面各層中的節(jié)點。第2頁/共36頁感知器 人的視覺是重要的感覺器官，人通過視覺接受的信息占全部信息量的8085%。 感知器是模擬人的視覺，接受環(huán)境信息，并由神經(jīng)沖動進行信

2、息傳遞的神經(jīng)網(wǎng)絡(luò)。 感知器分單層與多層，是具有學習能力的神經(jīng)網(wǎng)絡(luò)。第3頁/共36頁單層感知器第4頁/共36頁單層感知器模型三要素第5頁/共36頁常見形式的激活函數(shù)符號函數(shù)線性函數(shù)用于多層感知器模型。第6頁/共36頁第7頁/共36頁雙曲正切函數(shù)第8頁/共36頁以符號函數(shù)為例第9頁/共36頁學習單層感知器模型第10頁/共36頁學習單層感知器模型(續(xù))第11頁/共36頁單層感知器學習算法的流程圖第12頁/共36頁單層感知器訓練步驟可總結(jié)如下：第13頁/共36頁第14頁/共36頁第15頁/共36頁線性可分問題000100010111第16頁/共36頁線性不可分問題線性不可分問題 2u 1u 異或（異或

3、（XOR）問題）問題 在二維平面中不存在一條直線，將輸入模式分為兩類。在二維平面中不存在一條直線，將輸入模式分為兩類。可見可見：單層感知器不能解決單層感知器不能解決異或問題異或問題。第17頁/共36頁單層感知器的局限性 由于單層感知器的激活函數(shù)是符號函數(shù)，則感知器神經(jīng)網(wǎng)絡(luò)的輸出只能取-1或1。因此單層感知器只能用于簡單的分類問題。 只能解決線性可分問題，而大量的分類問題是線性不可分的。 當輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導致較慢的收斂速度。第18頁/共36頁多層感知器 多層感知器(MLP)是一種多層前饋網(wǎng)絡(luò)模型，它通常由三部分組成：(1)一組感知單元組成輸入層(2)一層或多層計

4、算節(jié)點的隱藏層(3)一層計算節(jié)點的輸出層 它廣泛應(yīng)用于模式識別、圖像處理、函數(shù)逼近、優(yōu)化計算等領(lǐng)域。根據(jù)Kolmogorov定理，只要給定足夠數(shù)量的隱藏層節(jié)點、適當?shù)姆蔷€性函數(shù)、以及權(quán)重，任何由輸入向輸出的連續(xù)映射函數(shù)均可用一個三層前饋神經(jīng)網(wǎng)絡(luò)實現(xiàn)。第19頁/共36頁三層感知器的預測公式第20頁/共36頁三層感知器解決異或三層感知器解決異或(XOR)(XOR)問題問題第21頁/共36頁網(wǎng)絡(luò)拓撲結(jié)構(gòu)第22頁/共36頁網(wǎng)絡(luò)拓撲結(jié)構(gòu)(續(xù))第23頁/共36頁網(wǎng)絡(luò)拓撲結(jié)構(gòu)(續(xù))第24頁/共36頁學習多層感知器模型第25頁/共36頁學習多層感知器模型(續(xù))第26頁/共36頁學習多層感知器模型(續(xù))第27頁

5、/共36頁人工神經(jīng)網(wǎng)絡(luò)的特點 具有自學習功能。例如實現(xiàn)圖像識別時，只在先把許多不同的圖像樣板和對應(yīng)的應(yīng)識別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對于預測有特別重要的意義。 至少含有一個隱藏層的多層神經(jīng)網(wǎng)絡(luò)是一種普適近似，即可以用來近似任何目標函數(shù) 。 可以處理冗余特征。 神經(jīng)網(wǎng)絡(luò)對訓練數(shù)據(jù)中的噪聲非常敏感。 訓練ANN是一個很耗時的過程，特別當隱藏節(jié)點數(shù)量很大時。 可以建構(gòu)非線性的模型，模型的準確度高。第28頁/共36頁數(shù)據(jù)的準備問題 神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)量有最低要求，一般情況下，一個權(quán)重至少需要10個訓練數(shù)據(jù)。 通過輸入節(jié)點將輸入變量加以標準化，標準化后的變量數(shù)值落在0和1之間，或者是-1和1之間。 數(shù)據(jù)不能含有缺失值和離群點。 屬性變量必須是數(shù)值型。 當有成百上千個屬性變量時，神經(jīng)網(wǎng)絡(luò)效果就不是很好。第29頁/共36頁最近鄰分類器右圖中顯示的分類框架包括兩個步驟：(1)歸納步，由訓練數(shù)據(jù)建立分類模型；(2)演繹步，把模型應(yīng)用于測試樣例。第30頁/