神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用 第1講：基礎(chǔ)知識

1、王天真王天真如圖是某種生物神經(jīng)網(wǎng)絡(luò)（如圖是某種生物神經(jīng)網(wǎng)絡(luò)（Biological Neural Networks-BNN）的結(jié)構(gòu)。）的結(jié)構(gòu)。神經(jīng)元結(jié)構(gòu)圖2-2 神經(jīng)元之間突觸聯(lián)系網(wǎng)狀網(wǎng)絡(luò) 組成神經(jīng)網(wǎng)絡(luò)的任何兩個神經(jīng)元之間都可能雙向連接。輸入信號輸出信號To control a moth flying Use a neural chip 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(研究生用教材研究生用教材) 丁士圻、郭麗華 人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用 王洪元 、史國棟 書名:面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用 作者:叢爽 出版社：中國科學(xué)技術(shù)大學(xué)出版社 MATLAB神經(jīng)網(wǎng)絡(luò)神

2、經(jīng)網(wǎng)絡(luò)30個案例分析個案例分析 作者：作者：MATLAB中文論壇中文論壇 編著編著 出出 版版 社：社：北京航空航天大學(xué)出版社北京航空航天大學(xué)出版社考核 考勤 20% 神經(jīng)網(wǎng)絡(luò)模型仿真 （演示） 50% Paper 30%PDRNN網(wǎng)絡(luò)的訓(xùn)練過程 每個動態(tài)數(shù)據(jù)窗口的自組織競爭神經(jīng)網(wǎng)絡(luò)聚類點(diǎn)的選取 基于動態(tài)數(shù)據(jù)窗口的自組織競爭神經(jīng)網(wǎng)絡(luò)的聚類效果 第第1講：講： 神經(jīng)網(wǎng)絡(luò)信息處理方法神經(jīng)網(wǎng)絡(luò)信息處理方法 1.1 神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的基本概念1.神經(jīng)網(wǎng)絡(luò)定義神經(jīng)網(wǎng)絡(luò)定義關(guān)于神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，按美國神經(jīng)網(wǎng)絡(luò)學(xué)關(guān)于神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，按美國神經(jīng)網(wǎng)絡(luò)學(xué)家家Hecht Nielsen的觀點(diǎn)

3、，神經(jīng)網(wǎng)絡(luò)的定義是：的觀點(diǎn)，神經(jīng)網(wǎng)絡(luò)的定義是：“神神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元處理單元彼此按某種方彼此按某種方式相互連接而形成的計算機(jī)系統(tǒng)，該系統(tǒng)式相互連接而形成的計算機(jī)系統(tǒng)，該系統(tǒng)靠其狀態(tài)靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息對外部輸入信息的動態(tài)響應(yīng)來處理信息”。綜合神。綜合神經(jīng)網(wǎng)絡(luò)的來源特點(diǎn)和各種解釋，它可簡單地表述經(jīng)網(wǎng)絡(luò)的來源特點(diǎn)和各種解釋，它可簡單地表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。能的信息處理系統(tǒng)。2.神經(jīng)網(wǎng)絡(luò)發(fā)展史神經(jīng)網(wǎng)絡(luò)發(fā)展史第一階段第一階段啟蒙時期啟蒙時期這是神經(jīng)網(wǎng)絡(luò)理

4、論研究的奠基階段，這是神經(jīng)網(wǎng)絡(luò)理論研究的奠基階段，1943年，神經(jīng)年，神經(jīng)生物學(xué)家生物學(xué)家MeCulloch和青年數(shù)學(xué)家和青年數(shù)學(xué)家Pitts合作，提出了合作，提出了第一個人工神經(jīng)元模型，并在此基礎(chǔ)上抽象出神經(jīng)元第一個人工神經(jīng)元模型，并在此基礎(chǔ)上抽象出神經(jīng)元的數(shù)理模型，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究，以的數(shù)理模型，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究，以MeCulloch和和Pitts提出人工神經(jīng)元的數(shù)理模型（即神提出人工神經(jīng)元的數(shù)理模型（即神經(jīng)元的閥值模型，簡稱經(jīng)元的閥值模型，簡稱MP模型）為標(biāo)志，神經(jīng)網(wǎng)絡(luò)拉模型）為標(biāo)志，神經(jīng)網(wǎng)絡(luò)拉開了研究的序幕。開了研究的序幕。*1949年年Hebb學(xué)習(xí)法則提出，為構(gòu)造有學(xué)

5、習(xí)功能的神學(xué)習(xí)法則提出，為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。*1958年年Rosenblatt在原有在原有MP模型的基礎(chǔ)上增加了學(xué)模型的基礎(chǔ)上增加了學(xué)習(xí)機(jī)制習(xí)機(jī)制5。他提出的感知器模型，首次把神經(jīng)網(wǎng)絡(luò)理。他提出的感知器模型，首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實(shí)現(xiàn)論付諸工程實(shí)現(xiàn). 第二階段第二階段低潮時期低潮時期1969年人工智能的創(chuàng)始人之一年人工智能的創(chuàng)始人之一Minsky和和Papert對以對以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，發(fā)表了轟動一時了深入研究，發(fā)表了轟動一時Perceptrons一書，一書，指

6、出簡單的線性感知器的功能是有限的，指出簡單的線性感知器的功能是有限的，它無法解決它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實(shí)現(xiàn)知器不可能實(shí)現(xiàn)“異或異或”的邏輯關(guān)系等。的邏輯關(guān)系等。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達(dá)開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達(dá)10年的低潮期。年的低潮期。 *1972年，芬蘭的年，芬蘭的Kohonen T教授，提出了自組織神教授，提出了自組織神經(jīng)網(wǎng)絡(luò)經(jīng)網(wǎng)絡(luò)SOM(Self-Organizing feature map)(Self-Organizing feature map) .*1976年，美國年，美國Grossben

7、g S.教授提出了著名的自適教授提出了著名的自適應(yīng)共振理論應(yīng)共振理論ART(Adaptive Resonance Theory)，其學(xué)，其學(xué)習(xí)過程具有自組織和自穩(wěn)定的特征。習(xí)過程具有自組織和自穩(wěn)定的特征。 *1980年日本人福島邦彥（年日本人福島邦彥（Kunihiko FukushimaKunihiko Fukushima）發(fā)）發(fā)表的表的“新認(rèn)知機(jī)新認(rèn)知機(jī)”(Neocognitron)。 第三階段第三階段復(fù)興時期復(fù)興時期 這是神經(jīng)網(wǎng)絡(luò)理論研究的主要發(fā)展時期。這是神經(jīng)網(wǎng)絡(luò)理論研究的主要發(fā)展時期。1982年，年，美國國家科學(xué)院的刊物上發(fā)表了著名的美國國家科學(xué)院的刊物上發(fā)表了著名的Hopfield模

8、型的模型的理論。理論。HopfieldHopfield構(gòu)造出構(gòu)造出LaypunovLaypunov函數(shù)，并證明了網(wǎng)絡(luò)函數(shù)，并證明了網(wǎng)絡(luò)在平衡點(diǎn)附近的穩(wěn)定性，還將這種模型用電子電路來在平衡點(diǎn)附近的穩(wěn)定性，還將這種模型用電子電路來實(shí)現(xiàn)。實(shí)現(xiàn)。HopfieldHopfield的模型不僅對人工神經(jīng)網(wǎng)絡(luò)信息存儲的模型不僅對人工神經(jīng)網(wǎng)絡(luò)信息存儲和提取功能進(jìn)行了非線性數(shù)學(xué)概括，提出了動力方程和提取功能進(jìn)行了非線性數(shù)學(xué)概括，提出了動力方程和學(xué)習(xí)方程，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論和學(xué)習(xí)方程，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)。指導(dǎo)。 *1986年，由Rumelhart和McCkekkand主編的有16

9、位作者參加撰寫的Parallel Distributed Processing：Exploration in the Microstructures of Cognition出版20，該書中，他們建立了并行分布處理理論，主要致力于認(rèn)知的微觀研究，同時對具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法即BP算法進(jìn)行了詳盡的分析，解決了長期以來沒有權(quán)值調(diào)整有效算法的難題。可以求解感知機(jī)所不能解決的問題，回答了Perceptrons一書中關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的問題，從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的運(yùn)算能力，BP算法是目前最引人注目應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法之一。*細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型;雙向

10、聯(lián)想存儲模型（BAM);光學(xué)神經(jīng)網(wǎng)絡(luò)（PNN）;混沌神經(jīng)網(wǎng)絡(luò)理論等。 在國內(nèi)：在國內(nèi)：19891989年年1010月和月和1111月分別在北京和廣州召開了月分別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用討論會和第一屆全國信號處理神經(jīng)網(wǎng)絡(luò)及其應(yīng)用討論會和第一屆全國信號處理- -神經(jīng)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議；網(wǎng)絡(luò)學(xué)術(shù)會議；19901990年年2 2月由國內(nèi)八個學(xué)會，即中國電月由國內(nèi)八個學(xué)會，即中國電子學(xué)會人工智能學(xué)會自動化學(xué)會通信學(xué)會物子學(xué)會人工智能學(xué)會自動化學(xué)會通信學(xué)會物理學(xué)會生物物理學(xué)會和心理學(xué)會聯(lián)合在北京召開理學(xué)會生物物理學(xué)會和心理學(xué)會聯(lián)合在北京召開“中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會議中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會議”。這次

11、大會以。這次大會以“八學(xué)會八學(xué)會聯(lián)盟，探智能奧秘聯(lián)盟，探智能奧秘”為主題，收到了為主題，收到了300300多篇學(xué)術(shù)論文多篇學(xué)術(shù)論文，開創(chuàng)了中國人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計算機(jī)方面科學(xué)研，開創(chuàng)了中國人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計算機(jī)方面科學(xué)研究的新紀(jì)元。究的新紀(jì)元。20042004年年8 8月在中國大連召開的月在中國大連召開的ISNN2004ISNN2004國國際會議，引起了國內(nèi)外神經(jīng)網(wǎng)絡(luò)研究者的廣泛關(guān)注，際會議，引起了國內(nèi)外神經(jīng)網(wǎng)絡(luò)研究者的廣泛關(guān)注，產(chǎn)生了較大的影響；另外，國內(nèi)外許多相關(guān)的學(xué)術(shù)會產(chǎn)生了較大的影響；另外，國內(nèi)外許多相關(guān)的學(xué)術(shù)會議都設(shè)有人工神經(jīng)網(wǎng)絡(luò)專題，如國內(nèi)的議都設(shè)有人工神經(jīng)網(wǎng)絡(luò)專題，如國內(nèi)的WC

12、ICAWCICACIACCIACCDCCDCCCCCCC及國外的及國外的ACCACCCCACCAICICICIC、ICNCICNC等。等。 3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)交流 在國際上，1987年，在美國加州召開了第一屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議。此后每年召開的國際聯(lián)合神經(jīng)網(wǎng)絡(luò)大會IJCNN（International Joint Conference on Neural Networks），成為神經(jīng)網(wǎng)絡(luò)研究者的重要學(xué)術(shù)交流平臺。另外，十幾種國際著名的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物相繼問世，如：IEEE Transactions on Neural NetworksIEEE Transactions on Circuit

13、 and SystemsIEEE Transactions on Systems, Man, and CyberneticsJournal of artificial Neural NetworksJournal of Neural SystemsNeural NetworksNeural ComputationNetworks: Computation in Neural SystemsMachine Learning等，至此神經(jīng)網(wǎng)絡(luò)理論研究在國際學(xué)術(shù)領(lǐng)域獲得了其應(yīng)有的地位。 1.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1.M-P模型2. 人工神經(jīng)網(wǎng)絡(luò)的特性人工神經(jīng)網(wǎng)絡(luò)與人腦以及馮諾依曼計算機(jī)相比有如下特點(diǎn)：1大

14、規(guī)模并行處理人腦神經(jīng)元之間傳遞脈沖信號的速度遠(yuǎn)低于馮諾依曼計算機(jī)的工作速度，前者為毫秒量級，后者的時鐘頻率通常可達(dá)108Hz或更高的速率。但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而在許多問題上可以做出快速判斷、決策和處理，其速度可以遠(yuǎn)高于串行結(jié)構(gòu)的馮諾依曼計算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，可以大大提高工作速度。 2分布式存儲人腦存儲信息的特點(diǎn)是利用突觸效能的變化來調(diào)整存儲內(nèi)容，也即信息儲存在神經(jīng)元之間連接強(qiáng)度的分布上，存儲區(qū)與運(yùn)算區(qū)合為一體。雖然人腦每日有大量神經(jīng)細(xì)胞死亡，但不影響大腦的功能，局部損傷可能引起功能衰退，但不會突然喪失功能。馮諾依曼計算機(jī)具有

15、相互獨(dú)立的存儲器和運(yùn)算器，知識存儲與數(shù)據(jù)運(yùn)算互不相關(guān)，只有通過人的編程給出指令使之溝通，這種溝通不能超越程序編寫者的預(yù)想。元件的局部損傷或程序中的微小錯誤都可能引起嚴(yán)重的失常。3自適應(yīng)(學(xué)習(xí))過程人類大腦有很強(qiáng)的自適應(yīng)與自組織特性。后天的學(xué)習(xí)與訓(xùn)練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏，聾啞人善于運(yùn)用手勢，訓(xùn)練有素的運(yùn)動員可以表現(xiàn)出非凡的運(yùn)動技巧等等。 1.3 人工神經(jīng)網(wǎng)絡(luò)的基本要素在人工神經(jīng)網(wǎng)絡(luò)設(shè)計及應(yīng)用研究中，通常需要考慮三個方面的內(nèi)容，即神經(jīng)元功能函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)。1.神經(jīng)元功能函數(shù) 神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù)f（Activation Function）給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)，這是神經(jīng)元模型的外特性。 2 神經(jīng)元之間的連接形式*前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))網(wǎng)絡(luò)可以分