人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計.ppt

1、人工神經(jīng)網(wǎng)絡(luò)，初級神經(jīng)網(wǎng)絡(luò)，目錄， 第1章概述第11章人工神經(jīng)網(wǎng)絡(luò)研究與開發(fā)第12章生物神經(jīng)元13人工神經(jīng)網(wǎng)絡(luò)配置第2章人工神經(jīng)網(wǎng)絡(luò)基本模型21 MP模型22感知器模型23自適應(yīng)線性神經(jīng)元第3章EBP網(wǎng)絡(luò)(反向波算法)31銀層預(yù)饋網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則32 Sigmoid激勵函數(shù)下BP算法33 BP網(wǎng)絡(luò)教育與測試34 BP算法改進35多層internet BP算法計算機編程多層前向internet BP算法源程序、 第四章Hopfield網(wǎng)絡(luò)模型41離散Hopfield神經(jīng)網(wǎng)絡(luò)42連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)模型源節(jié)目43旅行中問題(TSP)的HNN解決Hopfield模型解決TS

2、P源5章隨機神經(jīng)網(wǎng)絡(luò)51模擬退火算法52玻耳茲曼機器玻爾茲曼機器模型源53章磁組織神經(jīng)網(wǎng)絡(luò)61競爭型學(xué)習(xí)62 第7章聯(lián)想內(nèi)存神經(jīng)網(wǎng)絡(luò)71聯(lián)想內(nèi)存基本特征72線性聯(lián)想內(nèi)存LAM模型73雙向聯(lián)想內(nèi)存BAM模型74小時聯(lián)想內(nèi)存TAM模型Hopfield模型聯(lián)想內(nèi)存源8章CMAC模型81 CMAC模型82 CMAC映射算法83 CMAC的輸出計算84 CMAC控制器模型，目錄MP模型的建議開始了神經(jīng)網(wǎng)絡(luò)研究過程。1949年心理學(xué)家Hebb提出了著名的Hebb學(xué)習(xí)規(guī)則神經(jīng)元之間的強度變化的組合，以實現(xiàn)神經(jīng)學(xué)習(xí)的方法。Hebb學(xué)習(xí)規(guī)則在人們神經(jīng)網(wǎng)絡(luò)研究初期提出，但其基本思想至今在神經(jīng)網(wǎng)絡(luò)研究中仍然發(fā)揮著重

3、要作用。50年代末，Rosenblatt提出了識別器模型(Perceptron)，首先從工程角度研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型。這是學(xué)習(xí)和自組織心理學(xué)的模式，基本上符合神經(jīng)生理學(xué)原則。識別器比較簡單，但具有分布式存儲、并行處理、學(xué)習(xí)習(xí)性、連續(xù)計算等神經(jīng)網(wǎng)絡(luò)幾個茄子基本特性。這種神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時流行的串行、離散、符號處理的電子電腦及其相應(yīng)的人工智能技術(shù)本質(zhì)上不同。這引起了很多研究者的關(guān)注，并引起了60多歲神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。但是當(dāng)時人們對神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認(rèn)為將這種神經(jīng)元連接成一個網(wǎng)絡(luò)可以解決人類大腦事故的模擬問題，但是后來的研究結(jié)果進入了另一個極端。60年代末，美國著名人工智能

4、專家Minsky和Papert對Rosenblatt的工作進行了深入研究，出版了Perceptron一書，指出了感官的功能和處理能力的限制，甚至指出了XOR等問題。所以明斯基的結(jié)論是悲觀的。另一方面，60年代以來，集成電路和微電子學(xué)技術(shù)的快速發(fā)展，使電子計算機的計算速度迅速提高，同時，基于功能模擬目標(biāo)、知識信息處理的知識工程學(xué)科等研究成果，也有了從人工智能實驗室走向?qū)嵱玫南Ｍ＿@種技術(shù)進步引起了人們的認(rèn)識，串行信息處理和基于此的傳統(tǒng)人工智能技術(shù)的潛力是無限的。這暫時掩蓋了新電腦的開發(fā)，還對當(dāng)時大腦的計算原理、神經(jīng)網(wǎng)絡(luò)計算的優(yōu)點、缺點、可能性、限制等不清楚。結(jié)論，認(rèn)識的局限性給神經(jīng)網(wǎng)絡(luò)研究帶來了

5、瓶頸。，在牙齒低潮期，一些學(xué)者也認(rèn)真地繼續(xù)神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法基礎(chǔ)理論研究，提出了很多有意義的理論和方法。其中主要有自適應(yīng)諧振理論、自組織映射、認(rèn)知器網(wǎng)絡(luò)模型論、BSB模型等，為神經(jīng)網(wǎng)絡(luò)發(fā)展奠定了理論基礎(chǔ)。進入20世紀(jì)80年代后，第一個是基于“知識庫”的專家系統(tǒng)研究和運用，在很多方面取得了巨大的成功。但是不久后，實際情況表明，專家系統(tǒng)，尤其是視覺、聽覺、圖像思維、聯(lián)想記憶、運動控制等，并沒有人們想要的那么高明。傳統(tǒng)的計算機和人工智能技術(shù)面臨很多困難。模擬人腦的智能信息處理過程只要用串行邏輯和符號處理等傳統(tǒng)方法解決復(fù)雜的問題，計算量的組合就會爆炸。因此，具有并行分布處理模型的神經(jīng)網(wǎng)絡(luò)理論再次受

6、到重視。神經(jīng)網(wǎng)絡(luò)研究又開始復(fù)興，第二次研究的高潮出現(xiàn)了。1982年，美國加州理工學(xué)院物理學(xué)家JJHopfield提出了新的神經(jīng)網(wǎng)絡(luò)HNN。他引入了“能源函數(shù)”的概念，對網(wǎng)絡(luò)穩(wěn)定性研究做出了明確的判定。HNN的電路物理實現(xiàn)奠定了神經(jīng)電腦研究的基礎(chǔ)，目前電子計算機難以解決的計算復(fù)雜性應(yīng)用于NP完整型問題(如著名的“巡回推銷員查詢”(TSP)，取得了良好的效果。從事并行分布式處理研究的學(xué)者，1985年在Hopfield模型中引入了隨機機制，提出了Boltzmann機器。1986年Rumelhart等以多層神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ)，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向波學(xué)習(xí)算法(BP算法)，解決了多層前向神經(jīng)網(wǎng)絡(luò)學(xué)

7、習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力強，可以完成很多學(xué)習(xí)任務(wù)，解決很多實際問題。近10多年來，徐璐提出了許多具有其他信息處理能力的神經(jīng)網(wǎng)絡(luò)牙齒，應(yīng)用于模式識別、自動控制、信號處理、決策輔助、人工智能等許多信息處理領(lǐng)域。神經(jīng)電腦研究也為神經(jīng)網(wǎng)絡(luò)理論研究提供了很多有利條件。各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)籌碼、電子神經(jīng)計算機的出現(xiàn)使神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各種研究都取得了長足的進展。另一方面，相應(yīng)神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議和神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)雜志的大量出現(xiàn)為神經(jīng)網(wǎng)絡(luò)研究人員討論交流提供了很多機會。雖然人們已經(jīng)對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究產(chǎn)生了共鳴，但其巨大潛力也不容置疑。但是對人類大腦的研究，尤其是對其中智能信息處理機制的

8、理解還很淺。因此，現(xiàn)有的研究成果只是初期階段，需要很多有識之士的長期努力。綜上所述，可見現(xiàn)在又處于神經(jīng)網(wǎng)絡(luò)理論的研究高潮，不僅對下一代智能電腦的研究有很大影響，還會促進整個人工智能領(lǐng)域的發(fā)展。另一方面，由于問題本身的復(fù)雜性，神經(jīng)網(wǎng)絡(luò)原理本身，或正在努力探索和研究的神經(jīng)計算機，現(xiàn)在還處于早期發(fā)展階段。為了理解ANN，我們先分析一下當(dāng)前計算機的問題。馮諾依曼型計算機在當(dāng)今世界發(fā)揮著巨大的作用，但是智能信息處理過程中存在著很多局限性。讓我們簡單分析一下馮諾依曼型計算機用于解決什么問題的方法。(1)根據(jù)問題的性質(zhì)構(gòu)建相應(yīng)的數(shù)學(xué)模型。(2)根據(jù)設(shè)定的數(shù)學(xué)模型源數(shù)據(jù)，為輸入計算機生成相應(yīng)的節(jié)目和數(shù)據(jù)。(3

9、)計算機的控制器命令輸入器將計算階段的初始數(shù)據(jù)寫入內(nèi)存。(4)控制器根據(jù)計算階段的順序，按內(nèi)存地址讀取第一計算階段，然后根據(jù)讀取階段的規(guī)定，控制運算符對該數(shù)據(jù)執(zhí)行規(guī)定的計算操作。(5)反饋器發(fā)現(xiàn)反饋信號中算法起作用，結(jié)果將中間結(jié)果記錄在內(nèi)存中的特定位置，并進行存檔。(6)反饋信號通知控制器采取第二計算步驟騾子，重復(fù)上述執(zhí)行過程。在整個操作完成之前，控制器打印、顯示命令輸出器中存儲在內(nèi)存中的最終結(jié)果，或?qū)⑵漭敵龅嚼L圖中?？偨Y(jié)上述整個計算過程，可以發(fā)現(xiàn)，當(dāng)前龐諾伊曼計算機具有以下三個茄子主要特征：(1)按照人們已經(jīng)準(zhǔn)備好的程序步驟，進行相應(yīng)的數(shù)值計算或邏輯運算。因為沒有主動學(xué)習(xí)的能力和適應(yīng)性，所以

10、是被動的。(2)所有節(jié)目命令必須轉(zhuǎn)移到CPU，然后按順序執(zhí)行。因此，處理信息的方式是集中和串行的。(3)內(nèi)存的位置(地址)與其中存儲在日歷上的具體內(nèi)容無關(guān)。因此，調(diào)用操作的指令或數(shù)據(jù)時，總是先查找自己所在內(nèi)存的地址，然后查找存儲的內(nèi)容。(David assell，Northern Exposure(美國電視電視劇)，操作名言)，存儲內(nèi)容和存儲地址不相關(guān)。由于當(dāng)前計算機的這種特性，顯示了在數(shù)字計算或邏輯運算等順序(串行)信息處理中非人的訪問速度。另一方面，人類日常的信息活動，如圖形識別、語言理解等，看起來既低能又笨拙。實際上，大腦是對外部世界時空對象的描述和識別是認(rèn)知的基礎(chǔ)。認(rèn)知問題離不開對低級

11、信息處理的研究和認(rèn)識。符號處理在大腦的思維功能模擬等方面取得了很大的進展，但在處理視覺、聽覺、聯(lián)想記憶、圖像事故等問題上往往沒有力量。因此符號處理不能全面解決識別問題和機器智能問題。它對高級大腦功能的宏觀模擬有效，但在一些低級模式處理上還有很多困難牙齒。由于傳統(tǒng)的馮諾依曼計算機在智能信息處理中認(rèn)識到了這些不可克服的局限性，人們考慮到需要更好地了解人腦神經(jīng)系統(tǒng)信息處理和存儲機制的特點，以便找到新的人工神經(jīng)網(wǎng)絡(luò)智能信息處理路徑。人工神經(jīng)網(wǎng)絡(luò)研究是通過自下而上的方法研究大腦在神經(jīng)系統(tǒng)結(jié)構(gòu)中的功能，研究大量簡單的神經(jīng)元組信息處理能力和動態(tài)行為。目前，由于神經(jīng)網(wǎng)絡(luò)的研究，多年來困擾計算機科學(xué)和符號處理的

12、一些難題，可以得到比較滿意的答案。特別是其施工信息存儲及并行檢索、自組織聯(lián)想億、施工數(shù)據(jù)統(tǒng)計描述的自組織及部分相關(guān)活動中，顯示出了解決自動知識等一般問題的更為獨特的能力。這引起了智能研究者的廣泛關(guān)注，普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)方法適合低級模式處理。人類大腦信息處理機制，生物神經(jīng)系統(tǒng)是一個具有高度組織和相互作用牙齒的龐大細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞約為1011，1013個左右。神經(jīng)細(xì)胞也稱為神經(jīng)元，是神經(jīng)系統(tǒng)基本單位，徐璐以不同的結(jié)合方式構(gòu)成復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其連接的可塑性，大腦將具有學(xué)習(xí)、記憶、認(rèn)知等多種智能。人工神經(jīng)網(wǎng)絡(luò)研究的起點是以生物神經(jīng)元學(xué)說為基礎(chǔ)的。生物神經(jīng)元學(xué)說認(rèn)為神經(jīng)細(xì)胞神經(jīng)

13、元是神經(jīng)系統(tǒng)中獨立的營養(yǎng)和功能單位。生物神經(jīng)系統(tǒng)包括中樞神經(jīng)系統(tǒng)和大腦，都由各種神經(jīng)元組成。其獨立性是說，每個神經(jīng)元都有自己的核和自己的分界線或原生質(zhì)膜。生物神經(jīng)元之間的互連，信息傳遞部位稱為突觸。突觸可以根據(jù)傳遞信息的多種機制分為化學(xué)突觸和突觸，其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動傳遞利用化學(xué)傳遞物質(zhì)的作用。生物神經(jīng)元結(jié)構(gòu)大致如下圖所示。由神經(jīng)元細(xì)胞體和擴展部分組成。擴展部分按功能分為兩個茄子類別。一種稱為樹突，它占據(jù)了大部分?jǐn)U展部分，用于容納其他神經(jīng)元信息。另一種用于傳遞和輸出稱為軸突的信息。對信息的神經(jīng)元接受和傳遞都是通過突觸完成的。單個神經(jīng)元可以從其他細(xì)胞接收數(shù)千個突觸輸入。這些輸入可以到

14、達神經(jīng)元樹突、包體、軸突等多個部位，但分布不同，神經(jīng)元影響也不同。人類的大腦皮質(zhì)總表面積約為20104mm2，平均厚度約為25mm，皮層體積約為50 104mm3。如果皮層突觸的平均密度為6 l09mm3左右，那么皮層的突觸數(shù)量可以被認(rèn)為是3，1015個。如果重新計算上述人類大腦中包含的神經(jīng)元總數(shù)，每個神經(jīng)元的平均突觸數(shù)可能約為1530萬個。神經(jīng)元之間的連接主要取決于突觸的連接作用。牙齒突觸連接具有可塑性。換句話說，突觸特性的變化受外部信息或自身生長過程的影響。生理學(xué)的研究總結(jié)了以下方面的變化：(1)突觸傳遞效率的變化。第一是突觸的膨脹和隨之而來的突觸后膜表面擴大，突觸釋放的傳遞物質(zhì)增加，突觸

15、的傳遞效率提高。接著突觸傳遞物質(zhì)質(zhì)量的變化包括比例成分的變化引起的傳遞效率的變化。(2)突觸接觸間隔的變化。突觸表面有很多不同形狀的小芽，調(diào)節(jié)形狀變化會改變接觸間隔，影響傳遞效率。(3)突觸的萌發(fā)。如果破壞了一些神經(jīng)纖維，它可以會長幼苗，在神經(jīng)元連接上再生突觸形成新的循環(huán)。隨著新電路的形成，結(jié)合模式的變化，傳遞效率的變化也會發(fā)生。(4)突觸數(shù)量的增減。多種茄子復(fù)雜環(huán)境條件的刺激等，或動物本身的生長或老化，都會改變神經(jīng)系統(tǒng)突觸數(shù)量，影響神經(jīng)元之間的傳遞效率。對信息的神經(jīng)元接受和傳遞都是通過突觸實現(xiàn)的。單個神經(jīng)元可以從其他細(xì)胞接收多個輸入。由于輸入分布在其他部分，因此神經(jīng)元影響的比例(權(quán)重)不同。

16、此外，突觸輸入到達神經(jīng)元前后的時間也不同。因此，神經(jīng)元接受信息經(jīng)常在時間和空間中呈現(xiàn)復(fù)雜多樣的形式，神經(jīng)元積累和整合它們，因此，必須確定其輸出的時機和強度。神經(jīng)元的集成使眾多神經(jīng)元能夠在神經(jīng)系統(tǒng)中有序、晝夜地處理復(fù)雜的信息，并執(zhí)行生物中心神經(jīng)系統(tǒng)的各種信息處理功能。威廉莎士比亞、美國電視電視劇(Northern Exposure)、多個神經(jīng)元通過突觸連接形成了一個神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)功能并不是單個神經(jīng)元生理和信息處理功能的簡單嵌套，而是分層多單元動態(tài)信息處理系統(tǒng)。他們有獨特的操作方式和控制機制，能接受生物內(nèi)外環(huán)境的輸入信息，綜合折疊，控制機體對環(huán)境的適當(dāng)反應(yīng)。以上是宏觀分析人腦信息處理特征。從資訊系統(tǒng)研究的角度來看，人類大腦這個智能信息處理系統(tǒng)有幾個茄子獨特的特征：(1)并行分布式處理的工作方式。實際上，大腦的單個神經(jīng)元信息處理速度非常慢，一次約1毫秒(ms)，比一般的電子門電路慢幾個數(shù)量級。每個神經(jīng)元處理功能也受到限制，預(yù)計不會比計算機的指示更復(fù)雜。但是人類的大腦對某些復(fù)雜過程的處理和反應(yīng)很快。通常只需要幾百毫秒。例如，要確保人眼可見的兩個圖形相同，實際上需要大約400毫秒，在牙