人工神經(jīng)網(wǎng)絡(luò)01緒論

1、武漢科技大學(xué)1張凱 副教授武漢科技大學(xué) 計(jì)算機(jī)學(xué)院人工神經(jīng)網(wǎng)絡(luò)(artifical neural network)2第一章第一章 神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述1. 人工智能與神經(jīng)網(wǎng)絡(luò)人工智能與神經(jīng)網(wǎng)絡(luò)2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史人工神經(jīng)網(wǎng)絡(luò)研究的歷史4. 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域人工智能人工智能人工智能（artificial intelligence，簡(jiǎn)記為ai）最初在1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問(wèn)題。智能的概念智能的概念智能是個(gè)體有目的的行為，合理的思維

2、，以及有效的適應(yīng)環(huán)境的綜合能力。智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。人類個(gè)體的智能是一種綜合能力。研究人工智能的目的模擬人的智能，將人類從復(fù)雜的腦力勞動(dòng)中解脫出來(lái)4感覺(jué)器官感覺(jué)器官神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)認(rèn)知認(rèn)知效應(yīng)器官效應(yīng)器官外部世界外部世界決策決策神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)思維器官思維器官典型的典型的 “智力生成過(guò)程智力生成過(guò)程” 信息獲取信息獲取信息傳遞信息傳遞信息認(rèn)知信息認(rèn)知信息執(zhí)行信息執(zhí)行外部世界外部世界信息再生信息再生信息傳遞信息傳遞認(rèn)識(shí)論信息認(rèn)識(shí)論信息知識(shí)知識(shí)智能策略智能策略狹義智能狹義智能本體論信息本體論信息認(rèn)識(shí)論信息認(rèn)識(shí)論信息智能策略智能策略智能行為智能行為人類智力的信息本質(zhì)人類智

3、力的信息本質(zhì)人工智能人工智能71.感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力2.通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力3.理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力4.聯(lián)想、推理、判斷、決策的能力5.運(yùn)用語(yǔ)言進(jìn)行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測(cè)、洞察事物發(fā)展變化的能力人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含8個(gè)方面感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力 感知是智能的基礎(chǔ)最基本的能力 通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力 這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力 這一能力可以算作是智能的

4、高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑?，推?dòng)社會(huì)不斷發(fā)展的基本能力。11/15/20219人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語(yǔ)言的能力 這是智能的高級(jí)形式的又一方面。 預(yù)測(cè)和認(rèn)識(shí) “主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能力，被認(rèn)為是人類智能最為基本的能力 11/15/202110人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測(cè)、洞察事物發(fā)展、變化的能力 人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為1. 物理結(jié)構(gòu)：

5、人工神經(jīng)元將模擬生物神經(jīng)元的功能2. 計(jì)算模擬 ：人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過(guò)連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理3.存儲(chǔ)與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過(guò)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持4. 訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過(guò)程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí)人工智能人工智能生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)

6、絡(luò)11/15/202117人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念定義(1) hechtnielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（peprocessing element）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作

7、必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。11/15/202120人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào)： 并行、分布處理結(jié)構(gòu)； 一個(gè)處理單元的輸出可以被任意分枝，且 大小不變； 輸出信號(hào)可以是任意的數(shù)學(xué)模型； 處理單元完全的局部操作 人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念定義(2) rumellhart，mcclelland，hinton人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念1） 一組處理單元（pe或an）；2） 處理單元的激活狀態(tài)（ai）；3） 每個(gè)處理單元的輸出函數(shù)（fi）；4） 處理單元之間的聯(lián)接模式；5）

8、傳遞規(guī)則（wijoi）；6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激 活值的激活規(guī)則（fi）；7） 通過(guò)經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則；8） 系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。 11/15/202123人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 什么是神經(jīng)網(wǎng)絡(luò)什么是神經(jīng)網(wǎng)絡(luò)由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接

9、強(qiáng)度以及其各單元的處理方式是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)24神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)：(1)大規(guī)模并行分布式結(jié)構(gòu)(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來(lái)的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對(duì)不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出25神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)非線性 人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個(gè)由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射 每個(gè)樣本由一個(gè)惟一的輸入信號(hào)和相應(yīng)期望響應(yīng)組成。從一個(gè)訓(xùn)練集中隨機(jī)選取一個(gè)樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的實(shí)際響應(yīng)之間的偏差。神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力神經(jīng)網(wǎng)絡(luò)

10、的性質(zhì)和能力適應(yīng)性神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。vlsi(超大規(guī)模集成)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于vlsi技術(shù)實(shí)現(xiàn)。神經(jīng)生物類比神經(jīng)網(wǎng)絡(luò)是由對(duì)人腦的類比引發(fā)的，可以用神經(jīng)生物學(xué)來(lái)作為解決復(fù)雜問(wèn)題的新思路。神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力神經(jīng)網(wǎng)絡(luò)的分類神經(jīng)網(wǎng)絡(luò)的分類從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò)(feedforward neural network) 反饋神經(jīng)網(wǎng)絡(luò)(feedback neural network)從學(xué)習(xí)方式分類 有教師學(xué)習(xí) 無(wú)教師學(xué)習(xí)28有教師學(xué)習(xí)有教師學(xué)習(xí)事先有一批正確的輸入輸出數(shù)據(jù)對(duì)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后

11、，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(back propagation, 簡(jiǎn)寫為bp)算法。29無(wú)教師學(xué)習(xí)無(wú)教師學(xué)習(xí)自組織學(xué)習(xí)：使網(wǎng)絡(luò)具有某種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過(guò)的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(self organization mapping, 簡(jiǎn)寫為som)算法。無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)：將處理單元?jiǎng)澐譃閹讉€(gè)競(jìng)爭(zhēng)塊。在不同的塊之間有刺激連接，而同一塊

12、的不同節(jié)點(diǎn)之間有抑制連接，從而當(dāng)外界對(duì)不同塊的一個(gè)單元施加刺激后，將激活不同塊中互聯(lián)最強(qiáng)的一組單元，得到對(duì)該刺激的一個(gè)整體回憶。神經(jīng)網(wǎng)絡(luò)發(fā)展的四個(gè)時(shí)期 啟蒙時(shí)期（18901969） 低潮時(shí)期（19691982） 復(fù)興時(shí)期（19821986） 高潮時(shí)期（1987 ）31 從19世紀(jì)末開(kāi)始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)以及人工智能學(xué)之間的聯(lián)系。人工神經(jīng)網(wǎng)絡(luò)的研究歷史人工神經(jīng)網(wǎng)絡(luò)的研究歷史1890年，美國(guó)心理學(xué)家william james發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著心理學(xué)原理(principles of psychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的

13、基本原理做了開(kāi)創(chuàng)性研究。32啟蒙時(shí)期啟蒙時(shí)期33啟蒙時(shí)期啟蒙時(shí)期1943，心理學(xué)家麥克洛奇(mcculloch)和數(shù)理邏輯學(xué)家皮茲(pitts)從信息處理的角度出發(fā)，提出了形似神經(jīng)元的著名的閾值加權(quán)和模型，簡(jiǎn)稱為m-p模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊bulletin of methematical biophysics，從此開(kāi)創(chuàng)了神經(jīng)科學(xué)理論的新時(shí)代。啟蒙時(shí)期啟蒙時(shí)期這種單個(gè)神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)可以實(shí)現(xiàn)邏輯運(yùn)算，包括三種基本運(yùn)算：邏輯乘法(又稱“與”運(yùn)算)、邏輯加法(又稱“或”運(yùn)算)和邏輯否定(又稱“非”運(yùn)算)。它開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下

14、了基礎(chǔ)。11/15/20213435啟蒙時(shí)期啟蒙時(shí)期1949年，心理學(xué)家赫布（hebb）在行為構(gòu)成（organization of behavior）一書中提出了連接權(quán)訓(xùn)練算法，即hebb算法。啟蒙時(shí)期啟蒙時(shí)期hebb提出神經(jīng)元之間突觸聯(lián)系強(qiáng)度可變的假設(shè)。他認(rèn)為學(xué)習(xí)過(guò)程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。根據(jù)這一假說(shuō)提出了改變神經(jīng)元連接強(qiáng)度的hebb規(guī)則。它對(duì)以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。hebb的學(xué)習(xí)算法在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。11/15/202136啟蒙時(shí)期啟蒙時(shí)期1957年，羅森布蘭特(rosenblatt)提出了感知器(perception)的概念

15、，試圖模擬人腦的感知學(xué)習(xí)能力。啟蒙時(shí)期啟蒙時(shí)期rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這符合動(dòng)物學(xué)習(xí)的自然環(huán)境。這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來(lái)的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。 啟蒙時(shí)期啟蒙時(shí)期1962年，韋德羅（widrow）和胡佛（hoff）提出了自適應(yīng)線性單元（adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。ted hoffbernard widrow11/15/202140啟蒙時(shí)期啟蒙時(shí)期marvin

16、 minsky，frank rosenblatt，bernard widrow等為代表人物，代表作是單級(jí)感知器(perceptron)?？捎秒娮泳€路模擬。人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開(kāi)始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。 低潮時(shí)期低潮時(shí)期1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（minsky）和佩珀特（papert）發(fā)表了感知器一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。低潮時(shí)期低潮時(shí)期60年代末，美國(guó)著名人工智能學(xué)者minsky和papart對(duì)rosenblatt的工作進(jìn)行了深入的研究，寫了很有影響的感知器一書，指

17、出感知器的處理能力有限，單層感知器只能作線性劃分，對(duì)于非線性或其他分類會(huì)遇到很大的困難。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難，minsky斷言這種感知器無(wú)科學(xué)研究?jī)r(jià)值可言，包括多層的也沒(méi)有什么意義。11/15/202142低潮時(shí)期低潮時(shí)期匯編語(yǔ)言中 xor eax, eax1 xor 1 = 0 因?yàn)?和1相同 0 xor 0 = 0 因?yàn)?和0相同 1 xor 0 = 1 因?yàn)?和0不同 0 xor 1 = 1 因?yàn)?和0不同初始化清 0。速度比賦值快。低潮時(shí)期低潮時(shí)期一、交換兩個(gè)整數(shù)的值而不必用第三個(gè)參數(shù)二、奇偶判斷三、格雷碼(gray code

18、) 格雷碼(gray code)是由貝爾實(shí)驗(yàn)室的frank gray在1940年提出，用于在pcm(pusle code modulation)方法傳送訊號(hào)時(shí)防止出錯(cuò)。四、奇數(shù)分頻電路低潮時(shí)期低潮時(shí)期這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無(wú)疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時(shí)當(dāng)時(shí)的微電子技術(shù)也無(wú)法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費(fèi)支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。11/15/202145低潮時(shí)期低潮時(shí)期然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年grossberg等提出了自適應(yīng)共振理論模型。1972年k

19、ohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了理論基礎(chǔ)。11/15/20214647低潮時(shí)期低潮時(shí)期1969年，美國(guó)學(xué)者格諾斯博格（grossberg）和卡普特爾（carperter）提出了自適應(yīng)共振理論（art）模型。低潮時(shí)期低潮時(shí)期art競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)見(jiàn)到一個(gè)人。如果我們認(rèn)識(shí)這個(gè)人，我們馬上就能知道認(rèn)識(shí)他！該怎么理解呢？其實(shí)，大腦已經(jīng)存在了這個(gè)人的面孔的印象，看到這個(gè)人，我們的大腦有個(gè)搜索對(duì)比的過(guò)程或者說(shuō)是回憶的過(guò)程，如果能夠搜索到（回憶），那么恭喜你，你認(rèn)出這個(gè)人了相反，如果這個(gè)人是陌生人，大腦慘了，搜索了半天，沒(méi)有搜到（回憶），罷

20、工了，不認(rèn)識(shí)，還是陌生人，不要生氣，大腦沒(méi)有罷工，它已默默將這個(gè)人的面孔存儲(chǔ)起來(lái)了！如果你后續(xù)跟這個(gè)人還有更多聯(lián)系的話，比如再見(jiàn)面或者一起說(shuō)話、交往，大腦對(duì)這個(gè)人的記憶會(huì)逐漸加強(qiáng)！實(shí)際生活中，我們會(huì)有對(duì)某個(gè)人好像在哪兒見(jiàn)過(guò)面的感覺(jué)，其實(shí)這種感覺(jué)正是大腦對(duì)這個(gè)人的記憶還不夠強(qiáng)烈所產(chǎn)生的！49低潮時(shí)期低潮時(shí)期1972年，芬蘭學(xué)者克豪南（kohonen）提出了自組織映射（som）理論。50低潮時(shí)期低潮時(shí)期腦科學(xué)的研究表明，人類大腦皮層中的細(xì)胞群存在著廣泛地自組織現(xiàn)象。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對(duì)不同感官輸入模式的輸入信號(hào)具有敏感性，從而形成大腦中各種不同的感

21、知路徑。并且這種神經(jīng)元所具有的特性不是完全來(lái)自生物遺傳，而是很大程度上依賴于后天的學(xué)習(xí)和訓(xùn)練。低潮時(shí)期低潮時(shí)期自組織映射網(wǎng)絡(luò)(self-organizing feature maps，som)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。kohonen認(rèn)為處于空間中不同區(qū)域的神經(jīng)元有不同的分工,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí),將會(huì)分為不同的反應(yīng)區(qū)域,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)，采用無(wú)監(jiān)督學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛地應(yīng)用于樣本分類、排序和樣本檢測(cè)方面。低潮時(shí)期低潮時(shí)期1979年，福島邦彥

22、（fukushima）提出了認(rèn)知機(jī)（necognitron）理論。認(rèn)知機(jī)(neocognitron)由fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過(guò)無(wú)導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對(duì)樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點(diǎn)是參數(shù)不易選擇。主要用于字符識(shí)別。低潮時(shí)期低潮時(shí)期1977，神經(jīng)心理學(xué)家安德森（anderson）提出了bsb(brain-state-in-a-box)模型。bsb模型是一種結(jié)點(diǎn)之間存在橫向連接和結(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲(chǔ)任何模擬向量模式。低潮時(shí)期低潮時(shí)期1974，韋伯斯（werbos）提出了bp理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。

23、復(fù)興時(shí)期復(fù)興時(shí)期1982年，美國(guó)加州工程學(xué)院物理學(xué)家hopfield在美國(guó)科學(xué)院院刊上發(fā)表論文，提出了一個(gè)用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑hopfield模型, 。復(fù)興時(shí)期復(fù)興時(shí)期1982年，j. hopfield提出循環(huán)網(wǎng)絡(luò) 用lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ann穩(wěn)定性的判別依據(jù) 闡明了ann與動(dòng)力學(xué)的關(guān)系 用非線性動(dòng)力學(xué)的方法來(lái)研究ann的特性 指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 復(fù)興時(shí)期復(fù)興時(shí)期1984年對(duì)hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。1985年hopfield和tank提出用神經(jīng)網(wǎng)

24、絡(luò)解決tsp組合優(yōu)化問(wèn)題。復(fù)興時(shí)期復(fù)興時(shí)期 hopfield模型的動(dòng)作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。58復(fù)興時(shí)期復(fù)興時(shí)期1984年，hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（tsp）問(wèn)題，引起世人震驚。這些成果使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。復(fù)興時(shí)期復(fù)興時(shí)期1985年，ucsd的sejnow

25、sky、rumelhart、hinton等人所在的并行分布處理（pdp）小組的研究者在hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的boltzmann機(jī)。 復(fù)興時(shí)期復(fù)興時(shí)期1986年，rumelhart和mcclelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（bp算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。歷史總結(jié)歷史總結(jié)神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。11/15/202162歷史總結(jié)歷史總結(jié)上世紀(jì)40年代興奮與抑制型神經(jīng)元模型（mcculloch，pitts）神經(jīng)元連接強(qiáng)度的修改規(guī)則（hebb）上世紀(jì)50年代、60年代感

26、知機(jī)（rosenblatt）和自適應(yīng)性元件（widrow）上世紀(jì)70年代perceptron一書出版（minsky和papert）研究處于低潮上世紀(jì)80年代后rumelhart，mcclelland以及hopfield等取得突破性進(jìn)展(1)開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。(2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法(3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。(4)進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。 新時(shí)期研究熱點(diǎn)問(wèn)題新時(shí)期研究熱點(diǎn)問(wèn)題理論方面 支持向量機(jī)和核方法(svm and ke

27、rnel methods) 圖模型(graphical models) 統(tǒng)計(jì)學(xué)習(xí)方法(statistical learning algorithm) 高斯過(guò)程（gaussian process) 泛化問(wèn)題和模型選擇(generalization and model selection) 貝葉斯學(xué)習(xí)(bayesian learning) 遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks)等 65新時(shí)期研究熱點(diǎn)問(wèn)題新時(shí)期研究熱點(diǎn)問(wèn)題66實(shí)際應(yīng)用 圖象處理(image processing) 人臉識(shí)別(face recognition) 語(yǔ)音信號(hào)處理(voice processing

28、) 時(shí)間序列分析(time series analysis) 機(jī)器人控制(robot control)等新時(shí)期研究熱點(diǎn)問(wèn)題新時(shí)期研究熱點(diǎn)問(wèn)題國(guó)家自然科學(xué)基金資助國(guó)家自然科學(xué)基金資助2006年有42項(xiàng)研究課題2005年有40項(xiàng)研究課題2004年有32項(xiàng)研究課題2003年有26項(xiàng)研究課題2002年有26項(xiàng)研究課題2001年有18項(xiàng)研究課題2000年有20項(xiàng)研究課題1999年有22項(xiàng)研究課題67神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來(lái)越多的國(guó)內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。 681988年，neural networks創(chuàng)刊1990年，ieee transactions on ne

29、ural networks創(chuàng)刊 國(guó)際學(xué)術(shù)期刊國(guó)際學(xué)術(shù)期刊ieee trans. on neural networksneural networks主要內(nèi)容主要內(nèi)容第一章：引論第一章：引論 智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史、及其應(yīng)用領(lǐng)域。 主要內(nèi)容主要內(nèi)容第二章第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存?chǔ)類型及映象。主要內(nèi)容主要內(nèi)容第三章第三章 感知器感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問(wèn)題，而無(wú)法解決線形不可分問(wèn)題，要想解決這一問(wèn)題，必須引入多層

30、網(wǎng)；hebb學(xué)習(xí)律，delta規(guī)則，感知器的訓(xùn)練算法主要內(nèi)容主要內(nèi)容第四章第四章 線性神經(jīng)網(wǎng)絡(luò)和線性神經(jīng)網(wǎng)絡(luò)和lms算法算法自適應(yīng)線性神經(jīng)元adaline(adaptivelinear neuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表,其學(xué)習(xí)算法稱之為 lms (least mean squares最小均方差)算法或widrow-hoff學(xué)習(xí)規(guī)則。主要內(nèi)容主要內(nèi)容第五章第五章 bp神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) bp（rror back propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過(guò)程；隱藏層權(quán)調(diào)整方法的直觀分析，bp訓(xùn)練算法中使用的delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；bp網(wǎng)絡(luò)中

31、的幾個(gè)重要問(wèn)題。主要內(nèi)容主要內(nèi)容第六章第六章 hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 離散型hopfield網(wǎng)絡(luò)和連續(xù)性hopfield網(wǎng)絡(luò)，hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計(jì)算；用能量函數(shù)評(píng)價(jià)網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問(wèn)題(tsp問(wèn)題) 。主要內(nèi)容主要內(nèi)容第七章第七章 boltzmann機(jī)網(wǎng)絡(luò)機(jī)網(wǎng)絡(luò) boltzmann機(jī)將模擬退火算法引入hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點(diǎn)跳出局部最優(yōu)，而達(dá)到全局最優(yōu)化。學(xué)習(xí)以統(tǒng)計(jì)學(xué)和概率方法研究隨機(jī)神經(jīng)網(wǎng)絡(luò)。11/15/202178主要內(nèi)容主要內(nèi)容第八章第八章 自適應(yīng)共振理論自適應(yīng)共振理論 人腦的穩(wěn)定性與可塑性問(wèn)題；ar

32、t模型的總體結(jié)構(gòu)與分塊描述；比較層與識(shí)別層之間的兩個(gè)聯(lián)接矩陣的初始化，識(shí)別過(guò)程與比較過(guò)程，查找的實(shí)現(xiàn)；訓(xùn)練討論。 神經(jīng)網(wǎng)絡(luò)的基本特征神經(jīng)網(wǎng)絡(luò)的基本特征神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。1. 結(jié)構(gòu)特征并行處理、分布式存儲(chǔ)與容錯(cuò)性2. 能力特征自學(xué)習(xí)、自組織與自適應(yīng)性7911/15/202180學(xué)習(xí)能力學(xué)習(xí)能力(learning) 人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合a時(shí)，可以抽取集合a中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法11/15/202181基本特征的自動(dòng)提取基本特征的自動(dòng)提取

33、由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。泛化（generalization）能力與抽象能力 神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能聯(lián)想記憶82由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激信息和輸入模式進(jìn)行聯(lián)想記憶的能力。這種能力是通過(guò)神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是通過(guò)其突觸權(quán)值和連接結(jié)構(gòu)來(lái)表達(dá)信息的記憶。這種分布式存儲(chǔ)使得神經(jīng)網(wǎng)絡(luò)能存儲(chǔ)較多的復(fù)雜模式和恢復(fù)記憶的信息。聯(lián)想記憶自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)（記憶）多種模式信息，當(dāng)輸入某個(gè)已存儲(chǔ)模式的部分信息或帶有噪聲干擾的信息時(shí)，網(wǎng)絡(luò)能通過(guò)

34、動(dòng)態(tài)聯(lián)想過(guò)程回憶起該模式的全部信息。神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)了多個(gè)模式對(duì)，每一對(duì)模式均由兩部分組成，當(dāng)輸入某個(gè)模式對(duì)的一部分時(shí)，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對(duì)應(yīng)的另一部分。聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能85神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能86神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射 設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)系統(tǒng)輸入輸出樣本對(duì)進(jìn)行自動(dòng)學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。輸入樣本輸入樣本 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 輸出樣本輸出樣本 自動(dòng)提取自動(dòng)提取 非線性映射規(guī)則非線性映射規(guī)則87神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本

35、功能非線性映射88神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能分類與辨識(shí) 對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。 傳統(tǒng)分類能力傳統(tǒng)分類能力 ann 分類能力分類能力89神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能優(yōu)化計(jì)算 指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達(dá)到最小值。90神經(jīng)網(wǎng)絡(luò)的基本功能神經(jīng)網(wǎng)絡(luò)的基本功能知識(shí)處理 神經(jīng)網(wǎng)絡(luò)的知識(shí)抽取能力使其能夠在沒(méi)有任何先驗(yàn)知識(shí)的情況下自動(dòng)從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過(guò)自組織過(guò)程加強(qiáng)自身，構(gòu)建適合于表達(dá)所發(fā)現(xiàn)的規(guī)律。 問(wèn)問(wèn)題題解解答答 知知識(shí)識(shí)分分布布式式表表示示 由由同同一一 知知識(shí)識(shí)

36、獲獲取取、知知識(shí)識(shí)庫(kù)庫(kù) 神神經(jīng)經(jīng)網(wǎng)網(wǎng) 平平行行推推理理 絡(luò)絡(luò)實(shí)實(shí)現(xiàn)現(xiàn) 輸輸入入數(shù)數(shù)據(jù)據(jù) 變變量量變變換換 求求解解的的問(wèn)問(wèn)題題 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)專專家家系系統(tǒng)統(tǒng)的的構(gòu)構(gòu)成成信號(hào)處理 神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號(hào)處理（自適應(yīng)濾波、時(shí)間序列預(yù)測(cè)等）和非線性信號(hào)處理（非線性濾波、非線性預(yù)測(cè)等）模式識(shí)別 模式識(shí)別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神經(jīng)網(wǎng)絡(luò)在這兩個(gè)方面都有許多成功的應(yīng)用，例如對(duì)圖象、語(yǔ)音的處理以及手寫字的識(shí)別等。ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域信息領(lǐng)域信息領(lǐng)域數(shù)據(jù)壓縮 神經(jīng)網(wǎng)絡(luò)可以對(duì)待傳送（或待存儲(chǔ)）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲(chǔ)），接收（或使用）時(shí)再將其轉(zhuǎn)換為原始

37、模式。92ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域信息領(lǐng)域信息領(lǐng)域汽車工程 神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機(jī)燃燒系統(tǒng)中。軍事工程 神經(jīng)網(wǎng)絡(luò)已應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域?；瘜W(xué)工程 神經(jīng)網(wǎng)絡(luò)在制藥、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域工程領(lǐng)域工程領(lǐng)域水利工程 水力發(fā)電過(guò)程辨識(shí)和控制、河川徑流預(yù)測(cè)、河流水質(zhì)分類、水資源規(guī)劃等實(shí)際問(wèn)題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。94ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域工程領(lǐng)域工程領(lǐng)域檢測(cè)數(shù)據(jù)分析 利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測(cè)系統(tǒng)可用來(lái)提供腦電棘波的實(shí)時(shí)檢測(cè)和癲癇的預(yù)報(bào)。生物活性研究 用神

38、經(jīng)網(wǎng)絡(luò)對(duì)生物學(xué)檢測(cè)數(shù)據(jù)進(jìn)行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對(duì)分子致癌活性進(jìn)行預(yù)報(bào)。醫(yī)學(xué)專家系統(tǒng) 利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來(lái)解決醫(yī)學(xué)專家系統(tǒng)中的知識(shí)表示、獲取和并行推理等問(wèn)題。ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域醫(yī)學(xué)領(lǐng)域醫(yī)學(xué)領(lǐng)域信貸分析 神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)系統(tǒng)將公司貸款申請(qǐng)表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實(shí)際的信用情況作為輸出評(píng)價(jià)，用數(shù)以千計(jì)的歷史數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，可給出準(zhǔn)確的評(píng)價(jià)結(jié)果。市場(chǎng)預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò)的市場(chǎng)預(yù)測(cè)已經(jīng)廣泛應(yīng)用于股票和期貨價(jià)格的預(yù)測(cè)中。ann應(yīng)用領(lǐng)域應(yīng)用領(lǐng)域經(jīng)濟(jì)學(xué)領(lǐng)域經(jīng)濟(jì)學(xué)領(lǐng)域自動(dòng)控制是上世紀(jì)中形成和發(fā)展起來(lái)的一門新興

39、學(xué)科，它是一門涉及到諸如數(shù)學(xué)、計(jì)算機(jī)、信息、電工、電子等眾多領(lǐng)域的交叉學(xué)科。它的應(yīng)用和影響，已經(jīng)遍及很多的技術(shù)和社會(huì)科學(xué)領(lǐng)域。在自動(dòng)控制發(fā)展的過(guò)程中，計(jì)算機(jī)科學(xué)一直對(duì)它產(chǎn)生著巨大的影響。隨著科學(xué)技術(shù)的發(fā)展，對(duì)控制系統(tǒng)智能化的要求也越來(lái)越高。97人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)滲透到自動(dòng)化控制領(lǐng)域的各個(gè)方面，包括系統(tǒng)辨識(shí)、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯(cuò)控制等。系統(tǒng)辨識(shí) 傳統(tǒng)的辨識(shí)方法，對(duì)于一般的非線性系統(tǒng)的辨識(shí)是很困難的，而神經(jīng)網(wǎng)絡(luò)卻為此提供了一個(gè)有力的工具。與傳統(tǒng)的基于算法的辨識(shí)方法相比，神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)具有如下特點(diǎn)： (1) 由于神經(jīng)網(wǎng)絡(luò)可以任意

40、精度逼近非線性函數(shù)，故它可以為非線性系統(tǒng)的辨識(shí)提供一個(gè)通用的模式人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制 (2)神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)是非算法式的，神經(jīng)網(wǎng)絡(luò)本身就是辨識(shí)模型，其可調(diào)參數(shù)反映在網(wǎng)絡(luò)內(nèi)部的連接權(quán)上。不需要建立以實(shí)際系統(tǒng)數(shù)學(xué)模型為基礎(chǔ)的辨識(shí)格式，故可以省去辨識(shí)前對(duì)系統(tǒng)建模這一步驟。 (3)神經(jīng)網(wǎng)絡(luò)作為實(shí)際系統(tǒng)的辨識(shí)模型，實(shí)際上也是系統(tǒng)的一個(gè)物理實(shí)現(xiàn)，可應(yīng)用于在線控制。99人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制神經(jīng)控制器 控制器在實(shí)施控制系統(tǒng)中起著大腦的作用神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的等智能特點(diǎn)，非常適合做控制器。對(duì)于復(fù)雜的非線性系統(tǒng)，神經(jīng)控制器所能達(dá)到的控制效果往往明顯好于常規(guī)控

41、制器。故障診斷與容錯(cuò)控制 神經(jīng)網(wǎng)絡(luò)故障診斷與容錯(cuò)控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經(jīng)網(wǎng)絡(luò)；另一種是用神經(jīng)網(wǎng)絡(luò)直接構(gòu)成具有容錯(cuò)能力的控制器。人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)t. m. mitchell駕駛汽車的人工神經(jīng)網(wǎng)絡(luò)駕駛汽車的人工神經(jīng)網(wǎng)絡(luò)人臉識(shí)別的人工神經(jīng)網(wǎng)絡(luò)人臉識(shí)別的人工神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別的人工神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別的人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問(wèn)題在逼近非線性函數(shù)問(wèn)題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問(wèn)題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實(shí)時(shí)控制的需要，必須予以解決對(duì)于控制器和辨識(shí)器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無(wú)理論指導(dǎo)難

42、點(diǎn)問(wèn)題難點(diǎn)問(wèn)題105參考書目參考書目參考書目參考書目107參考書目參考書目simon haykin著, 葉世偉, 史忠植譯. 神經(jīng)網(wǎng)絡(luò)原理. 機(jī)械工業(yè)出版社, 2004george f. luger著,史忠植等譯. 人工智能復(fù)雜問(wèn)題求解的結(jié)構(gòu)和策略. 機(jī)械工業(yè)出版社, 中信出版社蔣宗禮. 人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 高等教育出版社，2001胡守仁，余少博，戴葵. 神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 國(guó)防科技大學(xué)出版社，1993韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用. 化學(xué)工業(yè)出版社，2002王旭，王宏，王文輝. 人工神經(jīng)元網(wǎng)絡(luò)原理與應(yīng)用. 東北大學(xué)出版社，2000徐麗娜. 神經(jīng)網(wǎng)絡(luò)控制. 哈爾濱工業(yè)大學(xué)出版社，1999閻

43、平凡，張長(zhǎng)水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算. 清華大學(xué)出版社，著名學(xué)者著名學(xué)者108prof. michael i. jordan美國(guó)加州大學(xué)伯克利分校美國(guó)加州大學(xué)伯克利分校 獲加州大學(xué)博士學(xué)位獲加州大學(xué)博士學(xué)位研究方向研究方向: 圖模型、變分方法、機(jī)器學(xué)習(xí)等。圖模型、變分方法、機(jī)器學(xué)習(xí)等。曾在麻省理工學(xué)院工作曾在麻省理工學(xué)院工作11年。已發(fā)表年。已發(fā)表200多篇科技多篇科技論文。國(guó)際上許多神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面的專家論文。國(guó)際上許多神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面的專家都曾師從都曾師從jordan教授，包括香港中文大學(xué)的徐雷教教授，包括香港中文大學(xué)的徐雷教授。授。著名學(xué)者著名學(xué)者109prof. be

44、rnhard scholkopf德國(guó)德國(guó)max planck生物控制論研究院生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位年獲柏林科技大學(xué)博士學(xué)位研究方向研究方向: 機(jī)器學(xué)習(xí)、感知器、支持向量機(jī)和核方機(jī)器學(xué)習(xí)、感知器、支持向量機(jī)和核方法。法。scholkopf教授是國(guó)際著名雜志教授是國(guó)際著名雜志journal of machine learning research、ieee trans. on pattern analysis and machine intelligence, 和和international journal of computer vision編輯委員會(huì)成員。編輯委員會(huì)成

45、員。 著名學(xué)者著名學(xué)者110prof. lawrence saul加州大學(xué)圣地牙哥分校加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位年獲麻省理工學(xué)院博士學(xué)位研究方向：機(jī)器學(xué)習(xí)、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、語(yǔ)音研究方向：機(jī)器學(xué)習(xí)、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、語(yǔ)音處理等。處理等。saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡(jiǎn)已被應(yīng)用于很多實(shí)際科學(xué)和工程領(lǐng)域。他維數(shù)化簡(jiǎn)已被應(yīng)用于很多實(shí)際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進(jìn)入計(jì)算機(jī)科學(xué)的前發(fā)表文章的引用率已經(jīng)進(jìn)入計(jì)算機(jī)科學(xué)的前1%，另外他也是著名國(guó)際期刊另外他也是著名國(guó)際期刊journal of machi

46、ne learning research編委會(huì)成員和發(fā)起人之一。編委會(huì)成員和發(fā)起人之一。 著名學(xué)者著名學(xué)者111prof. yoshua bengio加拿大蒙特利爾大學(xué)加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向研究方向: 多層感知機(jī)、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等多層感知機(jī)、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等bengio教授是教授是ieee transactions on neural networks、journal of machine learning、neural computing surveys的編委。值得一提的是的編委。值得一提的是bengio教授在教

47、授在1994年的一篇著名文章中逆轉(zhuǎn)了遞歸神經(jīng)網(wǎng)年的一篇著名文章中逆轉(zhuǎn)了遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的研究方向，極大地影響了該網(wǎng)絡(luò)絡(luò)梯度學(xué)習(xí)算法的研究方向，極大地影響了該網(wǎng)絡(luò)的研究。的研究。著名學(xué)者著名學(xué)者112prof. frank l. lewis美國(guó)德克薩斯大學(xué)美國(guó)德克薩斯大學(xué)獲美國(guó)喬治亞技術(shù)學(xué)院博士學(xué)位獲美國(guó)喬治亞技術(shù)學(xué)院博士學(xué)位研究方向研究方向: 反饋系統(tǒng)控制、神經(jīng)網(wǎng)絡(luò)和模糊智能控制反饋系統(tǒng)控制、神經(jīng)網(wǎng)絡(luò)和模糊智能控制等等現(xiàn)任德克薩斯大學(xué)自動(dòng)化與機(jī)器人研究院副院長(zhǎng)、現(xiàn)任德克薩斯大學(xué)自動(dòng)化與機(jī)器人研究院副院長(zhǎng)、ieee fellow、international journal of control、neural co