人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程大致可以分為三個(gè)階段:興起時(shí)期低潮時(shí)期復(fù)興時(shí)期興起階段1943年,神經(jīng)生物學(xué)家MeCulloch和青年數(shù)學(xué)家Pitts提出了第一個(gè)人工神經(jīng)元模型——神經(jīng)元閾值模型（MP模型）,并在此基礎(chǔ)上抽象出其數(shù)學(xué)模型,開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。1943年,神經(jīng)生物學(xué)家MeCulloch和青年數(shù)學(xué)家Pitts提出了第一個(gè)人工神經(jīng)元模型——神經(jīng)元閾值模型（MP模型）,并在此基礎(chǔ)上抽象出其數(shù)學(xué)模型,開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。1943年,神經(jīng)生物學(xué)家MeCulloch和青年數(shù)學(xué)家Pitts提出了第一個(gè)人工神經(jīng)元模型——神經(jīng)元閾值模型（MP模型）,并在此基礎(chǔ)上抽象出其數(shù)學(xué)模型,開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。1943年,神經(jīng)生物學(xué)家MeCulloch和青年數(shù)學(xué)家Pitts提出了第一個(gè)人工神經(jīng)元模型——神經(jīng)元閾值模型（MP模型）,并在此基礎(chǔ)上抽象出其數(shù)學(xué)模型,開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。低潮階段20世紀(jì)60年代，掀起了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮，但是一方面由于研究的深入，人們遇到了來自認(rèn)知、應(yīng)用和現(xiàn)實(shí)等方面的困惑，阻礙了研究的步伐；另一方面20世紀(jì)70年代以來，集成電路和微電子技術(shù)的迅猛發(fā)展，數(shù)字計(jì)算機(jī)的發(fā)展進(jìn)入了全盛時(shí)期，許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識(shí)別、專家系統(tǒng)等方面的一切問題，整個(gè)學(xué)術(shù)界陶醉于數(shù)字計(jì)算機(jī)的成功之中，使感知機(jī)的研究工作得不到重視。這使得人工神經(jīng)網(wǎng)絡(luò)的研究處于一個(gè)低潮時(shí)期。低潮時(shí)期也有少數(shù)學(xué)者堅(jiān)持不懈的致力于人工神經(jīng)網(wǎng)絡(luò)的研究工作。1972年芬蘭的Kohonen教授提出了自組織神經(jīng)網(wǎng)絡(luò)（SOM）；Anderson提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò)，稱為交互存儲(chǔ)器。1976年美國(guó)Grossberg教授提出了著名的自適應(yīng)共振理（AdaptiveResonanceTheory）其學(xué)習(xí)過程具有自組織和自穩(wěn)定特征，其后他繼續(xù)研究ART網(wǎng)絡(luò)并有ART1、2.3等3個(gè)系統(tǒng)版本。低潮時(shí)期的另一位重要人物是日本的福島邦彥，他于1980年發(fā)表的“新認(rèn)知機(jī)”，“新認(rèn)知機(jī)”是視覺模式識(shí)別機(jī)制模型，它與生物視覺理論相結(jié)合，其目的在于綜合出一種神經(jīng)網(wǎng)絡(luò)模型，使它像人類一樣具有進(jìn)行模式識(shí)別能力。低潮時(shí)期的科學(xué)價(jià)值同樣不可磨滅，為日后神經(jīng)網(wǎng)絡(luò)理論研究的復(fù)興打下了堅(jiān)實(shí)的基礎(chǔ)。復(fù)興階段1982年,美國(guó)加州理工學(xué)院的生物物理學(xué)家Hopfoeld發(fā)表了著名的Hopfoeld模型理論,標(biāo)志著人工神經(jīng)網(wǎng)絡(luò)研究工作的復(fù)蘇。此模型對(duì)人工神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)和提取功能進(jìn)行了非線性數(shù)學(xué)概括,提出了動(dòng)力方程和學(xué)習(xí)方程,還對(duì)網(wǎng)絡(luò)算法提供了重要公式和參數(shù),使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)。1985年,Hinton和Sejnowski借助于統(tǒng)計(jì)物理學(xué)的概念和方法,為Hopfield網(wǎng)絡(luò)模型引入隨即機(jī)制并提出了一種隨機(jī)神經(jīng)網(wǎng)絡(luò)模型——波爾茲曼機(jī),有效地克服了Hopfield網(wǎng)絡(luò)存在的能量局部極小值問題。1986年美國(guó)Rumelhart和McMelland及其領(lǐng)導(dǎo)的研究小組提出了并行分布式處理網(wǎng)絡(luò)思想,主要致力于認(rèn)知的微觀研究,同時(shí)對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法（BP）算法進(jìn)行了詳細(xì)的分析。能夠?qū)W(xué)習(xí)結(jié)果反饋到中間層的隱含節(jié)點(diǎn)中,解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題。BP算法是目前最引人注目、應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法之一。近年來,世界各國(guó)積極