人工神經(jīng)網(wǎng)絡(luò)算法精講課件

第六章人工神經(jīng)網(wǎng)絡(luò)第六章人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計算機）。人是地球上具有最高智慧的動物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計算機所無法取代的。長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計算機，雖然到目前對大腦的內(nèi)部工作機理還不甚完全清楚，但對其結(jié)構(gòu)已有所了解。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強度隨外部激勵信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于極低的水平。按美國神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元具有局部內(nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。每個處理單元有一個單一的輸出聯(lián)接，輸出信號可以是任何需要的數(shù)學(xué)模型。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計算機的區(qū)別在一般的計算機中，通常有一個中央處理器，它可訪問其存儲器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計算結(jié)果存入指定的存儲單元中。任何動作都按照確定的操作程序，以串行方式執(zhí)行。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計算機的區(qū)別在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒有確定的存儲器，而是由許多互連的簡單處理單元組成。每個處理單元的處理功能只是求其所有輸入信號的加權(quán)和，當(dāng)該和值超過某一閾值時，輸出呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)并不執(zhí)行指令序列，它對并行加載的輸入信號也按并行方式來處理和響應(yīng)，結(jié)果也不存儲在特定的存儲單元中。當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個狀態(tài)就是所求的結(jié)果。目前還沒有用硬件真正實現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡(luò)，對它的實現(xiàn)還是基于一般計算機的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡(luò)并行快速的特點。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)訓(xùn)練時，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對訓(xùn)練好的網(wǎng)絡(luò)輸入一個信號，它就可以正確回憶出相應(yīng)輸出，得到識別結(jié)果。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機實例輸入裝置是一個閱讀窗口，當(dāng)它沿文本的一行移動時，每次前移一個字母，但每個瞬間輸入七個相鄰的字母（包括空格和句號）信息。由于英文字母的發(fā)音與其前后字母有關(guān)，所以訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時，只要求每次七個字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡(luò)的輸出相應(yīng)狀態(tài)驅(qū)動一個語音綜合發(fā)生器）。訓(xùn)練時，將一篇有1024個字的文本一行一行通過閱讀窗口，并要求對應(yīng)每個字母時人工神經(jīng)網(wǎng)絡(luò)的輸出結(jié)點能輸出相應(yīng)音素的狀態(tài)值。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機實例這樣通過十遍閱讀（訓(xùn)練），可以達(dá)到輸出可理解的語音。通過50遍閱讀（訓(xùn)練），可以達(dá)到95%的精確度。訓(xùn)練過程中聽上去像小孩學(xué)說話一樣，由不清楚到清楚。訓(xùn)練完成后，再閱讀從未見過的課文，朗讀精度仍可達(dá)78%，完全可以聽懂。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人臉識別實例用10個人的照片，每個人都在不同的角度照5張照片，共有50張照片的輸入信息。對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個照片信息作為輸入時，代表10個人的10個結(jié)點中相應(yīng)的一個結(jié)點輸出最大，每個人的5張照片都對應(yīng)著同一個結(jié)點的最大輸出。經(jīng)過訓(xùn)練后，再對原來的10個人中的一個從不同角度拍照（尺寸不變），進(jìn)行識別，結(jié)果是他本人對應(yīng)的結(jié)點的輸出比其它9個結(jié)點的輸出都高得多。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)總結(jié)和討論傳統(tǒng)計算機采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個處理器并行工作，還是會把許多時間浪費在完成串行操作上，而且問題的并行化分解和并行程序的編寫也是一個難題。雖然至今開發(fā)出的超型計算機，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認(rèn)識面孔、學(xué)習(xí)說話、識別圖像等。盡管人工神經(jīng)網(wǎng)絡(luò)還是生物大腦的極低水平的模仿，但在圖像識別、語音識別、記憶、預(yù)測以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應(yīng)用前景，可以完成傳統(tǒng)計算機不易實現(xiàn)的智能性工作。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國神經(jīng)生理學(xué)家WarrenMcculloch和數(shù)學(xué)家WalterPitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”。該文指出，腦細(xì)胞的活動像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運算。按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單，但它給人們一個信念，即大腦的活動是靠腦細(xì)胞的組合連接實現(xiàn)的。當(dāng)時，不少研究人員轉(zhuǎn)向解剖學(xué)和生理學(xué)去尋找建立智能機的思路。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1949年，心理學(xué)家DonalaHebb寫了一本書：“TheOrganizationofBehavior”。在該書中，他強調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路每當(dāng)通過參與某種活動時將被加強，這就是后來的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起到了二十世紀(jì)50年代，隨著計算機的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開始在計算機上進(jìn)行模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開始時失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實驗上取得了一定程度的成功。在此情況下，人們開始醞釀人工智能的項目。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1956年，一個人工智能研究項目（DartmouthSummer）給人工智能領(lǐng)域，同時也給神經(jīng)計算領(lǐng)域以巨大推動。人們提出兩條研究思路采用高級人工智能方法，試圖建立描述智能機功能的計算機程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實現(xiàn)智能化。這宣告了人工神經(jīng)網(wǎng)絡(luò)的誕生。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計算機專家FrankRosenblatt開始從事感知器的研究，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“AdaptiveSwitchingCircuits”中描述了該模型和它的學(xué)習(xí)算法（Widrow-Haff算法）。該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報，成為第一個用于實際問題的神經(jīng)網(wǎng)絡(luò)。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡(luò)1962年，Rosenblatt出版了一本書“ThePrinciplesofNeurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實驗可以模仿人的某些特性，并斷言它可以學(xué)會任何它可以表示的功能。1967年，StephenGrossberg通過對生理學(xué)的研究，開發(fā)了一種稱作Avalanche（雪崩網(wǎng)）的神經(jīng)網(wǎng)絡(luò)模型，可以執(zhí)行連續(xù)語音識別和控制機器人手臂的運動。在這一時期，由于感知器的某些進(jìn)展和對神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實現(xiàn)智能的關(guān)鍵，許多部門開始大批地投入此項研究，希望盡快占領(lǐng)制高點，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。由于當(dāng)時對神經(jīng)網(wǎng)絡(luò)的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機器人的人類會很快受到機器人的攻擊）。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮1969年，MarvinMinsky和SeymourPapert合著了一本書“Perception”，分析了當(dāng)時的簡單感知器，指出它有非常嚴(yán)重的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時，批評的聲音高漲，導(dǎo)致了停止對人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮雖然如此，二十世紀(jì)70年代到80年代早期，仍有一些堅信神經(jīng)網(wǎng)絡(luò)的人堅持他們的工作，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。神經(jīng)生理學(xué)家JamesAnderson開發(fā)的盒中腦模型（Brain-State-in-a-Box，BSB）。日本學(xué)者KunihikFukushima開發(fā)的用于視覺圖形識別的認(rèn)知器模型（Neocognitron）。電氣工程師TeuvoKohonen開發(fā)的與BSB類似的網(wǎng)絡(luò)模型。Grossberg,Rumelhart,McClelland,Marr,Amari和Cooper等人的工作。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期——Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，JohnHopfield向美國科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報告，主要內(nèi)容就是建議收集和重視以前對神經(jīng)網(wǎng)絡(luò)的工作，其中特別強調(diào)了每種模型的實用性。根據(jù)對神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解，Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國軍方的興趣。當(dāng)時，人工智能對自動制導(dǎo)車的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個問題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期——Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1984年，Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機機制，提出了所謂的Bolziman機。1986年，Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法—BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。1990年12月，國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識與應(yīng)用研究期二十世紀(jì)90年代后，神經(jīng)網(wǎng)絡(luò)的研究趨于平緩，主要問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識與應(yīng)用研究期主要研究內(nèi)容開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡(luò)的計算功能分布在多個處理單元上，而傳統(tǒng)的計算機通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計算機的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實現(xiàn)快速處理。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點知識的分布存儲在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。在計算機中，只要給定一個地址就可以得到一個或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點知識的分布存儲當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配最好的知識存儲為其解。這猶如人們辨認(rèn)潦草的筆記，這些筆記可以是變形的、失真的和缺損的。人類根據(jù)聯(lián)想善于正確識別圖形，人工神經(jīng)網(wǎng)絡(luò)也具有這種能力。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點知識的分布存儲聯(lián)想記憶的兩個主要特點存儲大量復(fù)雜數(shù)據(jù)的能力語音的樣本、可視圖象、機器人的活動、時空圖形的狀態(tài)、社會的情況等；可以很快地將新的輸入圖像歸并分類為已存儲圖像的某一類一般計算機善于高速串行運算，但不善于實時的圖形識別。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結(jié)點不參與運算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計算機要強得多。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點自適應(yīng)性人類有很強的適應(yīng)外部的學(xué)習(xí)能力 小孩在周圍環(huán)境的熏陶下可以學(xué)會很多事情，如通過學(xué)習(xí)可以認(rèn)字、說話、走路、思考、判斷等。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。好像告訴網(wǎng)絡(luò)：“當(dāng)你看到這個圖形（比如5）時，請給我指示5”。無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對輸入樣本分類。在網(wǎng)絡(luò)訓(xùn)練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力綜合推理的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力。進(jìn)行數(shù)字圖形的識別時，對于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計算資金方面的問題。人工神經(jīng)網(wǎng)絡(luò)不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練往往是一個艱難的過程。網(wǎng)絡(luò)的設(shè)計沒有嚴(yán)格確定的方法（一般憑經(jīng)驗），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。脫機訓(xùn)練往往需要很長時間，為了獲得最佳效果，常常要重復(fù)試驗多次。網(wǎng)絡(luò)收斂性的問題。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)必須克服時間域順序處理方面的困難。為了解決語音處理、自然語言理解和圖像隨時間的變換情況，需要設(shè)計適于連續(xù)時間環(huán)境的網(wǎng)絡(luò)。硬件限制目前仍是在一般計算機上用模擬的方法研究人工神經(jīng)網(wǎng)絡(luò)的并行處理過程，然而模擬不是最終目標(biāo)。只有真正的并行硬件處理，才能體現(xiàn)出人工神經(jīng)網(wǎng)絡(luò)的高速高效特點。目前這種硬件的實現(xiàn)還未很好解決。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性正確的訓(xùn)練數(shù)據(jù)的收集大量有代表性樣本的采集正確的預(yù)處理總之，人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科，盡管它只是大腦的低級近似，但它的許多特點和人類的智能特點類似，有著較強的識別能力和廣泛的應(yīng)用前景。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型，盡管在性能和結(jié)構(gòu)上各有特點，但它們存在很多共同之處。本節(jié)介紹人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語常用表示符號描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)概念6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡單的神經(jīng)元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡單的神經(jīng)元神經(jīng)元就是神經(jīng)細(xì)胞，它是動物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成細(xì)胞體：它是神經(jīng)元的本體，內(nèi)有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。樹突：它有大量的分枝，多達(dá)103數(shù)量級，長度較短（通常不超過1毫米），用以接收來自其它神經(jīng)元的信號。軸突：它用以輸出信號，有些較長（可達(dá)1米以上），軸突的遠(yuǎn)端也有分枝，可與多個神經(jīng)元相連。突觸：它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位，通常是一個神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細(xì)胞體。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元間信號的傳遞神經(jīng)元間的信號通過突觸傳遞。通過它，一個神經(jīng)元內(nèi)傳送的沖擊信號將在下一個神經(jīng)元內(nèi)引起響應(yīng)，使下一個神經(jīng)元興奮，或阻止下一個神經(jīng)元興奮。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元的基本工作機制一個神經(jīng)元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負(fù)。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元的基本工作機制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號。神經(jīng)元興奮時往往不是只發(fā)一個脈沖，而是發(fā)出一串脈沖，如果把一串脈沖看成是一個調(diào)頻信號，脈沖的密度是可以表達(dá)連續(xù)量的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦大腦及大腦皮層的結(jié)構(gòu)研究證明，大腦中大約有1000個不同的模塊，每個模塊包含有50*106個神經(jīng)元。我們可以假設(shè)每個模塊就是眾多神經(jīng)網(wǎng)絡(luò)中的一類。大腦的主要計算機構(gòu)是大腦皮層，在其斷面上一般有3~6層神經(jīng)細(xì)胞排列，大約10萬個神經(jīng)元組成一組。在一個典型的腦模型中，大約有500個神經(jīng)網(wǎng)絡(luò)進(jìn)行計算工作，平均一個神經(jīng)元向其它神經(jīng)元發(fā)出2000個突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強度是隨機的，隨著對外部世界的響應(yīng)而逐漸形成。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦總之，大腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是極其復(fù)雜的，其工作機理仍未完全搞清。認(rèn)知器模型的發(fā)明者KunihikoFukushima描述了建立人工神經(jīng)網(wǎng)絡(luò)模型的原則：“我們試圖忠實地遵循生理的證據(jù)。我們分析或模擬所建模型的性能，并將它與大腦的某種性能進(jìn)行比較。如果我們發(fā)現(xiàn)模型與大腦在性能方面的差異，我們就變化我們的初始假設(shè)和修改模型……，并重復(fù)這一過程直到模型的性能與大腦的性能具有相同的方式?！?.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元（PE）就是人工神經(jīng)元，也稱為結(jié)點，通常用圓圈表示。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的結(jié)構(gòu)和功能與生物神經(jīng)元有類似之處，可以說是生物神經(jīng)元的一階近似。處理單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個處理功能中的若干個。處理單元的功能對每個輸入信號進(jìn)行處理以確定其強度（加權(quán)）；確定所有輸入信號的組合效果（求和）；確定其輸出（轉(zhuǎn)移特性）。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元對生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵）一樣，處理單元也有很多輸入信號，并且同時加到處理單元上，處理單元以輸出作為響應(yīng)。處理單元的輸出像實際神經(jīng)元一樣，輸出響應(yīng)不但受輸入信號的影響，同時也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個額外輸入（稱為偏置項）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元對生物神經(jīng)元的模擬處理單元的每一個輸入都經(jīng)過相關(guān)的加權(quán)，以影響輸入的激勵作用，這有些像生物神經(jīng)元中突觸的可變強度，它確定了輸入信號的強度，一般把它看作連接強度的測度。處理單元的初始加權(quán)可以根據(jù)確定的規(guī)則進(jìn)行調(diào)解修正，這也像生物神經(jīng)元中的突觸強度可受外界因素影響一樣。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能輸入信號來自外部（用黑色圓點表示輸入端點）或別的處理單元的輸出，在數(shù)學(xué)上表示為行向量x

x=(x1,x2,…,xN)

其中xi為第i個輸入的激勵電平，N表示輸入數(shù)目。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能連接到結(jié)點j的加權(quán)表示為加權(quán)向量

Wj=(W1j,W2j,…,WNj)

其中Wij表示從結(jié)點i（或第i個輸入點）到結(jié)點j的加權(quán)，或稱i與j結(jié)點之間的連接強度。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能考慮到內(nèi)部閾值θj，用x0=-1的固定偏置輸入點表示，其連接強度取W0j=θj。于是，可得輸入的加權(quán)和為6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能如果向量x和Wj分別包含了x0和W0j，則有

x=(x0,x1,…,xN) Wj=(W0j,W1j,…,WNj)

6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能于是sj可表示為x和Wj的點積或內(nèi)積

sj=x?Wj這一結(jié)果是標(biāo)量，它由兩個向量的內(nèi)積得到，可以作為兩個向量相似程度的測量。如果向量處于相同的方向，則其內(nèi)積最大；如果向量處于相反的方向，則其內(nèi)積最小。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能處理單元的激勵電平sj通過一個轉(zhuǎn)移函數(shù)F(?)，得到處理單元的最后輸出值yj6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)F(?)也稱激勵函數(shù)、傳輸函數(shù)或限幅函數(shù)，其作用就是將可能的無限域變換到一指定的有限范圍內(nèi)輸出，這類似于生物神經(jīng)元具有的非線性轉(zhuǎn)移特性。常用的轉(zhuǎn)移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)最簡單的轉(zhuǎn)移函數(shù)

y=F(s)=ks

其中y為輸出值，s為輸入信號的加權(quán)和，k是一個常數(shù)，表示直線的斜率。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)當(dāng)線性函數(shù)值限定在(-rr)的范圍內(nèi)時，線性函數(shù)就變?yōu)榉蔷€性斜坡函數(shù)。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元符號函數(shù)（sgn(?)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元符號函數(shù)（sgn(?)）硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù) 6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)S型函數(shù)的一種

y=F(s)=1/(1+e-s)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元可以把該型函數(shù)看作為處理單元定義了一個非線性增益，增益的大小決定于曲線在給定s點的斜率。當(dāng)s由負(fù)無窮增到0時，增益由0增至最大；當(dāng)s由0增到正無窮時，增益又由最大返回到0。Grossberg在1973年發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡(luò)既能處理小信號，也能處理大信號。該函數(shù)的中間高增益區(qū)解決了處理小信號的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵信號；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù) 6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù)S型函數(shù)的一種

y=tand(s)=(es-e-s)/(es+e-s)相對于Sigmoid函數(shù)，它是原點對稱的。當(dāng)s=0時有y=0，即同時具有雙級輸出。當(dāng)要求輸出(-11)范圍的信號時，它常被采用。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元討論人工神經(jīng)網(wǎng)絡(luò)處理單元是生物神經(jīng)元的簡單近似，在模仿生物神經(jīng)網(wǎng)絡(luò)時，具備了生物神經(jīng)元的某些特性。至于模仿效果，還需進(jìn)一步研究，修改模型。人工神經(jīng)網(wǎng)絡(luò)處理單元忽略了生物神經(jīng)元的很多特征。它沒有考慮影響系統(tǒng)動態(tài)特性的時間延遲，而認(rèn)為一個輸入立即產(chǎn)生一個輸出。它沒有包括同步機能和神經(jīng)元的頻率調(diào)制功能的影響。其它未知的生物神經(jīng)元的功能和特性。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)雖然單個處理單元可以處理簡單的圖形檢測功能，但更強的識別處理能力是來自多個結(jié)點“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。這里的“連成”，是靠輸入至結(jié)點或者結(jié)點至結(jié)點間的信號傳輸通路實現(xiàn)的，這一通路相當(dāng)于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號。以后我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權(quán)值，稱為“連接權(quán)”，反映連接的強度。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)最簡單的網(wǎng)絡(luò)是把一組結(jié)點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點被看作一層。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過加權(quán)連接到各結(jié)點。每一個結(jié)點均可產(chǎn)生一個加權(quán)和。輸入和結(jié)點間采用全連接，并且都是前饋連接。實際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是Nxn，N是輸入信號向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點數(shù)。由第三個輸入連接到第二個結(jié)點的連接權(quán)表示為W32。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號的加權(quán)和表示為：s是各結(jié)點加權(quán)和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強的計算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點都是按層排列的，這一點正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)強。在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權(quán)矩陣得到網(wǎng)絡(luò)的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個加權(quán)矩陣的乘積。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)中，接收輸入信號的層稱為輸入層。它不計入網(wǎng)絡(luò)層數(shù)，因為它只起著輸入信號緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。實際情況中，層與層之間可能有部分連接的情況。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一層反饋網(wǎng)絡(luò)中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接。相對于一層反饋網(wǎng)絡(luò)的為多層反饋網(wǎng)絡(luò)，其連接不限于一層之內(nèi)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)非回歸型網(wǎng)絡(luò)與回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）的比較非回歸型網(wǎng)絡(luò)不需存儲記憶，它的輸出只是由當(dāng)前的輸入和加權(quán)值確定。而在反饋網(wǎng)絡(luò)中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當(dāng)前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶，即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應(yīng)用的網(wǎng)絡(luò)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶存儲就是將信息或圖形存在某種存儲器中，而回憶則是將已存儲的信息按某種方式恢復(fù)出來。為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲圖形的類型在計算機中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進(jìn)制數(shù)據(jù)或連續(xù)信息。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲的兩類圖形空間圖形的存儲存儲單個空間靜態(tài)圖像，如一幅畫面。時空圖形的存儲存儲一系列隨時間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲的圖形大多是空間圖形，因它是構(gòu)成時空圖形的基礎(chǔ)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲人工神經(jīng)網(wǎng)絡(luò)中的圖形存儲器與計算機中存儲器的差別在計算機中，一般采用RAM，將數(shù)據(jù)信息存在確定地址的存儲單元內(nèi)，有了地址就可檢索數(shù)據(jù)。在人工神經(jīng)網(wǎng)絡(luò)中，則是用內(nèi)容尋址存儲器和聯(lián)想存儲器來存儲圖形信息。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲內(nèi)容尋址存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中形成的，相當(dāng)于通過訓(xùn)練將信息存儲在加權(quán)矩陣W中。訓(xùn)練一旦完成，數(shù)據(jù)就相當(dāng)于變換到加權(quán)矩陣的穩(wěn)定狀態(tài)中，因此這種存儲是長期存儲。聯(lián)想存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的回憶操作中出現(xiàn)的。當(dāng)對網(wǎng)絡(luò)輸入激勵信號時，作為回憶結(jié)果，網(wǎng)絡(luò)的輸出給出一個響應(yīng)狀態(tài)。這一響應(yīng)狀態(tài)實際上也相當(dāng)于一個所需的存儲數(shù)據(jù)（響應(yīng)），因此這種存儲為短期存儲。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念回憶是人類智能的一個主要特征，要想回憶某個人或某件事，通?？赏ㄟ^聯(lián)想進(jìn)行。當(dāng)看到一本書的封面顏色和作者時，會聯(lián)想到這是一本什么書（書的內(nèi)容）。當(dāng)丟失東西時，可以通過聯(lián)想到過什么地方，做過什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個特點，就是不管是哪本書，還是與東西有關(guān)的地點和事情，都是經(jīng)歷過的，相應(yīng)的記憶才有可能聯(lián)想出所需的結(jié)果。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個事物的全部特征。他聯(lián)想：由一件事情聯(lián)想到另一件事情。在人工神經(jīng)網(wǎng)絡(luò)中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念自聯(lián)想變換要求通過訓(xùn)練已在W中的存儲向量圖形A1,A2,…,Ap來實現(xiàn)。該變換可由失真或缺損的向量圖形Ai’(i=1,2,…,p)，聯(lián)想回憶Ai，即當(dāng)Ai’

為輸入激勵時，能得到輸出響應(yīng)Ai。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念他聯(lián)想變換要求通過訓(xùn)練已在W中的存儲向量圖形對(A1,B1),(A2,B2),…,(Ap,Bp)來實現(xiàn)。對這種網(wǎng)絡(luò)，聯(lián)想回憶是從激勵A(yù)1,A2,…,Ap（可能是失真的或不完善的）獲得B1,B2,…,Bp的響應(yīng)（或相反），即6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念在他聯(lián)想變換中，可以定義兩種基本的回憶機制最近鄰回憶內(nèi)插回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念最近鄰回憶尋找與外部激勵A(yù)i’最佳匹配的（距離最近的）已存儲的輸入，并按這一輸入求得相應(yīng)的輸出，即，其中Ai’與Ai有如下關(guān)系： 這里d(?)可指Ai’與Ai間的歐式距離。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念內(nèi)插回憶是在接受一個輸入激勵時，從已存儲的輸入圖形集中找到一個內(nèi)插值，并從該輸入的內(nèi)插值得到一個相應(yīng)的內(nèi)插輸出。假如內(nèi)插是線性的，則可表示為

其中A’和B’可由圖形對(Ai,Bi)和(Ai+1,Bi+1)內(nèi)插得到，即且。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念在人工神經(jīng)網(wǎng)絡(luò)中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念前饋回憶輸入激勵只需通過一次存儲矩陣就可產(chǎn)生所需的響應(yīng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶回憶的概念反饋回憶輸入激勵通過存儲矩陣W產(chǎn)生響應(yīng)，該響應(yīng)作為激勵再反饋通過W，這樣依次循環(huán)，直到激勵和響應(yīng)停止變化為止，即得到所要求的響應(yīng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)的最主要特征之一是它可以學(xué)習(xí)。任何一個人工神經(jīng)網(wǎng)絡(luò)模型要實現(xiàn)某種功能的操作，就必須對它進(jìn)行訓(xùn)練，讓它學(xué)會要做的事情，并把這些知識記憶（存儲）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習(xí)或訓(xùn)練的實質(zhì)就是加權(quán)矩陣隨外部激勵（環(huán)境）做自適應(yīng)的變化。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）因為學(xué)習(xí)和訓(xùn)練的實質(zhì)是變動加權(quán)值，因此很多文獻(xiàn)中學(xué)習(xí)和訓(xùn)練的概念是混用的。嚴(yán)格來說，兩者是有區(qū)別的，訓(xùn)練通常是指調(diào)整網(wǎng)絡(luò)加權(quán)的操作動作和過程，這個過程對網(wǎng)絡(luò)來講就是學(xué)習(xí)。比如舉辦一個訓(xùn)練班對學(xué)生進(jìn)行某種技能的訓(xùn)練，對學(xué)生來講，它是在該班內(nèi)學(xué)習(xí)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)被訓(xùn)練后，它每加入一組輸入就會產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓(xùn)練就是相繼加入輸入向量，并按預(yù)定規(guī)則調(diào)整網(wǎng)絡(luò)加權(quán)。在進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)的各加權(quán)都收斂到一個確定值，以便每個輸入向量都會產(chǎn)生一個要求的輸出向量。調(diào)整加權(quán)所遵循的預(yù)定規(guī)則就是訓(xùn)練算法。有指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）有指導(dǎo)的訓(xùn)練對有指導(dǎo)的訓(xùn)練算法，不但需要訓(xùn)練用的輸入向量，同時還要求與之對應(yīng)的表示所需要輸出的目標(biāo)向量。輸入向量與對應(yīng)的目標(biāo)向量一起稱作一個訓(xùn)練對。通常訓(xùn)練一個網(wǎng)絡(luò)需要很多訓(xùn)練對，這些訓(xùn)練對組成訓(xùn)練組。當(dāng)加上一個輸入向量時，要計算網(wǎng)絡(luò)的實際輸出，并同相應(yīng)的目標(biāo)向量做比較，根據(jù)比較結(jié)果的誤差，按規(guī)定的算法改變加權(quán)。把訓(xùn)練組中的每個向量對相繼加入，對每個向量都計算誤差并調(diào)節(jié)加權(quán)，直到訓(xùn)練組中的誤差都達(dá)到可接受的最低值為止。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練不要求有目標(biāo)向量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認(rèn)為無指導(dǎo)的訓(xùn)練是在生物上更有道理的訓(xùn)練算法。1984年，Kohonen等人提出了無指導(dǎo)的訓(xùn)練算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練因為無指導(dǎo)的訓(xùn)練不要求輸出的目標(biāo)向量，因此無需比較產(chǎn)生控制誤差。訓(xùn)練組織只是由輸入向量組成。訓(xùn)練算法也修改網(wǎng)絡(luò)的加權(quán)，使得產(chǎn)生的輸出具有某種可理解的規(guī)律性。比如，訓(xùn)練組的某兩個向量非常類似時，它們將會產(chǎn)生相同的輸出。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練這個訓(xùn)練過程實質(zhì)上是抽取訓(xùn)練組的某種統(tǒng)計特性，并把輸入向量按圖形類似程度分為不同的類別。從給定的一類中取一個向量加到網(wǎng)絡(luò)上，它將產(chǎn)生一個特定的輸出。在訓(xùn)練之前，沒有辦法知道哪種類型的輸入向量將產(chǎn)生哪種特定的輸出，但通過這種訓(xùn)練，網(wǎng)絡(luò)的輸出總是變換為一個可理解的序列形式。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法目前應(yīng)用的訓(xùn)練算法很多，其中有很大部分是早期的Hebb算法的變形。人們?nèi)栽谝陨飳W(xué)習(xí)訓(xùn)練的模式作為目標(biāo)，繼續(xù)探索新的算法?？梢韵嘈牛嬲纳飳W(xué)習(xí)訓(xùn)練過程肯定比目前常用的訓(xùn)練算法復(fù)雜得多。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法Hebb算法是由DonaldHebb提出的一種最早的訓(xùn)練算法。Hebb認(rèn)為，如果源和目的神經(jīng)元都被激活（或抑制），它們之間的突觸的強度就會增強。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡單描述：如果一個處理單元從另一個處理單元接收激勵信號，而且兩者處于相同的激勵電平（數(shù)學(xué)上具有相同的符號），那么處理單元之間的加權(quán)就應(yīng)當(dāng)增強。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡單描述：按數(shù)學(xué)表示，就是兩結(jié)點的連接權(quán)將按兩結(jié)點的激勵電平的乘積來改變 其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結(jié)點i到結(jié)點j的連接權(quán)值；Wij(n+1)是第(n+1)次調(diào)節(jié)后從結(jié)點i到結(jié)點j的連接權(quán)值；η為訓(xùn)練速率系數(shù)；yi為結(jié)點i的輸出，并輸入到結(jié)點j；yj為結(jié)點j的輸出。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之二—σ訓(xùn)練算法這種算法的基本思路是：按差值（σ值）最小準(zhǔn)則連續(xù)地修正各連接權(quán)的強度。所謂差值最小，就是指處理單元所要求的輸出與當(dāng)前實際輸出間的差值，靠調(diào)節(jié)各加權(quán)以達(dá)到最小。該算法也稱為Widdrow-Hoff訓(xùn)練算法或最小均方（LMS）算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之三—梯度下降算法這是將數(shù)學(xué)上的優(yōu)化方法用于使要求的輸出與實際輸出之差最小。在該方法中，加權(quán)的修正量正比于誤差對加權(quán)的一階導(dǎo)數(shù)，數(shù)學(xué)表示如下：

其中，E是描述誤差的誤差函數(shù)，Wij(n)是結(jié)點i到結(jié)點j的連接權(quán)，η為訓(xùn)練速率系數(shù)。σ訓(xùn)練算法是梯度下降算法的一個特例。該算法收斂到穩(wěn)定點較慢，但它是一種比較有效和普遍應(yīng)用的訓(xùn)練算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之四—隨機訓(xùn)練算法該算法利用了隨機過程，用概率和能量關(guān)系來調(diào)節(jié)連接權(quán)?；舅悸罚涸谟?xùn)練過程中，隨機改變一個權(quán)值，確定權(quán)值改變后產(chǎn)生的最終能量，并按如下準(zhǔn)則來確定是否保留此加權(quán)的變化。若改變加權(quán)后，人工神經(jīng)網(wǎng)絡(luò)的能量降低了，則保留著一改變。若改變加權(quán)后，能量沒有降低，則根據(jù)一個預(yù)選的概率分布來保留這一改變。（這一步的目的是為了保證人工神經(jīng)網(wǎng)絡(luò)能夠獲得全局能量最小點，而不是局部能量最小點。）否則，拒絕這一改變，使權(quán)值恢復(fù)到原來的值。典型的隨機訓(xùn)練算法：模擬退火算法6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之五—Kohonen訓(xùn)練算法它是TeuvoKohonen受生物系統(tǒng)的啟發(fā)而提出的，是無指導(dǎo)的訓(xùn)練算法。在訓(xùn)練過程中處理單元均參與彼此競爭，具有最大輸出的處理單元是獲勝者。獲勝的節(jié)點具有抑制其競爭者的能力和激活其近鄰結(jié)點的能力，只有獲勝者和其近鄰結(jié)點的加權(quán)才被允許調(diào)節(jié)。獲勝者的近鄰結(jié)點的范圍在訓(xùn)練中是可變的。訓(xùn)練開始時，一般將近鄰范圍取得較大。隨著訓(xùn)練的進(jìn)行其近鄰范圍逐漸縮小。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性不論是訓(xùn)練操作還是回憶操作，人工神經(jīng)網(wǎng)絡(luò)的狀態(tài)總是變化的。所謂人工神經(jīng)網(wǎng)絡(luò)的狀態(tài)，是指人工神經(jīng)網(wǎng)絡(luò)所有結(jié)點的輸出信號值，狀態(tài)變化可以指某個結(jié)點的狀態(tài)發(fā)生變化，也可指所有結(jié)點的狀態(tài)發(fā)生變化。人工神經(jīng)網(wǎng)絡(luò)的這種動態(tài)特性受兩種性能的約束系統(tǒng)的穩(wěn)定性系統(tǒng)的收斂性6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性系統(tǒng)的穩(wěn)定性定義為一種非線性動態(tài)系統(tǒng)，當(dāng)在該系統(tǒng)上加入一個初始輸入時，系統(tǒng)的狀態(tài)發(fā)生變化，但最后達(dá)到一個固定點（收斂點或平衡點）。這些固定點就是存儲信息的點。雖然穩(wěn)定的人工神經(jīng)網(wǎng)絡(luò)總能保證所有輸入被映射到固定點，但不能保證該固定點就是所要求的固定點。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性是與反饋網(wǎng)絡(luò)的回憶操作相聯(lián)系的。這種反饋網(wǎng)絡(luò)的穩(wěn)定性可用李亞普諾夫準(zhǔn)則判定。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準(zhǔn)則所謂穩(wěn)定的動態(tài)系統(tǒng)，就是其系統(tǒng)變量從某一個初始狀態(tài)變化到最后達(dá)到穩(wěn)定值的過程中，系統(tǒng)存儲的能量隨時間的增長而衰減，直至能量最小點為止。要研究系統(tǒng)的穩(wěn)定性，需要找到系統(tǒng)的李亞普諾夫能量函數(shù)，它是一個廣義的能量函數(shù)（記作E）。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準(zhǔn)則設(shè)有一系統(tǒng)，其參變量為y=(y1,y2,…,yn)，系統(tǒng)微分方程組為李亞普諾夫準(zhǔn)則描述如下：對于一個非線性動態(tài)系統(tǒng)，能找到一個以Yi變量表示的能量函數(shù)E，對于所有輸入y=(y1,y2,…,yn)

，如上述能量函數(shù)滿足李亞普諾夫四個基本條件，則該系統(tǒng)的動態(tài)過程收斂，并判定為整體穩(wěn)定。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫四個基本條件

(1)Yi=0，如果yi=0，i=1,2,…,n，即Yi變量只在原點為零。

(2)Yi是全純的，即在給定域內(nèi)的任一點，其一階導(dǎo)數(shù)存在。

(3)

式中t0和H均為常數(shù)，且H總是非零值，即在t>=t0時，yi總是有界的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫四個基本條件

(4)

對所有的i=1,2,…,n成立，這表明能量隨著變量yi的變化總是減小的。李亞普諾夫能量函數(shù)沒有統(tǒng)一的規(guī)定，只要它具有能量的形式（如二次型），并滿足系統(tǒng)的物理意義即可，因此，系統(tǒng)的能量函數(shù)E的形式不是唯一的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡(luò)的收斂性系統(tǒng)的收斂性是指，在訓(xùn)練過程中輸出結(jié)點的實際輸出值與要求的輸出值的誤差，最后能達(dá)到可接受的最小值。一般要求收斂過程迅速和精確，即輸出能盡快趨于目標(biāo)值。收斂性是與有指導(dǎo)的訓(xùn)練操作相聯(lián)系的，收斂過程嚴(yán)格依賴于所采用的具體訓(xùn)練算法和訓(xùn)練參數(shù)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)的原型—大腦神經(jīng)元的結(jié)構(gòu)神經(jīng)元間的連接（突觸）生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成人工神經(jīng)網(wǎng)絡(luò)模型基本單元是人工神經(jīng)元（即處理單元和結(jié)點），它是生物神經(jīng)元的簡單近似。網(wǎng)絡(luò)模型是仿照生物神經(jīng)元的連接結(jié)構(gòu)，將結(jié)點組合連接為層并將幾個層組合在一起連接而構(gòu)成的。網(wǎng)絡(luò)可分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)。連接可分為層內(nèi)橫向連接、層間前饋連接和反饋連接。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)模型的特性具有較強的信息處理能力和存儲能力存儲不像一般計算機將信息存入RAM或ROM，而是將信息存入網(wǎng)絡(luò)的連接權(quán)或結(jié)點狀態(tài)中。兩種信息存儲方式內(nèi)容尋址存儲器或長期存儲器：網(wǎng)絡(luò)通過訓(xùn)練操作將信息存入加權(quán)中。聯(lián)想存儲器或短期存儲器：當(dāng)網(wǎng)絡(luò)加一外部激勵時，存儲器就通過回憶操作產(chǎn)生輸出響應(yīng)，該響應(yīng)反映在輸出結(jié)點的狀態(tài)上。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)模型的兩種基本操作訓(xùn)練操作各種訓(xùn)練算法，常用的有Hebb算法、σ規(guī)則算法、梯度下降算法、Kohonen算法和隨機算法等。訓(xùn)練算法分為有指導(dǎo)和無指導(dǎo)兩類有指導(dǎo)的算法存在收斂問題，一般要求收斂迅速而準(zhǔn)確?；貞洸僮髑梆伝貞浄答伝貞浄答伝貞洿嬖诜€(wěn)定性問題為判定系統(tǒng)的穩(wěn)定性，對人工神經(jīng)網(wǎng)絡(luò)常采用李亞普諾夫穩(wěn)定準(zhǔn)則，借助李亞普諾夫能量函數(shù)進(jìn)行直觀檢查，如果能量函數(shù)隨時間是衰減的，網(wǎng)絡(luò)就是穩(wěn)定的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.3前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中實際的神經(jīng)網(wǎng)絡(luò)一般具有層次結(jié)構(gòu)，同時結(jié)點間的連接很多屬于前饋連接，同時這種前饋連接構(gòu)成的網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）學(xué)習(xí)過程比較容易，所以首先討論前饋網(wǎng)絡(luò)模型。1958年心理學(xué)家FrankRosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡(luò)模型，將其稱為感知器(Perception)。6.3前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實例簡單感知器6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實例6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實例兩層感知器6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實例6.3前饋神經(jīng)網(wǎng)絡(luò)在感知器模型中，輸入向量x=(x1,x2,…,xN)通過各輸入端點分配給下一層的各結(jié)點，這下一層稱為中間層，它可以是一層，也可以是多層，最后通過輸出層結(jié)點得到輸出向量y=(y1,y2,…,yn)。在這種前饋網(wǎng)絡(luò)模型中，沒有層內(nèi)聯(lián)接，也沒有隔層的前饋聯(lián)接，每一個結(jié)點只能前饋聯(lián)接到其下一層的所有結(jié)點。由于在早期對于含有隱蔽層的多層感知器沒有可行的訓(xùn)練算法，所以初期研究的感知器是一層感知器（或稱簡單感知器，通常簡稱為感知器）。由于多層網(wǎng)絡(luò)具有較強的處理功能，因此人們一直致力于尋找多層網(wǎng)絡(luò)的訓(xùn)練算法，直到Rumelhart等人提出完整的誤差反傳訓(xùn)練算法（BP算法），解決了多層網(wǎng)絡(luò)的訓(xùn)練問題。6.3前饋神經(jīng)網(wǎng)絡(luò)在感知器模型中，輸入向量x=(x1,x6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述該網(wǎng)絡(luò)由N個輸入和一個含有n個結(jié)點的輸出層，沒有隱蔽層。輸入向量為x=(x1,x2,…,xN)，輸出向量為y=(y1,y2,…,yn)，相應(yīng)的加權(quán)向量為W1=(W11,W21,…,WN1)，

…Wj=(W1j,W2j,…,WNj)，…Wn=(W1n,W2n,…,WNn)。對于結(jié)點j，其輸入加權(quán)和sj為：6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述對于結(jié)點j，其輸出值yj為： 其中F(sj)為結(jié)點j的轉(zhuǎn)移函數(shù)，如符號函數(shù)、線性函數(shù)和非線性函數(shù)等。具有不同轉(zhuǎn)移函數(shù)的感知器，具有不同的功能。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述一般感知器的功能是實現(xiàn)他聯(lián)想，即當(dāng)給定一個輸入激勵xk，就產(chǎn)生一個實際的響應(yīng)yk要求yk等于所需的目標(biāo)向量對第k個輸入向量在結(jié)點j上應(yīng)有， 其中若定義P為訓(xùn)練組中輸入輸出對的數(shù)目，則k=1,2,…,P6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述通常稱感知器的他聯(lián)想能力為功能表示能力。感知器的功能表示能力是通過學(xué)習(xí)而記憶在加權(quán)W中的，這個特定的加權(quán)W是通過有指導(dǎo)的訓(xùn)練得到的。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元處理單元的轉(zhuǎn)移函數(shù)采用符號函數(shù) F(S)=sgn(S)一個結(jié)點的結(jié)構(gòu)圖6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元網(wǎng)絡(luò)的輸入可以是連續(xù)值，也可以是二進(jìn)制數(shù)。網(wǎng)絡(luò)的輸出有兩種狀態(tài)6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元此時處理單元實際上是輸入信息的分類器，判決輸入信息屬于兩類中的哪一類（A或B類）。當(dāng)輸入向量為兩個分量時，它構(gòu)成平面上的兩維集，此時判決界是一條直線。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元當(dāng)輸入向量為三個分量時，它構(gòu)成三維信號集，此時判決界是一個平面。當(dāng)輸入向量為多個分量時，它構(gòu)成多維信息空間，此時判決界是一個多維面。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器實現(xiàn)邏輯“與”的功能邏輯“與”的真值表6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器實現(xiàn)邏輯“與”的功能因只有兩個輸入，構(gòu)成二維空間。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器實現(xiàn)邏輯“與”的功能通過真值表中的4個輸入輸出對，訓(xùn)練調(diào)節(jié)對應(yīng)的加權(quán)W1、W2和閾值θ，可得表示“與”動能的感知器。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器在表示能力方面存在局限性，有很多功能，不管如何調(diào)節(jié)加權(quán)和閾值，也不能被識別或表示?！爱惢騿栴}”邏輯“異或”的真值表6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器不能實現(xiàn)邏輯“異或”的功能因只有兩個輸入，構(gòu)成二維空間。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器不能實現(xiàn)邏輯“異或”的功能要實現(xiàn)“異或”功能，要求A類在直線的一邊，B類在直線的另一邊，這顯然是不可能的，因為它是線性不可分的。這意味著不管如何改變參數(shù)W1、W2和θ都不能使單層感知器產(chǎn)生“異或”功能。對于線性不可分的功能，訓(xùn)練中找不到一條直線（或多維判決界面）將A和B兩類分開，使得加權(quán)總是來回擺動，不能收斂到一個確定的判決界，此時，訓(xùn)練是不收斂的。要想用感知器表示某種功能，必須知道這種功能是否是線性可分的。遺憾的是，并沒有通用的辦法來確定這種線性可分性（尤其是當(dāng)輸入分量很大時）。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器的訓(xùn)練算法它是有指導(dǎo)的訓(xùn)練，其指導(dǎo)就是輸入向量時所要求的輸出目標(biāo)值。訓(xùn)練的基本思路將輸入向量加到網(wǎng)絡(luò)上，對每個輸入向量計算相應(yīng)的輸出；如果計算的輸出就是要求的輸出，則保持聯(lián)到該結(jié)點的加權(quán)值不變；如果計算的輸出不是要求的輸出，則按照Hebb規(guī)則修改各加權(quán)值，即每個加權(quán)的修正量正比于該加權(quán)對應(yīng)的輸入和輸出的乘積。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號單元感知器的訓(xùn)練算法感知器訓(xùn)練算法的關(guān)系式推導(dǎo)感知器訓(xùn)練算法[例子：感知器實現(xiàn)邏