神經(jīng)網(wǎng)絡(luò)基本原理ppt課件

第一講神經(jīng)網(wǎng)絡(luò)基本原理姓名：肖婷學(xué)號：Email：,主要內(nèi)容,人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的研究發(fā)展人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元介紹神經(jīng)元作用函數(shù)神經(jīng)元之間的連接形式網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)感知器神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究取得了突破性進展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。,人工神經(jīng)網(wǎng)絡(luò)的提出,目前，關(guān)于神經(jīng)網(wǎng)絡(luò)的定義尚不統(tǒng)一，按美國神經(jīng)網(wǎng)絡(luò)學(xué)家HechtNielsen的觀點，神經(jīng)網(wǎng)絡(luò)的定義是：“神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算機系統(tǒng)，該系統(tǒng)靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息”。綜合神經(jīng)網(wǎng)絡(luò)的來源特點和各種解釋，它可簡單地表述為：人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。作為一門活躍的邊緣性交叉學(xué)科，神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用正成為人工智能、認識科學(xué)、神經(jīng)生理學(xué)、非線性動力學(xué)等相關(guān)專業(yè)的熱點。近十幾年來，針對神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究大量涌現(xiàn)，它們當(dāng)中提出上百種的神經(jīng)網(wǎng)絡(luò)模型，其應(yīng)用涉及模式識別聯(lián)想記憶、信號處理、自動控制組合優(yōu)化故障診斷及計算機視覺等眾多方面，取得了引人注目的進展。,人工神經(jīng)網(wǎng)絡(luò)的提出,(1)第一次熱潮(40-60年代未)1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機。(2)低潮(70-80年代初)：人工智能的創(chuàng)始人之一Minsky和Papert對以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動一時Perceptrons一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達10年的低潮期。(3)第二次熱潮：1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò).他解決問題的方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。,神經(jīng)網(wǎng)絡(luò)研究的發(fā)展,人工神經(jīng)網(wǎng)絡(luò)基本要素,人工神經(jīng)網(wǎng)絡(luò)(簡稱神經(jīng)網(wǎng)絡(luò))是由人工神經(jīng)元(簡稱神經(jīng)元)互連組成的網(wǎng)絡(luò)，它是從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對生物神經(jīng)元的模擬，而有向弧則是軸突突觸樹突對的模擬。有向弧的權(quán)值表示相互連接的兩個人工神經(jīng)元間相互作用的強弱。,每個小圓圈表示一個神經(jīng)元。各個神經(jīng)元之間的連接并不只是一個單純的傳送信號的通道，而是在每對神經(jīng)元之間的連接上有一個加權(quán)系數(shù)，這個加權(quán)系數(shù)起著生物神經(jīng)系統(tǒng)中神經(jīng)元的突觸強度的作用，它可以加強或減弱上一個神經(jīng)元的輸出對下一個神經(jīng)元的刺激。這個加權(quán)系數(shù)通常稱為權(quán)值。,在神經(jīng)網(wǎng)絡(luò)中，連接權(quán)值并非固定不變，而是按照一定的規(guī)則和學(xué)習(xí)算法進行自動修改。這也體現(xiàn)出神經(jīng)網(wǎng)絡(luò)的“進化”行為。,人工神經(jīng)網(wǎng)絡(luò)基本要素,神經(jīng)元模型、數(shù)量及互連模式確定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法又決定了其信息處理的能力。最初的神經(jīng)網(wǎng)絡(luò)只由輸入層和輸出層組成。這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)信息處理能力極為有限，不能進行復(fù)雜的計算。后來在這種結(jié)構(gòu)的基礎(chǔ)上引入了隱含層，大大地提高了神經(jīng)網(wǎng)絡(luò)的計算能力。研究表明由具有Sigmoid型作用函數(shù)的隱含層和具有線性作用函數(shù)的輸出層構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)，經(jīng)過訓(xùn)練后，可以以任意精度逼近絕大多數(shù)的函數(shù)。在人工神經(jīng)網(wǎng)絡(luò)設(shè)計及應(yīng)用研究中，通常需要考慮三個方面的內(nèi)容，即神經(jīng)元作用函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)(訓(xùn)練)。,人工神經(jīng)網(wǎng)絡(luò)基本要素,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,1、生物神經(jīng)元的結(jié)構(gòu)神經(jīng)細胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡稱神經(jīng)元。神經(jīng)元由細胞體及其發(fā)出的許多突起構(gòu)成。細胞體內(nèi)有細胞核，突起的作用是傳遞信息。作為引入輸入信號的若干個突起稱為“樹突”或“晶枝”，而作為輸出端的突起只有一個稱為“軸突”。一個神經(jīng)元的軸突末梢經(jīng)過多次分支，最后每一小支的末端膨大呈杯狀或球狀，叫做突觸小體。這些突觸小體可以與多個神經(jīng)元的細胞體或樹突相接觸，形成突觸。每個神經(jīng)元的突觸數(shù)目有所不同，而且各神經(jīng)元之間的連接強度和極性有所不同，并且都可調(diào)整，基于這一特性，人腦具有存儲信息的功能。圖1.1生物神經(jīng)元的結(jié)構(gòu),大腦Brain,圖1.1生物神經(jīng)元結(jié)構(gòu),神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,2、人工神經(jīng)元結(jié)構(gòu)神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,10/65,單輸入神經(jīng)元,對照生物神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)，可以得到一個單輸入神經(jīng)元如圖所示。其權(quán)值w對應(yīng)于突觸的連接強度，細胞體對應(yīng)于累加器和作用函數(shù)，神經(jīng)元輸出y即軸突的信號。,神經(jīng)元的輸出y=f(w*u+),人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,可見，神經(jīng)元的實際輸出還取決于所選擇的作用函數(shù)f(x)。神經(jīng)元的閾值可以看作為一個輸入值是常數(shù)1對應(yīng)的連接權(quán)值。根據(jù)實際情況，也可以在神經(jīng)元模型中忽略它。關(guān)于作用函數(shù)的選擇將在后面詳細討論。在上述模型中，w和是神經(jīng)元可調(diào)節(jié)的標(biāo)量參數(shù)。設(shè)計者可以依據(jù)一定的學(xué)習(xí)規(guī)則來調(diào)整它。,多輸入神經(jīng)元生物學(xué)研究結(jié)果表明一個神經(jīng)元不止一個輸入，每個神經(jīng)元約與104105個神經(jīng)元通過突觸連接?？梢?，神經(jīng)元具有多輸入特性。一般結(jié)構(gòu)如右圖1.2所示：,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,圖1.2多輸入神經(jīng)元,3、人工神經(jīng)網(wǎng)絡(luò)模型1943年由美國心理學(xué)家WarrenMcCulloch和數(shù)理邏輯學(xué)家WalterPitts首先提出了一個簡單的多輸入人工神經(jīng)元模型，被稱為MP的人工神經(jīng)元模型。神經(jīng)網(wǎng)絡(luò)拉開了研究的序幕。1958年Rosenblatt在原有MP模型的基礎(chǔ)上增加了學(xué)習(xí)機制。他提出的感知器模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實現(xiàn)。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,MP神經(jīng)元的結(jié)構(gòu)模型,與第i個神經(jīng)元連接的其它神經(jīng)元的輸出；,是非線性函數(shù)，又稱為作用函數(shù)。,圖中：yi是第i個神經(jīng)元的輸出，它可與其它多個神經(jīng)元連接；,分別是指其它神經(jīng)元與第i個神經(jīng)元,連接權(quán)值：,是第i個神經(jīng)元的閾值；,是第i個神經(jīng)元的凈輸入；,分別是指,這是一個多輸入單輸出的非線性信息處理單元。其主要特點是把神經(jīng)元輸入信號的加權(quán)和與其閾值相比較，以確定神經(jīng)元的輸出。如果加權(quán)和小于閾值，則神經(jīng)元輸出為零；如果加權(quán)和大于閾值，則神經(jīng)元輸出為1。,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,第i個神經(jīng)元的輸出為：,設(shè),則,f(x)是作用函數(shù)，也稱激發(fā)函數(shù)。,MP神經(jīng)元模型中作用函數(shù)為單位階躍函數(shù)，見圖1.2所示。,圖1.2,人工神經(jīng)網(wǎng)絡(luò)基本要素神經(jīng)元,人工神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù)f給出(也稱激活函數(shù)或轉(zhuǎn)移函數(shù)或作用函數(shù))，這是神經(jīng)元模型的外特性。它包含了從輸入信號到凈輸入、再到激活值、最終產(chǎn)生輸出信號的過程。綜合了凈輸入、f函數(shù)的作用。f函數(shù)形式多樣，利用它們的不同特性可以構(gòu)成功能各異的神經(jīng)網(wǎng)絡(luò)。在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。常見的神經(jīng)元功能函數(shù)有：,非對稱型Sigmoid函數(shù),非對稱型Sigmoid函數(shù)如圖1.3(a)所示，可以用下式表示,神經(jīng)元功能函數(shù)非對稱型Sigmoid函數(shù),Sigmoid函數(shù)也稱為S型作用函數(shù)，是可微分的。有時為了需要，也可表達為如下的形式：，見圖1.3(b)。,式中，。,圖1.3(b),圖1.3(a),神經(jīng)元功能函數(shù)非對稱型Sigmoid函數(shù),對稱型Sigmoid函數(shù),對稱型Sigmoid函數(shù)如圖1.4，可以用式表示見圖1.4(a),式中，=2。見圖1.4(b),一般形式：,圖1.4(a),圖1.4(b),神經(jīng)元功能函數(shù)對稱型Sigmoid函數(shù),對稱型階躍函數(shù),圖所示的作用函數(shù)，為對稱型階躍函數(shù)，也稱之為符號函數(shù)。如右圖1.5可以表示為：,采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。,如右圖1.5,圖1.5,神經(jīng)元功能函數(shù)對稱型階躍函數(shù),線性函數(shù),線性作用函數(shù)的輸出等于輸入，即：,飽和線性作用函數(shù)：,對稱飽和線性作用函數(shù)：,各函數(shù)圖見圖1.6,神經(jīng)元功能函數(shù)線性函數(shù),線性作用函數(shù)如圖所示,線性飽和線性對稱飽和線性,圖1.6,神經(jīng)元功能函數(shù)線性函數(shù),高斯函數(shù),圖所示的作用函數(shù)是高斯函數(shù)，可以表示為：,式中的反映出高斯函數(shù)的寬度。,神經(jīng)元功能函數(shù)高斯函數(shù),神經(jīng)網(wǎng)絡(luò)強大的計算功能是通過神經(jīng)元的互連而達到的。它一個復(fù)雜的互連系統(tǒng)，單元之間的互連模式將對網(wǎng)絡(luò)的性質(zhì)和功能產(chǎn)生重要影響。互連模式也稱為拓撲結(jié)構(gòu)，它種類繁多，這里介紹一些典型的神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)。,根據(jù)神經(jīng)元的拓撲結(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類：,前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò)),人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu),網(wǎng)絡(luò)可以分為若干“層”，各層按信號傳輸先后順序依次排列，第i層的神經(jīng)元只接受第(i-1)層神經(jīng)元給出的信號，各神經(jīng)元之間沒有反饋。前饋型網(wǎng)絡(luò)可用一有向無環(huán)路圖表示，如圖1.7所示：,圖1.7,可以看出，輸入節(jié)點并無計算功能，只是為了表征輸入矢量各元素值。各層節(jié)點表示具有計算功能的神經(jīng)元，稱為計算單元。每個計算單元可以有任意個輸入，但只有一個輸出，它可送到多個節(jié)點作輸入。稱輸入節(jié)點層為第零層。計算單元的各節(jié)點層從下至上依次稱為第1至第N層，由此構(gòu)成N層前向網(wǎng)絡(luò)。第一節(jié)點層與輸出節(jié)點統(tǒng)稱為“可見層”，而其他中間層則稱為隱含層，這些神經(jīng)元稱為隱節(jié)點。BP網(wǎng)絡(luò)就是典型的前向網(wǎng)絡(luò)。,互連型神經(jīng)網(wǎng)絡(luò),圖1.8(b),反饋網(wǎng)絡(luò)典型的反饋型神經(jīng)網(wǎng)絡(luò)如圖1.8(a)，每個節(jié)點都表示一個計算單元，同時接受外加輸入和其它各節(jié)點的反饋輸入，每個節(jié)點也都直接向外部輸出。Hopfield網(wǎng)絡(luò)即屬此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接受外加輸入與其它各節(jié)點反饋輸入之外，還包括自身反饋。有時，反饋型神經(jīng)網(wǎng)絡(luò)也可表示為一張完全的無向圖，如圖1.8(b)。圖中，每一個連接都是雙向的。這里，第i個神經(jīng)元對于第j個神經(jīng)元的反饋與第j至i神經(jīng)元反饋之突觸權(quán)重相等，也即wij=wji。,圖1.8(a),在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某個神經(jīng)元，過程就結(jié)束了。而在反饋網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動態(tài)過程中。它將從某個初始狀態(tài)開始，經(jīng)過若干次的變化，才會到達某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進入周期振蕩或其它如渾沌等平衡狀態(tài)。以上介紹了兩種最基本的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實際上，人工神經(jīng)網(wǎng)絡(luò)還有許多種連接形式，例如，從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)，同層內(nèi)或異層間有相互反饋的多層網(wǎng)絡(luò)等等，如下圖。,互連型神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的工作過程主要分為學(xué)習(xí)期和工作期兩個階段：在學(xué)習(xí)期，神經(jīng)元之間的連接權(quán)值按照一定的學(xué)習(xí)規(guī)則進行自動調(diào)整，調(diào)整的目標(biāo)是使性能函數(shù)達到最小。當(dāng)性能指標(biāo)滿足要求時，學(xué)習(xí)過程結(jié)束；在工作期，神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值固定，由網(wǎng)絡(luò)輸入信號計算出網(wǎng)絡(luò)的輸出結(jié)果。由于人工神經(jīng)網(wǎng)絡(luò)的“知識”主要存儲在網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)系數(shù)上，因此根據(jù)神經(jīng)元的輸入狀態(tài)、連接權(quán)值及網(wǎng)絡(luò)學(xué)習(xí)的評價標(biāo)準(zhǔn)來調(diào)整連接權(quán)系數(shù)，即可完成學(xué)習(xí)過程。需要說明的是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是按照一定的學(xué)習(xí)規(guī)則和學(xué)習(xí)方式進行的。各種學(xué)習(xí)算法的研究，在人工神經(jīng)網(wǎng)絡(luò)理論與實踐發(fā)展過程中起著重要作用。當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)研究的許多課題都致力于學(xué)習(xí)算法的改進、更新和應(yīng)用。,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機理,學(xué)習(xí)規(guī)則是修正神經(jīng)元之間連接強度或加權(quán)系數(shù)的算法，使獲得知識結(jié)構(gòu)適用周圍環(huán)境的變換。目前，神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)規(guī)則，主要有Hebb學(xué)習(xí)規(guī)則、學(xué)習(xí)規(guī)則及概率式學(xué)習(xí)規(guī)則等。,聯(lián)想式學(xué)習(xí)Hebb規(guī)則,由Hebb提出來的，是最早，最著名的訓(xùn)練算法，至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。Hebb規(guī)則假定:當(dāng)兩個細胞同時興奮時，他們之間的連接強度應(yīng)該增強，這條規(guī)則與“條件反射”學(xué)說一致，后來得到了神經(jīng)細胞學(xué)說的證實。Hebb學(xué)習(xí)是一類相關(guān)學(xué)習(xí)，算法的基本思想是：如果有兩個神經(jīng)元同時興奮，則它們之間的連接強度的增強與它們的激勵的乘積成正比。,學(xué)習(xí)規(guī)則Hebb規(guī)則,在Hebb學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出：即用yi(k)表示單元i在k時刻的激活值（輸出），yj(k)表示單元j在k時刻的激活值，wij(k)表示單元i到單元j的連接權(quán)值，則Hebb學(xué)習(xí)規(guī)則可表示如下：Wij(k)=Wij(k+1)-Wij(k)=*yi(k)*yj(k+1),式中為學(xué)習(xí)速率上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。顯然，經(jīng)常出現(xiàn)的輸入模式將對權(quán)向量有較大的影響。在這種情況下，Hebb學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負始終一致時出現(xiàn)權(quán)值無約束增長。,糾正誤差式學(xué)習(xí)Delta()學(xué)習(xí)規(guī)則,如圖給出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其中是輸入時第i個神經(jīng)元在k時刻的實際輸出，表示相應(yīng)的期望輸出，則誤差信號為,Delta()學(xué)習(xí)規(guī)則,糾正誤差學(xué)習(xí)的最終目的是使基于ei(k)的目標(biāo)函數(shù)達到最小，以使神經(jīng)網(wǎng)絡(luò)中的每一個輸出單元的實際輸出逼近于期望輸出。,可見，目標(biāo)函數(shù)一旦確定，糾正誤差學(xué)習(xí)過程實質(zhì)上就是一個典型的函數(shù)最優(yōu)化過程。這樣就可以用函數(shù)最優(yōu)化求解方法來糾正誤差。通常目標(biāo)函數(shù)可以定義為下列誤差準(zhǔn)則函數(shù)：,其中，是神經(jīng)網(wǎng)絡(luò)中第i個神經(jīng)元的期望輸出(教師信號)；,為神經(jīng)網(wǎng)絡(luò)中第i個神經(jīng)元的實際輸出；,是神經(jīng)網(wǎng)絡(luò)中第i個神經(jīng)元的作用函數(shù)；,w(k)是與第i個神經(jīng)元的權(quán)值向量，即,u(k)為輸入向量，即,Delta學(xué)習(xí)規(guī)則,現(xiàn)在的問題是如何調(diào)整權(quán)值，使準(zhǔn)則函數(shù)最小。由多變量函數(shù)求極值問題可知，若沿著準(zhǔn)則函數(shù)的負梯度方向不斷調(diào)正值，可以使達到最小。即,實際就是第i個神經(jīng)元的凈輸入，那么,定義誤差傳播系數(shù)為,于是可以得到wij(k)的修正量為,學(xué)習(xí)規(guī)則又稱誤差修正規(guī)則。規(guī)則是根據(jù)的負梯度方向調(diào)整神經(jīng)元間的連接權(quán)值，因此能夠使誤差函數(shù)E達到最小值。,Delta學(xué)習(xí)規(guī)則,其中是功能函數(shù)f的導(dǎo)數(shù)要求功能函數(shù)可導(dǎo)，因此它只適用于有導(dǎo)師學(xué)習(xí)中，定義功能函數(shù)為連續(xù)函數(shù)的情況。,利用大量神經(jīng)元相互連接組成的人工神經(jīng)網(wǎng)絡(luò)，將顯示出人腦的若干特征，人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重wij值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以至超過設(shè)計者原有的知識水平。通常，它的學(xué)習(xí)(或訓(xùn)練)方式可分為兩種，一種是有監(jiān)督(supervised)或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標(biāo)準(zhǔn)進行分類或模仿；另一種是無監(jiān)督(unsupervised)學(xué)習(xí)或稱無導(dǎo)師學(xué)習(xí)，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，而具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境(即輸入信號情況)而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似于人腦的功能。,人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,有監(jiān)督學(xué)習(xí)(SL-SupervisedLearning),網(wǎng)絡(luò)的輸出有一個評價的標(biāo)準(zhǔn)，網(wǎng)絡(luò)將實際輸出和評價標(biāo)準(zhǔn)進行比較，由其誤差信號決定連接權(quán)值的調(diào)整。,評價標(biāo)準(zhǔn)是由外界提示給網(wǎng)絡(luò)的，相當(dāng)于由有一位知道正確結(jié)果的教師示教給網(wǎng)絡(luò)，稱為有導(dǎo)師學(xué)習(xí),無監(jiān)督的學(xué)習(xí)(ULS-UnsupervisedLearning),自我調(diào)整，不存在外部環(huán)境的示教，也不存在來自外部環(huán)境的反饋來指示網(wǎng)絡(luò)期望輸出什么或者當(dāng)前輸出是否正確，又稱為無導(dǎo)師學(xué)習(xí),人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單層感知器模型,1958年，美國學(xué)者FrankRosenblatt首次定義了一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為感知器。如果包括輸入層在內(nèi)，應(yīng)為兩層。單計算節(jié)點感知器結(jié)構(gòu)如圖1.10。單神經(jīng)元感知器結(jié)構(gòu)與McCulloch和Pitts提出的M-P神經(jīng)元模型十分相似，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。,圖1.10,感知器神經(jīng)網(wǎng)絡(luò),對于圖1.10給出的感知器神經(jīng)元，其凈輸入及輸出為,若令，則,其中：和是感知器神經(jīng)元的輸出和閾值；,是輸入與神經(jīng)元之間的權(quán)值向量；,是感知器的輸入向量；,是感知器神經(jīng)元的作用函數(shù)，這里取階躍函數(shù)。即,感知器神經(jīng)網(wǎng)絡(luò),為了便于分析，以二輸入單神經(jīng)元感知器為例說明感知器的分類性能。此時，類別界限為：,由于單神經(jīng)元感知器作用函數(shù)是階躍函數(shù)，其輸出只能是0或1。感知器主要用作模式分類。當(dāng)神經(jīng)元凈輸入x0時f(x)=0，當(dāng)凈輸入x0時f(x)=1?？梢?，單神經(jīng)元感知器可以將輸入向量分為兩類，類別界限為,若將w1、w2和看作為確定的參數(shù)，那么上式實質(zhì)上在輸入向量空間(u1,u2)中定義了一條直線。該直線一側(cè)的輸入向量對應(yīng)的網(wǎng)絡(luò)輸出為0，而直線另一側(cè)的輸入向量對應(yīng)的網(wǎng)絡(luò)輸出則為1。兩點決定一條直線，為了獲得這條直線，只要找出該直線與空間坐標(biāo)軸的交點即可。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,若令u1=0，則可求出該直線在u2軸上的截距：,同樣，若令u2=0，則可求出該直線在u1軸上的截距：,(當(dāng)時),(當(dāng)時),由上式可得單神經(jīng)元感知器的類別界限如圖1.11。當(dāng)，時或當(dāng)，時，感知器輸出；反之，感知器輸出。,圖1.11,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,對于三輸入單神經(jīng)元感知器，其類別界限為：,若將、和看作為確定的參數(shù)，那么上式相當(dāng)在三空間(u1,u2,u3)中定義了一個平面，該平面將輸入模式分為兩類。三點決定一個平面，為了獲得這個平面，同樣需要找出該平面與空間坐標(biāo)軸的交點。,若令，由上式可求出該平面在軸上的截距：,(當(dāng)時),令，由上式可求出該平面在軸上的截距：,(當(dāng)時),令，由上式可求出該平面在軸上的截距：,(當(dāng)時),以上三點確定的平面即感知器的類別界限，該平面一側(cè)的輸入向量對應(yīng)的輸出為0，而另一側(cè)的輸入向量對應(yīng)的輸出則為1。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,多神經(jīng)元感知器模型,由于單神經(jīng)元感知器的輸出只有0或1兩種狀態(tài)，所以只能將輸入模式分為兩類。而事實上輸入向量模式的種類可能有許多種，為了將它們有效地分開，需要建立由多個神經(jīng)元組成的感知器，其結(jié)構(gòu)如右圖。,當(dāng)單神經(jīng)元感知器的輸入為n()時，其類別界限為對于在n維向量空間上的線性可分模式，通過一個n輸入的單神經(jīng)元感知器一定可以找到一個超平面，將該模式分為兩類。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,圖所示的神經(jīng)網(wǎng)絡(luò)輸出為,其中：是感知器網(wǎng)絡(luò)的輸出向量；,是各神經(jīng)元間的連接權(quán)系數(shù)矩陣；,是感知器網(wǎng)絡(luò)的輸入向量；,是感知器網(wǎng)絡(luò)的閾值向量；,是感知器神經(jīng)網(wǎng)絡(luò)中的作用函數(shù),感知器神經(jīng)網(wǎng)絡(luò)感知器模型,對于多神經(jīng)元感知器而言，每個神經(jīng)元都有一個類別界限。那么第i個神經(jīng)元的類別界限為：,其中：是輸入向量ui與第i個神經(jīng)元的連接權(quán)值；,是第i個神經(jīng)元的閾值；,多神經(jīng)元感知器可以將輸入向量分為許多類，每一類由不同的向量表示。由于輸出向量的每個元素可以取0或1兩個值，所以一個由m個神經(jīng)元構(gòu)成的感知器網(wǎng)絡(luò)最多可以區(qū)分出種輸入模式。,感知器神經(jīng)網(wǎng)絡(luò)感知器模型,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),感知器的學(xué)習(xí)實質(zhì)是通過改變輸入向量與神經(jīng)元的連接權(quán)值或神經(jīng)元的閾值，使感知器具有能夠正確區(qū)分目標(biāo)數(shù)據(jù)的能力?？梢钥闯?，感知器的學(xué)習(xí)屬于有監(jiān)督學(xué)習(xí)。設(shè)有P組樣本數(shù)據(jù)為：,其中是第i組樣本輸入向量；是該輸入相應(yīng)的目標(biāo)輸出(i=1,2,P),當(dāng)輸入向量作用到感知器網(wǎng)絡(luò)時，其實際輸出為。在感知器網(wǎng)絡(luò)尚未訓(xùn)練的情況下，可能與相差甚遠。感知器學(xué)習(xí)就是通過調(diào)整權(quán)系數(shù)和閾值，使其實際輸出逐步逼近目標(biāo)輸出。,FrankRosenblatt的主要貢獻在于提出了訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于解決模式識別問題的學(xué)習(xí)規(guī)則。他證明了只要求解問題的權(quán)值存在，那么其學(xué)習(xí)規(guī)則通常會收斂到正確的網(wǎng)絡(luò)權(quán)值上。整個學(xué)習(xí)過程較為簡單，而且是自動的。只要把反映網(wǎng)絡(luò)行為的樣本數(shù)據(jù)對提交給網(wǎng)絡(luò)，網(wǎng)絡(luò)就能夠根據(jù)樣本數(shù)據(jù)從隨機初始化的權(quán)值和偏置值開始自動地進行學(xué)習(xí)。,下面根據(jù)樣本數(shù)據(jù)，討論感知器的學(xué)習(xí)過程。設(shè)有樣本數(shù)據(jù)為：,單神經(jīng)元感知器的學(xué)習(xí)過程,，,，,上面的樣本數(shù)據(jù)對可以在平面坐標(biāo)上表示出來。圖中目標(biāo)輸出為0的兩個輸入向量用空心圓表示，目標(biāo)輸出為1的輸入向量用實心圓表示。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),根據(jù)感知器性能分析結(jié)果可知，欲對樣本數(shù)據(jù)實現(xiàn)有效分類，感知器網(wǎng)絡(luò)應(yīng)該有兩個輸入和一個輸出。為了簡化學(xué)習(xí)過程，取感知器的神經(jīng)元沒有閾值。這樣，需要調(diào)整的參數(shù)只有w1和w2兩個，見圖1.12。,由前面討論可知，當(dāng)=0時，類別界限為,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),由上式可知，感知器的類別界限一定穿過坐標(biāo)軸的原點，而且權(quán)值向量w和輸入向量u是正交的。為了保證感知器能夠有效將和，區(qū)分開，必須找到一條合適的類別界限。由圖可以看出，實際上有無數(shù)條類別界限可供選擇。,對于圖1.13中的單神經(jīng)元感知器，在開始訓(xùn)練時需要為其賦初始權(quán)值。這里將的兩個元素設(shè)置為如下的兩個隨機數(shù)：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),現(xiàn)在將樣本數(shù)據(jù)中的輸入向量提供給感知器。首先將送入：,即感知器的實際輸出，而樣本輸入向量的目標(biāo)值，說明感知器沒有給出正確的值。這是因為當(dāng)時，根據(jù)式得到的類別界限直線為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),類別界限及權(quán)值向量在平面坐標(biāo)系上位置見圖,使其逐漸指向，這樣就可以保證被正確地劃分。,可見類別界限和相應(yīng)的權(quán)值向量w是垂直的。由式子確定了類別界限與權(quán)值向量正交，說明類別界限取決于權(quán)值向量。對于圖1.14給出的感知器，由于其初始權(quán)值向量是隨機選取的，導(dǎo)致了感知器對輸入向量錯誤劃分。為了讓感知器能夠?qū)φ_分類，那么就應(yīng)該調(diào)整權(quán)值,圖1.14,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),一種簡捷的調(diào)整方法是令，那么一定等于1。是因為,那么,而，故。說明這種權(quán)值調(diào)整方法可以對進行正確的分類。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),但是，對于其它一些線性可分的問題，這種權(quán)值調(diào)整方法則無能為力。圖1.15所示的輸入向量模式就屬于這種情況。如果令權(quán)值向量w,直接取輸入向量或，那么將不是問題的正確解。因為不管，還是，兩個輸入向量中總有一個被錯誤地劃分。這樣，感知器權(quán)值的求解將處于一個振蕩過程中，永遠得不到正確的權(quán)值。,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),另一種調(diào)整方法是將加到上，使得更加偏向于。重復(fù)這一操作，將使逐步指向并達到。這個過程可以描述為：,如果t=1，且y=0，則：,調(diào)整：,調(diào)整后感知器輸出為：,單神經(jīng)元感知器的學(xué)習(xí),，是學(xué)習(xí)速率，取=1,說明輸入向量得到正確的劃分。權(quán)值向量w的操作過程如圖6.1.9所示。,現(xiàn)在將輸入向量送入感知器網(wǎng)絡(luò)時，其輸出為：,單神經(jīng)元感知器的學(xué)習(xí),由樣本數(shù)據(jù)知，的目標(biāo)向量，而感知器實際輸出顯然，屬于0類的輸入向量被錯誤地劃分到1類了?，F(xiàn)在要做的工作是讓遠離，使得重新回到0類。具體操作過程為：,如果t=0，且y=1，則：,調(diào)整w：,調(diào)整后感知器輸出為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),輸入向量得到正確劃分。權(quán)值向量w操作過程見圖6.1.10。,現(xiàn)在將輸入向量送入感知器網(wǎng)絡(luò)時，有：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),而對應(yīng)的目標(biāo)輸出，說明感知器對的分類是錯誤的。調(diào)整，即：,權(quán)值調(diào)整后，感知器網(wǎng)絡(luò)的輸出為：,感知器神經(jīng)網(wǎng)絡(luò)感知器的學(xué)習(xí),輸入向量得到正確劃分。權(quán)值向量操作過程見圖1.16。,由圖1.16可知，權(quán)值向量經(jīng)過三次調(diào)整后，感知器能夠?qū)ι鲜鋈齻€