BP神經(jīng)網(wǎng)絡與RBF神經(jīng)網(wǎng)絡

BP神經(jīng)網(wǎng)絡與RBF神經(jīng)網(wǎng)絡

第1頁，共80頁。主要內(nèi)容一：神經(jīng)網(wǎng)絡的背景知識二：BP神經(jīng)網(wǎng)絡三：RBF神經(jīng)網(wǎng)絡四：兩種神經(jīng)網(wǎng)絡的比較第2頁，共80頁。人工神經(jīng)網(wǎng)絡簡介人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork）是基于仿生學理論上的對人腦某些已知結(jié)構(gòu)的模仿。它將人腦的神經(jīng)元連接方式加以抽象。用大量的神經(jīng)元節(jié)點組成一個龐大的神經(jīng)網(wǎng)絡，從而實現(xiàn)數(shù)據(jù)的非線性處理，以及復雜的邏輯運算。第3頁，共80頁。正因為人工神經(jīng)網(wǎng)絡是對生物神經(jīng)網(wǎng)絡的模仿，它具有一些傳統(tǒng)邏輯運算不具有的優(yōu)點。主要包括：一、非線性非線性是自然界的普遍特性。人腦的思考過程就是非線性的。人工神經(jīng)網(wǎng)絡通過模仿人腦神經(jīng)元結(jié)構(gòu)的信息傳遞過程，可以進行線性或者非線性的運算，這是人工神經(jīng)網(wǎng)絡的最特出的特性。第4頁，共80頁。二、自適應性神經(jīng)網(wǎng)絡的結(jié)構(gòu)中設置了權(quán)值和閾值參數(shù)。網(wǎng)絡能夠隨著輸入輸出端的環(huán)境變化，自動調(diào)節(jié)神經(jīng)節(jié)點上的權(quán)值和閾值。因此，神經(jīng)網(wǎng)絡對在一定范圍變化的環(huán)境有很強的適應能力。適用于完成信號處理、模式識別、自動控制等任務。系統(tǒng)運行起來也相當穩(wěn)定。第5頁，共80頁。三、較強的容錯性由若干個小的神經(jīng)元組成的網(wǎng)絡十分龐大。信息存儲在神經(jīng)元之間的連接權(quán)值上，采用的是分布式的存儲方式。局部的或部分的神經(jīng)元損壞后，不會對全局的活動造成大的影響。第6頁，共80頁。神經(jīng)網(wǎng)絡的應用前景目前，神經(jīng)網(wǎng)絡主要應用于：信息領(lǐng)域、自動化領(lǐng)域、醫(yī)學領(lǐng)域等。信息領(lǐng)域：主要包括信號處理和模式識別。目前神經(jīng)網(wǎng)絡被廣泛的用于自適應信號處理和非線性信號處理。在這些方面已經(jīng)有很多成功的例子。例如信號傳遞的去噪聲和運動目標的速度估計。在模式識別方面，神經(jīng)網(wǎng)絡不僅可以完成如圖像的特征檢測，邊緣提取等任務還可以進行如目標跟蹤，語音識別等動態(tài)識別。第7頁，共80頁。神經(jīng)網(wǎng)絡模型包括：一、神經(jīng)元二、網(wǎng)絡拓撲三、學習算法第8頁，共80頁。神經(jīng)元在介紹人工神經(jīng)網(wǎng)絡之前，首先簡單了解一下實際的生物神經(jīng)元的基本情況。一個生物神經(jīng)元有兩種狀態(tài)，即興奮狀態(tài)和抑制狀態(tài)。平時處于抑制狀態(tài)的生物神經(jīng)元，會收到多個其他生物神經(jīng)元傳來的興奮電位，并且這多個輸入電位在該神經(jīng)元中以代數(shù)和的形式疊加，如果輸入的興奮總量超過某個閾值，該生物神經(jīng)元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖并傳給其他神經(jīng)元。第9頁，共80頁。人工神經(jīng)元模型第10頁，共80頁。其中xj(j=1,2……n)為神經(jīng)元i的輸入信號，wij為連接權(quán)，ui是由輸入信號線性組合后的輸出，θi為神經(jīng)元的閥值。第11頁，共80頁。f（·）稱為神經(jīng)元的傳遞函數(shù)（活化函數(shù)或激活函數(shù)）。對于基本的感知器神經(jīng)元，工作方式是將加權(quán)總和與神經(jīng)元的閾值進行比較，若大于閾值，神經(jīng)元被激活。信號被傳送到與其相連的更高一層神經(jīng)元。第12頁，共80頁。常見的傳遞函數(shù)有三類①硬閾值型函數(shù)第13頁，共80頁。②分段線性函數(shù)第14頁，共80頁。③sigmoid函數(shù)第15頁，共80頁。Sigmoid函數(shù)是最常用的傳遞函數(shù)之一，這是由于sigmoid函數(shù)具有以下特點：①非線性和單調(diào)性②無限次可微③當權(quán)值很大時可近似階躍函數(shù)④當權(quán)值很小時可近似線性函數(shù)第16頁，共80頁。網(wǎng)絡拓撲網(wǎng)絡拓撲是指網(wǎng)絡的結(jié)構(gòu)以及神經(jīng)元之間的連接方式。根據(jù)連接方式的不同，可分為反饋型人工神經(jīng)網(wǎng)絡和非反饋型人工神經(jīng)網(wǎng)絡。前者神經(jīng)元之間存在反饋的環(huán)路，后者神經(jīng)元之間不存在反饋回路。對于非反饋神經(jīng)網(wǎng)絡，若結(jié)構(gòu)是分層的，每一層神經(jīng)元只與上一層神經(jīng)元相連，同層之間互不相連，則稱該網(wǎng)絡為前饋型人工神經(jīng)網(wǎng)絡。第17頁，共80頁。網(wǎng)絡的學習算法網(wǎng)絡的學習算法是以滿足網(wǎng)絡所需的性能為目標，決定連接各神經(jīng)元的初始權(quán)值及在訓練時調(diào)整權(quán)值的方法。學習方法可分為監(jiān)督學習和非監(jiān)督學習。前者為有導師學習，訓練時，同時向網(wǎng)絡提供輸入模式以及輸出的樣板模式，在不斷輸入不同訓練模式的同時調(diào)整權(quán)值，從而使輸出盡量接近樣板模式。后者是無導師學習，它是一種自動的聚類過程。第18頁，共80頁。

三種用于模式識別的網(wǎng)絡結(jié)構(gòu)和算法單層感知器（SingleLayerPereceptron，簡稱為SLP）可作為分類器。單輸出的SLP，其結(jié)構(gòu)就是單個人工神經(jīng)元。輸入的N個元可為連續(xù)的或二進制的標量信號。表示一個維空間的超平面。圖6-3表示可由這個超平面對A、B類進行分類。SLP結(jié)構(gòu)的前部分為一線性加權(quán)裝置(權(quán)為，附有閥值)，其輸出經(jīng)一個性能函數(shù)為的硬限幅非線性裝置，然后輸出到判決器。按當其輸入為+1時判屬A類；當其輸入為-1時判屬B類的準則來判類。第19頁，共80頁。兩類分類處理第20頁，共80頁。訓練步驟第一步：設置初始權(quán)值及閾值。置初始的權(quán)值及閾值為一個小的隨機數(shù)。第二步：啟用新的輸入信號x1，x2，…，xn及給定相應的理想輸出信號d（t），其中d（t）=+1（若實際屬于A類）d（t）=-1（若實際屬于B類）第三步：計算實際輸出第21頁，共80頁。第四步：調(diào)整權(quán)值式中的?為小于1的正的增益因子。由上式可見，只是在出現(xiàn)判決誤差時權(quán)值才變動。第五步：轉(zhuǎn)到第二步重復進行。第22頁，共80頁。

雙層感知器

實際上實用的最簡單的M類分類的感知器（Pereceptron）也應該是一種雙層神經(jīng)網(wǎng)絡模型。它是一個兩層前饋神經(jīng)網(wǎng)絡，一層為輸入層，另一層具有計算單元，可以通過監(jiān)督學習建立模式判別的能力，如圖所示。x2xNx1yMy1y2第23頁，共80頁。學習的目標是通過改變權(quán)值使神經(jīng)網(wǎng)絡由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量（向量維數(shù)等于輸入節(jié)點數(shù)）作為訓練集，當輸入為屬于第j類的特征向量時，應使對應于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或－1）。應使對應于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或－1）。設理想的輸出為：

實際的輸出為：

為了使實際的輸出逼近理想輸出，可以反復依次輸入訓練集中的輸入向量，然后計算出實際的輸出，再對權(quán)值作如下的修改

雙層感知器的學習過程與求取線性判別函數(shù)的過程是等價的，它只能用于解決線性可分問題。它的特點是學習過程收斂很快，且與初始值無關(guān)。第24頁，共80頁。

多層感知器當類別不能用一超平面完善分割時，需用更復雜結(jié)構(gòu)的感知器，即所謂的“多層感知器”。（Multi-LayerPerceptron，簡稱為MLP）如果感知器的傳遞函數(shù)具有非線性，則這種網(wǎng)絡具有較強的分類能力。多層感知器網(wǎng)是由若干層感知器以及可修正的權(quán)連接而構(gòu)成的多層前饋網(wǎng)絡。

第25頁，共80頁。多層感知器的結(jié)構(gòu)由一個輸入層，一個以上隱藏層和一個輸出層組成。所有的連接均為相鄰層之間的節(jié)點的連接，同層之間不連接。輸入層不作任何運算，它只是將每個輸入量分配到各個輸入節(jié)點。圖6-5是一個三層MLP神經(jīng)網(wǎng)絡。x2xNy1yM第26頁，共80頁。對于多層感知器，Werbos曾于1974年提出，并且由Rumelhart等人的工作而得到完善和推廣的一種學習算法，即著名的BP（BackPropagation）算法，它是一種修正連接權(quán)的算法。所以MLP的訓練大都采用這種反向傳播算法。

第27頁，共80頁。BP神經(jīng)網(wǎng)絡BP(BackPropagation)神經(jīng)網(wǎng)絡，即誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)信息變化能力的需求，中間層可以設計為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。第28頁，共80頁。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡學習訓練的過程，此過程一直進行到網(wǎng)絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數(shù)為止。第29頁，共80頁。BP神經(jīng)網(wǎng)絡結(jié)構(gòu)

第30頁，共80頁。2.1輸入/輸出變量的確定若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡模型效果會更好，訓練也更方便。第31頁，共80頁。Hornik等早已證明：若輸入層和輸出層采用線性傳遞函數(shù)，隱層采用Sigmoid傳遞函數(shù)，則含一個隱層的MLP網(wǎng)絡能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設計BP網(wǎng)絡時可參考這一點，應優(yōu)先考慮3層BP網(wǎng)絡（即有1個隱含層）。在BP網(wǎng)絡中，隱層節(jié)點數(shù)的選擇非常重要，它對建立的神經(jīng)網(wǎng)絡模型的性能影響很大，但是目前理論上還沒有一種科學的和普遍的確定方法。隱含層數(shù)和節(jié)點數(shù)第32頁，共80頁。一些文獻中提到的一種隱含層節(jié)點數(shù)選擇的經(jīng)驗公式：其中N為隱含層神經(jīng)元個數(shù)，m為輸入神經(jīng)元個數(shù)，n為輸出神經(jīng)元個數(shù)，ɑ為1~10之間的一個整數(shù)。第33頁，共80頁。BP神經(jīng)網(wǎng)絡的學習算法為說明算法，假定BP網(wǎng)絡中只有一個隱層，也就是三層BP網(wǎng)絡。上標h表示隱層，上標o表示輸出層，下標p表示p次訓練向量第34頁，共80頁。隱層節(jié)點j輸出和輸入節(jié)點的關(guān)系：輸出節(jié)點k和隱層輸出節(jié)點的關(guān)系：學習過程：定義輸出誤差第35頁，共80頁。學習的目的是要使以下定義的誤差平方和最?。阂虼?，要求以下的偏導，式中1/2是為了計算方便，不影響推導過程。為了決定權(quán)值改變的方向和大小，必須計算EP對wkj的負梯度然后調(diào)節(jié)權(quán)值，使總的誤差減小第36頁，共80頁。第37頁，共80頁。所以輸出權(quán)值的更新：第38頁，共80頁。對隱層權(quán)值的更新隱層的權(quán)值更新采用與輸出層相仿的方法問題：我們知道這些節(jié)點的實際輸出，確無法提前知道正確的輸出是什么解決方法：直接把總的誤差和隱層的權(quán)值聯(lián)系起來我們要計算EP對隱層權(quán)值的梯度第39頁，共80頁。而：所以：第40頁，共80頁。注意：隱層的權(quán)值更新取決于輸出層的所有的誤差根據(jù)相應的公式可以求出各個偏微分第41頁，共80頁。定義一個隱層誤差項：第42頁，共80頁。計算全局誤差

m是樣本數(shù)據(jù)個數(shù)，q是輸出節(jié)點個數(shù)判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學習樣本及對應的期望輸出繼續(xù)訓練網(wǎng)絡。第43頁，共80頁。BP網(wǎng)絡主要用途

BP網(wǎng)絡作為一種很重要的神經(jīng)網(wǎng)絡模型在許多領(lǐng)域都得到了應用（圖像壓縮編碼、人臉識別、故障診斷、最優(yōu)預測、分類）。1、函數(shù)逼近：用輸入向量和相應的輸出向量訓練一個網(wǎng)絡逼近一個函數(shù)。2、模式識別：用一個特定的輸出向量將它與輸入向量聯(lián)系起來。3、分類：把輸入向量以所定義的合適方式進行分類。4、數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。第44頁，共80頁。標準BP算法的缺陷標準的BP算法在應用中暴露出不少內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓練次數(shù)多使得學習效率低，收斂速度慢；⑶隱節(jié)點的選取缺乏理論指導；⑷訓練時學習新樣本有遺忘舊樣本的趨勢。第45頁，共80頁。目前有效改進方法：①增加動量項一些學者指出，標準BP算法在調(diào)整權(quán)值時，只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻前的梯度方向，從而常使訓練過程發(fā)生震蕩，收斂緩慢。為了提高網(wǎng)絡的訓練速度，可以在權(quán)值調(diào)整公式中增加一動量項。②自適應調(diào)節(jié)學習率學習率也稱為步長，在標準的BP算法定為常數(shù)，然而在實際應用中，很難確定一個從始至終都合適的最佳學習率。從誤差曲面可以看出，在平坦區(qū)域內(nèi)學習率太小會使訓練次數(shù)增加，因而希望增大學習率；而在誤差變化劇烈的區(qū)域，學習率太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓練出現(xiàn)震蕩，反而使迭代次數(shù)增加。為了加速收斂過程，一個較好的思想是自適應改變學習率，使其該大時增大，該小時減小。③引入陡度因子誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進入平坦區(qū)域后，設法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實現(xiàn)這一思路的具體作法是在原轉(zhuǎn)移函數(shù)中引入一個陡度因子。第46頁，共80頁。BP神經(jīng)網(wǎng)絡示例要求建立一個BP神經(jīng)網(wǎng)絡來逼近正選函數(shù)。

輸入矢量P=0:0.1:2.*pi;期望輸出矢量T=sin(P);使用三層BP神經(jīng)網(wǎng)絡，輸入和輸出節(jié)點都為1，,隱含層神經(jīng)元數(shù)目取5。第47頁，共80頁。RBF神經(jīng)網(wǎng)絡1985年，Powell提出了多變量插值的徑向基函數(shù)（RadicalBasisFunction,RBF）方法。1988年，Moody和Darken提出了一種神經(jīng)網(wǎng)絡結(jié)構(gòu)，即RBF神經(jīng)網(wǎng)絡，它屬于前向神經(jīng)網(wǎng)絡類型，能夠以任意精度逼近任意連續(xù)函數(shù)，特別適合于解決分類問題。第48頁，共80頁。RBF網(wǎng)絡的結(jié)構(gòu)與多層前向網(wǎng)絡類似，它是一種三層前向網(wǎng)絡。輸入層由信號源結(jié)點組成；第二層為隱含層，隱單元數(shù)視所描述問題的需要而定，隱單元的變換函數(shù)RBF（）是對中心點徑向?qū)ΨQ且衰減的非負非線性函數(shù)；第三層為輸出層，它對輸入模式的作用作出響應。從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。第49頁，共80頁。RBF網(wǎng)絡的基本思想是：用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接（即不需要通過權(quán)接）映射到隱空間。當RBF的中心點確定以后，這種映射關(guān)系也就確定了。而隱含層空間到輸出空間的映射是線性的，即網(wǎng)絡的輸出是隱單元輸出的線性加權(quán)和。此處的權(quán)即為網(wǎng)絡可調(diào)參數(shù)。由此可見，從總體上看，網(wǎng)絡由輸入到輸出的映射是非線性的，而網(wǎng)絡輸出對可調(diào)參數(shù)而言卻又是線性的。這樣網(wǎng)絡的權(quán)就可由線性方程直接解出，從而大大加快學習速度并避免局部極小問題。第50頁，共80頁。RBF神經(jīng)元模型第51頁，共80頁。徑向基神經(jīng)網(wǎng)絡的激活函數(shù)采用徑向基函數(shù)，通常定義為空間任一點到某一中心之間歐氏距離的單調(diào)函數(shù)。由圖1所示的徑向基神經(jīng)元結(jié)構(gòu)可以看出，徑向基神經(jīng)網(wǎng)絡的激活函數(shù)是以輸入向量和權(quán)值向量之間的距離作為自變量的。徑向基神經(jīng)網(wǎng)絡的激活函數(shù)的一般表達式為

第52頁，共80頁。隨著權(quán)值和輸入向量之間距離的減少，網(wǎng)絡輸出是遞增的，當輸入向量和 權(quán)值向量一致時，神經(jīng)元輸出1。在圖中的b為偏差，用于調(diào)整神經(jīng)元的靈敏度。第53頁，共80頁。徑向基神經(jīng)網(wǎng)絡結(jié)構(gòu)第54頁，共80頁。在RBF網(wǎng)絡中，輸入層僅僅起到傳輸信號的作用。輸出層和隱含層所完成的任務是不同的，因而它們的學習策略也不相同。輸出層是對線性權(quán)進行調(diào)整，采用的是線性優(yōu)化策略。因而學習速度較快。而隱含層是對激活函數(shù)（一般取高斯函數(shù)）的參數(shù)進行調(diào)整，采用的是非線性優(yōu)化策略，因而學習速度較慢。第55頁，共80頁。RBF網(wǎng)絡的學習算法RBF神經(jīng)網(wǎng)絡學習算法需要求解的參數(shù)有3個：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡有多種學習方法，如隨機選取中心法、自組織選取中心法、有監(jiān)督選取中心法和正交最小二乘法等，下面將介紹自組織選取中心的RBF神經(jīng)網(wǎng)絡學習法。第56頁，共80頁。自組織選取中心法此方法由兩個階段組成：一是自組織學習階段，此階段為無導師學習過程，求解隱含層基函數(shù)的中心與方差。二是有導師學習階段，此階段求解隱含層到輸出層之間的權(quán)值。第57頁，共80頁。徑向基神經(jīng)網(wǎng)絡中常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡的激活函數(shù)可表示為式中————歐式范數(shù)?！咚购瘮?shù)的中心。————高斯函數(shù)的方差。第58頁，共80頁。由圖中徑向基神經(jīng)網(wǎng)絡的結(jié)構(gòu)可得到網(wǎng)絡的輸出為：式中————第p個輸入樣本?！狿表示樣本總數(shù)?！W(wǎng)絡隱含層結(jié)點的中心?！[含層到輸出層的連接權(quán)值?！[含層的節(jié)點數(shù)?！c輸入樣本對應的網(wǎng)絡的第j個輸出結(jié)點的實際輸出。第59頁，共80頁。設d是樣本的期望輸出值，那么基函數(shù)的方差可表示為：第60頁，共80頁。學習算法具體步驟如下：1.基于K-均值聚類方法求解基函數(shù)中心（1）網(wǎng)絡初始化：隨機選取個訓練樣本作為聚類中心（2）將輸入的訓練樣本集合按最近鄰規(guī)則分組：按照與中心之間的歐式距離將分配到輸入樣本的各個聚類集合中。

第61頁，共80頁。（3）重新調(diào)整聚類中心：計算各個聚類集合中訓練樣本的平均值，即新的聚類中心，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經(jīng)網(wǎng)絡最終的基函數(shù)中心，否則返回2），進入下一輪的中心求解。第62頁，共80頁。2.求解方差該RBF神經(jīng)網(wǎng)絡的基函數(shù)為高斯函數(shù)，因此方差可由下式求解：式中——所選取中心與其他中心之間的最大距離。第63頁，共80頁。3.計算隱含層和輸出層之間的權(quán)值

隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法直接計算得到，計算公式如下：第64頁，共80頁。BP神經(jīng)網(wǎng)絡與RBF神經(jīng)網(wǎng)絡的比較從網(wǎng)絡結(jié)構(gòu)上看BP神經(jīng)網(wǎng)絡隱層單元的傳遞函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡隱層單元的傳遞函數(shù)是關(guān)于中心對稱的RBF（如高斯函數(shù)）。從訓練算法上看BP神經(jīng)網(wǎng)絡需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓練算法為BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學習過程收斂速度慢，隱層和隱層節(jié)點數(shù)難以確定。目前，很多RBF神經(jīng)網(wǎng)絡的訓練算法支持在線和離線訓練，可以動態(tài)確定網(wǎng)絡結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴展常數(shù)，學習速度快，比BP算法表現(xiàn)出更好的性能。第65頁，共80頁。RBF網(wǎng)絡的學習算法RBF網(wǎng)絡的學習算法一般包括兩個不同的階段：隱層徑向基函數(shù)中心的確定階段。在此我們選用中心的自組織選擇法。徑向基函數(shù)權(quán)值學習調(diào)整階段。此處我們介紹中心的監(jiān)督選擇法。第66頁，共80頁。中心的自組織選擇法中心的自組織選擇法是一種無導師學習，又稱非監(jiān)督學習，是對所有樣本的輸入進行聚類，求得各隱層節(jié)點的RBF的中心。這里介紹常用的k-均值聚類算法，算法步驟如下：第67頁，共80頁。③調(diào)整中心：很小時為止。3.2中心的監(jiān)督選擇法中心的監(jiān)督選擇法是一種有導師學習，也稱監(jiān)督學習算法。徑向基函數(shù)的中心以及網(wǎng)絡的所有其他參數(shù)都將經(jīng)歷一個監(jiān)督學習的過程，即RBF網(wǎng)絡將采用最一般的方式誤差修正學習過程，它可以很方便的使用梯度下降法。當確定后，訓練隱層至輸出層之間的權(quán)值，由于它是一個線性方程組，則求權(quán)值就成為線性優(yōu)化問題，如LMS算法、最小二乘遞推算法等。

第68頁，共80頁。（1）LMS算法已知最陡下降法迭代公式

，即后一時刻的權(quán)值等于前一時刻的加上一個正比于負梯度的增量，這里

。為性能曲面的梯度LMS算法的核心思想是：計算梯度時，用平方誤差代替均方誤差所