人工神經(jīng)網(wǎng)絡(luò)復(fù)習(xí)題

1、神經(jīng)網(wǎng)絡(luò)原理一、填空題1、從系統(tǒng)的觀點講，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)、非線性、動力學(xué)系統(tǒng)。2、神經(jīng)網(wǎng)絡(luò)的基本特性有拓?fù)湫浴W(xué)習(xí)性和穩(wěn)定收斂性。3、神經(jīng)網(wǎng)絡(luò)按結(jié)構(gòu)可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)，按性能可分為離散型和連續(xù)型,按學(xué)習(xí)方式可分為有導(dǎo)師和無導(dǎo)師。4、神經(jīng)網(wǎng)絡(luò)研究的發(fā)展大致經(jīng)過了四個階段。5、網(wǎng)絡(luò)穩(wěn)定性指從t=0時刻初態(tài)開始，到t時刻后v(t+t)=v(t),(t>0),稱網(wǎng)絡(luò)穩(wěn)定。6、聯(lián)想的形式有兩種，它們分是自聯(lián)想和異聯(lián)想。7、存儲容量指網(wǎng)絡(luò)穩(wěn)定點的仝數(shù)年高存儲容量的途徑一是改一進網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，二是改進學(xué)習(xí)方法。8、非穩(wěn)定吸引子有兩種狀態(tài)，一是

2、有限環(huán)狀態(tài)、二是混沛狀態(tài)。9、神經(jīng)元分興奮性神經(jīng)元和抑制性神經(jīng)元。10、漢明距離指兩個向量中對應(yīng)元素不同的個數(shù)。二、簡答題1、人工神經(jīng)元網(wǎng)絡(luò)的特點？答：(1)、信息分布存儲和容錯性。(2)、大規(guī)模弁行協(xié)同處理。(3)、自學(xué)習(xí)、自組織和自適應(yīng)。(4)、人工神經(jīng)元網(wǎng)絡(luò)是大量的神經(jīng)元的集體行為，表現(xiàn)為復(fù)雜的非線性動力學(xué)特性。(5)人式神經(jīng)元網(wǎng)絡(luò)具有不適合高精度計算、學(xué)習(xí)算法和網(wǎng)絡(luò)設(shè)計沒有統(tǒng)一標(biāo)準(zhǔn)等局限性。2、單個神經(jīng)元的動作特征有哪些？答：單個神經(jīng)元的動作特征有：(1)、空間相加性；(2)、時間相加性；(3)、閾值作用；(4)、不應(yīng)期；(5)、可塑性；(6)疲勞。3、怎樣描述動力學(xué)系統(tǒng)？答：對于離散

3、時間系統(tǒng)，用一組一階差分方程來描述：X(t+1)=FX(t);對于連續(xù)時間系統(tǒng)，用一階微分方程來描述：dU(t)/dt=FU(t)。4、F(x)與x的關(guān)系如下圖，試述它們分別有幾個平衡狀態(tài)，是否為穩(wěn)定的平衡狀態(tài)？答：在圖(1)中，有兩個平衡狀態(tài)a、b,其中，在a點曲線斜率|F'(X)|>1,為非穩(wěn)定平穩(wěn)狀態(tài)；在b點曲線斜率|F'(X)|<1,為穩(wěn)定平穩(wěn)狀態(tài)。在圖(2)中，有一個平穩(wěn)狀態(tài)a,且在該點曲線斜率|F'(X)|>1,為非穩(wěn)定平穩(wěn)狀態(tài)。5、對于單個神經(jīng)元的離散模型，Hebb學(xué)習(xí)假設(shè)是什么，基本學(xué)習(xí)方程是什么？答：對于單個神經(jīng)元的離散模型，Hebb

4、學(xué)習(xí)假設(shè)是：只有當(dāng)神經(jīng)元興奮時，與其連接的突觸結(jié)合權(quán)才被強化而增大；當(dāng)兩個神經(jīng)元同時處于興奮狀態(tài)時，它們之間的連接權(quán)應(yīng)該加強?；緦W(xué)習(xí)方程是：wjwj(n1)wj(n)yixj6、聯(lián)想形式中的自聯(lián)想和異聯(lián)想有何區(qū)別？答：自聯(lián)想指的是由某種代表事物(或該事物的主要特征或可能是部分主在特征)聯(lián)想到其所表示的實際事物。其數(shù)學(xué)模型為：當(dāng)輸入X=X0+V時，輸出Y=X0o異聯(lián)想指的是由某一事物(或該事物的主要特征或可能是部分主在特征)聯(lián)想到與其相關(guān)的另一事物。其數(shù)學(xué)模型為：在映射X0-Y0下，當(dāng)輸入X=X0+V時，輸出Y=Y0o7、網(wǎng)絡(luò)的穩(wěn)定吸引子和吸引子的吸引域分別指什么？答：當(dāng)t=0時，對網(wǎng)絡(luò)輸入模

5、式x,網(wǎng)絡(luò)處于狀態(tài)v(0),到時刻t網(wǎng)絡(luò)達到狀態(tài)v(t),若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引子的吸引域是指所有經(jīng)過一定時間能夠穩(wěn)定在吸引子v(t)上的所有初始狀態(tài)的集合。三、論述題1、 前饋式神經(jīng)元網(wǎng)絡(luò)與反饋式神經(jīng)元網(wǎng)絡(luò)有何不同？答：(1)、前饋型神經(jīng)元網(wǎng)絡(luò)取連續(xù)或離散變量，一般不考慮輸出與輸入在時間上的滯后效應(yīng)，只表達輸出與輸入的映射關(guān)系反饋式神經(jīng)元網(wǎng)絡(luò)可以用離散變量也可以用連續(xù)取值，考慮輸出與輸入之間在時間上和延遲，需要用動態(tài)方程來描述系統(tǒng)的模型。(2)、前饋型網(wǎng)絡(luò)的學(xué)習(xí)主要采用誤差修正法(如BP算法),計算過程一般比較慢，收斂速度也比較慢。而反饋型網(wǎng)絡(luò)主要采用Hebb學(xué)

6、習(xí)規(guī)則，一般情況下計算的收斂速度很快。反饋網(wǎng)絡(luò)也有類似于前饋網(wǎng)絡(luò)的應(yīng)用，例如用作聯(lián)想記憶或分類，而在優(yōu)化計算方面的應(yīng)用更能顯出反饋網(wǎng)絡(luò)的特點。2、 試述離散型Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及工作原理。(1) Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)如下：這種網(wǎng)絡(luò)是一種單層網(wǎng)絡(luò)，由n個單元組成。每個神精元既是輸入單元，又是輸出單元；各節(jié)點一般選用相同的轉(zhuǎn)移函數(shù)，且為符號函數(shù)，即：fi(x)f2(x)fn(x)的小)n.X(Xi,X2,Xn),X1,1為網(wǎng)絡(luò)的輸入；ny(yi,y2,yn),yi,i為網(wǎng)絡(luò)的輸出；nv(t)(Vi(t),V2(t),Vn(t),V(t)i,i為網(wǎng)絡(luò)在時刻t的狀態(tài)，其中tG

7、0,1,2,為離散時間變量。Wij為從Ni到Nj的連接權(quán)值，Hopfield網(wǎng)絡(luò)為對稱的即有Wij=WjiX1X2Xn-1Xn(2)、工作原理：、網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，可以認(rèn)為網(wǎng)絡(luò)處于等待工作狀態(tài)，對網(wǎng)絡(luò)給定初始輸入x時，網(wǎng)絡(luò)就處于特定的初始狀態(tài)，由此初始狀態(tài)開始運行，可以得到網(wǎng)絡(luò)的下一個輸出狀態(tài)。、這個輸出狀態(tài)通過反饋回送到網(wǎng)絡(luò)的輸入端，作為網(wǎng)絡(luò)下一個階段的輸入信號，這個輸入信號可能與初始輸入信號不同，由這個新的輸入又可得到下一步的輸出，如此重復(fù)。、如果網(wǎng)絡(luò)是穩(wěn)定的，經(jīng)過若干次反饋運行后網(wǎng)絡(luò)將會達到穩(wěn)o、Hopfield網(wǎng)絡(luò)的工作過程可用下式表示：Vj(0)XjnVj(t1)fj(WijVi(t)

8、j)1 1研究生神經(jīng)網(wǎng)絡(luò)試題A卷參考答案、名詞解釋（共5題，每題5分，共計25分）1、泛化能力答:泛化能力又稱推廣能力，是機器學(xué)習(xí)中衡量學(xué)習(xí)機性能好壞的一個重要指標(biāo)。泛化能力主要是指經(jīng)過訓(xùn)練得到的學(xué)習(xí)機對未來新加入的樣本（即測試樣本）數(shù)據(jù)進行正確預(yù)測的能力。2、有監(jiān)督學(xué)習(xí)答：有監(jiān)督學(xué)習(xí)又被稱為有導(dǎo)師學(xué)習(xí)，這種學(xué)習(xí)方式需要外界存在一個“教師”，她可以對一組給定輸入提供應(yīng)有的輸出結(jié)果，學(xué)習(xí)系統(tǒng)可根據(jù)已知輸出與實際輸出之間的差值來調(diào)節(jié)系統(tǒng)參數(shù)。3、過學(xué)習(xí)答：過學(xué)習(xí)（over-fitting）,也叫過擬和。在機器學(xué)習(xí)中，由于學(xué)習(xí)機器過于復(fù)雜，盡管保證了分類精度很高（經(jīng)驗風(fēng)險很?。捎赩C維太大，所

9、以期望風(fēng)險仍然很高。也就是說在某些情況下，訓(xùn)練誤差最小反而可能導(dǎo)致對測試樣本的學(xué)習(xí)性能不佳，發(fā)生了這種情況我們稱學(xué)習(xí)機（比如神經(jīng)網(wǎng)絡(luò)）發(fā)生了過學(xué)習(xí)問題。典型的過學(xué)習(xí)是多層前向網(wǎng)絡(luò)的BP算法4、Hebb學(xué)習(xí)規(guī)則答：如果兩個神經(jīng)元同時興奮（即同時被激活），則它們之間的突觸連接加強。如果用Vi、Vj表示神經(jīng)元i和j的激活信作俞出），j表示兩個神經(jīng)元之間的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則可以表示為：wijViVj,這里表示學(xué)習(xí)速率。Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。5、自學(xué)習(xí)、自組織與自適應(yīng)性答：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的特征是處理單元的高度并行

10、性與分布性，這種特征使神經(jīng)網(wǎng)絡(luò)在信息處理方面具有信息的分布存儲與并行計算而且存儲與處理一體化的特點。而這些特點必然給神經(jīng)網(wǎng)絡(luò)帶來較快的處理速度和較強的容錯能力。能力方面的特征是神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自組織與自性適應(yīng)性。自適應(yīng)性是指一個系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力，它包含自學(xué)習(xí)與自組織兩層含義。自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。也就是說自組織神經(jīng)元的學(xué)習(xí)過程，完全是一種自我學(xué)習(xí)的過程，不存在外部教師的示教。二

11、、問答題（共7題，每題8分，共計56分）3、人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)的產(chǎn)物，除相同點外，它們還存在哪些主要區(qū)別？答；1.單元上的差別對于生物神經(jīng)元而言，影響突觸傳遞信息強度的因素很多、很復(fù)雜。如突觸前微細(xì)胞的大小與多少、神經(jīng)傳遞化學(xué)物質(zhì)含量的多少、神經(jīng)傳遞化學(xué)物質(zhì)釋放的速度、突觸間隙的變化、樹突的位置與大小等諸多因素都會對突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應(yīng)。而人工神經(jīng)元則忽略了這些影響，輸入、輸出關(guān)系十分簡單。2 .信息上的差別生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。3 .規(guī)模與智能上的差別目前，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠(yuǎn)小于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的數(shù)量

12、一般在104個以下，顯然，其智能也無法與生物神經(jīng)網(wǎng)絡(luò)相比。4、感知器神經(jīng)網(wǎng)絡(luò)存在的主要缺陷是什么？答：1）由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1,所以只能用它來解決簡單的分類問題；2）感知器僅能夠線性地將輸入矢量進行分類。理論上已經(jīng)證明，只要輸人矢量是線性可分的，感知器在有限的時間內(nèi)總能達到目標(biāo)矢量；3）感知器還有另外一個問題，當(dāng)輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度。5、請比較前饋型神經(jīng)網(wǎng)絡(luò)與反饋型神經(jīng)網(wǎng)絡(luò)的異同點。（8分）答：前饋型神經(jīng)網(wǎng)絡(luò)只表達輸入輸出之間的映射關(guān)系，實現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方

13、程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個非線性動力學(xué)系統(tǒng)。（1）前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練主要采用BP算法，計算過程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計算的收斂速度很快，并且它與電子電路有明顯的對應(yīng)關(guān)系，使得網(wǎng)絡(luò)易于用硬件實現(xiàn)。（2）前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點，一般用能量函數(shù)來判別是否趨于穩(wěn)定點。（3）兩者都有局部極小問題。6、BP算法的基本思想是什么，它存在哪些不足之處？（9分）答：BP算法（即反向傳播法）的基本思想是：學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。1）正向

14、傳播：輸入樣本輸入層各隱層（處理）輸出層注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權(quán)值（其過程，是一個權(quán)值調(diào)整的過程）。注2:權(quán)值調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程（學(xué)習(xí)也就是這么的由來，權(quán)值調(diào)整）。雖然BP算法得到廣泛的應(yīng)用，但它也存在自身的限制與不足，其主要表現(xiàn)在于它的訓(xùn)練過程的不確定上。具體說明如下：1）易形成局部極?。▽儇澙匪惴?，局部最優(yōu)）而得不到全局最優(yōu)；BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解

15、，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解。2）訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低下，收斂速度慢（需做大量運算）；對于一些復(fù)雜的問題，BP算法可能要進行幾小時甚至更長的時間的訓(xùn)練。這主要是由于學(xué)習(xí)速率太小所造成的?？刹捎米兓膶W(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率來加以改進。3）隱節(jié)點的選取缺乏理論支持；4）訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本趨勢1、人工神經(jīng)網(wǎng)絡(luò)：在對人腦神經(jīng)網(wǎng)絡(luò)基本認(rèn)識的基礎(chǔ)上，用數(shù)理方法從信息處理的角度對人腦神經(jīng)網(wǎng)絡(luò)進行抽象，并建立某種簡化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)。2、自適應(yīng)：自適應(yīng)性是指一個系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力。3、自學(xué)習(xí)：當(dāng)外界環(huán)境發(fā)生變化時，經(jīng)過一段

16、時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對給定輸入能產(chǎn)生期望的輸出。4、自組織：神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)，這一構(gòu)建過程稱為網(wǎng)絡(luò)的自組織。5、泛化能力：BP網(wǎng)絡(luò)訓(xùn)練后將所提取的樣本對中的非線性映射關(guān)系存儲在權(quán)值矩陣中，在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。6、模式：模式是對某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類是具有某些共同特征的模式的集合7、分類：分類是在類別知識等導(dǎo)師信號的指導(dǎo)下，將待識別的輸入模式分配到各自的模式類中去。8、聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類

17、，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開，其結(jié)果實現(xiàn)了模式樣本的類內(nèi)相似性和類間分離性。9、死節(jié)點：在訓(xùn)練過程中，某個節(jié)點從未獲勝過且遠(yuǎn)離其他獲勝節(jié)點，因此它們的權(quán)向量從未得到過調(diào)整。10、網(wǎng)絡(luò)吸引子：若網(wǎng)絡(luò)的狀態(tài)Xf(WXT),則成稱X為網(wǎng)絡(luò)的吸引子。11、人工神經(jīng)網(wǎng)絡(luò)發(fā)展階段及標(biāo)志：可分為四個時期：啟蒙時期開始于1890年W.James關(guān)于人腦結(jié)構(gòu)與功能的研究，結(jié)束于1969年Minsky和Papert出版的感知器一書；低潮時期開始于1969年，結(jié)束于1982年Hopfield發(fā)表的著名的文章神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)；復(fù)興時期開始于J.J.Hopfield的突破性研究論文，結(jié)束

18、與1986年D.E.Rumelhart和J.L.McClelland領(lǐng)導(dǎo)的研究小組編寫出版的并行分布式處理一書。高潮時期以1987年首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議為開端，迅速在全世界范圍內(nèi)掀起人工神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用熱潮。12、神經(jīng)網(wǎng)絡(luò)的基本特征：結(jié)構(gòu)上的特征是處理單元的高度并行性與分布性，這種特征使神經(jīng)網(wǎng)絡(luò)在信息處理方面具有信息的分布存儲與并行計算、存儲與處理一體化的特點。而這些特點必然給神經(jīng)網(wǎng)絡(luò)帶來較快的處理速度和較強的容錯能力。能力方面的特征是神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自組織和自適應(yīng)性。自適應(yīng)性是指一個系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力，它包含自學(xué)習(xí)和自組織兩層含義。自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化時

19、，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。13、人腦神經(jīng)元的基本結(jié)構(gòu)與功能：神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體、樹突、軸突和突觸四部分組成功能：細(xì)胞體：處理信息的功能樹突：輸入信息軸突：輸出信息突觸：傳遞信息的節(jié)點14、人腦信息傳遞過程：突觸前突觸間隙突觸后15、BP網(wǎng)絡(luò)的主要能力是什么?答：1、非線性映射能力2、泛化能力3、容錯能力16、BP算法的缺陷及改進方案BP算法的缺陷易形成局部極小而得不到全局最優(yōu)；訓(xùn)練次數(shù)多，使得學(xué)習(xí)效率低，收斂速度慢；隱節(jié)點的選取缺乏理論指

20、導(dǎo)；訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。改進方案：1增加動量項2自適應(yīng)調(diào)節(jié)學(xué)習(xí)率3引入陡度因子17、對輸入、輸出數(shù)據(jù)進行尺度變換的主要原因是什么？網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，如某輸入分量在01105范圍內(nèi)變化，而另一輸入分量則在0110-5范圍內(nèi)變化。尺度變換使所有分量都在01或-11之間變化，從而使網(wǎng)絡(luò)訓(xùn)練一開始就給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在01或-11之間，作為教師信號的期望輸出數(shù)據(jù)如不進行變換處理，勢

21、必使數(shù)值大的分量絕對誤差大，數(shù)值小的分量的絕對誤差小，網(wǎng)絡(luò)訓(xùn)練時只針對輸出的總誤差調(diào)整權(quán)值，其結(jié)果是在總誤差中占份額小的輸出分量相對誤差較大，對輸出分量進行尺度變換后這個問題可迎刃而解。18、BP網(wǎng)絡(luò)初始值的設(shè)計的原則和方法？答：原則：使每個神經(jīng)元一開始都工作在其轉(zhuǎn)移函數(shù)變化最大的位置。方法：使初始權(quán)值足夠??；使初始值為+1和-1的權(quán)值數(shù)相等。應(yīng)用中對隱層權(quán)值可采用第一種方法，而對輸出層可采用第二種辦法。量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星向量19、勝者為王學(xué)習(xí)規(guī)則的三個步驟。向量歸一化首先將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向Wj(j1,2,m)全部進行歸一化處理，得到X和Wj(j1,2,m)。尋找獲勝

22、神經(jīng)元當(dāng)網(wǎng)絡(luò)得到一個輸入模式向量X時，競爭層的所AAA有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量Wj(j1,2,m)均與X進行相似性比較，將與X最相似的內(nèi)AAA星權(quán)向量判為競爭獲勝神經(jīng)元，其權(quán)向量記為Wj*。測量相似性的方法是對Wj和X計算歐式距離(或夾角余弦)：XWjJ.minm<|xWj(可補充)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1,其余輸出為零。20、SOM網(wǎng)權(quán)值初始化的原則和一般方法有哪些？答：SOM網(wǎng)的權(quán)值一般初始化為較小的隨機數(shù)，這樣做的目的是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整體上相對集中于高維空間的某個局部區(qū)域，權(quán)向量的初始位置卻隨機的分散于樣本空間

23、的廣闊區(qū)域，訓(xùn)練時必然是離整個樣本群最近的權(quán)向量被不斷調(diào)整，并逐漸進入全體樣本的中心位置，而其他權(quán)向量因初始位置遠(yuǎn)離樣本群而永遠(yuǎn)得不到調(diào)整。如此訓(xùn)練的結(jié)果可能使全部樣本聚為一類。解決這類問題的思路是盡量使權(quán)值的初始位置與輸入樣本的大致分布區(qū)域充分重合。根據(jù)上述思路，一中簡單易行的方法是從訓(xùn)練集中隨機抽取m個輸入樣本作為初始權(quán)值，即：Wj（0）X：amj（1,2,m）式中，kram是輸入樣本的順序隨機數(shù)，kmP。因為任何X卜ram一定是輸入空間某個模式類的成員，各個權(quán)向量按上式初始化后從訓(xùn)練一開始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的“地形”。另外一種可行的辦法是先計算出全體樣本的中心

24、向量：1PX1XpPp1在該中心向量基礎(chǔ)上疊加小隨機數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中。21、SOM網(wǎng)的局限性隱層神經(jīng)元數(shù)目難以確定，因此隱層神經(jīng)元往往未能充分利用，某些距離學(xué)習(xí)向量遠(yuǎn)的神經(jīng)元不能獲勝，從而成為死節(jié)點；聚類網(wǎng)絡(luò)的學(xué)習(xí)速率需要人為確定，學(xué)習(xí)終止往往需要人為控制，影響學(xué)習(xí)進度；隱層的聚類結(jié)果與初始權(quán)值有關(guān)。22、正則化RBF網(wǎng)絡(luò)與廣義RBF網(wǎng)絡(luò)的不同：徑向基函數(shù)的個數(shù)M與樣本的個數(shù)P不相等，且M常常遠(yuǎn)小于P。徑向基函數(shù)的中心不再限制在數(shù)據(jù)點上，而是由訓(xùn)練算法確定。各徑向基函數(shù)的擴展常數(shù)不再統(tǒng)一，其值由訓(xùn)練算法確定。輸出函數(shù)的線性中包含閾值參數(shù)，用于補償基函數(shù)在

25、樣本集上的平均值與目標(biāo)值之間的差別。23、BP網(wǎng)絡(luò)與RBF網(wǎng)絡(luò)的不同RBF網(wǎng)絡(luò)只有一個隱層，而BP網(wǎng)絡(luò)的隱層可以是一層也可以是多層的。BP網(wǎng)絡(luò)的隱層和輸出層其神經(jīng)元模型是一樣的；而RBF網(wǎng)絡(luò)的隱層神經(jīng)元和輸出層神經(jīng)元不僅模型不同，而且在網(wǎng)絡(luò)中起到的作用也不一樣。RBF網(wǎng)絡(luò)的隱層是非線性的，輸出層是線性的。然而，當(dāng)用BP網(wǎng)絡(luò)解決模式分類問題時，它的隱層和輸出層通常選為非線性的。當(dāng)用BP網(wǎng)絡(luò)解決非線性回歸問題時，通常選擇線性輸出層。RBF網(wǎng)絡(luò)的基函數(shù)計算的是輸入向量和中心的歐氏距離，而BP網(wǎng)絡(luò)隱單元的激勵函數(shù)計算的是輸入單元和連接權(quán)值間的內(nèi)積。RBF網(wǎng)絡(luò)使用局部指數(shù)衰減的非線性函數(shù)（如高斯函數(shù)）對

26、非線性輸入輸出映射進行局部逼近。BP網(wǎng)絡(luò)的隱節(jié)點采用輸入模式與權(quán)向量的內(nèi)積作為激活函數(shù)的自變量，而激活函數(shù)則采用Sigmoid函數(shù)或硬限幅函數(shù)，因此BP網(wǎng)絡(luò)是對非線性映射的全局逼近。RBF網(wǎng)絡(luò)最顯著的特點是隱節(jié)點采用輸入模式與中心向量的距離（如歐式距離）作為函數(shù)的自變量，并用徑向基函數(shù)（如Gauss函數(shù)）作為激活函數(shù)。徑向基函數(shù)關(guān)于N維空間的的一個中心點具有徑向?qū)ΨQ性，而且神經(jīng)元的輸入離該中心越遠(yuǎn)，神經(jīng)元的激活程度就越低。隱層節(jié)點的這個特性常被稱為“局部特性”。24、支持向量機的基本思想/方法是什么？答：支持向量機的主要思想是建立一個最優(yōu)決策超平面，使得該平面兩側(cè)距平面最近的兩類樣本之間的距離

27、最大化，從而對分類問題提供良好的泛化能力。對于非線性可分模式分類問題，根據(jù)Cover定理：將復(fù)雜的模式分類問題非線性的投射到高維特征空間可能是線性可分的，因此只要變換是非線性的且特征空間的維數(shù)足夠高，則原始模式空間能變換為一個新的高維特征空間，使得在特征空間中模式以較高的概率為線性可分的。此時，應(yīng)用支持向量機算法在特征空間建立分類超平面，即可解決非線性可分的模式識別問題。25、cover定理：將復(fù)雜的模式分類問題非線性的投射到高維空間比投射到低維空間更可能是線性可分的。26、畫圖并說明權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則。答：通用學(xué)習(xí)規(guī)則可表達為：權(quán)向量Wj在t時刻的調(diào)整量Wj(t)與t時刻的輸入向量X(t

28、)和學(xué)習(xí)信號r的乘積成正比。用數(shù)學(xué)表達式為：WjrWj(t),X(t),dj(t)X(t)式中，為正數(shù)，稱為學(xué)習(xí)常數(shù)，其值決定了學(xué)習(xí)速率?；陔x散時間調(diào)整時，下一時刻的權(quán)向量應(yīng)為：Wj(t1)Wj(t)rWj(t),X(t),dj(t)X(t)(補充圖)27、BP算法的誤差曲線存在平坦區(qū)，利用圖形、相關(guān)公式說明造成平坦區(qū)的原因、平坦區(qū)造成的問題、如何改進進而快速度過平坦區(qū)。答：造成平坦區(qū)的原因：造成這種情況的原因與各節(jié)點的凈輸入過大有關(guān)。平坦區(qū)造成的問題：會使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度。如何改進進而快速度過平坦區(qū)：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率引入陡度因子28、批訓(xùn)練BP算法步驟29、SOM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法初始化對輸出層各權(quán)向量賦予小隨機數(shù)并進行歸一化處理，得到Wj,j1,2,m;建立初始優(yōu)勝鄰域N廣(0)；學(xué)習(xí)率賦初始值。接受輸入從