神經(jīng)網(wǎng)絡(luò)考試重點全解

1、神經(jīng)網(wǎng)絡(luò)考試重點1、 熵和信息的關(guān)系、性質(zhì)，什么叫熵，條件熵、聯(lián)合熵、互信息之間的關(guān)系，K-L散度的定義（K-L極小等于極大似然估計）。第十章答：熵H(X)：表示每一個消息所攜帶的信息的平均量。在H(X)中X不是H(X)的變量，而是一個隨機變量的標記。 條件熵：給定Y時X的條件熵為H(X|Y)=H(X,Y)H(Y)具有性質(zhì)：0=H(X|Y)M) 維原始信號向量。X=kA. s/k信號S放大 k 倍與A的相應(yīng)列縮小k倍的結(jié)果相同，從而決定了ICA得到的信號存在強ICA和PCA的差異：個性和共性。3、 SVM的基本原理（PPT）、數(shù)學模型（線性可分、線性不可分的原理和模型）。答：支持向量機（SVM

2、）的主要思想是建立一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。更精確說，支持向量機是結(jié)構(gòu)風險最小化方法的近似實現(xiàn)。4、 什么是競爭，怎樣體現(xiàn)競爭與合作的關(guān)系，以及競爭的原理及過程。答：自組織神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)最富有魅力的研究領(lǐng)域之一，它能夠通過其輸入樣本學會檢測其規(guī)律性和輸入樣本相互之間的關(guān)系，并且根據(jù)這些輸入樣本的信息自適應(yīng)調(diào)整網(wǎng)絡(luò)，使網(wǎng)絡(luò)以后的響應(yīng)與輸入樣本相適應(yīng)。競爭型神經(jīng)網(wǎng)絡(luò)的神經(jīng)元通過輸入信息能夠識別成組的相似輸入向量；自組織映射神經(jīng)網(wǎng)絡(luò)通過學習同樣能夠識別成組的相似輸入向量，使那些網(wǎng)絡(luò)層中彼此靠得很近的神經(jīng)元對相似的輸入向量產(chǎn)生響應(yīng)。與競爭型神經(jīng)網(wǎng)絡(luò)不同的是，自組

3、織映射神經(jīng)網(wǎng)絡(luò)不但能學習輸入向量的分布情況，還可以學習輸入向量的拓撲結(jié)構(gòu)，其單個神經(jīng)元對模式分類不起決定性作用，而要靠多個神經(jīng)元的協(xié)同作用才能完成模式分類。5、 RBF網(wǎng)絡(luò)模型、原理，XOR問題，正則化網(wǎng)絡(luò)（）答：1、 RBF的定義：在神經(jīng)網(wǎng)絡(luò)的背景下，隱藏單元提供一個“函數(shù)”集，該函數(shù)集在輸入模式（向量）擴展至隱藏空間時為其構(gòu)建了一個任意的“基”；這個函數(shù)集中的函數(shù)就被稱為徑向基函數(shù)。2、 RBF網(wǎng)絡(luò)的構(gòu)成：包括三層，每一層都有著完全不同的作用。第一層為輸入層，輸入層由一些源點（感知單元）組成，將網(wǎng)絡(luò)與外界環(huán)境連結(jié)起來；第二層為隱藏層，作用是從輸入空間到隱藏空間之間進行非線性變換，在大多數(shù)情

4、況下隱藏層具有較高的維數(shù)；第三層為輸出層，是線性的，為作用與輸入層的激活模式（信號）提供響應(yīng)。3、 原理：當用RBF神經(jīng)網(wǎng)絡(luò)來解決一個復(fù)雜的模式分類任務(wù)時，問題的基本解決可以通過用非線性方式將其變換到一個高維空間。它的潛在合理性來自模式可分性的cover定理，基本描述如下：將復(fù)雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更肯呢過是線性可分的。4、 XOR問題：5、 正則化的基本思想：通過某些含有解的先驗知識的非負的輔助泛函來使解穩(wěn)定。將正則化參數(shù) 視為一個指示器，用來指示所給的數(shù)據(jù)集作為確定解 的樣本的充分性。特別是在極限情況下，當時，表明改問題不受約束，問題解完全決定于所給的樣本

5、。另一方面，當時，表明僅由算子D所定義的先驗光滑條件就足以得到問題的解，這也是所給樣本完全不可信的另一種說法。在實際應(yīng)用中，正則化參數(shù) 取值在上述兩個極限值之間。6、 多層感知器（MLPs）的基本模型，BP算法的基本原理。（第四章）答：1、多層感知器（MLPs）的基本模型：一組感知單元（源節(jié)點）組成輸入層，一層或多層計算節(jié)點的隱藏層，還有一層計算節(jié)點的輸出層。輸入信號在層層遞進基礎(chǔ)上前向傳播通過網(wǎng)絡(luò)。這些神經(jīng)網(wǎng)絡(luò)通常稱為多層感知器。2、 MLPs的特點：1、 網(wǎng)絡(luò)中的每一個神經(jīng)元模型包括一個非線性激活函數(shù)；2、 網(wǎng)絡(luò)包括一層或者多層隱藏神經(jīng)元；3、 網(wǎng)絡(luò)展示出高度的連續(xù)性。3、 BP（反向傳播

6、）算法：反向傳播算法是基于誤差修正學習規(guī)則的，由誤差來決定是否更新權(quán)重，可以被看成是同樣普遍使用的自適應(yīng)濾波算法的推廣。誤差反向傳播學習由兩次經(jīng)過網(wǎng)絡(luò)不同層的通過組成：一次前向通過和一次反向通過。在前向通過中，一個活動模式（輸入向量）作用于網(wǎng)絡(luò)感知節(jié)點，它的影響經(jīng)過網(wǎng)絡(luò)一層接一層地傳播。最后，產(chǎn)生一個輸出作為網(wǎng)絡(luò)的實際響應(yīng)。在前向通過中，網(wǎng)絡(luò)的突觸權(quán)值全為固定的。另一方面，在反向通過中，突出權(quán)值全部根據(jù)誤差修正規(guī)則來調(diào)整。特別是從目標響應(yīng)減去網(wǎng)絡(luò)的實際響應(yīng)而產(chǎn)生誤差信號。突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實際響應(yīng)從統(tǒng)計意義上接近目標響應(yīng)。7、 梯度算法（單層感知器），0-1問題（第三章）答：1、 單層感

7、知器：感知器的突觸權(quán)值記為w1,w2,.,wm,相應(yīng)的，用于感知器的輸入量記為x1,x2,.,xm，外部應(yīng)用偏置記為b，可知硬限幅器輸入或神經(jīng)元的誘導局部域是：感知器的目的是把外部應(yīng)用刺激x1,x2,.,xm正確的分為兩類。分類規(guī)則是：如果感知器輸出y是+1就將x1,x2,.,xm表示的點歸為一類，如果感知器輸出y是-1則歸為另一類。2、0-1問題8、 有哪幾種學習算法，它們的基本原理。答：學習是一個過程，通過這個過程神經(jīng)網(wǎng)絡(luò)的自由參數(shù)在其嵌入的環(huán)境的激勵過程之下得到調(diào)節(jié)。1、 誤差修正學習：描述神經(jīng)網(wǎng)絡(luò)惟一輸出的輸出信號yk(n)與由dk(n)表示的期望響應(yīng)或目標輸出比較，由此產(chǎn)生由ek(n

8、)表示的誤差信號。誤差信號ek(n)驅(qū)動控制機制，其目的是將修正調(diào)節(jié)序列作用于神經(jīng)元k的突觸權(quán)值，修正調(diào)節(jié)能夠以一步步逼近的方式使輸出信號yk(n)向期望輸出dk(n)靠近，這一目標通過最小化代價函數(shù)或性能指標來實現(xiàn)。2、 基記憶的學習：基于記憶的學習通過明確地記住訓練數(shù)據(jù)來進行。在基于記憶的學習中，所有（或大部分）以往的經(jīng)驗被顯式地存儲到正確分類的輸入-輸出實例的大量記憶中。其包括；兩個重要的組成部分：用于定義測試向量Xtest的局部鄰域的準則；用于Xtest的和局部鄰域中的訓練實例的學習規(guī)則。3、 Hebb學習：Hebb學習受了神經(jīng)生物學上的考慮的啟發(fā)。Hebb算法核心思想是，當兩個神經(jīng)元

9、同時處于激發(fā)狀態(tài)時兩者間的連接權(quán)會被加強，否則被減弱。Hebb的理論認為在同一時間被激發(fā)的神經(jīng)元間的聯(lián)系會被強化。比如，鈴聲響時一個神經(jīng)元被激發(fā)，在同一時間食物的出現(xiàn)會激發(fā)附近的另一個神經(jīng)元，那么這兩個神經(jīng)元間的聯(lián)系就會強化，從而記住這兩個事物之間存在著聯(lián)系。相反，如果兩個神經(jīng)元總是不能同步激發(fā)，那么它們間的聯(lián)系將會越來越弱。4、 競爭學習：競爭學習受了神經(jīng)生物學上的考慮的啟發(fā)。在競爭學習中，神經(jīng)網(wǎng)絡(luò)中的輸出神經(jīng)元彼此通過競爭來成為活躍的點。對于競爭學習規(guī)則，有三個基本元素：（1） 、一個神經(jīng)元集合，這些神經(jīng)元處理一些隨機分布的突觸權(quán)值以外是完全相同的，且由于突出權(quán)值的不同而對一個給定的輸入模

10、式集合有不同的響應(yīng)。（2） 對每一個神經(jīng)元的強度加上的限制；（3） 允許神經(jīng)元為響應(yīng)一個給定輸入子集的權(quán)利而競爭的機制，從而使得每次只有一個輸出神經(jīng)元或者魅族只有一個神經(jīng)元是激活的。5、 Boltzman學習：Boltzman學習是建立在從統(tǒng)計學力學借來的思想基礎(chǔ)上的。Boltzman學習規(guī)則是一個植根于統(tǒng)計力學中的思想推倒得出的襲擊學習算法。Boltzman機中，神經(jīng)元構(gòu)成遞歸結(jié)構(gòu)，并以二值方式運作。Boltzman機由能量函數(shù)E所表征，能量函數(shù)的值由機器的個體神經(jīng)元占據(jù)的特定狀態(tài)所決定，表示成：9、 其他：1) 學習就是更新神經(jīng)網(wǎng)絡(luò)中的權(quán)重；2) 梯度算法剛開始收斂速度很快，接近目標時速度

11、很慢，與初值無關(guān)；牛頓算法則相反，且與初值有關(guān)；3) 梯度算法有步長，牛頓算法無步長；4) 簡述感知器的基本模型（圖形、三個公式）：P945) BP算法中的Delta規(guī)則：P1196) 貝葉斯分類器：描述貝葉斯分類器的基本原理（最小化平均風險P99頁）、P102的圖3.12-幾何定義7) 簡述正則化思想：P191-192，敘述正則化的神經(jīng)網(wǎng)絡(luò)：P198-1998) 簡述SVM的思想，描述SVM的建模過程（具體）：P230-2349) 原規(guī)劃到對偶規(guī)劃的推導過程：P23310) 非線性PCA（核函數(shù)）：11) 委員會機器：P253五個基本的學習算法：誤差修正學習；基于記憶的學習；Hebb學習；競

12、爭學習和Boltzmann學習。誤差修正學習植根于最優(yōu)濾波?；谟洃浀膶W習通過明確的記住訓練數(shù)據(jù)來進行。Hebb學習和競爭學習都是受了神經(jīng)生物學上的考慮的啟發(fā)。Boltzmann學習是建立在統(tǒng)計學力學借來的思想基礎(chǔ)上。1、誤差修正學習神經(jīng)元k的輸出信號表示，表示的是期望響應(yīng)或目標輸出比較。由此產(chǎn)生表示的誤差信號，有：。這一目標通過最小化代價函數(shù)或性能指標來實現(xiàn)。定義如下：也就是說是誤差能量的瞬時值。這種對神經(jīng)元k的突觸權(quán)值步步逼近的調(diào)節(jié)將持續(xù)下去，直到系統(tǒng)達到穩(wěn)定狀態(tài)。這時，學習過程停止。根據(jù)增量規(guī)則，在第n時間步作用于突觸權(quán)值的調(diào)節(jié)量定義如下：2、基于記憶的學習在一個簡單而有效的稱作最近鄰規(guī)

13、則的基于記憶的學習類型中，局部鄰域被定義為測試向量的直接鄰域的訓練實例，特別，向量，被稱作的最鄰近，如果。這里，是向量和的歐幾里德距離。與最短距離相關(guān)的類別，也就是向量被劃分的類別。3、Hebb學習我們定義Hebb突觸為這樣一個突觸，它使用一個依賴時間的、高度局部的和強烈交互的機制來提高突觸效率為前突觸和后突觸活動間的相互關(guān)系的一個函數(shù)?？梢缘贸鯤ebb突觸特征的個重要機制：時間依賴機制；局部機制；交互機制；關(guān)聯(lián)或相關(guān)機制。競爭學習獲勝神經(jīng)元k的輸出信號被置為；競爭失敗的所有神經(jīng)元輸出信號被置為。這樣，我們有其中，誘導局部域表示結(jié)合所有達到神經(jīng)元k的前向和反饋輸入的動作。令表示連接輸入節(jié)點j到

14、神經(jīng)元k的突觸權(quán)值。假定每個神經(jīng)元被分配固定量的突觸權(quán)值，權(quán)值分布在它的節(jié)點之中；也就是然后神經(jīng)元通過將突觸權(quán)值從它的不活躍輸入移向活躍輸入來進行學習。如果神經(jīng)元對一個特定輸入模式不響應(yīng)，那么沒有學習發(fā)生在那個神經(jīng)元上。如果一個特定神經(jīng)元贏得了競爭，這個神經(jīng)元的每個輸入節(jié)點經(jīng)一定的比例釋放它的突觸權(quán)值，釋放的權(quán)值然后平均分布到活躍輸入節(jié)點上。作用于突觸權(quán)值的改變量定義為5、Boltzmann學習令表示網(wǎng)絡(luò)在鉗制條件下神經(jīng)元j和k的狀態(tài)間的相關(guān)量。令表示網(wǎng)絡(luò)在其自由運作條件下神經(jīng)元j和k的狀態(tài)間的相關(guān)量。作用于神經(jīng)元j到神經(jīng)元k的突觸權(quán)值的改變量由，定義，其中是學習率參數(shù)。五種學習算法的區(qū)別：誤差修正學習和Boltzmann學習是有監(jiān)督學習；而Hebb學習和競爭學習是無監(jiān)督學習。在誤差修正學習中，作用于神經(jīng)元突觸權(quán)值的調(diào)節(jié)量正比于本次學習中誤差信號的突觸的輸入的乘積，它實際上帶有局部性質(zhì)，這僅僅是說由增量規(guī)則計算的突觸調(diào)節(jié)局部于神經(jīng)元k周圍。同時，對的選擇對學習過程的準確及其它方面也有深刻的影響?；谟洃浀膶W習中的最鄰近規(guī)則，基于兩個假設(shè)；分類實例（）按照實例（）的聯(lián)合概率分布是獨立同分布的；樣本大小N是無限大的，它的分類錯誤率同貝葉斯誤差概率的關(guān)系為其中為貝葉斯誤差概率，C是分類的類別數(shù)目。Hebb學習中如果在突觸（連接）每一邊的兩個神經(jīng)元同時（即同步）激活，那么那個突觸的