《神經(jīng)網(wǎng)絡(luò)Pa》

1、12BP網(wǎng)絡(luò)和BP算法v線性不可分問題：感知器模型的局限線性不可分問題：感知器模型的局限v三層感知器三層感知器v多層網(wǎng)絡(luò)的表達(dá)能力多層網(wǎng)絡(luò)的表達(dá)能力vBP網(wǎng)絡(luò)：多層感知器網(wǎng)絡(luò)：多層感知器vBP算法：反向傳播算法的思想和流程，算法：反向傳播算法的思想和流程， 訓(xùn)訓(xùn)練協(xié)議，隱含層的作用，實(shí)用技術(shù)練協(xié)議，隱含層的作用，實(shí)用技術(shù)3反向傳播算法（BP算法）v敏感度的反向傳播4反向傳播算法（BP算法）vBP算法流程：算法流程：Step1：選定權(quán)系數(shù)初值選定權(quán)系數(shù)初值Step2：重復(fù)下述過程直至收斂重復(fù)下述過程直至收斂 (對各個(gè)樣本依對各個(gè)樣本依次計(jì)算次計(jì)算)vStep2.1 前饋前饋: 從前向后各層計(jì)算各

2、單元從前向后各層計(jì)算各單元jxjijiinetx11jjjnetxf nete5反向傳播算法（BP算法）vStep2.2 :對輸出層計(jì)算對輸出層計(jì)算vStep2.3 :從后向前計(jì)算各隱層從后向前計(jì)算各隱層vStep2.4 :計(jì)算并保存各個(gè)權(quán)值修正量計(jì)算并保存各個(gè)權(quán)值修正量jj1jjjjjyxxx1jjjjkkkxx ijjix6反向傳播算法（BP算法）vStep2.5:修正權(quán)值修正權(quán)值 1ijijijtt以上算法是對每個(gè)樣本作權(quán)值修正（單樣本）以上算法是對每個(gè)樣本作權(quán)值修正（單樣本）也可以對各個(gè)樣本計(jì)算也可以對各個(gè)樣本計(jì)算 后求和，按照總誤差修后求和，按照總誤差修正權(quán)值（批處理）正權(quán)值（批處理

3、）j7BP算法的訓(xùn)練協(xié)議v訓(xùn)練協(xié)議訓(xùn)練協(xié)議( (學(xué)習(xí)協(xié)議學(xué)習(xí)協(xié)議) )：神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中如何根據(jù)訓(xùn)練樣本調(diào)整權(quán)值如何根據(jù)訓(xùn)練樣本調(diào)整權(quán)值v三種最有用的訓(xùn)練協(xié)議：三種最有用的訓(xùn)練協(xié)議：隨機(jī)訓(xùn)練隨機(jī)訓(xùn)練( stochastic training ) :模式隨機(jī)從訓(xùn)模式隨機(jī)從訓(xùn)練集中選取，每輸入一個(gè)模式，權(quán)值就更新一次練集中選取，每輸入一個(gè)模式，權(quán)值就更新一次成批訓(xùn)練成批訓(xùn)練( batch training ) :所有模式一次全部所有模式一次全部送入網(wǎng)絡(luò)，然后才進(jìn)行一次權(quán)值更新送入網(wǎng)絡(luò)，然后才進(jìn)行一次權(quán)值更新在線訓(xùn)練在線訓(xùn)練( online training ) : 每種模式只提

4、供一每種模式只提供一次，每提供一種模式，權(quán)值更新一次次，每提供一種模式，權(quán)值更新一次8BP算法的訓(xùn)練協(xié)議v隨機(jī)反向傳播隨機(jī)反向傳播9BP算法的訓(xùn)練協(xié)議v成批反向傳播成批反向傳播累計(jì)更新累計(jì)更新10BP算法的訓(xùn)練協(xié)議v在線反向傳播11隱含層的作用v隱含層的作用：隱含層的作用：學(xué)習(xí)到一組非線性映射，將樣本映學(xué)習(xí)到一組非線性映射，將樣本映射到線性可分的空間射到線性可分的空間v非線性彎曲能力，本質(zhì)上是一種非線性的特征映射非線性彎曲能力，本質(zhì)上是一種非線性的特征映射v異或問題的例子：異或問題的例子：12隱含層的作用v隱含層的非線性彎曲能力隱含層的非線性彎曲能力1-60個(gè)回合的非線性映射和個(gè)回合的非線性映

5、射和誤差的變化誤差的變化總誤差總誤差各個(gè)模式上的誤差各個(gè)模式上的誤差13BP算法的優(yōu)缺點(diǎn)v優(yōu)點(diǎn)：優(yōu)點(diǎn)： 理論基礎(chǔ)牢固理論基礎(chǔ)牢固 推導(dǎo)過程嚴(yán)謹(jǐn)推導(dǎo)過程嚴(yán)謹(jǐn) 物理概念清晰物理概念清晰 通用性好通用性好 所以，它是目前用來訓(xùn)練所以，它是目前用來訓(xùn)練多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）網(wǎng)絡(luò)）較好的算法。較好的算法。14BP算法的優(yōu)缺點(diǎn)v缺點(diǎn)：缺點(diǎn)：BP算法只能收斂于算法只能收斂于局部最優(yōu)解局部最優(yōu)解，不能保證收斂，不能保證收斂于全局最優(yōu)解；于全局最優(yōu)解；當(dāng)隱層元的數(shù)量足夠多時(shí)，網(wǎng)絡(luò)對訓(xùn)練樣本的識當(dāng)隱層元的數(shù)量足夠多時(shí)，網(wǎng)絡(luò)對訓(xùn)練樣本的識別率很高，但對測試樣本的識別率有可能很差，別率很高，但對測試樣本

6、的識別率有可能很差，即網(wǎng)絡(luò)的即網(wǎng)絡(luò)的推廣能力推廣能力有可能較差。有可能較差。15BP算法的實(shí)用技術(shù)v輸出函數(shù)（激活函數(shù)）輸出函數(shù)（激活函數(shù)）v輸入信號尺度變換輸入信號尺度變換vc c類問題的目標(biāo)輸出類問題的目標(biāo)輸出v帶噪聲的訓(xùn)練法帶噪聲的訓(xùn)練法v人工人工“制造制造”數(shù)據(jù)數(shù)據(jù)v隱單元數(shù)隱單元數(shù)v權(quán)值初始化權(quán)值初始化v學(xué)習(xí)率學(xué)習(xí)率v沖量項(xiàng)沖量項(xiàng)v權(quán)值衰減權(quán)值衰減16BP算法的實(shí)用技術(shù)v輸出函數(shù)（激活函數(shù)）應(yīng)具備的性質(zhì)輸出函數(shù)（激活函數(shù)）應(yīng)具備的性質(zhì)非線性：非線性：非線性特征映射，否則三層網(wǎng)絡(luò)將等同非線性特征映射，否則三層網(wǎng)絡(luò)將等同于兩層網(wǎng)絡(luò)的計(jì)算能力于兩層網(wǎng)絡(luò)的計(jì)算能力飽和性：飽和性：存在最大和最

7、小值，即輸出有上下界存在最大和最小值，即輸出有上下界連續(xù)性：連續(xù)性：在整個(gè)自變量范圍內(nèi)都有定義在整個(gè)自變量范圍內(nèi)都有定義光滑性：光滑性：在整個(gè)自變量范圍內(nèi)一階導(dǎo)數(shù)存在在整個(gè)自變量范圍內(nèi)一階導(dǎo)數(shù)存在最好有單調(diào)性：最好有單調(diào)性：導(dǎo)數(shù)在自變量范圍內(nèi)不變號，避導(dǎo)數(shù)在自變量范圍內(nèi)不變號，避免引入不必要的局部極值免引入不必要的局部極值Sigmoid函數(shù)滿足上述性質(zhì)，因此被廣泛采用函數(shù)滿足上述性質(zhì)，因此被廣泛采用17BP算法的實(shí)用技術(shù)v輸入信號尺度變換輸入信號尺度變換魚分類的例子：魚分類的例子：x1 :質(zhì)量質(zhì)量 x2:長度長度vx1 = 1500克，克， x2=0.3米，則網(wǎng)絡(luò)權(quán)值的調(diào)整主要由米，則網(wǎng)絡(luò)權(quán)值

8、的調(diào)整主要由x1 控制控制 v x1 = 1.5千克，千克， x2=300毫米，則網(wǎng)絡(luò)權(quán)值的調(diào)整主要由毫米，則網(wǎng)絡(luò)權(quán)值的調(diào)整主要由x2控制控制 解決方案：解決方案：輸入特征尺度變換，使得輸入特征尺度變換，使得v每個(gè)特征在整個(gè)訓(xùn)練集上的均值為零每個(gè)特征在整個(gè)訓(xùn)練集上的均值為零v每個(gè)特征的方差相同，如都為每個(gè)特征的方差相同，如都為1.0規(guī)范化規(guī)范化18BP算法的實(shí)用技術(shù)vc c類問題的目標(biāo)輸出類問題的目標(biāo)輸出Sigmoid函數(shù)的飽和值函數(shù)的飽和值1.716永遠(yuǎn)不可能達(dá)到，永遠(yuǎn)不可能達(dá)到，存在誤差存在誤差c c類問題的判決準(zhǔn)則：類問題的判決準(zhǔn)則：如果樣本如果樣本x屬于第屬于第i類，則類，則第第i個(gè)輸

9、出單元的目標(biāo)輸出為個(gè)輸出單元的目標(biāo)輸出為 +1，其他輸出單元，其他輸出單元為為-1例如：例如：四類情況，四類情況，x屬于第屬于第3類類 ，目標(biāo)輸出則為，目標(biāo)輸出則為 （ -1，-1, +1，-1 ）19BP算法的實(shí)用技術(shù)v帶噪聲的訓(xùn)練法帶噪聲的訓(xùn)練法當(dāng)訓(xùn)練集很小時(shí)，當(dāng)訓(xùn)練集很小時(shí)，可以構(gòu)造一個(gè)虛擬的或替代的訓(xùn)練模可以構(gòu)造一個(gè)虛擬的或替代的訓(xùn)練模式來使用式來使用（建立概率模型）（建立概率模型），就好像它們是從源分布中，就好像它們是從源分布中抽樣出來的正常的訓(xùn)練模式抽樣出來的正常的訓(xùn)練模式在沒有具體特定信息時(shí)，一個(gè)自然的假設(shè)就是此代替模在沒有具體特定信息時(shí)，一個(gè)自然的假設(shè)就是此代替模式應(yīng)該加入一個(gè)

10、式應(yīng)該加入一個(gè)d維噪聲，以獲得真實(shí)的訓(xùn)練點(diǎn)維噪聲，以獲得真實(shí)的訓(xùn)練點(diǎn)這種有噪聲的訓(xùn)練方法實(shí)際上可用于任一分類方法，盡這種有噪聲的訓(xùn)練方法實(shí)際上可用于任一分類方法，盡管對于高度局部化的分類器（如最近鄰分類器）它通常管對于高度局部化的分類器（如最近鄰分類器）它通常并不改善準(zhǔn)確率并不改善準(zhǔn)確率20BP算法的實(shí)用技術(shù)v人工人工“制造制造”數(shù)據(jù)數(shù)據(jù)在訓(xùn)練模式不足的情況下，有時(shí)可以人工制造一在訓(xùn)練模式不足的情況下，有時(shí)可以人工制造一些訓(xùn)練些訓(xùn)練 樣本樣本需要利用問題的先驗(yàn)知識，如某種需要利用問題的先驗(yàn)知識，如某種“幾何不變幾何不變性性”，制造出一些能傳達(dá)更多信息的訓(xùn)練樣本，制造出一些能傳達(dá)更多信息的訓(xùn)練樣

11、本數(shù)據(jù)變換：數(shù)據(jù)變換：例如字符識別問題中例如字符識別問題中v旋轉(zhuǎn)旋轉(zhuǎn)v縮放縮放v字符筆畫寬窄變化字符筆畫寬窄變化21BP算法的實(shí)用技術(shù)v隱單元數(shù)：隱單元數(shù)：隱單元個(gè)數(shù)決定了網(wǎng)絡(luò)的表達(dá)能力，從隱單元個(gè)數(shù)決定了網(wǎng)絡(luò)的表達(dá)能力，從而決定了判決邊界的復(fù)雜度而決定了判決邊界的復(fù)雜度簡單問題需要較少的隱單元簡單問題需要較少的隱單元復(fù)雜問題需要較多隱單元復(fù)雜問題需要較多隱單元過少隱單元造成神經(jīng)網(wǎng)絡(luò)表示能力下降過少隱單元造成神經(jīng)網(wǎng)絡(luò)表示能力下降過多隱單元造成對訓(xùn)練集的過多隱單元造成對訓(xùn)練集的“過擬合過擬合”v經(jīng)驗(yàn)規(guī)則經(jīng)驗(yàn)規(guī)則選取隱單元個(gè)數(shù)，使得網(wǎng)絡(luò)中總的權(quán)值數(shù)大致為選取隱單元個(gè)數(shù)，使得網(wǎng)絡(luò)中總的權(quán)值數(shù)大致為樣

12、本數(shù)的樣本數(shù)的1/1022BP算法的實(shí)用技術(shù)v權(quán)值初始化權(quán)值初始化ijjiijjkkkxx fnet 若若 則則 無法更新無法更新權(quán)值初始化方法：權(quán)值初始化方法： 假設(shè)一個(gè)隱單元可以接收假設(shè)一個(gè)隱單元可以接收d個(gè)輸入單元的輸入個(gè)輸入單元的輸入 初始權(quán)值應(yīng)該在初始權(quán)值應(yīng)該在 上均勻分布上均勻分布 此時(shí)，隱單元的凈激活范圍：此時(shí)，隱單元的凈激活范圍：-1net+1 Sigmoid函數(shù)在函數(shù)在-1net+1的范圍內(nèi)幾乎是線性的的范圍內(nèi)幾乎是線性的0jkij1, 1dd23BP算法的實(shí)用技術(shù)v學(xué)習(xí)率：學(xué)習(xí)率：不同學(xué)習(xí)率的收斂效果不同學(xué)習(xí)率的收斂效果vSigmoid網(wǎng)絡(luò)的學(xué)習(xí)率：網(wǎng)絡(luò)的學(xué)習(xí)率：初始化學(xué)習(xí)

13、率約為初始化學(xué)習(xí)率約為0.1；如；如果發(fā)散，則調(diào)小學(xué)習(xí)率；如果學(xué)習(xí)速度過慢，則調(diào)果發(fā)散，則調(diào)小學(xué)習(xí)率；如果學(xué)習(xí)速度過慢，則調(diào)大學(xué)習(xí)率。大學(xué)習(xí)率。24BP算法的實(shí)用技術(shù)v沖量項(xiàng)（沖量項(xiàng)（momentummomentum）v 問題：問題：在在 的區(qū)域，權(quán)值無法更的區(qū)域，權(quán)值無法更新新 0J ww25BP算法的實(shí)用技術(shù)v沖量項(xiàng)（沖量項(xiàng)（momentummomentum）誤差曲面的誤差曲面的“平坦區(qū)平坦區(qū)” 較小，學(xué)較小，學(xué)習(xí)速度慢習(xí)速度慢解決方法：解決方法：如果讓當(dāng)前學(xué)習(xí)保持上一步學(xué)如果讓當(dāng)前學(xué)習(xí)保持上一步學(xué)習(xí)的習(xí)的“慣性慣性”，則可以較快，則可以較快 通過通過“平坦區(qū)平坦區(qū)”“慣性慣性”的度量：沖

14、量的度量：沖量 J ww26BP算法的實(shí)用技術(shù)v沖量項(xiàng)（沖量項(xiàng)（momentummomentum）上一步（第上一步（第m步）的更新量步）的更新量第第m+1步的步的BP算法更新量算法更新量帶沖量的反向傳播學(xué)習(xí)規(guī)則帶沖量的反向傳播學(xué)習(xí)規(guī)則 1mmm BPm 11BPmmmm0101退化為退化為BP算法算法勻速學(xué)習(xí)勻速學(xué)習(xí)通常?。和ǔＨ。?.927BP算法的實(shí)用技術(shù)v帶沖量的隨機(jī)反向傳播算法帶沖量的隨機(jī)反向傳播算法28BP算法的實(shí)用技術(shù)v帶沖量的隨機(jī)反向傳播算法帶沖量的隨機(jī)反向傳播算法29BP算法的實(shí)用技術(shù)v權(quán)值衰減權(quán)值衰減一種簡化網(wǎng)絡(luò)以及避免過擬合的方法是加入一個(gè)一種簡化網(wǎng)絡(luò)以及避免過擬合的方法是

15、加入一個(gè)啟發(fā)式規(guī)則：即啟發(fā)式規(guī)則：即權(quán)值應(yīng)當(dāng)比較小權(quán)值應(yīng)當(dāng)比較小實(shí)踐中，實(shí)踐中，較小的權(quán)值往往可以提高神經(jīng)網(wǎng)絡(luò)性能。較小的權(quán)值往往可以提高神經(jīng)網(wǎng)絡(luò)性能。小權(quán)值更加適合線性的模型小權(quán)值更加適合線性的模型基本方法：基本方法：從具有從具有“非常多非常多”的權(quán)值網(wǎng)絡(luò)開始，的權(quán)值網(wǎng)絡(luò)開始，在訓(xùn)練中衰減所有的權(quán)值在訓(xùn)練中衰減所有的權(quán)值oldwww1newoldww0130神經(jīng)網(wǎng)絡(luò)v引言：人工智能聯(lián)結(jié)主義的學(xué)說引言：人工智能聯(lián)結(jié)主義的學(xué)說v人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展v人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念v感知器模型感知器模型vBP網(wǎng)絡(luò)和網(wǎng)絡(luò)和BP算法算法v徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法徑向基函數(shù)

16、網(wǎng)絡(luò)和學(xué)習(xí)算法v競爭學(xué)習(xí)和側(cè)抑制競爭學(xué)習(xí)和側(cè)抑制v自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)vHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)31徑向基函數(shù)網(wǎng)絡(luò)v徑向基函數(shù)網(wǎng)絡(luò)（徑向基函數(shù)網(wǎng)絡(luò)（RBF網(wǎng)絡(luò)）網(wǎng)絡(luò)）是一種常用的前饋神是一種常用的前饋神經(jīng)網(wǎng)絡(luò)。經(jīng)網(wǎng)絡(luò)。v 特征：特征：只有一個(gè)隱層；只有一個(gè)隱層；隱層單元采用隱層單元采用徑向基函數(shù)徑向基函數(shù)作作為輸出函數(shù)；為輸出函數(shù)；輸入層到輸隱層單元間的權(quán)輸入層到輸隱層單元間的權(quán)值固定為值固定為1；輸出結(jié)點(diǎn)為線性求和單元輸出結(jié)點(diǎn)為線性求和單元隱層到輸出結(jié)點(diǎn)的權(quán)值可調(diào)隱層到輸出結(jié)點(diǎn)的權(quán)值可調(diào)32徑向基函數(shù)網(wǎng)絡(luò)v徑向基函數(shù)的作用往往是局部的，離中心越遠(yuǎn)函數(shù)徑向基函數(shù)的作用往

17、往是局部的，離中心越遠(yuǎn)函數(shù)值越小。值越小。常用的徑向基函數(shù)是高斯函數(shù)常用的徑向基函數(shù)是高斯函數(shù)。ikxxxix其中：其中：輸入向量輸入向量第第i個(gè)隱結(jié)點(diǎn)的中心個(gè)隱結(jié)點(diǎn)的中心v徑向基函數(shù)徑向基函數(shù)（ Radial Basis Function）：）：某種沿某種沿徑向?qū)ΨQ的標(biāo)量函數(shù)徑向?qū)ΨQ的標(biāo)量函數(shù)。通常定義為空間中任意一點(diǎn)。通常定義為空間中任意一點(diǎn)到某一中心之間歐氏距離的單調(diào)函數(shù)。記為：到某一中心之間歐氏距離的單調(diào)函數(shù)。記為：22exp2iixxkxx33徑向基函數(shù)網(wǎng)絡(luò)v可以從兩個(gè)方面理解可以從兩個(gè)方面理解RBF網(wǎng)絡(luò)網(wǎng)絡(luò) 函數(shù)逼近：函數(shù)逼近：把網(wǎng)絡(luò)看成對未知函數(shù)把網(wǎng)絡(luò)看成對未知函數(shù) f(x) 的

18、逼近的逼近器。一般任何函數(shù)都可以表示成一組基函數(shù)的加器。一般任何函數(shù)都可以表示成一組基函數(shù)的加權(quán)和，這相當(dāng)于用隱層單元的輸出函數(shù)構(gòu)成一組權(quán)和，這相當(dāng)于用隱層單元的輸出函數(shù)構(gòu)成一組基函數(shù)來逼近基函數(shù)來逼近f(x)。 線性分類：線性分類：把隱層看做是對輸入的非線性映射把隱層看做是對輸入的非線性映射（通常將低維線性不可分的樣本映射到高維空（通常將低維線性不可分的樣本映射到高維空間），再用線性分類器（輸出結(jié)點(diǎn)的輸出函數(shù)是間），再用線性分類器（輸出結(jié)點(diǎn)的輸出函數(shù)是線性函數(shù)）分類。線性函數(shù)）分類。34RBF網(wǎng)絡(luò)學(xué)習(xí)算法vRBF網(wǎng)絡(luò)中有三組參數(shù)可調(diào)：網(wǎng)絡(luò)中有三組參數(shù)可調(diào)： 隱層基函數(shù)的中心、方差，以及隱層結(jié)

19、點(diǎn)與輸隱層基函數(shù)的中心、方差，以及隱層結(jié)點(diǎn)與輸出結(jié)點(diǎn)之間的權(quán)值。出結(jié)點(diǎn)之間的權(quán)值。vRBF網(wǎng)絡(luò)學(xué)習(xí)算法的兩個(gè)階段網(wǎng)絡(luò)學(xué)習(xí)算法的兩個(gè)階段 確定確定RBF函數(shù)的中心：函數(shù)的中心：無師學(xué)習(xí)無師學(xué)習(xí) 訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值：訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值：有師學(xué)習(xí)有師學(xué)習(xí)35RBF網(wǎng)絡(luò)學(xué)習(xí)算法vStep1：對所有樣本的輸入進(jìn)行聚類（可以對所有樣本的輸入進(jìn)行聚類（可以采用采用k均值聚類算法），求得各隱層結(jié)點(diǎn)均值聚類算法），求得各隱層結(jié)點(diǎn)RBF函數(shù)的中心。函數(shù)的中心。vStep2：當(dāng)當(dāng)RBF函數(shù)的中心函數(shù)的中心ci確定后，訓(xùn)練隱確定后，訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值。這是一個(gè)線性優(yōu)層與輸出結(jié)點(diǎn)之間的權(quán)值

20、。這是一個(gè)線性優(yōu)化問題?；瘑栴}。36RBF網(wǎng)絡(luò)的優(yōu)缺點(diǎn)vRBFRBF網(wǎng)絡(luò)與網(wǎng)絡(luò)與BPBP網(wǎng)絡(luò)主要的不同點(diǎn)是：網(wǎng)絡(luò)主要的不同點(diǎn)是：在非線性映射在非線性映射上采用了不同的輸出函數(shù)，分別為徑向基函數(shù)與上采用了不同的輸出函數(shù)，分別為徑向基函數(shù)與Sigmoid函數(shù)。函數(shù)。前者的作用是局部的，后者的作用前者的作用是局部的，后者的作用是全局的是全局的。v已經(jīng)證明，已經(jīng)證明，RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小。無局部極小。v徑向基函數(shù)、隱層結(jié)點(diǎn)個(gè)數(shù)難以確定，目前尚無解徑向基函數(shù)、隱層結(jié)點(diǎn)個(gè)數(shù)難以確定，目前尚無解決方案。決方案。v隱層結(jié)點(diǎn)隱層結(jié)點(diǎn)RBF函數(shù)的中心難以求解

21、，阻礙了函數(shù)的中心難以求解，阻礙了RBF網(wǎng)網(wǎng)絡(luò)的廣泛應(yīng)用。絡(luò)的廣泛應(yīng)用。37神經(jīng)網(wǎng)絡(luò)v引言：人工智能聯(lián)結(jié)主義的學(xué)說引言：人工智能聯(lián)結(jié)主義的學(xué)說v人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展v人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念v感知器模型感知器模型vBP網(wǎng)絡(luò)和網(wǎng)絡(luò)和BP算法算法v徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法v競爭學(xué)習(xí)和側(cè)抑制競爭學(xué)習(xí)和側(cè)抑制v自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)vHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)38競爭學(xué)習(xí)和側(cè)抑制v前饋網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，需要同時(shí)提供輸入樣本和前饋網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，需要同時(shí)提供輸入樣本和相應(yīng)的理想輸出?？梢杂糜谕瓿上鄳?yīng)的理想輸出?？梢杂糜谕瓿?/p>

22、分類任務(wù)分類任務(wù)。v引入競爭機(jī)制（引入競爭機(jī)制（側(cè)抑制側(cè)抑制）的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無監(jiān)）的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無監(jiān)督學(xué)習(xí)，完成督學(xué)習(xí)，完成聚類任務(wù)聚類任務(wù)。v競爭學(xué)習(xí)網(wǎng)絡(luò)在二層前饋網(wǎng)絡(luò)的輸出層加上了側(cè)抑競爭學(xué)習(xí)網(wǎng)絡(luò)在二層前饋網(wǎng)絡(luò)的輸出層加上了側(cè)抑制。制。39競爭學(xué)習(xí)和側(cè)抑制v側(cè)抑制是在輸出層各個(gè)單元之間相互用較大的側(cè)抑制是在輸出層各個(gè)單元之間相互用較大的負(fù)權(quán)負(fù)權(quán)值值輸入對方的輸出。輸入對方的輸出。v競爭的結(jié)果是：競爭的結(jié)果是：具有較大輸入的單元輸出為具有較大輸入的單元輸出為1，其，其他單元的輸出都為他單元的輸出都為0。TjijijinetxW X1 0 jkjnetnetjkyelse40競爭學(xué)習(xí)和

23、側(cè)抑制v網(wǎng)絡(luò)學(xué)習(xí)時(shí)，先隨機(jī)初始化權(quán)值，為了防止某個(gè)輸網(wǎng)絡(luò)學(xué)習(xí)時(shí)，先隨機(jī)初始化權(quán)值，為了防止某個(gè)輸出單元的權(quán)值過大，造成不應(yīng)有的側(cè)重，在學(xué)習(xí)過出單元的權(quán)值過大，造成不應(yīng)有的側(cè)重，在學(xué)習(xí)過程中程中隨時(shí)將權(quán)向量進(jìn)行歸一化處理隨時(shí)將權(quán)向量進(jìn)行歸一化處理，即：，即：2ijijiji i jjjiynetxv當(dāng)樣本為歸一化樣本當(dāng)樣本為歸一化樣本( |x|=1)時(shí)，學(xué)習(xí)可以按如下時(shí)，學(xué)習(xí)可以按如下算法進(jìn)行：算法進(jìn)行：41神經(jīng)網(wǎng)絡(luò)v引言：人工智能聯(lián)結(jié)主義的學(xué)說引言：人工智能聯(lián)結(jié)主義的學(xué)說v人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展v人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念v感知器模型感知器模型vBP網(wǎng)絡(luò)和網(wǎng)絡(luò)和

24、BP算法算法v徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法v競爭學(xué)習(xí)和側(cè)抑制競爭學(xué)習(xí)和側(cè)抑制v自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)vHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)42自組織特征映射網(wǎng)絡(luò) v生物神經(jīng)學(xué)的研究發(fā)現(xiàn)，人的大腦皮層中神經(jīng)網(wǎng)絡(luò)生物神經(jīng)學(xué)的研究發(fā)現(xiàn)，人的大腦皮層中神經(jīng)網(wǎng)絡(luò)的功能是分區(qū)的，每個(gè)區(qū)域完成各自的功能。記憶的功能是分區(qū)的，每個(gè)區(qū)域完成各自的功能。記憶也是一樣，一個(gè)特定區(qū)域記憶一類特殊的事務(wù)，另也是一樣，一個(gè)特定區(qū)域記憶一類特殊的事務(wù)，另一個(gè)區(qū)域記憶另外一些事務(wù)。一個(gè)區(qū)域記憶另外一些事務(wù)。v處于空間位置不同的神經(jīng)元，各自對輸入模式的不處于空間位置不同的神經(jīng)元，各自對輸入模式的不

25、同特征敏感。同特征敏感。v大腦中分布著大量的協(xié)同作用的神經(jīng)元群體，同時(shí)，大腦中分布著大量的協(xié)同作用的神經(jīng)元群體，同時(shí)，大腦網(wǎng)絡(luò)又是一個(gè)復(fù)雜的反饋系統(tǒng)，包括局部反饋大腦網(wǎng)絡(luò)又是一個(gè)復(fù)雜的反饋系統(tǒng)，包括局部反饋和整體反饋。聚類現(xiàn)象對大腦的信息處理起著重要和整體反饋。聚類現(xiàn)象對大腦的信息處理起著重要作用。作用。43自組織特征映射網(wǎng)絡(luò)v相近的神經(jīng)元之間共同興奮，而對較遠(yuǎn)的神經(jīng)元?jiǎng)t相近的神經(jīng)元之間共同興奮，而對較遠(yuǎn)的神經(jīng)元?jiǎng)t存在著側(cè)向抑制的現(xiàn)象，抑制其興奮。存在著側(cè)向抑制的現(xiàn)象，抑制其興奮。 更遠(yuǎn)的又是更遠(yuǎn)的又是弱興奮。這種局部交互形式被形象地比喻為弱興奮。這種局部交互形式被形象地比喻為“墨西墨西哥草帽

26、哥草帽”。44自組織特征映射網(wǎng)絡(luò)v自組織特征映射網(wǎng)絡(luò)由芬蘭學(xué)者自組織特征映射網(wǎng)絡(luò)由芬蘭學(xué)者 Kohonen于于1981年提出年提出45自組織特征映射網(wǎng)絡(luò)v自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)：自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)：46自組織特征映射網(wǎng)絡(luò)vKohonen依據(jù)這樣的思想提出了一種神經(jīng)網(wǎng)絡(luò)，一依據(jù)這樣的思想提出了一種神經(jīng)網(wǎng)絡(luò)，一般稱為自組織特征映射網(wǎng)絡(luò)般稱為自組織特征映射網(wǎng)絡(luò) (Self-Organizing Feature Map, SOM或或SOFM)vSOM網(wǎng)絡(luò)是一個(gè)兩層網(wǎng)絡(luò)，包括網(wǎng)絡(luò)是一個(gè)兩層網(wǎng)絡(luò)，包括輸入層輸入層和和競爭層競爭層，輸入層的神經(jīng)元個(gè)數(shù)等于輸入層的神經(jīng)元個(gè)數(shù)等于特征的維數(shù)特征的維數(shù)，競爭層

27、的神，競爭層的神經(jīng)元組成一個(gè)經(jīng)元組成一個(gè)方陣方陣。v輸入層和競爭層之間是全互連的，競爭層的神經(jīng)元輸入層和競爭層之間是全互連的，競爭層的神經(jīng)元之間之間訓(xùn)練時(shí)存在著側(cè)向抑制訓(xùn)練時(shí)存在著側(cè)向抑制，識別時(shí)沒有任何連接。識別時(shí)沒有任何連接。 47自組織特征映射網(wǎng)絡(luò)v自組織特征映射網(wǎng)絡(luò)的識別過程自組織特征映射網(wǎng)絡(luò)的識別過程 當(dāng)當(dāng)SOM網(wǎng)絡(luò)訓(xùn)練好之后，我們網(wǎng)絡(luò)訓(xùn)練好之后，我們希望用網(wǎng)絡(luò)中的希望用網(wǎng)絡(luò)中的某個(gè)區(qū)域?qū)?yīng)某一類模式某個(gè)區(qū)域?qū)?yīng)某一類模式 當(dāng)輸入一個(gè)待識模式時(shí)，計(jì)算輸入特征矢量與網(wǎng)當(dāng)輸入一個(gè)待識模式時(shí)，計(jì)算輸入特征矢量與網(wǎng)絡(luò)中每個(gè)神經(jīng)元權(quán)值之間絡(luò)中每個(gè)神經(jīng)元權(quán)值之間矢量內(nèi)積矢量內(nèi)積，以內(nèi)積，以內(nèi)積大

28、大者者作為作為勝元?jiǎng)僭?，也就是興奮程度最大的神經(jīng)元，也就是興奮程度最大的神經(jīng)元 然后根據(jù)這個(gè)然后根據(jù)這個(gè)勝元所在的區(qū)域勝元所在的區(qū)域確定待識模式的類確定待識模式的類別別 48自組織特征映射網(wǎng)絡(luò)v也可以采用輸入特征與神經(jīng)元權(quán)值之間的也可以采用輸入特征與神經(jīng)元權(quán)值之間的歐氏距離歐氏距離確定勝元。采用歐氏距離時(shí)，以確定勝元。采用歐氏距離時(shí)，以最小值最小值確定勝元。確定勝元。v令輸入特征矢量為令輸入特征矢量為 ，第，第 j 個(gè)神經(jīng)元的個(gè)神經(jīng)元的權(quán)值為權(quán)值為 ，則有：，則有：12,TNx xxX12,TjjjjNwwwW1221NjjijiidxwXW1NTjjijiidw xW X歐氏距離：歐氏距離：

29、矢量內(nèi)積：矢量內(nèi)積：49自組織特征映射網(wǎng)絡(luò)v自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)過程自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)過程 網(wǎng)絡(luò)學(xué)習(xí)的指導(dǎo)思想：網(wǎng)絡(luò)學(xué)習(xí)的指導(dǎo)思想：SOM網(wǎng)絡(luò)的學(xué)習(xí)也是一個(gè)迭代的網(wǎng)絡(luò)的學(xué)習(xí)也是一個(gè)迭代的算法。在第算法。在第 t 次迭代中要有一個(gè)以勝元次迭代中要有一個(gè)以勝元Ng(t)為中心的為中心的鄰鄰域域，稱為，稱為勝出域勝出域。在這個(gè)鄰域內(nèi)的神經(jīng)元權(quán)值得到增強(qiáng)，在這個(gè)鄰域內(nèi)的神經(jīng)元權(quán)值得到增強(qiáng)，鄰域之外的神經(jīng)元受到抑制或不增強(qiáng)。鄰域之外的神經(jīng)元受到抑制或不增強(qiáng)。鄰域的形狀可以選擇方形、圓形或多邊形。鄰域的形狀可以選擇方形、圓形或多邊形。50自組織特征映射網(wǎng)絡(luò) Nj*(0) Nj*(0) Nj*(1

30、) Nj*(1) Nj*(2) Nj*(2)v隨著學(xué)習(xí)的進(jìn)行，勝出域變窄隨著學(xué)習(xí)的進(jìn)行，勝出域變窄，勝出神經(jīng)元附近的，勝出神經(jīng)元附近的神經(jīng)元數(shù)變少。因此，學(xué)習(xí)方法是一種從粗調(diào)整向微神經(jīng)元數(shù)變少。因此，學(xué)習(xí)方法是一種從粗調(diào)整向微調(diào)整變化，最終達(dá)到預(yù)定目標(biāo)的過程。調(diào)整變化，最終達(dá)到預(yù)定目標(biāo)的過程。51自組織特征映射網(wǎng)絡(luò)v自組織特征映射網(wǎng)絡(luò)可以較好地完成自組織特征映射網(wǎng)絡(luò)可以較好地完成聚類任聚類任務(wù)務(wù)，其中每一個(gè)神經(jīng)元結(jié)點(diǎn)對應(yīng)一個(gè)聚類中，其中每一個(gè)神經(jīng)元結(jié)點(diǎn)對應(yīng)一個(gè)聚類中心。心。v與普通聚類算法不同，與普通聚類算法不同，類別間相似性大的類類別間相似性大的類別在自組織特征映射網(wǎng)絡(luò)結(jié)點(diǎn)平面上距離也別在自

31、組織特征映射網(wǎng)絡(luò)結(jié)點(diǎn)平面上距離也較近較近。v可以可以根據(jù)各個(gè)類別在平面上的相對位置進(jìn)行根據(jù)各個(gè)類別在平面上的相對位置進(jìn)行類別的合并和類別之間關(guān)系的分析類別的合并和類別之間關(guān)系的分析。52自組織特征映射網(wǎng)絡(luò)v自組織映射分析（自組織映射分析（SOMA）：）：將樣本集（原像）映射到自組織網(wǎng)絡(luò)網(wǎng)絡(luò)的神經(jīng)元平面上（像），統(tǒng)計(jì)各個(gè)結(jié)點(diǎn)的原像數(shù)目（像密度），將像密度較高且較集中的結(jié)點(diǎn)對應(yīng)的樣本識別為一類。這種方法不僅無需事先確定類別數(shù)，而且能夠更好地適應(yīng)樣本不同的分布情況。自組織映射像密度圖自組織映射像密度圖53神經(jīng)網(wǎng)絡(luò)v引言：人工智能聯(lián)結(jié)主義的學(xué)說引言：人工智能聯(lián)結(jié)主義的學(xué)說v人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)

32、絡(luò)的發(fā)展v人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念v感知器模型感知器模型vBP網(wǎng)絡(luò)和網(wǎng)絡(luò)和BP算法算法v徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法v競爭學(xué)習(xí)和側(cè)抑制競爭學(xué)習(xí)和側(cè)抑制v自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)vHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)54Hopfield神經(jīng)網(wǎng)絡(luò)vHopfield網(wǎng)絡(luò)：網(wǎng)絡(luò)：是神經(jīng)網(wǎng)絡(luò)發(fā)展是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家美國加州理工學(xué)院物理學(xué)家J. J. Hopfield教授于教授于1982年提出，是年提出，是一種一種單層反饋神經(jīng)網(wǎng)絡(luò)單層反饋神經(jīng)網(wǎng)絡(luò)。vHopfield利用利用中的中的方法

33、研究方法研究Hopfield 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，并建立了求解優(yōu)化計(jì)算問題的方程。并建立了求解優(yōu)化計(jì)算問題的方程。55Hopfield神經(jīng)網(wǎng)絡(luò)v1984年，年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了經(jīng)典的組合優(yōu)化問題電路，并成功地解決了經(jīng)典的組合優(yōu)化問題旅行商問題旅行商問題 (Traveling Salesmen Problem，TSP) 。 vHopfield網(wǎng)絡(luò)在網(wǎng)絡(luò)在及及等領(lǐng)域等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍范圍56Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)vHopfield神經(jīng)網(wǎng)絡(luò)是特殊的反饋網(wǎng)絡(luò)，除了神經(jīng)網(wǎng)絡(luò)是特殊的反饋網(wǎng)絡(luò)，除了滿足反饋網(wǎng)絡(luò)的性質(zhì)外，還滿足：滿足反饋網(wǎng)絡(luò)的性質(zhì)外，還滿足：全連接網(wǎng)絡(luò)：全連接網(wǎng)絡(luò)：即網(wǎng)絡(luò)中任意兩個(gè)即網(wǎng)絡(luò)中任意兩個(gè)不相同的不相同的單元之單元之間都有連線間都有連線權(quán)值對稱：權(quán)值對稱：而且這種連接是而且這種連接是對稱的對稱的,即即wij=wji。無自反饋：無自反饋： wii=0。v由于滿足對稱條件，由于滿足對稱條件， Hopfield神經(jīng)網(wǎng)絡(luò)是穩(wěn)神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的