基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則

基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第1頁圖5-6MP神經(jīng)元模型01(x)F(x)基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第2頁人類含有學習能力，人類知識和智慧是在不停學習與實踐中逐步形成和發(fā)展起來。關(guān)于人工神經(jīng)網(wǎng)絡(luò)學習機制，包括到神經(jīng)元怎樣分布、處理和存放信息。常見人工神經(jīng)網(wǎng)絡(luò)學習規(guī)則以下，圖5-8是權(quán)值調(diào)整普通情況，其中：Wj為聯(lián)接到神經(jīng)元j權(quán)值向量，X為輸入向量，r為學習信號，d為導(dǎo)師信號。權(quán)向量調(diào)整準則為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第3頁式中

為學習速率。權(quán)值調(diào)整迭代格式為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第4頁

權(quán)值調(diào)整普通情況wXr(w,x,d)dj信號生成器Ojj

wjX

基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第5頁1)Hebbian學習規(guī)則1949年，心理學家D.O.Hebb最早提出了關(guān)于神經(jīng)網(wǎng)絡(luò)學習機理“突觸修正”假設(shè)。該假設(shè)指出，當神經(jīng)元突觸前膜電位與后膜電位同時為正時，突觸傳導(dǎo)增強，當前膜電位與后膜電位正負相反時，突觸傳導(dǎo)減弱，也就是說，當神經(jīng)元i與神經(jīng)元j同時處于興奮狀態(tài)時，二者之間連接強度應(yīng)增強。依據(jù)該假設(shè)定義權(quán)值調(diào)整方法，稱為Hebbian學習規(guī)則。在Hebbian學習規(guī)則中，學習信號簡單地等于神經(jīng)元輸出基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第6頁式中W為權(quán)向量，X為輸入向量。權(quán)向量調(diào)整公式為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第7頁權(quán)向量中，每個分量調(diào)整由下式確定上式表明，權(quán)值調(diào)整量與輸入輸出乘積成正比。顯然，經(jīng)常出現(xiàn)輸入模式將對權(quán)向量有最大影響。在這種情況下，Hebbian學習規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以預(yù)防輸入和輸出正負一直一致時出現(xiàn)權(quán)值無約束增加。另外，要求權(quán)值初始化，即在學習開始前(t=0)，先對Wj(0)賦予零附近小隨機數(shù)。Hebbian學習規(guī)則代表一個純前饋、無導(dǎo)師學習。該規(guī)則至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著主要作用。基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第8頁2)Perceptron（感知器）學習規(guī)則1958年，美國學者FrankRosenblatt首次定義了一個含有單層計算單元神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。感知器學習規(guī)則要求，學習信號等于神經(jīng)元期望輸出（老師信號）與實際輸出之差基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第9頁式中為期望輸出，。感知器采取了與閾值轉(zhuǎn)移函數(shù)類似符號轉(zhuǎn)移函數(shù)，其表示為所以，權(quán)值調(diào)整公式應(yīng)為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第10頁式中，當實際輸出與期望值相同時，權(quán)值不需要調(diào)整；在有誤差存在情況下，因為、，權(quán)值調(diào)整公式簡化為感器學習規(guī)則只適合用于二進制神經(jīng)元，初始權(quán)值可取任意值。感知器學習規(guī)則代表一個有導(dǎo)師學習。因為感知器理論是研究其它神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，該規(guī)則對于神經(jīng)網(wǎng)絡(luò)有導(dǎo)師學習含有極為主要意義。基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第11頁3)δ(Delta)學習規(guī)則1986年，認知心理學家McClelland和Rumelhart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了δ規(guī)則，該規(guī)則亦可稱為連續(xù)感知器學習規(guī)則，與上述離散感知器學習規(guī)則并行。δ規(guī)則學習信號要求為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第12頁上式定義學習信號稱為。式中是轉(zhuǎn)移函數(shù)導(dǎo)數(shù)。顯然，規(guī)則要求轉(zhuǎn)移函數(shù)可導(dǎo)，所以只適合用于有導(dǎo)師學習中定義連續(xù)轉(zhuǎn)移函數(shù)，如Sigmoid函數(shù)。實際上，規(guī)則很輕易由輸出值與期望值最小平方誤差條件推導(dǎo)出來。定義神經(jīng)元輸出與期望輸出之間平方誤差為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第13頁式中，誤差E是權(quán)向量Wj函數(shù)。欲使誤差E最小，Wj應(yīng)與誤差負梯度成正比，即式中，百分比系數(shù)η是一個正常數(shù)。由式(5-12)，誤差梯度為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第14頁能夠看出，上式中η與X之間個別正是式(5-11)中定義學習信號δ。ΔWj中每個分量調(diào)整由下式計算學習規(guī)則可推廣到多層前饋網(wǎng)絡(luò)中，權(quán)值可初始化為任意值?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第15頁4)Widrow-Hoff學習規(guī)則1962年，BernardWidrow和MarcianHoff提出了Widrow-Hoff學習規(guī)則，又稱為最小均方規(guī)則(LMS)。Widrow-Hoff學習規(guī)則學習信號為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第16頁權(quán)向量調(diào)整量為..各分量為實際上，假如在學習規(guī)則中假定社會元轉(zhuǎn)移函數(shù)為，則有，此時式(5-11)與式(5-17)相同?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第17頁所以，Widrow-Hoff學習規(guī)則能夠看成是學習規(guī)則一個特殊情況。該學習規(guī)則與神經(jīng)元采取轉(zhuǎn)移函數(shù)無關(guān)，因而不需要對轉(zhuǎn)移函數(shù)求導(dǎo)數(shù)，不但學習速度較快，而且含有較高精度。權(quán)值可初始化為任意值?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第18頁5)Correlation（相關(guān)）學習規(guī)則相關(guān)學習規(guī)則學習信號為易得出分別為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第19頁該規(guī)則表明，當dj是xi期望輸出時，對應(yīng)權(quán)值增量Δωij與二者乘積djxi成正比。假如Hebbian學習規(guī)則中轉(zhuǎn)移函數(shù)為二進制函數(shù)，且有oj=dj，則相Δ關(guān)學習規(guī)則可看作Hebbian規(guī)則一個特殊情況。應(yīng)該注意是，Hebbian學習規(guī)則是無導(dǎo)師學習，而相關(guān)學習規(guī)則是有導(dǎo)師學習。這種學習規(guī)則要求將權(quán)值初始化為零。基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第20頁6)Winner-Take-all（勝者為王）學習規(guī)則Winner-Take-all學習規(guī)則是一個競爭學習規(guī)則，用于無導(dǎo)師學習。普通將網(wǎng)絡(luò)某一層確定為競爭層，對于一個特定輸入X，競爭層全部p個神經(jīng)元都有輸出響應(yīng)，其中響應(yīng)值最大神經(jīng)元為在競爭中獲勝神經(jīng)元，即基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第21頁只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整量為基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第22頁式中，，是學習常數(shù)，普通其值伴隨學習進展而減小。因為兩個向量點積越大，表明二者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值結(jié)果是使Wm深入靠近當前輸入X。顯然，當下次出現(xiàn)與X相像輸入模式時，上次獲勝神經(jīng)元更輕易獲勝。在重復(fù)競爭學習過程中，競爭層各神經(jīng)元所對應(yīng)權(quán)向量被逐步調(diào)整為輸入樣本空間聚類中心。在有些應(yīng)用中，以獲勝神經(jīng)元為中心定義一個獲勝領(lǐng)域，除獲勝神經(jīng)元調(diào)整權(quán)值外，領(lǐng)域內(nèi)其它神經(jīng)元也不一樣程度地調(diào)整權(quán)值。權(quán)值普通被初始化為任意值并進行歸一化處理?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第23頁7)Outstar（外星）學習規(guī)則神經(jīng)網(wǎng)絡(luò)中有兩類常見節(jié)點，分別稱為內(nèi)星節(jié)點和外星節(jié)點，其特點見圖5-8和5-9。圖5-8中內(nèi)星節(jié)點總是接收來自四面八方輸入加權(quán)信號，所以是信號匯聚點，對應(yīng)權(quán)值向量稱為內(nèi)星權(quán)向量；圖5-9中外星節(jié)點總是向四面八方發(fā)出輸出加權(quán)信號，所以是信號發(fā)散點，對應(yīng)權(quán)值向量稱為外星權(quán)向量。內(nèi)星學習規(guī)則定內(nèi)星節(jié)點輸出響應(yīng)是輸入向量X和內(nèi)星權(quán)向量Wj點積。該點積反應(yīng)了X與Wj相同程度，其權(quán)值按式(5-23)調(diào)整。所以Winner-Take-All學習規(guī)則與內(nèi)星規(guī)則一致?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第24頁下面介紹外星學習規(guī)則。外星學習規(guī)則屬于有導(dǎo)師學習，其目標是為了生成一個期望維輸出向量，設(shè)對應(yīng)外星權(quán)向量用Wj表示，學習規(guī)則以下基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第25頁式中，η要求與作用與式(5-23)中α相同，給出外星學習規(guī)則使節(jié)點j對應(yīng)外星權(quán)向量向期望輸出向量d靠近。WijWnjW1jjWijWnjW1jj基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第26頁2.4神經(jīng)網(wǎng)絡(luò)學習基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第27頁人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元（簡稱神經(jīng)元）互聯(lián)組成網(wǎng)絡(luò)，它是從微觀結(jié)構(gòu)和功效上對人腦抽象、簡化，是模擬人類智能一條主要路徑，反應(yīng)了人腦功效若干基礎(chǔ)特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。當前，已發(fā)展了幾十種神經(jīng)網(wǎng)絡(luò)，比如Hopfield模型，F(xiàn)eldmann等連接型網(wǎng)絡(luò)模型，Hinton等玻爾茨曼機模型，以及Rumelhart等多層感知機模型和Kohonen自組織網(wǎng)絡(luò)模型等等?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第28頁在這眾多神經(jīng)網(wǎng)絡(luò)模型中，應(yīng)用最廣泛是多層感知機神經(jīng)網(wǎng)絡(luò)。多層感知機神經(jīng)網(wǎng)絡(luò)研究始于20世紀50年代，但一直進展不大。直到1985年，Rumelhart等人提出了誤差反向傳遞學習算法（即BP算法），實現(xiàn)了Minsky多層網(wǎng)絡(luò)構(gòu)想?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第29頁神經(jīng)網(wǎng)絡(luò)對控制領(lǐng)域和反問題研究有吸引力特征表現(xiàn)在：(1)能迫近任意L2上非線性函數(shù)；(2)信息并行分布式處理與存放；(3)能夠多輸入、多輸出；(4)便于用超大規(guī)模集成電路(VLSI)或光學集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有計算機技術(shù)實現(xiàn)；(5)能進行學習，以適應(yīng)環(huán)境改變?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第30頁決定網(wǎng)絡(luò)整體性能三大要素包含：(1)神經(jīng)元（信息處理單元）特征；(2)神經(jīng)元間相互聯(lián)接形式—拓撲結(jié)構(gòu)；(3)為適應(yīng)環(huán)境而改進性能學習規(guī)則。表5-1為對神經(jīng)網(wǎng)絡(luò)發(fā)展有主要影響神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第31頁神經(jīng)網(wǎng)絡(luò)經(jīng)過相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定規(guī)則（或?qū)W習算法）不停改變網(wǎng)絡(luò)各層連接權(quán)值，使網(wǎng)絡(luò)輸出不停地靠近期望輸出值，這一個過程稱為神經(jīng)網(wǎng)絡(luò)學習或訓(xùn)練。學習實質(zhì)是可變權(quán)值動態(tài)調(diào)整自適應(yīng)過程。改變權(quán)值規(guī)則稱為學習規(guī)則或?qū)W習算法（對應(yīng)也稱訓(xùn)練規(guī)則或訓(xùn)練算法）。單個處理單元，不論采取哪一個學習規(guī)則進行調(diào)整，其算法都十分簡單。大量處理單元集體進行權(quán)值調(diào)整時，網(wǎng)絡(luò)就展現(xiàn)出“智能”特征?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第32頁神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功效不一樣，學習方法也各不相同。在人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和轉(zhuǎn)移函數(shù)決定以后，怎樣設(shè)計權(quán)使網(wǎng)絡(luò)到達一定要求，就成為決定神經(jīng)網(wǎng)絡(luò)信息處理性能第三大要素。學習問題歸根結(jié)底就是網(wǎng)絡(luò)連接權(quán)調(diào)整問題，其方法有以下幾個：基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第33頁名稱提出者年代經(jīng)典應(yīng)用領(lǐng)域不足特點Perceptron(感知器)FrankRosenblatt(康奈爾大學)1958文字識別、聲音識別、聲納信號識別、學習記憶問題研究不能識別識別復(fù)雜字符，對字大小、平移和傾斜敏感最早神經(jīng)網(wǎng)絡(luò)，已極少應(yīng)用；有學習能力，只能進行線形分類Adaline(自適應(yīng)線形單元)和Madaline(多個Adaline組合網(wǎng)絡(luò))BernardWidrow(斯坦福大學)1960~1962雷達天線控制,自適應(yīng)回波抵消，適應(yīng)性調(diào)制解調(diào)，電話線中適應(yīng)性賠償?shù)纫筝斎?輸出之間為線性關(guān)系學習能力較強，較早開始商業(yè)應(yīng)用，Madaline是Adaline功效擴展Avalanche(雪崩網(wǎng))S.Drossberg(波士頓大學)1967連續(xù)語音識別，機器人手臂運動教學指令不易改變運動速度和插入運動Cerellatron（小腦自動機）D.Marr（麻省理工學院）1969~1982控制機器人手臂運動需要復(fù)雜控制輸入類似于Avalanche網(wǎng)絡(luò)，能調(diào)和各種指令序列，按需要緩緩地插入動作BackPropagation(誤差反傳網(wǎng)絡(luò))P.Werbos(哈佛大學)Davidumlhart(斯坦福大學)JamesMeClelland(斯坦福大學)1974~1985語音識別，工業(yè)過程控制，貸款信用評定，股票預(yù)測，自適應(yīng)控制等需要大量輸入-輸出數(shù)據(jù)，訓(xùn)練時間長，易陷入局部極小多層前饋網(wǎng)絡(luò)，采取最小均方差學習方式，是當前應(yīng)用最廣泛學習網(wǎng)絡(luò)基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第34頁Self-organizingfeaturemap(自組織特征映射網(wǎng)絡(luò))TuevoKonhonen(芬蘭赫爾辛基技術(shù)大學)1980語音識別，機器人控制，工業(yè)過程控制，圖像壓縮，教授系統(tǒng)等模式類型數(shù)需預(yù)先知道對輸入樣本自組織聚類，可映射樣本空間分布Hopfield網(wǎng)絡(luò)JohnHopfield(加州理工學院)1982求解TSP問題，線性規(guī)劃，聯(lián)想記憶和用于辨識無學習能力，連接要對稱，權(quán)值要預(yù)先給定單層自聯(lián)想網(wǎng)絡(luò)，可從有缺點和有噪聲輸入中恢復(fù)完整信息Boltzmanmachine(玻爾茲曼機)Cauchymachine(柯西機)J.Hinton(多倫多大學)T.Sejnowski(霍爾金斯大學)1985~1986圖像、聲納和雷達等模式識別波爾茲曼機訓(xùn)練時間長，柯西機在一些統(tǒng)計分布下產(chǎn)生噪聲采取隨機學習算法網(wǎng)絡(luò)，可訓(xùn)練實現(xiàn)全局最優(yōu)BidirectionalAssociativeMemory(BAM,雙向聯(lián)想記憶網(wǎng))BartKosko(南加州大學)1985~1988內(nèi)容尋址聯(lián)想記憶存放密度低，數(shù)據(jù)必須適應(yīng)編碼雙向聯(lián)想式單層網(wǎng)絡(luò)，含有學習功效，簡單易學CounterPropagation(CPN,雙向傳輸網(wǎng))RobertHecht-Nielsen1986神經(jīng)網(wǎng)絡(luò)計算機，圖像分析和統(tǒng)計分析需要大量處理單元和連接，需要高度準確一個在功效上作為統(tǒng)計最優(yōu)化和概率密度函數(shù)分析網(wǎng)絡(luò)基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第35頁AdaptiveResonanceTheory(自適應(yīng)共振理論ART)有ART1、ART2和ART33種類型G.CarpenterandSGrossberg(波士頓大學)1976~1990模式識別領(lǐng)域，擅長識別復(fù)雜模式或未知模式受平移、旋轉(zhuǎn)及尺度影響；系統(tǒng)比較復(fù)雜，難以用硬件實現(xiàn)能夠?qū)θ我舛嗪腿我鈴?fù)雜二維模式進行自組織學習，ART1用于二進制，ART2用于連續(xù)信號BrainStateinaBox(盒中腦BSB網(wǎng)絡(luò))JamesAnderson（布朗大學）1977解釋概念形成，分類和知識處理只能作一次性決議，無重復(fù)性共振含有最小均方差單層自聯(lián)想網(wǎng)絡(luò)，類似于雙向聯(lián)想記憶，可對片段輸入補全Neocognition(新認知機)FukushimaK福島邦彥(日本廣播協(xié)會)1978~1984手寫字母識別需要大量加工單元和聯(lián)絡(luò)多層結(jié)構(gòu)化字符識別網(wǎng)絡(luò)，與輸入模式大小、平移和旋轉(zhuǎn)無關(guān)，能識別復(fù)雜字形基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第36頁圖5-1有導(dǎo)師學習神經(jīng)網(wǎng)絡(luò)模型圖5-2無導(dǎo)師學習神經(jīng)網(wǎng)絡(luò)模型

期望輸出實際輸出學習機輸入ANN比較實際輸出學習機輸入ANN自我比較基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第37頁1)有導(dǎo)師學習(SupervisedLearning,SL)，在學習過程中，網(wǎng)絡(luò)依據(jù)實際輸出與期望輸出比較，進行聯(lián)接權(quán)值調(diào)整，將期望輸出稱為導(dǎo)師信號，它是評價學習標準。這種學習模式采取糾錯規(guī)則，學習方法要在給出輸入模式X同時在輸出側(cè)還要給出與之對應(yīng)目標模式，又稱老師信號或期望輸出模式，二者一起稱為訓(xùn)練對?；A(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學習規(guī)則第38頁普通訓(xùn)練一個網(wǎng)絡(luò)需要許多個訓(xùn)練對，稱為訓(xùn)練集。學習時，使用訓(xùn)練集中某個輸入模式，得到一個網(wǎng)絡(luò)實際輸出模式y(tǒng)，再與期望輸出模式J相比較，不相符時求出誤差，按誤差大小和方向調(diào)整權(quán)值，以使誤差向著減小方向改變。然后逐一用訓(xùn)練集中每個訓(xùn)練對，不停地修改網(wǎng)絡(luò)權(quán)