人工神經(jīng)網(wǎng)絡(luò)

第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器主講內(nèi)容◆§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)◆§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則◆

§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性

定理◆§3.4本講問(wèn)題本章目的：①介紹各種學(xué)習(xí)算法的數(shù)學(xué)原理、分析學(xué)習(xí)性質(zhì)；②說(shuō)明算法的使用。（不講有關(guān)的算法的生理學(xué)、生物學(xué)原理）第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)3.1.1機(jī)器學(xué)習(xí)3.1.2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及其分類第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.1.1機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)━━AI的一個(gè)分支學(xué)科

§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

人類學(xué)習(xí)行為（客觀世界）→研究歸納、類比等基本方法→獲取各種知識(shí)和技能。機(jī)器學(xué)習(xí)→了解人類的各種學(xué)習(xí)過(guò)程→建立各種學(xué)習(xí)模型→賦予機(jī)器的學(xué)習(xí)能力。有了學(xué)習(xí)能力，才能不斷自我完善，自我校正，自動(dòng)獲取和發(fā)現(xiàn)新的知識(shí)……

沒(méi)有機(jī)器學(xué)習(xí)的系統(tǒng)不會(huì)是一個(gè)真正的智能系統(tǒng)。機(jī)器學(xué)習(xí)目前已經(jīng)有：事例學(xué)習(xí)、遺傳學(xué)習(xí)、類比學(xué)習(xí)……

第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)器學(xué)習(xí)的發(fā)展歷史：①20世紀(jì)50年代中期

研究沒(méi)有任何初始知識(shí)的通用學(xué)習(xí)系統(tǒng)，尤其是神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

主要特點(diǎn)：數(shù)值表示和參數(shù)調(diào)整，比如感知機(jī)、生物進(jìn)化過(guò)程模擬等。AI：符號(hào)表示和啟發(fā)式方法，即偏于模式識(shí)別②20世紀(jì)60年代初期

概念學(xué)習(xí)和語(yǔ)言獲取。

主要特點(diǎn)：符號(hào)表示（已成為AI主要方法）③20世紀(jì)70年代中后期專家系統(tǒng)和知識(shí)工程形成，對(duì)知識(shí)尤為關(guān)注，興盛時(shí)期。④20世紀(jì)80年代中后期

源于神經(jīng)網(wǎng)絡(luò)的重新興起，使非符號(hào)的神經(jīng)網(wǎng)絡(luò)研究和符號(hào)學(xué)習(xí)得以深入開(kāi)展。

第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)器學(xué)習(xí)的發(fā)展歷史：⑤20世紀(jì)90年代

有限樣本統(tǒng)計(jì)理論線性空間表示,Vapnik：SVM（1991）;

弱學(xué)習(xí)定理（1990）;Freund：AdaBoost（1996）⑥21世紀(jì)近10年----流形學(xué)習(xí)研究熱局部線性嵌入(LLE)

等距映射(Isomap)

拉普拉斯特征映射(LaplacianEigenmap)……

第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤17對(duì)象的層次性流形（HML）構(gòu)造高維特征空間的層次性流形學(xué)習(xí)◆流形學(xué)習(xí)降維研究目標(biāo)高維特征低維嵌套的非線性映射，提供目標(biāo)特性低維表達(dá)的有效方式

LLE、ISOMap、LaplacianEigenmap、HessianEigenmap等多子流形◆多類別高分影像對(duì)象廣泛存在大類、小類等層次性結(jié)構(gòu)單一結(jié)構(gòu)的流形難以更準(zhǔn)確進(jìn)行非線性映射◆層次性流形（HML）不同類別、不同層次的多個(gè)子流形父流形與子流形間關(guān)系，通過(guò)自下而上“共

享特征”實(shí)現(xiàn)層次性鄰及矩陣18◆流形學(xué)習(xí)降維廣義回歸神經(jīng)網(wǎng)絡(luò)GRNN解決out-of-sample通過(guò)層次性流形（HML）降維，解譯精度比單一流形性能顯著提高高維特征空間的層次性流形學(xué)習(xí)該方法得到了國(guó)際同行評(píng)價(jià)“Thisisacompletelyvalidapproachfromapragmaticperspective,andcanevenleadtobetterresults”§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)3.1.2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)及其分類人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法：3.1.2.1有無(wú)導(dǎo)師的學(xué)習(xí)方式

與機(jī)器學(xué)習(xí)類似：事例學(xué)習(xí)、無(wú)導(dǎo)師學(xué)習(xí)、死記式學(xué)習(xí)…。主要分為：①監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）

依據(jù)期望值與實(shí)際網(wǎng)絡(luò)輸出值之差來(lái)調(diào)整連接權(quán)，因此需要有導(dǎo)師來(lái)提供期望值。

將訓(xùn)練樣本的數(shù)據(jù)加入到網(wǎng)絡(luò)輸入端，由期望輸出與網(wǎng)絡(luò)輸出得到誤差信號(hào)，由此控制連接權(quán)的調(diào)整，多次訓(xùn)練使得連接權(quán)收斂到某個(gè)確定值。

反傳網(wǎng)絡(luò)、感知器、LVQ算法、廣義規(guī)則……第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)②非監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)）

神經(jīng)元僅根據(jù)I/O來(lái)修正連接權(quán)。直接將網(wǎng)絡(luò)置于環(huán)境中，學(xué)習(xí)階段與工作階段于一體，具有自適應(yīng)性。

比如：Hebb學(xué)習(xí)規(guī)則（簡(jiǎn)單），競(jìng)爭(zhēng)學(xué)習(xí)（復(fù)雜）、ART、自組織映射…③強(qiáng)化學(xué)習(xí)

（有導(dǎo)師學(xué)習(xí)的特例）

采用“評(píng)論員”來(lái)評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度（質(zhì)量因子）。

典型例子：遺傳算法（Gas）。3.1.2.2來(lái)自環(huán)境刺激模式的多少分類①聯(lián)想式學(xué)習(xí)②非聯(lián)想式學(xué)習(xí)第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.1機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)3.1.2.3網(wǎng)絡(luò)連接方式來(lái)分①階層②相互連接

一旦神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確定后，學(xué)習(xí)就是連接權(quán)的修正。學(xué)習(xí)模型：第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則3.2.1Hebb學(xué)習(xí)規(guī)則3.2.2剃度下降算法與學(xué)習(xí)規(guī)則3.2.３其它幾種學(xué)習(xí)規(guī)則第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則3.2.1Hebb學(xué)習(xí)規(guī)則

Hebb（美國(guó)心理學(xué)家）1949年提出假說(shuō)（OrganizationofBehavior）：“如果兩個(gè)神經(jīng)元A和B有一個(gè)共同的突觸S，那么當(dāng)兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，突觸的強(qiáng)度增強(qiáng)?！?/p>

規(guī)則：當(dāng)?shù)趇個(gè)和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)時(shí)，其連接權(quán)加強(qiáng)。（最簡(jiǎn)單的非監(jiān)督學(xué)習(xí)）學(xué)習(xí)速率參數(shù)（訓(xùn)練速率參數(shù)）、輸入輸出權(quán)的初始化：在0附近取很小的隨機(jī)值。第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則3.2.2剃度下降算法與學(xué)習(xí)規(guī)則

①剃度下降算法的一般形式

其中E為誤差函數(shù)。

誤差反傳訓(xùn)練算法（BP）就是由梯隊(duì)算法推導(dǎo)出來(lái)的，收斂速度慢。②學(xué)習(xí)訓(xùn)練算法（最小均方規(guī)則）

學(xué)習(xí)規(guī)則：用神經(jīng)元的輸出值與期望值之間的最小平方誤差來(lái)調(diào)整連接權(quán)。第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則

剃度向量

標(biāo)量

令

標(biāo)量可以推廣于多層網(wǎng)絡(luò)。學(xué)習(xí)訓(xùn)練算法為剃度下降算法的一個(gè)特例。

第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則3.2.3其它幾種學(xué)習(xí)規(guī)則

①內(nèi)外星學(xué)習(xí)規(guī)則Grossberg1974年提出來(lái)的，由信號(hào)的流向確定是內(nèi)星還是外星。

內(nèi)星：節(jié)點(diǎn)通過(guò)連接權(quán)接受一組輸入信號(hào)。

連接權(quán)的學(xué)習(xí)規(guī)則：第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.2幾種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則

外星：節(jié)點(diǎn)通過(guò)連接權(quán)輸出一組信號(hào)。

連接權(quán)的學(xué)習(xí)規(guī)則：②Winner-Take-All（勝者為王）學(xué)習(xí)規(guī)則(無(wú))③隨機(jī)訓(xùn)練算法(概率/能量)④模擬退火算法⑤Widrow-Hoff學(xué)習(xí)規(guī)則……第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.3.1感知器學(xué)習(xí)規(guī)則及算法3.2.2簡(jiǎn)單感知器的局限性3.2.３感知器的收斂性Theconceptualschemefor‘learning’inthiscontextisamachinewithaninputchannelforfigures,apairofYESandNOoutputindicators,andareinforcementor‘reward’buttonthatthemachine’soperatorcanusetoindicatehisapprovalordisapprovalofthemachine’sbehavior.”——M.L.MinskyandS.A.Papert,“Perceptron”(1988)§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.3.1感知器學(xué)習(xí)規(guī)則及算法

感知器（perceptron）是1957年美國(guó)Rosenblatt提出的單層計(jì)算單元的網(wǎng)絡(luò)，相當(dāng)于一個(gè)神經(jīng)元。也稱線性閾值單元（LTU）?！?.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤

在感知器中，連接權(quán)是可以改變的，即可以學(xué)習(xí)訓(xùn)練的。Rosenblatt已證明如果兩類模式是線性可區(qū)分的，則算法一定會(huì)收斂，即連接權(quán)一定會(huì)存在，否則在分類邊界產(chǎn)生震蕩，使連接權(quán)不收斂。

學(xué)習(xí)規(guī)則：

學(xué)習(xí)信號(hào)（或?qū)熜盘?hào)）：期望值d與實(shí)際輸出值之差。連接權(quán)的調(diào)整形式：學(xué)習(xí)速率參數(shù)常常，有助于訓(xùn)練規(guī)則朝正確解收斂，太小，將產(chǎn)生慢收斂，太大，將可能引起震蕩。§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤

迭代算法過(guò)程：①確定初始值，包括連接權(quán)較小的非零隨機(jī)值（包括閾值）；②輸入不同的訓(xùn)練樣本和導(dǎo)師信號(hào)d或者期望的輸出；③計(jì)算實(shí)際輸出④修正連接權(quán)⑤轉(zhuǎn)入②步，重復(fù)②～④的步驟，直到連接權(quán)向量收斂，停止迭代訓(xùn)練過(guò)程。ANN的學(xué)習(xí)過(guò)程就是訓(xùn)練過(guò)程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過(guò)程中，按照一定的方式來(lái)調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來(lái)，從而使得網(wǎng)絡(luò)在接受輸入時(shí)，能夠給出適當(dāng)?shù)妮敵觥?/p>

§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.3.2簡(jiǎn)單感知器的局限性

僅能進(jìn)行簡(jiǎn)單的線性分類和解決一階謂詞邏輯。W/|W|二維的廣義線性可分離方程：n維的廣義線性可分離方程：§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.3.2簡(jiǎn)單感知器的局限性

“線性不可分”問(wèn)題的困境及其解決1969年，Minsky和Papert在“Perceptron”一書(shū)中從理論上證明單層感知器無(wú)法解決許多簡(jiǎn)單的問(wèn)題，包括“異或(XOR)”問(wèn)題。使得ANN理論的發(fā)展在1970～80年代處于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退……MarvinMinskyMITMediaLabandMITAILab

ToshibaProfessorofMediaArtsandSciences

ProfessorofE.E.andC.S.,M.I.T

§3.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤對(duì)異或（Exclusive-OR-XOR）問(wèn)題，無(wú)法求解。XORy01x001110XOR是一個(gè)雙輸入、單輸出問(wèn)題。對(duì)應(yīng)的單層感知器為：xyabzax+by=xy無(wú)論如何選擇參數(shù)a，b，，都無(wú)法滿足劃分。這種由單層感知器不能表達(dá)的問(wèn)題稱為線性不可分問(wèn)題。盡管簡(jiǎn)單感知器學(xué)習(xí)算法有局限性，但是它還是給出了單個(gè)神經(jīng)元的自組織、自學(xué)習(xí)的算法，對(duì)神經(jīng)網(wǎng)絡(luò)研究有其重要意義?！?.3感知器學(xué)習(xí)規(guī)則、算法以及收斂性定理第三講神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和感知器┃主講人方濤3.3.3感知器的收斂性

收斂定理：（1958年Rosenblatt里程碑式的進(jìn)展）

假設(shè)函數(shù)線性可分，那么經(jīng)過(guò)感知器學(xué)習(xí)算法有限次迭代后，可以收斂到正確的權(quán)值或者權(quán)向量。

假定①訓(xùn)練樣本為單位向量；②依據(jù)函數(shù)的線性可區(qū)分性，將所有小于0的輸出都?xì)w化為大于0的輸出，即

則以替換，則有

只需證明：如果存在使得則

下列