機(jī)器學(xué)習(xí)算法之神經(jīng)網(wǎng)絡(luò)課件

機(jī)器學(xué)習(xí)算法

——人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuralNetwroks）報(bào)告人：曹杰（湖大團(tuán)隊(duì)）1編輯版pppt神經(jīng)網(wǎng)絡(luò)基本概念1神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法2BP神經(jīng)網(wǎng)絡(luò)3BP神經(jīng)網(wǎng)絡(luò)實(shí)例（Python）4目錄2編輯版pppt生物神經(jīng)元的模型神經(jīng)網(wǎng)絡(luò)的基本概念3編輯版pppt神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的n個(gè)輸入

接收的信息(其它神經(jīng)元的輸出)

作比較的閾值互連強(qiáng)度/連接權(quán)值激活函數(shù)輸出連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。神經(jīng)元模型：神經(jīng)元相當(dāng)于一個(gè)多元輸入一元輸出的信息處理單元4編輯版pppt神經(jīng)元的數(shù)學(xué)模型

上面的神經(jīng)元模型可以用一個(gè)數(shù)學(xué)表達(dá)式進(jìn)行抽象與概括，從而得到神經(jīng)元的數(shù)學(xué)模型：神經(jīng)元的網(wǎng)絡(luò)輸入記為net，即

有時(shí)為了方便，設(shè)則有：其中，5編輯版pppt激活函數(shù)1.閾值型激活函數(shù)2.S型激活函數(shù)3.分段線性激活函數(shù)6編輯版pppt數(shù)學(xué)神經(jīng)元例子7編輯版pppt8編輯版pppt神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)的最重要特征之一。實(shí)質(zhì)：同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。學(xué)習(xí)規(guī)則（典型的權(quán)值修正方法）：δ誤差修正學(xué)習(xí)、Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)方法：有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)9編輯版ppptδ學(xué)習(xí)規(guī)則（1）選擇一組初始權(quán)值wij(1)；（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差；（3）更新權(quán)值，閾值可視為輸入恒為（－1）的一個(gè)權(quán)值；式中，η：學(xué)習(xí)因子；dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入。（4）返回(2)，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體現(xiàn)在：權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。10編輯版pppt感知器*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點(diǎn)：*輸出層神經(jīng)元個(gè)數(shù)等于類別數(shù)（兩類問(wèn)題時(shí)輸出層為一個(gè)神經(jīng)元）。

感知器結(jié)構(gòu)示意圖11編輯版pppt設(shè)輸入模式向量，，共M類。輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類，輸出為wij：輸入模式第i個(gè)分量與輸出層第j個(gè)神經(jīng)元間的連接權(quán)。θj：第j個(gè)神經(jīng)元的閾值；

輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。令。取有12編輯版pppt感知器例子權(quán)重向量w。訓(xùn)練樣本x1.把權(quán)重向量初始化為0，或把每個(gè)分量初始化為[0,1]間的任意小數(shù)2.把訓(xùn)練樣本輸入感知器，得到分類結(jié)果（-1或1）3.根據(jù)分類結(jié)果更新權(quán)重向量13編輯版pppt權(quán)重更新算法14編輯版pppt權(quán)重更新示例15編輯版pppt閾值更新16編輯版pppt神經(jīng)網(wǎng)絡(luò)模型輸出層第二隱層第一隱層輸入層神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)元的連接方式不同，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也不同，人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定人工神經(jīng)網(wǎng)絡(luò)特征的第二要素，根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)不同，可將人工神經(jīng)網(wǎng)絡(luò)分成兩類，即分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)。17編輯版pppt分層網(wǎng)絡(luò)

分層網(wǎng)絡(luò)將一個(gè)神經(jīng)網(wǎng)絡(luò)中的所有神經(jīng)元按功能分為若干層，一般有輸入層、中間層（隱藏層）和輸出層。

分層網(wǎng)絡(luò)按照信息的傳遞方向可分為前向式網(wǎng)絡(luò)（如圖a）和反饋網(wǎng)絡(luò)（如圖b、c）。18編輯版ppptBP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來(lái)。3）分類：把輸入向量以所定義的合適方式進(jìn)行分類。4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。

BP神經(jīng)網(wǎng)絡(luò)（BackPropagationNeuralNetwork），即誤差后向傳播神經(jīng)網(wǎng)絡(luò)，是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一。19編輯版ppptBP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)注：與感知器模型不同的是，BP網(wǎng)絡(luò)的激活函數(shù)f（·）要求是可微的，所以不能用二值函數(shù)，常用S型的對(duì)數(shù)、正切函數(shù)或線性函數(shù)。BP神經(jīng)節(jié)點(diǎn)20編輯版ppptBP神經(jīng)網(wǎng)絡(luò)BP算法的兩個(gè)階段：BP算法由數(shù)據(jù)流的正向傳播和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。wij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。ji21編輯版ppptS型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。22編輯版pppt

對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)元的期望輸出為dpk，實(shí)際輸出為ypk。輸出層的輸出方差：若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當(dāng)輸入Xp時(shí)，wjk的修正增量：其中，由式得到：23編輯版pppt令，可得輸出單元的誤差：輸出單元的修正增量：

對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i

：

輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各層之間的權(quán)值進(jìn)行修正。24編輯版ppptBP算法建模步驟：第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。25編輯版ppptBP算法建模步驟：26編輯版ppptBP算法步驟：27編輯版ppptBP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)分析1、產(chǎn)生數(shù)據(jù)樣本集2、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)

選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。3、訓(xùn)練和測(cè)試包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)28編輯版ppptBP神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)1.問(wèn)題的描述下面列表中的數(shù)據(jù)是某地區(qū)20年公路運(yùn)量數(shù)據(jù)，在作為下一節(jié)的神經(jīng)網(wǎng)絡(luò)程序的輸入。其中屬性“人口數(shù)量”、“機(jī)動(dòng)車數(shù)量”和“公路面積”作為神經(jīng)網(wǎng)絡(luò)的三個(gè)輸入，屬性“公路客運(yùn)量”和“公路貨運(yùn)量”作為神經(jīng)網(wǎng)絡(luò)的兩個(gè)輸出。29編輯版pppt某地區(qū)20年公路運(yùn)量數(shù)據(jù)年份人口數(shù)量機(jī)動(dòng)車數(shù)量公路面積公路客運(yùn)量公路貨運(yùn)量20.550.60.095126123722.440.750.116217137925.370.850.117730138527.130.900.149145139929.451.050.2010460166330.11.350.2311387171430.961.450.2312353183434.061.600.3215750432236.421.700.3218304813238.091.850.3419836893639.132.150.362102411099200139.992.200.361949011203200241.932.250.382043310524200344.592.350.49225981111530編輯版pppt年份人口數(shù)量機(jī)動(dòng)車數(shù)量公路面積公路客運(yùn)量公路貨運(yùn)量

47.302.500.56251071332052.892.600.59334421676255.732.700.59368361867356.762.850.67405482072459.172.950.694292720803200960.633.100.794346