數(shù)據(jù)挖掘 神經(jīng)網(wǎng)絡(luò)

第9章神經(jīng)網(wǎng)絡(luò)2/5/20231第9章神經(jīng)網(wǎng)絡(luò)9.1引例9.2人工神經(jīng)網(wǎng)絡(luò)9.2.2神經(jīng)元模型9.3BP算法9.4工具包應(yīng)用2/5/202329.1引例對(duì)于由第1式給出的系統(tǒng)，可以產(chǎn)生一系列的數(shù)據(jù)假設(shè)第1式我們并不知道，但是我們可以用第2式給出的多元線性回歸找到近似規(guī)律，但這種方式并沒(méi)有很好的精度人工神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性規(guī)律2/5/202339.2人工神經(jīng)網(wǎng)絡(luò)9.2.1人工神經(jīng)網(wǎng)絡(luò)概述9.2.2神經(jīng)元模型9.2.3網(wǎng)絡(luò)結(jié)構(gòu)2/5/202349.2.1人工神經(jīng)網(wǎng)絡(luò)概述第一個(gè)階段可稱之為啟蒙階段，這是神經(jīng)網(wǎng)絡(luò)理論研究的奠基階段第二階段是低潮期?！禤ercep2trons》一書，指出簡(jiǎn)單的線性感知器的功能是有限的，它無(wú)法解決線性不可分的兩類樣本的分類問(wèn)題第三個(gè)階段為神經(jīng)網(wǎng)絡(luò)的復(fù)興時(shí)期，這是神經(jīng)網(wǎng)絡(luò)理論研究的主要發(fā)展時(shí)期2/5/20235大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)圖3神經(jīng)元的解剖圖神經(jīng)元與神經(jīng)網(wǎng)絡(luò)2/5/20236神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)．樹突由于電化學(xué)作用接受外界的刺激；通過(guò)胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過(guò)軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來(lái)看；這一過(guò)程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過(guò)程神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面從生理上、解剖學(xué)上進(jìn)行研究從工程技術(shù)上、算法上進(jìn)行研究2/5/20237神經(jīng)元的數(shù)學(xué)模型

神經(jīng)元的數(shù)學(xué)模型9.2.2神經(jīng)元模型2/5/202382/5/202392/5/202310其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．2/5/202311例如，若記

取激發(fā)函數(shù)為符號(hào)函數(shù)

則

S型激發(fā)函數(shù)：

2/5/2023129.2.3網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)節(jié)點(diǎn)層數(shù)，可分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)根據(jù)有無(wú)反饋，可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)...輸入層隱層輸出層x1x2...xmh1hky1yn...2/5/202313單層網(wǎng)絡(luò)2/5/202314人工神經(jīng)網(wǎng)絡(luò)模型(a)簡(jiǎn)單的前向神經(jīng)網(wǎng)絡(luò)(b)具有反饋的前向神經(jīng)網(wǎng)絡(luò)(c)具有層內(nèi)互聯(lián)的神經(jīng)網(wǎng)絡(luò)2/5/202315一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具.ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。2/5/2023169.3BP算法9.3.1引例9.3.2反向傳播算法（BP算法）9.3.3算法舉例9.3.4BP算法描述2/5/202317一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。另一方面,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。2/5/2023189.3.1引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af2/5/202319問(wèn)：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問(wèn)它們應(yīng)分別屬于哪一個(gè)種類？

解法一：把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見(jiàn)下圖1圖1飛蠓的觸角長(zhǎng)和翼長(zhǎng)2/5/2023202/5/202321思路：作一直線將兩類飛蠓分開(kāi)

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過(guò)AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中X表示觸角長(zhǎng)；y表示翼長(zhǎng)．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

2/5/202322分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．分類直線圖

2/5/202323?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問(wèn)題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線．2/5/202324再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。2/5/202325基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV2/5/2023269.3.2反向傳播算法（B-P算法）

Backpropagationalgorithm1．簡(jiǎn)單網(wǎng)絡(luò)的B-P算法

算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)（權(quán)系數(shù)）2/5/202327假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip,Tp）,p=1,…,P,其中

輸入向量為

:目標(biāo)輸出向量為（實(shí)際上的）:

網(wǎng)絡(luò)輸出向量為

（理論上的）

2/5/202328（p=1,…,P）

（2）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

2/5/202329ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）2/5/2023302/5/202331圖7多層前饋網(wǎng)絡(luò)

2．多層前饋網(wǎng)絡(luò)

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．假設(shè)：(2)設(shè)表示第k層第i神經(jīng)元所接收的信息wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重，表第k層第i個(gè)元的輸出2/5/202332（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無(wú)信息傳輸．

(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较颍灰虼朔Q為前向網(wǎng)絡(luò)．沒(méi)有反向傳播信息．（5）表示輸入的第j個(gè)分量．假設(shè)：2/5/202333在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中表示第k層第i個(gè)元的閾值.2/5/202334定理2

對(duì)于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

（8）（9）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為（10）表示第-1層第個(gè)元對(duì)第層第個(gè)元輸入的第次迭代時(shí)的權(quán)重

其中

（11）（12）2/5/202335BP算法

Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機(jī)確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3

2/5/2023369.3.3應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：

翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

2/5/202337輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對(duì)應(yīng)15個(gè)輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）建立神經(jīng)網(wǎng)絡(luò)2/5/202338規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：為閾值

其中2/5/202339分析如下：

為第一層的輸出，同時(shí)作為第二層的輸入。其中，為閾值，為激勵(lì)函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

2/5/202340則有：取激勵(lì)函數(shù)為=則同樣，取

2/5/202341（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);

(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=2/5/202342?。?）計(jì)算因?yàn)樗?/p>

（4）取

（或其他正數(shù)，可調(diào)整大小）

2/5/202343(5)計(jì)算

和

j=1,2,3,i=1,2,3,計(jì)算

j=1,2,3j=1,2,32/5/202344(6)p=p+1，轉(zhuǎn)（2）

注：僅計(jì)算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。最后結(jié)果是：2/5/202345即網(wǎng)絡(luò)模型的解為：

=2/5/2023469.3.4BP算法描述輸入：給定訓(xùn)練集Xtrain，其中每一個(gè)訓(xùn)練樣本都是由一組輸入和一組輸出構(gòu)成，所有的輸入和輸出都是[0,1]之間的浮點(diǎn)數(shù)據(jù)（如果不是，要首先通過(guò)數(shù)據(jù)變換把它們映射到[0,1]區(qū)間）；神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：隱含層節(jié)點(diǎn)數(shù)目；神經(jīng)網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)的、參數(shù)化了的特征函數(shù)。輸出：神經(jīng)網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)特征函數(shù)的參數(shù)。（1）按照有序?qū)?shù)計(jì)算公式計(jì)算總體誤差對(duì)于每個(gè)參數(shù)的有序?qū)?shù)公式（函數(shù)）；（2）任意選擇一組數(shù)據(jù)作為初始參數(shù)，一般選?。?,0,…,0），把這組初始參數(shù)作為當(dāng)前參數(shù)；（3）根據(jù)當(dāng)前參數(shù)和總體誤差計(jì)算公式計(jì)算總體誤差，如果誤差足夠小，就把當(dāng)前參數(shù)作為輸出，退出；否則，繼續(xù)下面的步驟；（4）根據(jù)參數(shù)調(diào)整公式和當(dāng)前參數(shù)數(shù)值，計(jì)算總體誤差對(duì)于各參數(shù)的有序?qū)?shù)數(shù)值；

（5）計(jì)算各個(gè)參數(shù)的調(diào)整大小，并計(jì)算調(diào)整后的參數(shù)大小。把調(diào)整后的參數(shù)作為當(dāng)前參數(shù)，回到第（3）步。

2/5/2023479.4工具包應(yīng)用第1步，新建數(shù)據(jù)庫(kù)第2步，新建數(shù)據(jù)表第3步，安裝補(bǔ)丁第4步，建立數(shù)據(jù)連接第5步，選擇挖掘結(jié)構(gòu)第6步，進(jìn)行預(yù)測(cè)2/5/202348神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)