神經(jīng)網(wǎng)絡(luò)_第三章：感知器

1、145014208 王菁 人的視覺(jué)人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息占全部信息量的的信息占全部信息量的8085%。 感知器感知器是模擬人的視覺(jué)，接受環(huán)境信息，并由是模擬人的視覺(jué)，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。 感知器分感知器分單層單層與與多層多層，是，是具有學(xué)習(xí)能力具有學(xué)習(xí)能力的神經(jīng)的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)。3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力是是具具有有單單層層處處理理單單元元的的神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)，非非線線性性作作用用函函數(shù)數(shù)f ( ) 是是對(duì)對(duì)稱稱型型階階躍躍函函

2、數(shù)數(shù)，見(jiàn)見(jiàn)圖圖。 感感知知器器輸輸出出： yfw ufw ujjjnjjjn()()10uj：感感知知器器的的第第 j 個(gè)個(gè)輸輸入入；w0 （閾閾值值）；u01。與與 MP 模模型型不不同同之之處處：權(quán)權(quán)值值由由有有導(dǎo)導(dǎo)師師的的學(xué)學(xué)習(xí)習(xí)算算法法進(jìn)進(jìn)行行調(diào)調(diào)整整。 圖2-3-1 單層感知器 njuuu1 yx nw 1w )(xf )(xf 布爾函數(shù)的布爾函數(shù)的M-P神經(jīng)元表示神經(jīng)元表示: 利用帶閾值的M-P人工神經(jīng)元可以很方便地實(shí)現(xiàn)布爾代數(shù)中的許多功能。在布爾代數(shù)中，and、or、Not、xoR關(guān)系如下表1所示：3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力1x2

3、xandor ) )xoR00001100101101100101111110002x1xNot(Not(3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力1x0 , 1 2x0 , 1 Y且、，模型來(lái)建立，PM Y1x2x可以將圖用與、之間的關(guān)系： 上面幾個(gè)人工神經(jīng)元都滿足M-P模型。 3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力根據(jù)各個(gè)圖及M-P模型，我們有 )0 , 1 (),1 , 0(),0 , 0(),(0)1 , 1(),(1020021)2(2121212121xxxxxxxxxxfy（1）（2）121212121211

4、0(1)0101(,)(1,1),(1,0),(0,1)0(,)(0,0)xxyf xxxxxxxx3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力10010001)(xxxxxfy（3）顯然是符合邏輯運(yùn)算要求。3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力 權(quán)系數(shù)和閾值不是權(quán)系數(shù)和閾值不是0、1的的M-P模型模型 Rw,w1, 1 x1, 1 y若，則M-P模型比只允許取-1，1要靈活（或1，0），（或1，0），則對(duì)于這個(gè)M-P人工神經(jīng)元來(lái)說(shuō)： 的多，但此時(shí)仍限制111110101)(niiiniiiiniixwxwwxfyRw,Zw

5、,但與相比并無(wú)多大改進(jìn)。3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力例：例：試說(shuō)明下列兩個(gè)M-P人工神經(jīng)元是等價(jià)的。 分析：對(duì)于（a） 06324106324106 . 02 . 03 . 04 . 0106 . 02 . 03 . 04 . 01)6 . 02 . 03 . 04 . 0(321321231231231xxxxxxxxxxxxxxxfy3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力對(duì)與（b）063241063241) 6234(321321231xxxxxxxxxfy3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單

6、個(gè)感知器模型與解決問(wèn)題的能力此時(shí)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下： 0101)()(11iinjijijiizzxwfzfy 當(dāng)當(dāng)M-P人工神經(jīng)元的輸入人工神經(jīng)元的輸入X可以在可以在R上取值時(shí)上取值時(shí) 離散感知器離散感知器(簡(jiǎn)稱感知器簡(jiǎn)稱感知器) nnRxxX,11, 1 y 0 , 1若M-P人工神經(jīng)元的輸入，而其輸出值為或模型就改進(jìn)為離散感知器（因?yàn)槠漭敵鲞€是離散的），簡(jiǎn)稱為感知器。則此時(shí)的M-P3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力 (a) 分類器結(jié)構(gòu) 2w 1w 0w y 10u 21uu 1u 2u (b) 平面上兩類模式分界線 圖 2-3-

7、2 平面上兩類模式分類 用圖所示 二輸入 /單輸出單層感知器 ，輸入輸出描述： 0,00,1)()(2211fuwuwfy 即 22112211,0,1uwuwuwuwy 可見(jiàn)：輸入輸出為線性可分集合，一定可找到一條直線，將輸入模式分為兩類，此直線方程： ywuw u1 1220 則 uwwwu22121 見(jiàn)圖，此直線與 權(quán)值及閾值有關(guān)。 3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力2u1u 0w 10u y 1w 3w 2w 321uuu 圖 2-3-3 三維空間上的兩類模式分類 用圖所示三輸入用圖所示三輸入 / 單輸出的單層感知器，輸入輸出：?jiǎn)屋敵龅膯螌痈兄?/p>

8、器，輸入輸出： 0,00,1)()(332211fuwuwuwfy即即 332211332211,0,1uwuwuwuwuwuwy可見(jiàn)可見(jiàn) ，輸入輸出為線性可分集合，一定可找到一個(gè)平面，輸入輸出為線性可分集合，一定可找到一個(gè)平面，將輸入模式分為兩類，平面方程：將輸入模式分為兩類，平面方程： 0332211uwuwuwy則則 23213133uwwuwwwu此平面與此平面與權(quán)值及閾值權(quán)值及閾值有關(guān)有關(guān), ,見(jiàn)圖。見(jiàn)圖。3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力 感知器的分類定義感知器的分類定義 作為數(shù)學(xué)模型，我們對(duì)感知器作出如下歸納：作為數(shù)學(xué)模型，我們對(duì)感知器作

9、出如下歸納：感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元的運(yùn)算特性，它的輸入狀態(tài)向量記為：的運(yùn)算特性，它的輸入狀態(tài)向量記為：)(21nnxxxx)(21nnwwww權(quán)向量權(quán)向量: : 2. 感知器的狀態(tài)值可以為感知器的輸出值感知器的狀態(tài)值可以為感知器的輸出值 );(nnxwfy 連續(xù)感知器連續(xù)感知器 3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力bxwkxwfyniiiniii1111)(連續(xù)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下： 若取0, 1bk，則其成為一類最簡(jiǎn)單的連續(xù)人工感知神經(jīng)元。( )yf ok

10、 o b激活函數(shù)：3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力nxix是不連續(xù)的: 或0101)(xxxf0001)(xxxf都在0，1或-1，1上取值，的每個(gè)向量定義：定義： )sgn()(xxf如果且激活函數(shù)那么這個(gè)感知神經(jīng)元被成為M-P模型。是離散的，那么這個(gè)nnRx )(xfb) 如果， 但激勵(lì)函數(shù)感知神經(jīng)元被稱為離散感知器常簡(jiǎn)稱為感知器。是連續(xù)函數(shù)，那么這個(gè)感知nnRx )(xf且C) 如果神經(jīng)元稱為連續(xù)感知器。 由相應(yīng)的感知神經(jīng)元組成的網(wǎng)絡(luò)就稱為相應(yīng)神經(jīng)網(wǎng)絡(luò)，如M-P神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)網(wǎng)絡(luò)、連續(xù)感知器神經(jīng)網(wǎng)絡(luò)。 例例 線性不可分集合。線性不可分集合

11、。 二維平面上的兩類模式二維平面上的兩類模式異或（異或（XOR）問(wèn)題）問(wèn)題，見(jiàn)表。，見(jiàn)表。 二維平面中不存在一條直線，將輸入模式分為兩類，此輸入二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱模式稱線性不可分集合線性不可分集合，見(jiàn)圖。，見(jiàn)圖?？梢?jiàn)可見(jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題異或問(wèn)題。 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 圖圖 2-3-4異 或 問(wèn) 題 2u 1u 3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力 單層感知器工作原理單層感知器工作原理 對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式

12、對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的 和和 ，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)。間中，用一個(gè)超平面將兩類樣本分開(kāi)。3.1 3.1 單個(gè)感知器模型與解決問(wèn)題的能力單個(gè)感知器模型與解決問(wèn)題的能力3.2 3.2 單層感知器模型與解決問(wèn)題的能力單層感知器模型與解決問(wèn)題的能力 在上一節(jié)中指出了線性單個(gè)感知神經(jīng)網(wǎng)絡(luò)只能實(shí)現(xiàn)兩類分類，如果要進(jìn)行多于兩類的分類將怎么辦？生物醫(yī)學(xué)已經(jīng)證明：生物神經(jīng)系統(tǒng)是由一些相互聯(lián)系的，并能互相傳遞信息的神經(jīng)細(xì)

13、胞互連構(gòu)成。因此這就使我們自然地想到是否可將單個(gè)的感知神經(jīng)元連成網(wǎng)絡(luò)形成一個(gè)單層的網(wǎng)絡(luò)？ 結(jié)構(gòu)3.2 3.2 單層感知器模型與解決問(wèn)題的能力單層感知器模型與解決問(wèn)題的能力 例例 線性不可分集合。線性不可分集合。 二維平面上的兩類模式二維平面上的兩類模式異或（異或（XOR）問(wèn)題）問(wèn)題，見(jiàn)表。，見(jiàn)表。 二維平面中不存在一條直線，將輸入模式分為兩類，此輸入二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱模式稱線性不可分集合線性不可分集合，見(jiàn)圖。，見(jiàn)圖?？梢?jiàn)可見(jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題異或問(wèn)題。 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1

14、1 0 圖圖 2-3-4異 或 問(wèn) 題 2u 1u 3.6 3.6 有關(guān)的幾個(gè)問(wèn)題有關(guān)的幾個(gè)問(wèn)題 M-P M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位模型在人工神經(jīng)網(wǎng)絡(luò)中的地位 首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來(lái)的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。 其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過(guò)不同的修正，改進(jìn)變換而發(fā)展起來(lái)。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。1、神經(jīng)元的內(nèi)部改造：對(duì)不同的人工神經(jīng)元取不同的非線性函數(shù)F（）；對(duì)人工神經(jīng)元的輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。2、人工神經(jīng)元之間的聯(lián)接形式上進(jìn)行改造神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造。3、在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上改造算法的改進(jìn)。4、其它形式的改造，譬如（1）與（2）結(jié)合起來(lái)改進(jìn)；（2）與（3）結(jié)合起來(lái)改進(jìn)等等。 3.6 3.6 有關(guān)的幾個(gè)問(wèn)題有關(guān)的幾個(gè)