自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座

第四章自組織神經(jīng)網(wǎng)絡(luò)4.1競(jìng)爭(zhēng)學(xué)習(xí)概念與原理4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第1頁(yè)自組織神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)第四章自組織神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)層輸入層自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第2頁(yè)第四章自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)(self-organizedlearning)：

經(jīng)過(guò)自動(dòng)尋找樣本中內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。自組織網(wǎng)絡(luò)自組織功效是經(jīng)過(guò)競(jìng)爭(zhēng)學(xué)習(xí)（competitivelearning）實(shí)現(xiàn)。

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第3頁(yè)4.1競(jìng)爭(zhēng)學(xué)習(xí)概念與原理4.1.1基本概念分類(lèi)——分類(lèi)是在類(lèi)別知識(shí)等導(dǎo)師信號(hào)指導(dǎo)下，將待識(shí)別輸入模式分配到各自模式類(lèi)中去。聚類(lèi)——無(wú)導(dǎo)師指導(dǎo)分類(lèi)稱(chēng)為聚類(lèi)，聚類(lèi)目標(biāo)是將相同模式樣本劃歸一類(lèi)，而將不相同分離開(kāi)。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第4頁(yè)相同性測(cè)量＿歐式距離法4.1.1基本概念自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第5頁(yè)相同性測(cè)量＿余弦法4.1.1基本概念自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第6頁(yè)4.1.2競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All網(wǎng)絡(luò)輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活神經(jīng)元稱(chēng)為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元狀態(tài)被抑制，故稱(chēng)為WinnerTakeAll。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第7頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All1.向量歸一化

首先將當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)內(nèi)星向量Wj全部進(jìn)行歸一化處理；(j=1,2,…,m)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第8頁(yè)向量歸一化之前自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第9頁(yè)向量歸一化之后自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第10頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元

當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層全部神經(jīng)元對(duì)應(yīng)內(nèi)星權(quán)向量均與其進(jìn)行相同性比較，并將最相同內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最相同，須使其點(diǎn)積最大。即：自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第11頁(yè)從上式能夠看出，欲使兩單位向量歐式距離最小，須使兩向量點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第12頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——?jiǎng)僬邽橥?Winner-Take-All)3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整j

j*

步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第13頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)幾何意義?自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第14頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)幾何意義

*

1W?

*?jW

*

)](?)(?)[()(*ttttjpWXW-=hD

*┆

)(?*1tj+W

)(?tpX

jW?

mW?

*

…

***自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第15頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)游戲?qū)⒁痪S樣本空間12個(gè)樣本分為3類(lèi)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第16頁(yè)競(jìng)爭(zhēng)學(xué)習(xí)游戲w1w2w3x訓(xùn)練樣本集o1o1o1自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第17頁(yè)例4.1用競(jìng)爭(zhēng)學(xué)習(xí)算法將以下各模式分為2類(lèi)：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第18頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第19頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第20頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第21頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第22頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第23頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第24頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第25頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第26頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第27頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第28頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第29頁(yè)4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)

（Self-OrganizingfeatureMap）1981年芬蘭Helsink大學(xué)T.Kohonen教授提出一個(gè)自組織特征映射網(wǎng)，簡(jiǎn)稱(chēng)SOM網(wǎng)，又稱(chēng)Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接收外界輸入模式時(shí)，將會(huì)分為不一樣對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ胶胁灰粯禹憫?yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成。自組織特征映射正是依據(jù)這一看法提出來(lái)，其特點(diǎn)與人腦自組織特征相類(lèi)似。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第30頁(yè)SOM網(wǎng)生物學(xué)基礎(chǔ)

生物學(xué)研究事實(shí)表明，在人腦感覺(jué)通道上，神經(jīng)元組織原理是有序排列。所以當(dāng)人腦經(jīng)過(guò)感官接收外界特定時(shí)空信息時(shí)，大腦皮層特定區(qū)域興奮，而且類(lèi)似外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象。對(duì)于某一圖形或某一頻率特定興奮過(guò)程，神經(jīng)元有序排列以及對(duì)外界信息連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制生物學(xué)基礎(chǔ)。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第31頁(yè)SOM網(wǎng)拓?fù)浣Y(jié)構(gòu)

SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息視網(wǎng)膜，輸出層模擬做出響應(yīng)大腦皮層。

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第32頁(yè)SOM網(wǎng)權(quán)值調(diào)整域

SOM網(wǎng)獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元影響是由近及遠(yuǎn)，由興奮逐步轉(zhuǎn)變?yōu)橐种疲云鋵W(xué)習(xí)算法中不但獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周?chē)窠?jīng)元在其影響下也要程度不一樣地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第33頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第34頁(yè)SOM網(wǎng)權(quán)值調(diào)整域

以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定范圍稱(chēng)為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)全部神經(jīng)元均按其離開(kāi)獲勝神經(jīng)元距離遠(yuǎn)近不一樣程度地調(diào)整權(quán)值。

優(yōu)勝鄰域開(kāi)始定得很大，但其大小伴隨訓(xùn)練次數(shù)增加不停收縮，最終收縮到半徑為零。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第35頁(yè)SOM網(wǎng)運(yùn)行原理訓(xùn)練階段w1w2w3

w4

w5自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第36頁(yè)SOM網(wǎng)運(yùn)行原理工作階段自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第37頁(yè)SOM網(wǎng)學(xué)習(xí)算法(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率

賦初始值。(2)接收輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到，p

{1,2,…,P}。(3)尋找獲勝節(jié)點(diǎn)計(jì)算與點(diǎn)積，j=1,2,…m，從中選出點(diǎn)積最大獲勝節(jié)點(diǎn)j*。(4)定義優(yōu)勝鄰域Nj*

(t)以j*為中心確定t時(shí)刻權(quán)值調(diào)整域，普通初始鄰域Nj*

(0)較大，訓(xùn)練過(guò)程中Nj*

(t)隨訓(xùn)練時(shí)間逐步收縮。Kohonen學(xué)習(xí)算法自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第38頁(yè)Kohonen學(xué)習(xí)算法SOM網(wǎng)學(xué)習(xí)算法自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第39頁(yè)(5)調(diào)整權(quán)值對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)全部節(jié)點(diǎn)調(diào)整權(quán)值：

i=1,2,…n

j

Nj*(t)式中，是訓(xùn)練時(shí)間t和鄰域內(nèi)第j個(gè)神經(jīng)元與獲勝神經(jīng)元j*之間拓?fù)渚嚯xN

函數(shù)，該函數(shù)普通有以下規(guī)律：Kohonen學(xué)習(xí)算法SOM網(wǎng)學(xué)習(xí)算法自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第40頁(yè)(5)調(diào)整權(quán)值(6)結(jié)束檢驗(yàn)學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定正小數(shù)？Kohonen學(xué)習(xí)算法SOM網(wǎng)學(xué)習(xí)算法自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第41頁(yè)Kohonen學(xué)習(xí)算法程序流程自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第42頁(yè)功能分析(1)保序映射——將輸入空間樣本模式類(lèi)有序地映射在輸出層上。例1：動(dòng)物屬性特征映射。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第43頁(yè)功效分析自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第44頁(yè)(2)數(shù)據(jù)壓縮——將高維空間樣本在保持拓?fù)浣Y(jié)構(gòu)不變條件下投影到低維空間。(3)特征抽取——高維空間向量經(jīng)過(guò)特征抽取后能夠在低維特征空間愈加清楚地表示。例2：SOM網(wǎng)用于字符排序。功效分析自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第45頁(yè)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第46頁(yè)SOM網(wǎng)在皮革配皮中應(yīng)用

要生產(chǎn)出優(yōu)質(zhì)皮衣，必須確保每件皮衣所用皮料在顏色和紋理方面相同性。在生產(chǎn)中，通常由有經(jīng)驗(yàn)工人依據(jù)皮料顏色、紋理相近程度進(jìn)行分類(lèi)。這道稱(chēng)為“配皮”工序，因光照條件、工人經(jīng)驗(yàn)不一樣以及情緒、體力等原因改變影響，質(zhì)量難于確保。計(jì)算機(jī)皮革檢測(cè)與分類(lèi)系統(tǒng)可對(duì)成批皮革顏色及紋理進(jìn)行在線(xiàn)檢測(cè)、特征值提取及快速分類(lèi)，從而代替了傳統(tǒng)手工操作，取得了良好效果。

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第47頁(yè)系統(tǒng)硬件組成CCD彩色攝像機(jī)解碼器（PAL)圖像采集卡及幀存儲(chǔ)器計(jì)算機(jī)486/66彩色監(jiān)視器打印機(jī)標(biāo)準(zhǔn)燈箱

皮革皮料傳送帶D65光源自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第48頁(yè)基于SOM神經(jīng)網(wǎng)絡(luò)皮革聚類(lèi)1.顏色紋理特征提取顏色參數(shù):CIE1996均勻顏色空間值

l*,a*,b*紋理參數(shù):梯度均值μ2,梯度標(biāo)差σ2,及梯度墑T8。皮革外觀由６維輸入矢量

I=[l*,a*,b*,

μ2,σ2,T8]描述

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第49頁(yè)2.SOM神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu):6輸入1維線(xiàn)陣輸出。聚類(lèi)時(shí)每批100張皮，平均每件皮衣需要5～6張皮，所以將輸出層設(shè)置20個(gè)神經(jīng)元。每個(gè)神經(jīng)元代表一類(lèi)外觀效果相同皮料，假如聚為一類(lèi)皮料不夠做一件皮衣，能夠和相鄰類(lèi)歸并使用。

基于SOM神經(jīng)網(wǎng)絡(luò)皮革聚類(lèi)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第50頁(yè)3.網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

Nj*

(t)優(yōu)勝鄰域在訓(xùn)練開(kāi)始時(shí)覆蓋整個(gè)輸出線(xiàn)陣，以后訓(xùn)練次數(shù)每增加Δt=tm/P，Nj*(t)鄰域兩端各收縮一個(gè)神經(jīng)元直至鄰域內(nèi)只剩下獲勝神經(jīng)元。

對(duì)η(t)采取了以下模擬退火函數(shù)：η0＝0.95tm＝5000tp＝1500自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第51頁(yè)4.皮革紋理分類(lèi)結(jié)果

基于SOM神經(jīng)網(wǎng)絡(luò)皮革聚類(lèi)自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第52頁(yè)SOM網(wǎng)用于物流中心城市分類(lèi)評(píng)價(jià)

(1)物流中心城市評(píng)價(jià)指標(biāo)與數(shù)據(jù)樣本簡(jiǎn)單項(xiàng)選擇取5個(gè)評(píng)價(jià)指標(biāo)作為網(wǎng)絡(luò)輸入：x1—人均GDP(元)，x2—工業(yè)總產(chǎn)值(億元)，x3—社會(huì)消費(fèi)品零售總額(億元)，x4—批發(fā)零售貿(mào)易總額(億元)，x5—貨運(yùn)總量(萬(wàn)噸)。

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第53頁(yè)44個(gè)物流中心城市分類(lèi)評(píng)價(jià)樣本

自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第54頁(yè)SOM網(wǎng)用于物流中心城市分類(lèi)評(píng)價(jià)

(2)物流中心城市分類(lèi)和評(píng)價(jià)分析

物流中心城市

全國(guó)性物流中心城市區(qū)域性物流中心城市地域性物流中心城市綜合型貨運(yùn)型自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第55頁(yè)SOM網(wǎng)用于物流中心城市分類(lèi)評(píng)價(jià)

(2)物流中心城市分類(lèi)和評(píng)價(jià)分析

按照SOM算法步驟，取開(kāi)始1000次迭代為排序階段，學(xué)習(xí)率

=0.9；其后為收斂階段，學(xué)習(xí)率為

=0.02。將44個(gè)數(shù)據(jù)樣本歸一化，輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。經(jīng)過(guò)試驗(yàn)比較，最終取類(lèi)別數(shù)為8，得到以下表所表示分類(lèi)結(jié)果。自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第56頁(yè)物流中心城市分類(lèi)結(jié)果自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第57頁(yè)上機(jī)試驗(yàn)說(shuō)明任務(wù)：用平面網(wǎng)格狀樣本訓(xùn)練SOM網(wǎng)絡(luò)權(quán)值初始化后輸出平面自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第58頁(yè)訓(xùn)練過(guò)程中輸出平面自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第59頁(yè)訓(xùn)練過(guò)程中輸出平面自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第60頁(yè)訓(xùn)練過(guò)程中輸出平面自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第61頁(yè)訓(xùn)練過(guò)程中輸出平面自組織神經(jīng)網(wǎng)絡(luò)專(zhuān)家講座第62頁(yè)訓(xùn)