6-自組織神經(jīng)網(wǎng)絡(luò)(SOM)ppt課件

1、競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)的典型構(gòu)造*1自組織神經(jīng)網(wǎng)絡(luò)*2自組織學(xué)習(xí)(self-organized learning) ： 經(jīng)過(guò)自動(dòng)尋覓樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自順應(yīng)地改動(dòng)網(wǎng)絡(luò)參數(shù)與構(gòu)造。 自組織網(wǎng)絡(luò)的自組織功能是經(jīng)過(guò)競(jìng)爭(zhēng)學(xué)習(xí)competitive learning實(shí)現(xiàn)的。 1 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理1.1 根本概念分類分類是在類別知識(shí)等導(dǎo)師信號(hào)的指點(diǎn)下，將待識(shí)別的輸入方式分配到各自的方式類中去。聚類無(wú)導(dǎo)師指點(diǎn)的分類稱為聚類，聚類的目的是將類似的方式樣本劃歸一類，而將不類似的別分開(kāi)。*3 類似性丈量歐式間隔法*41.1 根本概念同一類內(nèi)各個(gè)方式向量間的歐式間隔不允許超越某一最大值

2、*5 類似性丈量余弦法1.1 根本概念余弦法適宜方式向量一樣或方式特征只與向量方向相關(guān)的類似性丈量同一類內(nèi)各個(gè)方式向量間的夾角不允許超越某一最大夾角T*61.2 競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活或點(diǎn)火，結(jié)果在每一時(shí)辰只需一個(gè)輸出神經(jīng)元被激活或點(diǎn)火。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的形狀被抑制，故稱為Winner Take All。勝者為王*7競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All1.向量歸一化 首先將當(dāng)前輸入方式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj 全部進(jìn)展歸一化處置； (j=1,2,m)*8原始向量

3、*9歸一化后的向量*10競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All2.尋覓獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入方式向量時(shí)，競(jìng)爭(zhēng)層的一切神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)展類似性比較，并將最類似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。*11 從上式可以看出，欲使兩單位向量的歐式間隔最小，須使兩向量的點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么Winner-Take-All*12競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么勝者為王(Winner-Take-All)3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。獲勝神經(jīng)元輸出為1，其他為0j=j*之外的j*13競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義*14競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義*15例4

4、.1 用競(jìng)爭(zhēng)學(xué)習(xí)算法將以下各方式分為2類：解：為作圖方便，將上述方式轉(zhuǎn)換成極坐標(biāo)方式 ：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：上式中，X1=x,yT*16*17*18*19*20*21*22*23*24*25*262 自組織特征映射網(wǎng) Self-Organizing feature Map 1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。 Kohonen以為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入方式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎敕绞骄哂胁煌暮魬?yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)

5、與人腦的自組織特性相類似。SOM網(wǎng)的生物學(xué)根底 生物學(xué)研討的現(xiàn)實(shí)闡明，在人腦的覺(jué)得通道上，神經(jīng)元的組織原理是有序陳列。因此當(dāng)人腦經(jīng)過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是延續(xù)映象的。 對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序陳列以及對(duì)外界信息的延續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)根底。*27SOM網(wǎng)的拓?fù)錁?gòu)造 SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出呼應(yīng)的大腦皮層。 *28SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對(duì)其臨近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要

6、調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：*29*30SOM網(wǎng)的權(quán)值調(diào)整域 以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的一切神經(jīng)元均按其分開(kāi)獲勝神經(jīng)元的間隔遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開(kāi)場(chǎng)定得很大，但其大小隨著訓(xùn)練次數(shù)的添加不斷收縮，最終收縮到半徑為零。*31SOM網(wǎng)的運(yùn)轉(zhuǎn)原理訓(xùn)練階段*32 w1 w2 w3 w4 w5SOM網(wǎng)的運(yùn)轉(zhuǎn)原理任務(wù)階段*33SOM網(wǎng)的學(xué)習(xí)算法Kohonen 學(xué)習(xí)算法(1)初始化 對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)展歸一化處置，得到 ，j=1,2,m；建立初始優(yōu)勝鄰

7、域Nj*(0)；學(xué)習(xí)率 賦初始值。(2)接受輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入方式并進(jìn)展歸一化處置，得到 ，p1,2,P。(3)尋覓獲勝節(jié)點(diǎn) 計(jì)算 與 的點(diǎn)積，j=1,2,m，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。(4)定義優(yōu)勝鄰域Nj*(t) 以j*為中心確定t 時(shí)辰的權(quán)值調(diào)整域，普通初始鄰域Nj*(0)較大，訓(xùn)練過(guò)程中Nj*(t)隨訓(xùn)練時(shí)間逐漸收縮。*34SOM網(wǎng)的學(xué)習(xí)算法Kohonen學(xué)習(xí)算法*35SOM網(wǎng)的學(xué)習(xí)算法(5)調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)的一切節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓(xùn)練時(shí)間t 和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝神經(jīng)元 j* 之間的拓?fù)溟g隔N 的函數(shù)

8、，該函數(shù)普通有以下規(guī)律：*36Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法(5)調(diào)整權(quán)值*37(6)終了檢查 學(xué)習(xí)率能否衰減到零或某個(gè)預(yù)定的正小數(shù)？Kohonen學(xué)習(xí)算法*38Kohonen學(xué)習(xí)算法程序流程 SOM網(wǎng)絡(luò)的功能SOM網(wǎng)絡(luò)的功能特點(diǎn)之一是：保序映射，即能將輸入空間的樣本方式類有序地映射在輸出層上。例 動(dòng)物屬性特征映射1989年Kohonen給出一個(gè)SOM網(wǎng)的著名運(yùn)用實(shí)例，即把不同的動(dòng)物按其屬性映射到二維輸出平面上，使屬性類似的動(dòng)物在SOM網(wǎng)輸出平面上的位置也相近。訓(xùn)練集選了16種動(dòng)物，每種動(dòng)物用一個(gè)29維向量來(lái)表示。前16個(gè)分量構(gòu)成符號(hào)向量不同的動(dòng)物進(jìn)展16取1編碼，后13個(gè)分量構(gòu)成屬

9、性向量，描畫(huà)動(dòng)物的13種屬性的有或無(wú)用1或0表示。16種動(dòng)物的屬性向量29維向量的后13個(gè)分量 動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿0000000111111111毛0000000111111111蹄0000000000000111 動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛鬃毛0000000000000110羽毛1111111000000000獵0000111101111000跑0000000011011110飛10011

10、11000000000泳0011000000000000 SOM網(wǎng)輸出平面上有1010個(gè)神經(jīng)元，16個(gè)動(dòng)物方式輪番輸入訓(xùn)練，最后輸出平面呈現(xiàn)16種動(dòng)物屬性特征映射，屬性類似的挨在一同，實(shí)現(xiàn)了特征的有序分布。1010神經(jīng)元X向量29維前16個(gè)分量16取1，表達(dá)動(dòng)物種類。后13個(gè)分量表達(dá)動(dòng)物屬性鴨鵝鴿母雞馬斑馬牛隼狼虎獅貓狗狐貓頭鷹鷹動(dòng)物屬性特征映射 SOM網(wǎng)的功能特點(diǎn)之二是數(shù)據(jù)緊縮。 將高維空間的樣本在堅(jiān)持拓?fù)錁?gòu)造不變的條件下投影到低維空間。如上例中輸入樣本空間為29維，經(jīng)過(guò)SOM網(wǎng)后緊縮為二維平面的數(shù)據(jù)。 SOM網(wǎng)的功能特點(diǎn)之三是特征抽取。規(guī)律的發(fā)現(xiàn) 在高維方式空間，很多方式的分布具有復(fù)雜的構(gòu)

11、造，從數(shù)據(jù)察看很難發(fā)現(xiàn)其內(nèi)在規(guī)律。當(dāng)經(jīng)過(guò)SOM網(wǎng)映射到低維輸出空間后，其規(guī)律往往一目了然，實(shí)現(xiàn)某種特征抽取的映射。即高維空間的向量經(jīng)過(guò)特征抽取后可以在低維特征空間更加明晰地表達(dá)，因此映射的意義不僅僅是單純的數(shù)據(jù)緊縮，更是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動(dòng)物實(shí)現(xiàn)了聚類分布的特點(diǎn)。 SOM網(wǎng)有許多運(yùn)用實(shí)例：如的聽(tīng)寫(xiě)打字機(jī)聲音識(shí)別，處理游覽商最優(yōu)路經(jīng)問(wèn)題，皮革外觀效果分類等。運(yùn)用實(shí)例無(wú)線車輛自組網(wǎng)中用SOM自動(dòng)組網(wǎng)*44吳怡;楊瓊;吳慶祥;沈連豐;林瀟; 基于自組織映射神經(jīng)網(wǎng)絡(luò)的VANET組網(wǎng)算法，：2021年第12期，第-145頁(yè) No.1 sg1 Group 6 26.0763

12、 119.311 26.0708 119.353 348.75 90 No.2 sg2 Group 2 26.0762 119.311 26.0943 119.313 348.75 348.75 No.3 sg3 Group 6 26.0761 119.311 26.0693 119.359 348.75 90 No.4 sg4 Group 2 26.076 119.311 26.106 119.292 348.75 348.75 No.5 sg5 Group 2 26.0763 119.311 26.1103 119.32 348.75 348.75 No.6 sg6 Group 6 26.0762 119.311 26.063 119.367 348.75 90 No.7 sg7 Group 2 26.0761 119.311 26.0975 119.283 348.75 348.75 No.8 sg8 Group 2 26.076 119.311 26.0855 119.245 348.75 348.75 N