人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)_第1頁
人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)_第2頁
人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)_第3頁
人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)_第4頁
人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用之自組織網(wǎng)絡(luò)_第5頁
已閱讀5頁,還剩32頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第6講自組織網(wǎng)絡(luò)一、自組織神經(jīng)網(wǎng)絡(luò)二、自組織競爭網(wǎng)絡(luò)三、科荷倫網(wǎng)絡(luò)四、自適應(yīng)共振網(wǎng)絡(luò)五、內(nèi)容小結(jié)六、考試事宜內(nèi)容安排2021-10-2921.1 自組織網(wǎng)絡(luò)特點1.2 網(wǎng)絡(luò)類型1.3 網(wǎng)絡(luò)學習規(guī)則一、自組織神經(jīng)網(wǎng)絡(luò)2021-10-2931.1 自組織網(wǎng)絡(luò)特點特點 自組織神經(jīng)網(wǎng)絡(luò)可以自動向環(huán)境學習,不需要教師指導;而前面所講到的前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)均需要教師指導學習 與BP網(wǎng)絡(luò)相比,這種自組織自適應(yīng)的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用思想基礎(chǔ) 生物的神經(jīng)網(wǎng)絡(luò)中,如人的視網(wǎng)膜中,存在著一種“側(cè)抑制”現(xiàn)象,即一個神經(jīng)細胞興奮后,通過它的分支會對周圍其他神經(jīng)細

2、胞產(chǎn)生抑制 借鑒上述思想,自組織網(wǎng)絡(luò)能夠?qū)斎肽J竭M行自組織訓練和判斷,并將輸入模式分為不同的類型2021-10-2941.2 網(wǎng)絡(luò)類型需要訓練 自組織競爭網(wǎng)絡(luò) 適用與具有典型聚類特性的大量數(shù)據(jù)的辨識 Kohunen網(wǎng)絡(luò) 訓練學習后使網(wǎng)絡(luò)權(quán)值分布與輸入樣本概率密度分布相似 可以作為樣本特征檢測儀,在樣本排序、樣本分類及樣本檢測方面有廣泛應(yīng)用 對傳網(wǎng)絡(luò)(Counter Propagation Network) 在功能上用作統(tǒng)計最優(yōu)化和概率密度函數(shù)分析 可用于圖像處理和統(tǒng)計分析 神經(jīng)認知機等不需要訓練 自適應(yīng)共振理論(ART) 分類的類型數(shù)目可自適應(yīng)增加2021-10-2951.3 網(wǎng)絡(luò)學習規(guī)則格

3、勞斯貝格(SGrossberg)提出了兩種類型的神經(jīng)元模型:內(nèi)星與外星,用以來解釋人類及動物的學習現(xiàn)象 內(nèi)星可以被訓練來識別矢量 外星可以被訓練來產(chǎn)生矢量基本學習規(guī)則 內(nèi)星學習規(guī)則 外星學習規(guī)則 科荷倫學習規(guī)則2021-10-2961.3.1 內(nèi)星與外星外星通過聯(lián)接權(quán)矢量向外輸出一組信號A內(nèi)星通過聯(lián)接權(quán)矢量W接受一組輸入信號P 2021-10-2971.3.2 內(nèi)星學習規(guī)則可以通過內(nèi)星及其學習規(guī)則可訓練某一神經(jīng)元節(jié)點只響應(yīng)特定的輸入矢量P,它借助于調(diào)節(jié)網(wǎng)絡(luò)權(quán)矢量W近似于輸入矢量P來實現(xiàn)的單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學習規(guī)則為內(nèi)星神經(jīng)元聯(lián)接強度的變化w1j與輸出成正比的。 如果內(nèi)星輸出a被

4、某一外部方式而維護高值時,通過不斷反復地學習,趨使w1j逐漸減少,直至最終達到w1jpj,從而使內(nèi)星權(quán)矢量學習了輸入矢量P,達到了用內(nèi)星來識別一個矢量的目的 另一方面,如果內(nèi)星輸出保持為低值時,網(wǎng)絡(luò)權(quán)矢量被學習的可能性較小,甚至不能被學習2021-10-2981.3.3 外星學習規(guī)則外星網(wǎng)絡(luò)的激活函數(shù)是線性函數(shù)。它被用來學習回憶一個矢量,其網(wǎng)絡(luò)輸入P也可以是另一個神經(jīng)元模型的輸出外星被訓練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A對于一個外星,其學習規(guī)則為與內(nèi)星不同,外星聯(lián)接強度的變化w是與輸入矢量P成正比的 當輸入矢量被保持高值,比如接近1時,每個權(quán)值wij將趨于輸出ai值,若pj1

5、,則外星使權(quán)值產(chǎn)生輸出矢量 當輸入矢量pj為0時,網(wǎng)絡(luò)權(quán)值得不到任何學習與修正2021-10-2991.3.3 外星學習規(guī)則當有r個外星相并聯(lián),每個外星與s個線性神經(jīng)元相連組成一層外星時,其權(quán)值修正方式為 Wsr權(quán)值列矢量 lr學習速率 Asq外星輸出 Prq外星輸入2021-10-29101.3.4 科荷倫學習規(guī)則科荷倫學習規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的科荷倫規(guī)則科荷倫學習規(guī)則實際上是內(nèi)星學習規(guī)則的一個特例,但它比采用內(nèi)星規(guī)則進行網(wǎng)絡(luò)設(shè)計要節(jié)省更多的學習,因而常常用來替代內(nèi)星學習規(guī)則2021-10-2911二、自組織網(wǎng)絡(luò)2.1 網(wǎng)絡(luò)模型2.2 競爭網(wǎng)絡(luò)原理2.3 網(wǎng)絡(luò)訓練2021-10-2912

6、2.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)結(jié)構(gòu) 競爭網(wǎng)絡(luò)由單層神經(jīng)元網(wǎng)絡(luò)組成,其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。 因為網(wǎng)絡(luò)在學習中的競爭特性也表現(xiàn)在輸出層上,所以在競爭網(wǎng)絡(luò)中把輸出層又稱為競爭層,而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層2021-10-29132.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)權(quán)值的類型 輸入節(jié)點j到i的權(quán)值wij(i1,2、s;j1,2、r),這些權(quán)值是通過訓練可以被調(diào)整的 競爭層中互相抑制的權(quán)值wik(k1,2、s)。這類權(quán)值固定不變,且滿足一定的分布關(guān)系 是一種對稱權(quán)值,即有wikwki 相同神經(jīng)元之間的權(quán)值起加強的作用,即滿足w11w11wkk0,而不同神經(jīng)元之間的權(quán)值相互抑制,對于ki有wij020

7、21-10-29142.1 網(wǎng)絡(luò)模型網(wǎng)絡(luò)工作方式 輸入矢量經(jīng)過網(wǎng)絡(luò)前向傳遞 網(wǎng)絡(luò)競爭 激活函數(shù)為硬限制二值函數(shù) 競爭網(wǎng)絡(luò)的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點贏得輸出為1,而其他神經(jīng)元的輸出皆為0(?) 權(quán)值調(diào)整(可以處于訓練與工作期間) 競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后,則對與獲勝節(jié)點相連的權(quán)值進行調(diào)整 調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小,從而使訓練后的競爭網(wǎng)絡(luò)的權(quán)值能夠代表對應(yīng)輸入矢量的特征2021-10-29152.2 競爭網(wǎng)絡(luò)原理競爭網(wǎng)絡(luò)解釋 設(shè)網(wǎng)絡(luò)的輸入矢量為:P p1 p2 prT 對應(yīng)網(wǎng)絡(luò)的輸出矢量為:Aa1 a2 asT 由于競爭網(wǎng)絡(luò)中含有兩種權(quán)值,所以其激

8、活函數(shù)的加權(quán)輸入和也分為兩部分:來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有 來自輸入節(jié)點的加權(quán)輸入和為 來自競爭層內(nèi)互相抑制的加權(quán)輸入和為2021-10-29162.2 競爭網(wǎng)絡(luò)原理對于第i個輸出神經(jīng)元 假設(shè)競爭獲勝,則有 從而 如果競爭后第i個節(jié)點“輸”了,而“贏”的節(jié)點為l,則有2021-10-29172.2 競爭網(wǎng)絡(luò)原理所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立 sl=nl+wll 對于“贏”的節(jié)點l si=ni-|wii| 對于所有”輸“的節(jié)點i1,2s,il由此可以看出,經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大競爭網(wǎng)絡(luò)的輸出為因此判斷競爭網(wǎng)

9、絡(luò)節(jié)點勝負的結(jié)果時,可直接采用ni2021-10-29182.3 網(wǎng)絡(luò)訓練競爭網(wǎng)絡(luò)修正權(quán)值的公式為 式中l(wèi)r為學習速率,且0lr1,一般的取值范圍為0.01-0.3; pj為經(jīng)過歸一化處理后的輸入層中每個最接近輸入矢量的神經(jīng)元,通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡(luò)通過學習而識別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量,并將其分為某一類2021-10-29192.3 網(wǎng)絡(luò)訓練舉例 考慮當不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況 為了訓練的需要,必須將每一輸入矢量都進行單位歸一化處理 當?shù)谝粋€矢量p1輸入給內(nèi)星后,網(wǎng)絡(luò)經(jīng)過訓練,最終達到W(p1)T。 給內(nèi)星輸入另一個輸入矢量

10、p2,此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學習過矢量p1的點積 輸入矢量的模已被單位化為1,所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦2021-10-29202.3 網(wǎng)絡(luò)訓練根據(jù)不同的情況,內(nèi)星的加權(quán)輸入和可分為如下幾種情況 p2等于p1,即有120,此時,內(nèi)星加權(quán)輸入和為1 p2不等于p1,內(nèi)星加權(quán)輸入和為0,按照科荷倫學習規(guī)則修改競爭層權(quán)值以使該類權(quán)值更加接近于新輸入模式 如果R=0,在網(wǎng)絡(luò)中設(shè)立一個新模式,用以代表和記憶新模式,并將其歸結(jié)為已有的代表類別,成為R層的一個新的輸出節(jié)點,作為以后可能輸入的代表模式 權(quán)值修正階段 當外界輸入P與所激活的外星權(quán)矢量充分相似時,網(wǎng)絡(luò)發(fā)

11、生共振,本次學習與訓練結(jié)束 否則,進行特別的處理,直到共振現(xiàn)象發(fā)生時對本次輸入的訓練過程才最終結(jié)束2021-10-2933五、內(nèi)容小結(jié)本次課程簡單介紹自組織神經(jīng)網(wǎng)絡(luò)的特點以及與其它類型神經(jīng)網(wǎng)絡(luò)的區(qū)別介紹了自組織神經(jīng)網(wǎng)絡(luò)的三種學習規(guī)則;四種神經(jīng)網(wǎng)絡(luò)類型對自組織競爭網(wǎng)絡(luò)、科荷倫網(wǎng)絡(luò)和ART網(wǎng)絡(luò)的原理、網(wǎng)絡(luò)結(jié)構(gòu)和訓練與工作方式進行了介紹ART網(wǎng)絡(luò)相對其它自組織網(wǎng)絡(luò)之間有較大的優(yōu)勢,將學習與工作過程結(jié)合在一起,并較好地解決了學習與記憶的問題2021-10-2934五、內(nèi)容小結(jié)本學期神經(jīng)網(wǎng)絡(luò)課程的全部內(nèi)容至此結(jié)束主要的內(nèi)容包括 簡單介紹人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)系統(tǒng)、人工智能學科之間關(guān)系 介紹了神經(jīng)網(wǎng)絡(luò)的基

12、本網(wǎng)絡(luò)結(jié)構(gòu)和學習規(guī)則 以典型網(wǎng)絡(luò)模型為代表分別介紹了三種主要的神經(jīng)網(wǎng)絡(luò),前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織神經(jīng)網(wǎng)絡(luò) 介紹了學習和應(yīng)用神經(jīng)網(wǎng)絡(luò)的基本方法 網(wǎng)絡(luò)設(shè)計思想 網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用設(shè)計 學習與訓練算法 簡單分析了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性問題及理論 BP網(wǎng)絡(luò)的收斂速度和穩(wěn)定問題 反饋網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題神經(jīng)網(wǎng)絡(luò)更多精彩之處需要大家在今后的學習與應(yīng)用中去發(fā)掘,包括穩(wěn)定性、隨機神經(jīng)網(wǎng)絡(luò)、VLSI設(shè)計等2021-10-2935六、考試事宜考試內(nèi)容:以上課所講內(nèi)容為主考試方式:閉卷考試時間:課程結(jié)束后四周Research Report上交時間:課程結(jié)束后八周 可以以個人或者小組方式提交Research Report 內(nèi)容可以包括各種神經(jīng)網(wǎng)絡(luò)研究進展、應(yīng)用的概述,

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論