《人工神經(jīng)網(wǎng)絡(luò)方法原理及應(yīng)用》精品PPT

1、 人工神經(jīng)網(wǎng)絡(luò)方法 原理及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介應(yīng)用實(shí)例 長(zhǎng)江三角洲地區(qū) 城市體系的職能分類 人工神經(jīng)網(wǎng)絡(luò)，是一個(gè)具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力系統(tǒng)，是由大量的處理單元(神經(jīng)元)廣泛互連而形成的網(wǎng)絡(luò)。是人腦的某種抽象、簡(jiǎn)化與模擬。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性：具有自學(xué)習(xí)功能 ；具有聯(lián)想存儲(chǔ)功能 ；具有高速尋找優(yōu)化解的能力。在現(xiàn)代地理學(xué)中，人工神經(jīng)網(wǎng)絡(luò)方法特別適用于地理模式識(shí)別、地理過(guò)程模擬與預(yù)測(cè)、復(fù)雜地理系統(tǒng)的優(yōu)化計(jì)算等問(wèn)題的研究。人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)模型的種類yiix1x2xnW1iW2iWni神經(jīng)

2、元模型神經(jīng)元模型 基于生物神經(jīng)元構(gòu)造，W.McCulloch和W.Pitts于1943年建立了一個(gè)模擬神經(jīng)元功能的數(shù)學(xué)模型，這個(gè)模型被稱為MP模型。 MP模型是一個(gè)多輸出單輸出的非線性元件。 在MP模型中，f是二值函數(shù)，其輸出值為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)，它可以用階躍函數(shù)表示，即 當(dāng)wji0時(shí)，為興奮性突觸結(jié)合；當(dāng)wji0為興奮性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于興奮狀態(tài)；當(dāng)w210為抑制性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，反而會(huì)使神經(jīng)元2容易處于抑制狀態(tài)。在（b）中，兩個(gè)神經(jīng)元處于相互結(jié)合性狀態(tài)，若w12和w21均為正，則某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一個(gè)神經(jīng)元也傾

3、向于興奮狀態(tài)，這稱為神經(jīng)元之間的協(xié)調(diào)作用；若w12和w21均為均為負(fù)，則當(dāng)某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一神經(jīng)元傾向于抑制狀態(tài)，這稱為神經(jīng)元之間的競(jìng)爭(zhēng)作用。協(xié)調(diào)和競(jìng)爭(zhēng)是神經(jīng)網(wǎng)絡(luò)中并行信息處理的基本動(dòng)態(tài)特性。 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)把大量的神經(jīng)元通過(guò)一定的拓?fù)浣Y(jié)構(gòu)連接起來(lái)，就形成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間的連接方式有相互結(jié)合型結(jié)構(gòu)和層狀結(jié)構(gòu)兩大類 。21435(a) 相互結(jié)合型12345(b) 層狀結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖(a)所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)系統(tǒng)中存在著反饋環(huán)。在神經(jīng)元的學(xué)習(xí)過(guò)程中，進(jìn)行誤差反饋。反饋有正、負(fù)之分，正反饋使系統(tǒng)發(fā)生振蕩，負(fù)反饋使系統(tǒng)穩(wěn)定。在大腦神經(jīng)系統(tǒng)中，由于負(fù)反饋的存在，使控制抑

4、制的機(jī)構(gòu)起著十分重要的作用。正反饋對(duì)大腦神經(jīng)元的同步動(dòng)作起著一定的作用。在圖(b)所示的層狀神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，信號(hào)依特定的方向傳播。在生物體內(nèi)，大腦皮質(zhì)之間、感覺(jué)器官和大腦之間，就可以看作是一種分層結(jié)構(gòu)，即功能模塊級(jí)的分層。在大腦內(nèi)確實(shí)存在各種機(jī)理不同的功能模塊，這一點(diǎn)被大腦的解剖研究已經(jīng)證明，而且每一個(gè)模塊內(nèi)部是由神經(jīng)元組成的并行處理系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)的工作原理 人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的判決，則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。將模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)

5、，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。神經(jīng)網(wǎng)絡(luò)的工作過(guò)程主要由兩個(gè)階段組成，一個(gè)階段是工作期，此時(shí)各連接權(quán)值固定，計(jì)算單元的狀態(tài)變化，以求達(dá)到穩(wěn)定狀態(tài)。另一階段是學(xué)習(xí)期(自適應(yīng)期，或設(shè)計(jì)期)，此時(shí)各計(jì)算單元狀態(tài)不變，各連接權(quán)值可修改(通過(guò)學(xué)習(xí)樣本或其他方法)，前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)，后一階段慢的多，權(quán)及連接方式亦稱長(zhǎng)期記憶(LTM)。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，一般是，首先設(shè)定初時(shí)權(quán)值，如果無(wú)先驗(yàn)的知識(shí)，初時(shí)權(quán)值可設(shè)定為隨機(jī)值。接著輸入樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，參照評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行評(píng)判。如果達(dá)到要求，就停止學(xué)習(xí)，否則按照給定的學(xué)習(xí)法則調(diào)整權(quán)值，繼續(xù)進(jìn)行學(xué)習(xí)，直到取得滿

6、意的結(jié)果為止。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，主要包括誤差傳播式學(xué)習(xí)、聯(lián)想學(xué)習(xí)、競(jìng)爭(zhēng)性（Competitive）學(xué)習(xí)和基于知識(shí)的學(xué)習(xí)等。各種學(xué)習(xí)規(guī)則都是以Hebb規(guī)則為基礎(chǔ)的。 誤差傳播式學(xué)習(xí)感知器（Perceptron）是神經(jīng)網(wǎng)絡(luò)中的一種最基本的神經(jīng)網(wǎng)絡(luò)模型，它是F.Rosenblatt于1961年提出來(lái)的。設(shè)神經(jīng)元的輸入輸出關(guān)系為是學(xué)習(xí)速率，di是教師信號(hào)或希望輸出，i是實(shí)際輸出yi與希望輸出di之差，yi和xj取1或0的離散值。聯(lián)想式學(xué)習(xí)根據(jù)空間或時(shí)間上接近的事物之間，性質(zhì)上相似或相反的事物之間，以及存在因果關(guān)系的事物都可能在人的大腦中產(chǎn)生聯(lián)想的原理，人們提出了許多無(wú)教師的聯(lián)想式學(xué)習(xí)模式，其學(xué)習(xí)規(guī)則

7、可以表示為在聯(lián)想式學(xué)習(xí)中，權(quán)值變化僅是輸入與輸出同時(shí)興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入與輸出之間，所以這種聯(lián)想被稱為異聯(lián)想（Hetroassociation）。 競(jìng)爭(zhēng)性學(xué)習(xí) 在競(jìng)爭(zhēng)性學(xué)習(xí)時(shí)，網(wǎng)絡(luò)各輸出單元相互競(jìng)爭(zhēng)，最后達(dá)到只有一個(gè)最強(qiáng)者激活，最常見(jiàn)的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接,這樣，原來(lái)輸出單元中若有一個(gè)單元較強(qiáng)，則它將獲勝并抑制其它單元，最后只有此強(qiáng)者處于激活狀態(tài)。最常見(jiàn)的競(jìng)爭(zhēng)性學(xué)習(xí)規(guī)則可以寫(xiě)為輸入層輸出層 具有側(cè)向抑制性連接的競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)模型的種類 按照拓?fù)浣Y(jié)構(gòu)可以分為反饋神經(jīng)網(wǎng)絡(luò)模型和前向神經(jīng)網(wǎng)絡(luò)模型；按照性能可以分為連續(xù)型和離散型神經(jīng)網(wǎng)絡(luò)模型，確定型和隨機(jī)型神經(jīng)網(wǎng)絡(luò)模

8、型；按照學(xué)習(xí)方式可以分為有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；按照連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。常見(jiàn)的人工神經(jīng)網(wǎng)絡(luò)模型，主要包括感知器（Perceptron）神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)等。 應(yīng)用實(shí)例： 長(zhǎng)江三角洲地區(qū) 城市體系的職能分類 建立城市職能分類的指標(biāo)體系Kohonen網(wǎng)絡(luò)的原理建立城市分類的Kohonen網(wǎng)絡(luò)模型結(jié)果及討論 建立城市職能分類的指標(biāo)體系 1選擇反映城市社會(huì)發(fā)展的指標(biāo) 在人口與勞動(dòng)力構(gòu)成中選取總?cè)丝?、非農(nóng)業(yè)人口、從業(yè)人員作為衡量城市規(guī)模的指標(biāo)；將在校小學(xué)生數(shù)、中等學(xué)校學(xué)生

9、數(shù)、高等學(xué)校學(xué)生數(shù)三項(xiàng)合并為一項(xiàng)，即在校學(xué)生數(shù)，同時(shí)選取各類專業(yè)技術(shù)人員、公共圖書(shū)館圖書(shū)藏量、醫(yī)院衛(wèi)生院床位數(shù)作為反映社會(huì)文化教育的指標(biāo)。2 選擇反映城市社會(huì)經(jīng)濟(jì)的指標(biāo)在城市國(guó)民生產(chǎn)總值綜合指標(biāo)中，選取國(guó)內(nèi)生產(chǎn)總值、人均國(guó)民生產(chǎn)總值、第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、第三產(chǎn)業(yè)、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值以及有關(guān)財(cái)政、金融、保險(xiǎn)等17項(xiàng)指標(biāo)。3 選擇反映城市基礎(chǔ)設(shè)施的指標(biāo)從交通運(yùn)輸、郵電事業(yè)的指標(biāo)中，選取了公路客運(yùn)量、公路客運(yùn)量、郵電業(yè)務(wù)總量3項(xiàng)指標(biāo)。表城市職能分類指標(biāo)體系 城市社會(huì)發(fā)展 總?cè)丝?、非農(nóng)業(yè)人口、從業(yè)人員、在職職工年平均工資、在校學(xué)生數(shù)、各類專業(yè)技術(shù)人員、公共圖書(shū)館圖書(shū)藏量、醫(yī)院衛(wèi)生院床位數(shù)。城市經(jīng)

10、濟(jì)發(fā)展 城市社會(huì)發(fā)展國(guó)內(nèi)生產(chǎn)總值、人均國(guó)民生產(chǎn)總值、第一產(chǎn)業(yè)產(chǎn)值、第二產(chǎn)業(yè)產(chǎn)值、第三產(chǎn)業(yè)產(chǎn)值、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值、固定資產(chǎn)投資、財(cái)政總收入、地方財(cái)政收入、地方財(cái)政支出、出口總額、利用外資、年末金融機(jī)構(gòu)存款余額、年末金融機(jī)構(gòu)貸款余額、保險(xiǎn)收入、已決賠款。 城市基礎(chǔ)設(shè)施 公路客運(yùn)量、公路客運(yùn)量、郵電業(yè)務(wù)總量。 Kohonen網(wǎng)絡(luò)的原理 Kohonen網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)(Self-Organizing Feature Map,簡(jiǎn)稱SOM網(wǎng)絡(luò))，通過(guò)尋找最優(yōu)權(quán)值矢量對(duì)輸入模式集合進(jìn)行分類。1 Kohonen網(wǎng)絡(luò)結(jié)構(gòu)由輸入層和輸出層（也稱競(jìng)爭(zhēng)層）構(gòu)成的兩層網(wǎng)絡(luò)，輸入層用于接收輸入模式，輸

11、出層的神經(jīng)元一般按正則二維陣列排列，兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向權(quán)連接。Kohonen網(wǎng)絡(luò)結(jié)構(gòu) 2 Kohonen網(wǎng)絡(luò)的學(xué)習(xí)和工作規(guī)則 Kohonen網(wǎng)絡(luò)的自組織學(xué)習(xí)過(guò)程可以描述為：對(duì)于每一個(gè)網(wǎng)絡(luò)的輸入，只調(diào)整一部分權(quán)值，使權(quán)向量更接近或更偏離輸入矢量，這一調(diào)整過(guò)程，就是競(jìng)爭(zhēng)學(xué)習(xí)，隨著不斷學(xué)習(xí)，所有權(quán)矢量都在輸入矢量空間相互分離，形成了各自代表輸入空間的一類模式，這就是Kohonen網(wǎng)絡(luò)的特征自動(dòng)識(shí)別的聚類功能 。建立城市分類的Kohonen網(wǎng)絡(luò)模型1 指標(biāo)數(shù)據(jù)的處理在本模型中，采用標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，將原始數(shù)據(jù)轉(zhuǎn)換為： 2 運(yùn)用Matlab神經(jīng)網(wǎng)絡(luò)工具箱建立Kohonen網(wǎng)絡(luò)模型將長(zhǎng)江三角洲各城市的28項(xiàng)指標(biāo)導(dǎo)入Kohonen網(wǎng)絡(luò)中，作為網(wǎng)絡(luò)的輸入模式 ，因此輸入層的神經(jīng)元個(gè)數(shù)為28；而競(jìng)爭(zhēng)層的神經(jīng)元個(gè)數(shù)決定于需要分成幾類，在不清楚分類數(shù)目的情況下，競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)從開(kāi)始，然后依次加1，分別進(jìn)行學(xué)習(xí)。在Kohonen網(wǎng)絡(luò)模型中，選擇網(wǎng)絡(luò)訓(xùn)練的迭代最大次數(shù)為1000次，初始的學(xué)習(xí)率為0.5。3 Kohonen網(wǎng)絡(luò)模型的分類結(jié)果 結(jié)果及討論 從長(zhǎng)江三角洲城市的分類模型結(jié)果來(lái)看，分類結(jié)果與實(shí)際情況大體一致，結(jié)果較為理想。該方法的最大的優(yōu)點(diǎn)是避免了各層次權(quán)重帶來(lái)的主觀性。運(yùn)用Kohonen網(wǎng)絡(luò)進(jìn)行城市分類，存在很多需要改進(jìn)的地方。比如，如果指標(biāo)體系的