機(jī)械故障診斷學(xué) 鐘秉林 第7章神經(jīng)網(wǎng)絡(luò)診斷原理

第7章神經(jīng)網(wǎng)絡(luò)診斷原理

人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則

多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法

徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法

模糊神經(jīng)網(wǎng)絡(luò)原理機(jī)械故障診斷理論與方法第2篇基于人工智能的故障診斷技術(shù)2022/9/191內(nèi)容安排一、概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)稱ANN）,是近年來得到迅速發(fā)展的一個(gè)前沿課題。ANN是在現(xiàn)代神經(jīng)生理學(xué)和心理學(xué)的研究基礎(chǔ)上，模仿人的大腦神經(jīng)元結(jié)構(gòu)特性而建立的一種非線性動(dòng)力學(xué)網(wǎng)絡(luò)系統(tǒng)，它由大量的簡(jiǎn)單的非線性處理單元（類似人腦的神經(jīng)元）高度并聯(lián)、互聯(lián)而成，具有對(duì)人腦某些基本特性簡(jiǎn)單的數(shù)學(xué)模擬能力。

2022/9/192神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功能強(qiáng)等特點(diǎn)，已成為解決很多問題的有力工具。如汽車自駕系統(tǒng)、圖像處理（人臉識(shí)別）、文字識(shí)別（手寫識(shí)別）、語音識(shí)別、故障診斷等。

與傳統(tǒng)計(jì)算機(jī)的比較傳統(tǒng)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)算法和/或求解規(guī)則，編制軟件

無需算法或求解規(guī)則，軟件編制任務(wù)相對(duì)簡(jiǎn)單

指令串行執(zhí)行

高度并行處理

不能解決形象思維問題，如感知、視覺等

易于實(shí)現(xiàn)感知和視覺等形象思維問題

脆弱魯棒性(Robust)、容錯(cuò)性強(qiáng)，

自適應(yīng)能力差

自適應(yīng)性強(qiáng)

強(qiáng)有力的數(shù)字和邏輯運(yùn)算能力，計(jì)算精度高

可以處理模糊的、概率的、含噪的或不相容的信息

2022/9/193一、概述

目前，已經(jīng)提出的神經(jīng)網(wǎng)絡(luò)模型大約有幾十種，較為著名的有：賀浦費(fèi)特模型----Hopfield多層感知器（MultiLayerPerceptron,MLP）模型----Rumelhart自適應(yīng)共振理論（AdaptiveResonanceTheory,ART）

----Grossberg和Carpentent玻爾茲曼（Boltzmann）機(jī)----Hinton自組織特征映射（Self-RrganizingMap,SOM）模型---Kohonen雙向聯(lián)想記憶模型----Kosko2022/9/194一、概述人工神經(jīng)網(wǎng)絡(luò)在故障診斷領(lǐng)域的應(yīng)用主要集中在如下三個(gè)方面：一是從模式識(shí)別角度應(yīng)用神經(jīng)網(wǎng)絡(luò)作為分類器進(jìn)行故障診斷；二是從預(yù)測(cè)角度應(yīng)用神經(jīng)網(wǎng)絡(luò)作為動(dòng)態(tài)預(yù)測(cè)模型進(jìn)行故障預(yù)測(cè)；三是從知識(shí)處理角度建立基于神經(jīng)網(wǎng)絡(luò)的診斷專家系統(tǒng)。2022/9/195本章首先介紹神經(jīng)網(wǎng)絡(luò)的基本原理，然后著重從第一方面出發(fā)介紹幾類在故障診斷領(lǐng)域應(yīng)用較為廣泛的神經(jīng)網(wǎng)絡(luò)模型。人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史最早的研究可以追溯到20世紀(jì)40年代。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型。這一模型一般被簡(jiǎn)稱M-P神經(jīng)網(wǎng)絡(luò)模型，至今仍在應(yīng)用，可以說，人工神經(jīng)網(wǎng)絡(luò)的研究時(shí)代，就由此開始了。1949年，心理學(xué)家Hebb提出神經(jīng)系統(tǒng)的學(xué)習(xí)規(guī)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)?，F(xiàn)在，這個(gè)規(guī)則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)還遵循這一規(guī)則。一、概述2022/9/1961957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron)模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究從純理論的探討付諸工程實(shí)踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。20世紀(jì)60年代以后，數(shù)字計(jì)算機(jī)的發(fā)展達(dá)到全盛時(shí)期，人們誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、專家系統(tǒng)、模式識(shí)別問題，而放松了對(duì)“感知器”的研究。于是，從20世紀(jì)60年代末期起，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。

一、概述2022/9/1971982年，美國(guó)加州工學(xué)院物理學(xué)家Hopfield提出了離散的神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)的研究又進(jìn)入了一個(gè)新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開拓了計(jì)算機(jī)應(yīng)用神經(jīng)網(wǎng)絡(luò)的新途徑。1986年，Rumelhart和Meclelland提出多層網(wǎng)絡(luò)的誤差反傳(BackPropagation)學(xué)習(xí)算法，簡(jiǎn)稱BP算法。BP算法是目前最為重要、應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò)算法之一。一、概述自20世紀(jì)80年代中期以來，世界上許多國(guó)家掀起了神經(jīng)網(wǎng)絡(luò)的研究熱潮，可以說神經(jīng)網(wǎng)絡(luò)已成為國(guó)際上的一個(gè)研究熱點(diǎn)。

2022/9/198二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則1.生物神經(jīng)元與人工神經(jīng)元模型

生物神經(jīng)元(NU)神經(jīng)元是大腦處理信息的基本單元;人腦約由101l-1012個(gè)神經(jīng)元組成，其中，每個(gè)神經(jīng)元約與104-105個(gè)神經(jīng)元通過突觸聯(lián)接，形成極為錯(cuò)縱復(fù)雜而且又靈活多變的神經(jīng)網(wǎng)絡(luò);神經(jīng)元以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干;主要由細(xì)胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。2022/9/199二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1910細(xì)胞體對(duì)這些輸入信號(hào)進(jìn)行整合并進(jìn)行閾值處理；樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡(luò)，它將電信號(hào)傳送到細(xì)胞體；軸突是單根長(zhǎng)纖維，它把細(xì)胞體的輸出信號(hào)導(dǎo)向其他神經(jīng)元；一個(gè)神經(jīng)細(xì)胞的軸突和另一個(gè)神經(jīng)細(xì)胞樹突的結(jié)合點(diǎn)稱為突觸

[興奮型、抑制型，膜外為正、膜內(nèi)為負(fù)]神經(jīng)元的排列和突觸的強(qiáng)度(由復(fù)雜的化學(xué)過程決定)確立了神經(jīng)網(wǎng)絡(luò)的功能。

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1911生物學(xué)研究表明一些神經(jīng)結(jié)構(gòu)是與生俱來的，而其他部分則是在學(xué)習(xí)的過程中形成的。在學(xué)習(xí)的過程中，可能會(huì)產(chǎn)生一些新的連接，也可能會(huì)使以前的一些連接消失。這個(gè)過程在生命早期最為顯著。二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1912

突觸的信息處理生物神經(jīng)元傳遞信息的過程為多輸入、單輸出；神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近；當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)；突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。

生物神經(jīng)元的主要功能與特點(diǎn)

時(shí)空整合能力：對(duì)不同時(shí)間通過同一突觸傳入的神經(jīng)沖動(dòng)（激勵(lì)），具有時(shí)間整合功能；對(duì)同一時(shí)間通過不同突觸傳入的神經(jīng)沖動(dòng)，具有空間整合功能。

興奮與抑制狀態(tài)：傳入神經(jīng)沖動(dòng)的時(shí)空整合結(jié)果，使神經(jīng)元膜電位升高，超過神經(jīng)元?jiǎng)幼麟娢坏拈y值(約40mV)時(shí)，神經(jīng)元進(jìn)入興奮狀態(tài)；傳入神經(jīng)沖動(dòng)的是時(shí)空整合結(jié)果，使神經(jīng)元膜電位低于電位閥值之下，神經(jīng)元進(jìn)入抑制狀態(tài)。

脈沖與電位轉(zhuǎn)換

突觸延時(shí)和不應(yīng)期：一般為0.3～lms

學(xué)習(xí)、遺忘和疲勞：存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1913可塑性：突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能

人工神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1914

1943，神經(jīng)生理學(xué)家McCulloch和數(shù)學(xué)家Pitts基于早期神經(jīng)元學(xué)說，歸納總結(jié)了生物神經(jīng)元的基本特性，建立了具有邏輯演算功能的神經(jīng)元模型以及這些人工神經(jīng)元互聯(lián)形成的人工神經(jīng)網(wǎng)絡(luò)，即所謂的McCulloch-Pitts模型，MP模型

。MP模型是世界上第一個(gè)神經(jīng)計(jì)算模型，即人工神經(jīng)系統(tǒng)。令：X=(-1,x1,x2,…,xn)T

Wj=(j,wj1,wj2,wjn)T二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1915典型人工神經(jīng)元結(jié)構(gòu)：

作用函數(shù)：

求和操作：

圖中∑表示求和，θj為閥值{x1,x2,…，xn}為輸入，即其他神經(jīng)元的軸突輸出；n為輸入數(shù)目；{ωj1，ωj2，…，ωjn}為其他n個(gè)神經(jīng)元與神經(jīng)元j的突觸連接強(qiáng)度，通常稱為權(quán)重，{ωji}可正可負(fù)，表示為興奮型突觸和抑制型突；f(.)通常為一非線性函數(shù)，稱為神經(jīng)的激活函數(shù)或轉(zhuǎn)移函數(shù)；sj為神經(jīng)元的求和輸出，常稱為神經(jīng)元的激活水平，yj為輸出。二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1916MP模型

f(x)是作用函數(shù)(ActivationFunction)，也稱激發(fā)函數(shù)。MP神經(jīng)元模型中的作用函數(shù)為單位階躍函數(shù)：其表達(dá)式為：可知當(dāng)神經(jīng)元i的輸入信號(hào)加權(quán)和超過閾值時(shí)，輸出為“1”，即“興奮”狀態(tài)；反之輸出為“0”，是“抑制”狀態(tài)。二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1917例1

實(shí)現(xiàn)邏輯函數(shù)“與門”（ANDgate）運(yùn)算。1—真，0—假二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1918二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1919常見的神經(jīng)元激發(fā)函數(shù)MP神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。激發(fā)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1920I對(duì)稱型Sigmoid函數(shù)

或二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1921II非對(duì)稱型Sigmoid函數(shù)或二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1922III對(duì)稱型階躍函數(shù)采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1923IV線性函數(shù)

（1）線性作用函數(shù)：輸出等于輸入，即（2）飽和線性作用函數(shù)（3）對(duì)稱飽和線性作用函數(shù)

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1924V高斯函數(shù)

反映出高斯函數(shù)的寬度0xf(x)0xf(x)10xf(x)1-1二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1925高斯函數(shù)型

雙曲正切型

Sigmoid型

斜坡型

0xf(x)1-1-aa0.51f(x)0x1f(x)0x-1-50500.10.20.30.40.50.60.70.80.911x0cf(x)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/19262.人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1927眾所周知，神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算功能是通過神經(jīng)元的互連而達(dá)到的。根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類：目前，神經(jīng)網(wǎng)絡(luò)模型的種類比較多，已有近40余種神經(jīng)網(wǎng)絡(luò)模型，其中典型的有BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART自適應(yīng)共振理論和Blotzman機(jī)網(wǎng)絡(luò)等

不含反饋的前向網(wǎng)絡(luò)

2.人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1928神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過中間各層，加權(quán)后傳遞到輸出層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。感知器(Perceptron)、BP神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF-RedialBasisFunction)神經(jīng)網(wǎng)絡(luò)都屬于這種類型。

反饋網(wǎng)絡(luò)全互連網(wǎng)絡(luò)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1929在互連網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都可能有相互連接的關(guān)系。其中，有的神經(jīng)元之間是雙向的，有的是單向的。Hopfield網(wǎng)絡(luò)、Boltzman機(jī)網(wǎng)絡(luò)屬于這一類。

在無反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過某個(gè)神經(jīng)元，過程就結(jié)束了。而在互連網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中。從某個(gè)初始狀態(tài)開始，經(jīng)過若干次的變化，才會(huì)到達(dá)某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩或其它如渾沌等平衡狀態(tài)。狀態(tài)反饋網(wǎng)絡(luò)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1930在前向神經(jīng)網(wǎng)絡(luò)中有的在同一層中的各神經(jīng)元相互有連接,通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制，這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。(層內(nèi)有互聯(lián)的前向神經(jīng)網(wǎng)絡(luò)

)狀態(tài)反饋網(wǎng)絡(luò)輸出反饋網(wǎng)絡(luò)

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1931輸出反饋網(wǎng)絡(luò)

在層次網(wǎng)絡(luò)結(jié)構(gòu)中，只在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可以用于動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模。(有反饋的前向神經(jīng)網(wǎng)絡(luò))3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式、規(guī)則及分類二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1932

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則相關(guān)規(guī)則——Hebb學(xué)習(xí)規(guī)則（無指導(dǎo)學(xué)習(xí)）糾錯(cuò)規(guī)則——Delta(δ)學(xué)習(xí)規(guī)則（有指導(dǎo)學(xué)習(xí)）競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則（無指導(dǎo)學(xué)習(xí)）隨機(jī)學(xué)習(xí)規(guī)則（有指導(dǎo)學(xué)習(xí)）強(qiáng)化學(xué)些規(guī)則（增強(qiáng)學(xué)習(xí)）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式有監(jiān)督（誤差校正）學(xué)習(xí)方式無監(jiān)督學(xué)習(xí)方式3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式、規(guī)則及分類二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1933人工神經(jīng)網(wǎng)絡(luò)連接權(quán)值的確定通常有兩種方法根據(jù)具體要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算；通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法。學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力。學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式、規(guī)則及分類二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1934有監(jiān)督學(xué)習(xí)方式特點(diǎn)：不能保證得到全局最優(yōu)解；要求大量訓(xùn)練樣本，收斂速度慢；對(duì)樣本地表示次序變化比較敏感；

神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的偏差，按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為有導(dǎo)師學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式、規(guī)則及分類二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1935無監(jiān)督學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式

無導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主要完成聚類操作。

ANN的學(xué)習(xí)規(guī)則

相關(guān)規(guī)則僅依賴于連接間的激活水平改變權(quán)重，常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí)。如Hebb規(guī)則3.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則及分類二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1936

糾錯(cuò)規(guī)則

依賴輸出節(jié)點(diǎn)的外部反饋修正權(quán)重，等效于梯度下降法。如感知器學(xué)習(xí)規(guī)則：如果一節(jié)點(diǎn)的輸出正確，權(quán)重不變；如果輸出本應(yīng)為零而為1，減小權(quán)重；如果本應(yīng)為1而為0，增加權(quán)重；規(guī)則(最小均方LMS算法、Widrow-Haff算法)：

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1937廣義規(guī)則(BP學(xué)習(xí)規(guī)則)：

競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則

類似于聚類分析算法，學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空間的事件分布，如矢量量化(LearningVectorQuantization,簡(jiǎn)稱

LVQ)算法、SOM算法、以及ART訓(xùn)練算法都利用了競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則。

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1938

隨機(jī)學(xué)習(xí)規(guī)則

利用隨機(jī)過程、概率統(tǒng)計(jì)和能量函數(shù)的關(guān)系來調(diào)節(jié)連接權(quán)。如模擬退火（Simulated

Annealing）算法。此外,基于生物進(jìn)化規(guī)則的基因遺傳（GeneticAlgorithmGA）算法在某種程度上也可視為一類隨機(jī)學(xué)習(xí)算法。二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1939

強(qiáng)化學(xué)習(xí)規(guī)則

通過網(wǎng)絡(luò)輸出的正誤修正權(quán)重，又稱有評(píng)判的學(xué)習(xí)，強(qiáng)化信號(hào)僅僅說明輸出正確與否。包括非聯(lián)想的增強(qiáng)學(xué)習(xí)、聯(lián)想增強(qiáng)、自適應(yīng)評(píng)判學(xué)習(xí)等。

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1940三類學(xué)習(xí)規(guī)則：

有指導(dǎo)學(xué)習(xí)

不僅需要學(xué)習(xí)用的輸入事例（也稱訓(xùn)練樣本，通常為一矢量），同時(shí)還要求與之對(duì)應(yīng)的表示所需期望輸出的目標(biāo)矢量。學(xué)習(xí)時(shí)，根據(jù)網(wǎng)絡(luò)實(shí)際輸出與目標(biāo)輸出間的誤差改變權(quán)重。如糾錯(cuò)規(guī)則、隨機(jī)學(xué)習(xí)規(guī)則。

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1941

無指導(dǎo)學(xué)習(xí)

不需要目標(biāo)矢量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會(huì)某種功能，學(xué)習(xí)在于調(diào)整權(quán)重以反映學(xué)習(xí)樣本的分布。整個(gè)訓(xùn)練過程實(shí)質(zhì)是抽取訓(xùn)練樣本集的統(tǒng)計(jì)特性。如競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則。

增強(qiáng)學(xué)習(xí)不需要目標(biāo)矢量，但要求提供外部的增強(qiáng)信號(hào)。

二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/1942

ANN的分類

按性能

連續(xù)型或離散型網(wǎng)絡(luò)

確定性或隨機(jī)性網(wǎng)絡(luò)按結(jié)構(gòu)

前向或反饋網(wǎng)絡(luò)按學(xué)習(xí)方式

有指導(dǎo)（教師）、無指導(dǎo)或強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)二、人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及其學(xué)習(xí)規(guī)則2022/9/19431.感知器（Perceptron）

其中：X=(x0,x1,x2,…,xN)T，x0=-1Wk=(wk0,wk1,…,wkN)Twk0=k,為神經(jīng)元k的閾值

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1944令Y=(y1,y2,…,yM)T，F(xiàn)()=(f1(),f2(),…,fM())T

則：Y=F(WX)三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1945三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1946多層感知器：其中：三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1947H表示第層的隱節(jié)點(diǎn)數(shù)。H0=N

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1948感知器特點(diǎn)：

網(wǎng)絡(luò)輸出僅與輸入及網(wǎng)絡(luò)權(quán)矩陣有關(guān)，輸出為輸入的顯式表達(dá)，由輸入計(jì)算得到輸出;

多層網(wǎng)絡(luò)所有神經(jīng)元的激活函數(shù)不能全部為線性函數(shù)，否則，多層網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1949感知器性能分析：?jiǎn)螌痈兄鞯姆诸愄匦暂斎胧噶繛閮蓚€(gè)分量(N=2)時(shí)，在幾何上構(gòu)成平面上的兩維集，此時(shí)判決邊界為直線：

wk1x1+wk2x2-k=0三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1950N=3時(shí)，三維數(shù)據(jù)集，判決邊界為一平面

N>3時(shí)，高維數(shù)據(jù)集，判決邊界為一超平面

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1951

單層感知器表示能力三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1952矛盾三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1953單層感知器的單一超平面判決邊界決定了其只適用于線性可分問題。

高維時(shí)，線性可分性通常無法判別，因此，單層感知器通常用于簡(jiǎn)單的分類問題。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1954

多層感知器的分類特性三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1955三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1956三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1957

上表給出了利用硬限幅非線性函數(shù)(階躍函數(shù)、符號(hào)函數(shù))的一層、二層及三層網(wǎng)絡(luò)的類區(qū)分功能，陰影部分表示類A的判定區(qū)。從表中可以看出：(1)無隱層網(wǎng)絡(luò)僅能形成半平面決策區(qū)域；(2)單隱層網(wǎng)絡(luò)可以形成開或閉的凸決策區(qū)域；(3)兩個(gè)隱層的網(wǎng)絡(luò)形成任意復(fù)雜形狀的決策區(qū)域。因此，一般在應(yīng)用中，網(wǎng)絡(luò)不需要超過兩個(gè)隱層。感知器學(xué)習(xí)算法：

Hebb規(guī)則算法

適用于符號(hào)單元：

適用于符號(hào)或閾值單元：

（0，1）稱為學(xué)習(xí)系數(shù)（率），用于控制權(quán)重修正速度。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1958Hebb規(guī)則算法步驟：三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1959三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1960三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1961Hebb規(guī)則de缺陷：

本質(zhì)上不可能對(duì)隱層單元權(quán)重進(jìn)行調(diào)節(jié)，因?yàn)殡[單元的期望輸出未知，因而不能應(yīng)用于多層網(wǎng)絡(luò)的學(xué)習(xí)；對(duì)非線性可分問題，算法不收斂。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1962

規(guī)則算法

考慮線性激活函數(shù)情形。定義輸出誤差測(cè)度函數(shù)（目標(biāo)函數(shù)、耗費(fèi)函數(shù)）為學(xué)習(xí)的目的是通過調(diào)節(jié)權(quán)重W使得上述誤差函數(shù)越小越好。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1963根據(jù)梯度算法，權(quán)重W的修正量W正比于當(dāng)前W上E的梯度：即：

其中k為輸出節(jié)點(diǎn)k的誤差。顯然，上式與基于Hebb規(guī)則得到的權(quán)重修正公式相同。但是兩者的原理是不同的，前者基于誤差梯度，要求激活函數(shù)可微，能夠應(yīng)用于多層感知器情形。三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1964上面權(quán)重修正公式也可表示為矩陣形式：非線性激活函數(shù)時(shí)：此時(shí)，三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1965線性激活函數(shù)寫成矩陣形式有：一般的連續(xù)可微激活函數(shù)有Sigmoid函數(shù)和雙曲正切函數(shù)，即：三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1966梯度算法(規(guī)則算法)的步驟與前面Hebb訓(xùn)練算法步驟類似，僅僅是誤差表達(dá)式不同。算法特點(diǎn)：要求神經(jīng)元激活函數(shù)可微，易于推廣到非線性激活單元算法過程原理上永不停止,并逐漸接近最優(yōu)解，即k不等于0。當(dāng)誤差函數(shù)存在多個(gè)局部極小點(diǎn)時(shí)，一般而言，梯度算法得不到全局最小解。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/19672.BP網(wǎng)絡(luò)模型(BackPropagation)

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1968一個(gè)具有任意的壓縮(Squashing)型激活函數(shù)（如Sigmoid函數(shù)、雙曲正切函數(shù)等）的單隱層前向網(wǎng)絡(luò)，只要有充分多的隱層單元，就能夠以任意的精度逼近任意一個(gè)有限維的波萊爾可測(cè)函數(shù)(Borelmeasurablefunction)，從而表明BP網(wǎng)絡(luò)是一個(gè)通用的函數(shù)逼近器。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1969考慮單樣本學(xué)習(xí)的BP算法，定義網(wǎng)絡(luò)的目標(biāo)函數(shù)為：對(duì)單隱層網(wǎng)絡(luò)，3.BP算法(誤差反向傳播:BackPropagation)三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1970對(duì)于隱層至輸出層權(quán)重W2：對(duì)于輸入層至隱層權(quán)重W1：三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1971三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1972一般，對(duì)于多于一個(gè)隱層的BP網(wǎng)絡(luò)，最后一隱層與輸出層之間的權(quán)重修正公式仍與上面第一個(gè)公式相同，其它層間權(quán)重修正公式可統(tǒng)一表示為：上式中：三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1973BP算法特點(diǎn)

將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入輸出的映射問題轉(zhuǎn)變?yōu)?/p>

非線性優(yōu)化問題，使用最優(yōu)化中的梯度下降算法，用迭代運(yùn)算修正網(wǎng)絡(luò)權(quán)重，實(shí)現(xiàn)網(wǎng)絡(luò)輸出與期望輸出間的均方誤差最小化。

算法由前向計(jì)算過程和誤差反向傳播過程組成。在前向計(jì)算過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。若輸出層得不到期望的輸出，則轉(zhuǎn)向反向傳播，將誤差信號(hào)延原來的連接通路返回，通過修改各層的權(quán)重，使得誤差信號(hào)最小。三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1974

權(quán)重修正量只與該權(quán)重聯(lián)接的兩個(gè)相關(guān)量（前一節(jié)點(diǎn)的輸出；后一節(jié)點(diǎn)的誤差）有關(guān)，使得BP算法易于并行實(shí)現(xiàn)。三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1975BP網(wǎng)絡(luò)的應(yīng)用中的幾個(gè)實(shí)際問題

樣本集的產(chǎn)生包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理等。

確定模式變量（特征）

通過對(duì)原始數(shù)據(jù)的統(tǒng)計(jì)分析，檢驗(yàn)輸入間的相關(guān)性。對(duì)于具有很強(qiáng)相關(guān)性的輸入僅取其中之一即可。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1976

輸入尺度變換（歸一化）和預(yù)處理

尺度變換常常將輸入變換到[-1，1]或[0，1]的范圍。一方面，避免由于輸入變量數(shù)值相差過大，導(dǎo)致訓(xùn)練的困難。另一方面，避Sigmoid函數(shù)陷入飽和。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須剔除。對(duì)數(shù)據(jù)的預(yù)處理包括檢驗(yàn)其是否存在周期性、固定變化趨勢(shì)或其它關(guān)系等。三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1977

樣本數(shù)量一般說來數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果越能正確反映輸入輸出關(guān)系。但太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練所付出的代價(jià)，而太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測(cè)試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1978影響數(shù)據(jù)多少的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減少所需的數(shù)據(jù)數(shù)。相反，數(shù)據(jù)稀薄不均甚至互相覆蓋則勢(shì)必要增加數(shù)據(jù)量。

測(cè)試樣本測(cè)試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。最簡(jiǎn)單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練，另外三分之一用于將來的測(cè)試，隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1979

訓(xùn)練樣本的完備性要求訓(xùn)練樣本必須覆蓋所有可能的輸入和輸出的映射區(qū)域，即要求訓(xùn)練樣本集必須是完備的，否則，當(dāng)BP網(wǎng)絡(luò)進(jìn)行決策時(shí)，對(duì)沒有學(xué)習(xí)過的樣本區(qū)域可能會(huì)給出完全錯(cuò)誤的結(jié)果。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1980

作為分類器時(shí)的輸出表示

每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)一種類別；通過編碼（二進(jìn)制）表示不同的類別；

訓(xùn)練和測(cè)試

BP網(wǎng)絡(luò)解決問題的能力與訓(xùn)練次數(shù)不成正比。網(wǎng)絡(luò)訓(xùn)練的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出間的本質(zhì)聯(lián)系，從而對(duì)未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即具備泛化功能。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1981均方誤差訓(xùn)練次數(shù)訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)

誤差曲線的典型形狀如上圖，從誤差曲線可見，測(cè)試數(shù)據(jù)均方誤差并非單調(diào)減小，測(cè)試誤差最小點(diǎn)所對(duì)應(yīng)的訓(xùn)練次數(shù)即為適當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過度訓(xùn)練”（過擬合）。

三、多層前向神經(jīng)網(wǎng)絡(luò)模型及BP算法2022/9/1982四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1983

1.網(wǎng)絡(luò)的權(quán)重具有關(guān)聯(lián)性、網(wǎng)絡(luò)本身的非線性特性，使得應(yīng)用者很難理解每個(gè)權(quán)重的意義，并追蹤檢查基決策過程。這種無解釋的推理結(jié)果往往難以讓用戶接受，并且缺少說服力。

2.若訓(xùn)練樣本和測(cè)試樣本兩者都不能充分反映實(shí)際系統(tǒng)的行為，網(wǎng)絡(luò)的可靠性仍然得不到保證；

3.對(duì)于一個(gè)實(shí)際系統(tǒng)，尤其是一個(gè)復(fù)雜系統(tǒng)，由于無法判斷所給定的樣本是否真正反映了系統(tǒng)具有代表性的行為，因此，也給BP網(wǎng)絡(luò)的實(shí)際應(yīng)用帶來了限制。BP網(wǎng)絡(luò)存在的問題：0引言四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1984正因?yàn)锽P網(wǎng)絡(luò)存在如上所述的諸多問題，為此許多研究者尋求了各種替代方案，其中最有效的解決方案之一就是徑向基函數(shù)網(wǎng)絡(luò)(RadialBasisFunction,RBF)。RBF網(wǎng)絡(luò)起源于數(shù)值分析中的多變量插值的徑向基函數(shù)方法。RBF網(wǎng)絡(luò)能力與性質(zhì)：同BP網(wǎng)絡(luò)一樣具有任意精度的泛函逼近能力；具有傳統(tǒng)BP網(wǎng)絡(luò)所不具備的最佳逼近特性，即它存在一個(gè)權(quán)重集合，其逼近效果在所有可能的權(quán)重集合中是最佳的。（學(xué)者季洛立Girori和樸基奧Poggio已證明）四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19851RBF網(wǎng)絡(luò)結(jié)構(gòu)特性RBF網(wǎng)絡(luò)結(jié)構(gòu)如圖所示，RBF網(wǎng)絡(luò)通常是一種兩層的前向網(wǎng)絡(luò)，由圖可見，RBF網(wǎng)絡(luò)的結(jié)構(gòu)與BP網(wǎng)絡(luò)結(jié)構(gòu)十分相似，但有著本質(zhì)的區(qū)別：（1）RBF網(wǎng)絡(luò)隱單元的激活函數(shù)為具有局部接受域性質(zhì)的非線性函數(shù)，即僅當(dāng)隱單元的輸入落在輸入空間中一個(gè)很小的制定區(qū)域中時(shí)，才會(huì)做出有意義的非零響應(yīng)。而不是如同BP網(wǎng)絡(luò)的激活函數(shù)一樣在輸入空間的無限大區(qū)域內(nèi)非零。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1986（2）在RBF網(wǎng)絡(luò)中，輸入層至隱層之間的所有權(quán)重固定為1，隱層RBF單元的中心及半徑通常也預(yù)先確定，僅隱層至輸出層之間的權(quán)重可調(diào)。

RBF網(wǎng)絡(luò)的隱層執(zhí)行一種固定不變的非線性變換，將輸入空間Rn映射到新的隱層空間Rh，輸出層在該新的空間中實(shí)現(xiàn)線性組合。顯然由于輸出單元的線性特性，其參數(shù)調(diào)節(jié)極為簡(jiǎn)單，且不存在局部極小問題；（3）RBF網(wǎng)絡(luò)的局部接受特性使得其決策時(shí)隱含了距離的概念，即只有當(dāng)輸入接近RBF網(wǎng)絡(luò)的接受域時(shí)，網(wǎng)絡(luò)才會(huì)對(duì)之做出響應(yīng)。這就避免了BP網(wǎng)絡(luò)超平面分割所帶來的任意劃分特性。

前向網(wǎng)絡(luò)隱單元的激活函數(shù)通常為具有局部接受域的函數(shù)，即僅當(dāng)輸入落在輸入空間中一個(gè)很小的指定區(qū)域中時(shí)，隱單元才作出有意義的非零響應(yīng)。因此，RBF網(wǎng)絡(luò)有時(shí)也稱為局部接受域網(wǎng)絡(luò)(LocalizedReceptiveFieldNetwork)。RBF網(wǎng)絡(luò)最常用的非線性激活函數(shù)為高斯函數(shù)四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1987結(jié)構(gòu)特性高斯激活函數(shù)

式中，φ

j為隱層第j個(gè)單元的輸出；X=(x1,x2,…,xn)T;||·||表示矢量范數(shù)（距離），通常取為歐氏范數(shù)，即：四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1988cj通常稱為隱層單元的中心（第j個(gè)高斯單元的中心），也可視為隱單元的權(quán)向量。j為規(guī)一化參數(shù)，用于控制接受域的大小，稱為半徑。

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1989由上式可知：當(dāng)X=

cj

時(shí)，φ

j取得最大值1；而當(dāng)X遠(yuǎn)離

cj時(shí)，φ

j取值逐漸減少，直至最后趨于0。

以一維情形為例，當(dāng)X落在區(qū)間[cj-3j,cj+3j]之外時(shí)，j近似為0，即其接受域?yàn)閰^(qū)間[cj-3j,cj+3j]。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1990

如圖所示，為=0.8，c=[5,5]T二維情形。顯然，當(dāng)x=cj時(shí)，j(x)取得最大值1，當(dāng)x遠(yuǎn)離cj時(shí)，j(x)逐漸減小趨近于零。其接受域的大小近似為[c-3j,c+3j]，即j決定了接受域的大小。此外，j(x)關(guān)于中心徑向?qū)ΨQ。RBF網(wǎng)絡(luò)的局部接受特性使得其決策時(shí)隱含了距離的概念，即只有當(dāng)輸入接近RBF網(wǎng)絡(luò)的接受域時(shí)，網(wǎng)絡(luò)才會(huì)對(duì)之作出響應(yīng)。這就避免了BP網(wǎng)絡(luò)超平面分割所帶來的任意劃分特性。

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1991四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1992

常用的其他類型RBF激活函數(shù)還有：薄板樣條函數(shù)：多二次函數(shù)（multiquadricfunction）：逆多二次函數(shù)（inversemultiquadricfunction）：一般認(rèn)為，RBF網(wǎng)絡(luò)所采用的非線性激活函數(shù)形式對(duì)網(wǎng)絡(luò)性能的影響并非至關(guān)重要，而關(guān)鍵因素是基函數(shù)中心的選取。

在RBF網(wǎng)絡(luò)中，輸入層至輸出層之間的所有權(quán)重固定為1，隱層RBF單元的中心及半徑通常也預(yù)先確定，僅隱層至輸出層之間的權(quán)重可調(diào)。RBF網(wǎng)絡(luò)的隱層執(zhí)行一種固定不變的非線性變換，將輸入空間Rn映射到一個(gè)新的隱層空間Rh，輸出層在該新的空間中實(shí)現(xiàn)線性組合。顯然由于輸出單元的線性特性，其參數(shù)調(diào)節(jié)極為簡(jiǎn)單，且不存在局

部極小問題。

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1993RBF網(wǎng)絡(luò)的數(shù)學(xué)模型2.RBF網(wǎng)絡(luò)模型四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1994寫成矩陣形式：式中，X=（x1,x2,…,xn）T為輸入矢量；

Y=（y1,y2,…,ym）T為輸出矢量；

W=（W1,W2,…,Wm)T為隱層至輸出層矩陣,Wk為輸出層第k個(gè)單元的權(quán)矢量；

Φ=（

φ1(X),φ2(X）,…,φn(X)）T為隱層輸出矢量。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1995

規(guī)一化

規(guī)一化的RBF網(wǎng)絡(luò)

除上述RBF網(wǎng)絡(luò)結(jié)構(gòu)模型外，在實(shí)際應(yīng)用中還經(jīng)常采用歸一化的網(wǎng)絡(luò)結(jié)構(gòu)，如圖所示：歸一化表達(dá)式：RBF網(wǎng)絡(luò)的性能RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)一樣是一類通用的函數(shù)逼近器；

盡管RBF的激活函數(shù)可以多種多樣，但可以證明，當(dāng)應(yīng)用指數(shù)函數(shù)作非線性項(xiàng)時(shí)，RBF網(wǎng)絡(luò)擁有“最佳逼近”特性，即存在一個(gè)權(quán)重集合，其逼近效果在所有可能的權(quán)集合中是最佳的。這種最佳逼近特性，傳統(tǒng)的BP網(wǎng)絡(luò)是不具備的。

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1996

RBF網(wǎng)絡(luò)的K—均值聚類學(xué)習(xí)算法

RBF網(wǎng)絡(luò)依然是典型的有指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)，其學(xué)習(xí)包括兩個(gè)步驟：1)確定每一個(gè)RBF單元的中心cj

和半徑j(luò)

；2)調(diào)節(jié)權(quán)矩陣W。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19973.RBF網(wǎng)絡(luò)學(xué)習(xí)算法問題：在多變量插值的RBF方法中，中心Cj一般定位在所有輸入的矢量點(diǎn)，這樣有多少輸入數(shù)據(jù)就有多少隱RBF單元，然而，由于數(shù)據(jù)的類聚性，導(dǎo)致許多RBF單元中心相距很近，出現(xiàn)許多冗余單元，造成了“過度擬合”，減低了網(wǎng)絡(luò)的推廣能力。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1998

中心cj的確定方法：目前通常先采用聚類分析技術(shù)，對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，找出有代表性的數(shù)據(jù)點(diǎn)（不一定位于原始數(shù)據(jù)點(diǎn)）作為RBF單元的中心，從而減少隱RBF單元的數(shù)目，減低網(wǎng)絡(luò)的復(fù)雜性。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/1999RBF網(wǎng)絡(luò)學(xué)習(xí)常用的聚類分析技術(shù)是K-均值算法，其具體過程可描述為：四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19100

半徑j(luò)的確定半徑j(luò)

決定了RBF單元接受域的大小，對(duì)網(wǎng)絡(luò)的精度有極大的影響。半徑選擇的基本原則：使得所有RBF單元的接受域之和覆蓋整個(gè)訓(xùn)練樣本空間。如下圖所示：

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19101RBF網(wǎng)絡(luò)接受域示意圖(二維情形)四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19102圖中給出了RBF單元接受域的示意圖，其中，“*”表示樣本，Dj（j=1,2,…）表示第j個(gè)RBF單元的接受域。通常應(yīng)用K-均值聚類算法后，對(duì)每一個(gè)類中心Cj可以令相應(yīng)的半徑j(luò)等于其與屬于該類的訓(xùn)練樣本之間的平均距離，即：

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19103另一個(gè)選擇j的方法是對(duì)每一個(gè)中心Cj求取它與其最鄰近的N個(gè)近鄰單元中心距離的平均值作為j的取值。研究表明，取N=1時(shí)，不僅可以簡(jiǎn)化計(jì)算，而且能滿足大部分應(yīng)用要求。

調(diào)節(jié)權(quán)矩陣W

線性最小二乘法

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19104

在得到中心Cj和半徑j(luò)后，就可以對(duì)RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練，調(diào)節(jié)權(quán)重W使得目標(biāo)函數(shù)最小，一般調(diào)節(jié)權(quán)矩陣W的方法有兩種：梯度法：線性最小二乘法：由于RBF網(wǎng)絡(luò)的輸出與權(quán)重W為線性關(guān)系，因此可以采用一般的線性最小二乘法求得W。也就是令網(wǎng)絡(luò)輸出：

Y=W·=U則：

四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19105存在的缺點(diǎn)：需要矩陣求逆運(yùn)算，當(dāng)矩陣T病態(tài)時(shí)，嚴(yán)重影響結(jié)果精度，因此在應(yīng)用中大量采用另外一種權(quán)矩陣求解方法：梯度法：利用梯度下降規(guī)則逐步迭代獲得權(quán)重W，其迭代公式如下：特點(diǎn)：由于輸出為線性單元，因而可以確保梯度算法收斂于全局最優(yōu)解。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19106

它是除了基于聚類技術(shù)的學(xué)習(xí)算法外的，另一種有效的學(xué)習(xí)算法。該方法：首先，選擇充分多的實(shí)際輸入數(shù)據(jù)點(diǎn)作為初始RBF中心，并根據(jù)所有RBF單元的接受域之和應(yīng)當(dāng)覆蓋整個(gè)輸入?yún)^(qū)域的原則，確定其半徑，從而預(yù)先確定了每一個(gè)RBF的形式；然后，根據(jù)子集回歸(Subsetregression)的觀點(diǎn)，應(yīng)用Gram-Schmidt正交化過程，從上述已確定的RBF中選擇對(duì)網(wǎng)絡(luò)性能影響相對(duì)較大的部分RBF構(gòu)成最終的網(wǎng)絡(luò)結(jié)構(gòu)。四、徑向基函數(shù)(RBF)網(wǎng)絡(luò)及其學(xué)習(xí)算法2022/9/19107

正交最小二乘算法(OrthogonalLeastSquaresalgorithm，簡(jiǎn)稱OLS)缺點(diǎn)：需要相當(dāng)大數(shù)目的RBF才能取得較好的效果。

模糊神經(jīng)網(wǎng)絡(luò)(FuzzyNeuralNetworks,簡(jiǎn)稱FNN)，它是模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。因此，不僅具有神經(jīng)網(wǎng)絡(luò)數(shù)值計(jì)算的優(yōu)勢(shì)，而且具有模糊系統(tǒng)處理專家知識(shí)的能力，受到了廣大研究者的重視。（模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的結(jié)合）根據(jù)側(cè)重點(diǎn)不同，有如下幾種方法：利用神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和函數(shù)逼近功能，提高模糊系統(tǒng)的自適應(yīng)能力，改善模糊模型的精度。五、模糊神經(jīng)網(wǎng)絡(luò)原理1.一般概念2022/9/19108

利用模糊系統(tǒng)來增強(qiáng)神經(jīng)網(wǎng)絡(luò)的信息處理能力。如:將傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模糊化使之具備處理語義知識(shí)的能力。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)協(xié)同工作。如模糊—神經(jīng)協(xié)作系統(tǒng)。應(yīng)用模糊控制技術(shù)動(dòng)態(tài)調(diào)整傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)以提高學(xué)習(xí)速度。五、模糊神經(jīng)網(wǎng)絡(luò)原理2022/9/19109

模糊神經(jīng)網(wǎng)絡(luò)(FNN)的構(gòu)造

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的模糊化

保留原來神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)而將神經(jīng)網(wǎng)絡(luò)的處理單元進(jìn)行模糊化處理，使之具備處理模糊信息的能力。包括2種：

模糊神經(jīng)元網(wǎng)絡(luò)：將原神經(jīng)網(wǎng)絡(luò)的所有神經(jīng)元都進(jìn)行模糊化處理，使之成為模糊神經(jīng)元，再由模糊神經(jīng)元根據(jù)原神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)構(gòu)成網(wǎng)絡(luò)；輸入、輸出模糊化：僅對(duì)原神經(jīng)網(wǎng)絡(luò)的輸入和輸出進(jìn)行模