神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)課件

1、神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)第7 人工神經(jīng)網(wǎng)絡(luò) 在智能傳感器中的應(yīng)用 7.1 神經(jīng)網(wǎng)絡(luò)基本知識(shí)神經(jīng)網(wǎng)絡(luò)基本知識(shí) 7.2 前向網(wǎng)絡(luò)前向網(wǎng)絡(luò) 7.3 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò) 7.4 神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.1 神經(jīng)網(wǎng)絡(luò)基本知識(shí)神經(jīng)網(wǎng)絡(luò)基本知識(shí) 7.1.1 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型 圖 7-1 基本神經(jīng)元模型 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)神經(jīng)元的輸出可描述為 injjjiiiiQxWAAfy1)(式中：f(Ai)表示神經(jīng)元輸入輸出關(guān)系的函數(shù)，稱為作用函數(shù)或傳遞函數(shù)，常用的作用函數(shù)有如圖9-2所示的三種：閾值型、S型和分段線性型(偽線性型)。 這樣，就有三類神經(jīng)元模型。 神經(jīng)

2、網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-2 常見(jiàn)的作用函數(shù)形式(a) 閾值型； (b) S型； (c) 偽線性型 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 一、一、 閾值型神經(jīng)元閾值型神經(jīng)元 閾值型神經(jīng)元是一種最簡(jiǎn)單的神經(jīng)元，由美國(guó)心理學(xué)家Mc.Culloch和數(shù)學(xué)家Pitls共同提出，因此，通常稱為M-P模型。 M-P模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0， 分別代表神經(jīng)元的興奮狀態(tài)和抑制狀態(tài)。 其數(shù)學(xué)表達(dá)式為 0001)(iiiiAAAfy對(duì)于M-P模型神經(jīng)元，權(quán)值Wji可在(-1, 1)區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度， 取正值表示加強(qiáng)。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 二、二、S型神經(jīng)元模型型神經(jīng)元模型 這是常用的一種連續(xù)

3、型神經(jīng)元模型，輸出值是在某一范圍內(nèi)連續(xù)取值的。輸入輸出特性多采用指數(shù)函數(shù)表示， 用數(shù)學(xué)公式表示如下： iAiieAfy11)(S型作用函數(shù)反映了神經(jīng)元的非線性輸入輸出特性。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 三、三、 分段線性型分段線性型 神經(jīng)元的輸入輸出特性滿足一定的區(qū)間線性關(guān)系， 其輸出可表示為 iCiiiiAAACAAy1000式中, C、AC表示常量。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一、一、 分層網(wǎng)絡(luò)分層網(wǎng)絡(luò) 圖 7-3 分層網(wǎng)絡(luò)功能層次 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)二、二、 相互連接型結(jié)構(gòu)相互連接型結(jié)構(gòu) 圖圖 7-4 相互連接型網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.1.3 學(xué)習(xí)與記憶學(xué)習(xí)與記憶

4、一、一、 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) Hebb學(xué)習(xí)規(guī)則可以描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。用算法表達(dá)式表示為Wji(t+1) = Wji(t)+xi(t), xj(t)式中： Wji(t+1)修正一次后的某一權(quán)值； 常量，決定每次權(quán)值修正量， 又稱學(xué)習(xí)因子； xi(t)、xj(t)t時(shí)刻第i個(gè)、第j個(gè)神經(jīng)元的狀態(tài)。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 誤差修正算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一個(gè)更重要的方法。 像感知機(jī)、BP網(wǎng)絡(luò)學(xué)習(xí)均屬此類。最基本的誤差修正學(xué)習(xí)方法，即通常說(shuō)的學(xué)習(xí)規(guī)則，可由如下四步來(lái)描述： (1) 任選一組初始權(quán)值Wji(

5、0)。 (2) 計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差。 (3) 更新權(quán)值Wji(t+1) = Wji(t)+dj-yj(t)xi(t)式中： 學(xué)習(xí)因子；dj、yj第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xj第j個(gè)神經(jīng)元的輸入。 (4) 返回步驟(2)，直到對(duì)所有訓(xùn)練模式、網(wǎng)絡(luò)輸出均滿足誤差要求為止。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 二、二、 神經(jīng)網(wǎng)絡(luò)的記憶神經(jīng)網(wǎng)絡(luò)的記憶 神經(jīng)網(wǎng)絡(luò)記憶包含兩層含義：信息的存儲(chǔ)與回憶。網(wǎng)絡(luò)通過(guò)學(xué)習(xí)將所獲取的知識(shí)信息分布式存儲(chǔ)在連接權(quán)的變化上，并具有相對(duì)穩(wěn)定性。一般來(lái)講，存儲(chǔ)記憶需花較長(zhǎng)時(shí)間，因此這種記憶稱為長(zhǎng)期記憶，而學(xué)習(xí)期間的記憶保持時(shí)間很短， 稱為短期記憶。 7.1.4

6、神經(jīng)網(wǎng)絡(luò)的信息處理功能神經(jīng)網(wǎng)絡(luò)的信息處理功能 神經(jīng)網(wǎng)絡(luò)可以完成大量的信息處理任務(wù)，正因?yàn)檫@樣，其應(yīng)用涉及相當(dāng)廣泛的領(lǐng)域。歸納起來(lái)，神經(jīng)網(wǎng)絡(luò)的信息處理任務(wù)主要包括： 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 一、一、 數(shù)字上的映射逼近數(shù)字上的映射逼近 通過(guò)一組映射樣本(x1, y1), (x2, y2), , (xn, yn)，網(wǎng)絡(luò)以自組織方式尋找輸入、輸出之間的映射關(guān)系： yi=f(xi)。 二、二、 聯(lián)想記憶聯(lián)想記憶 聯(lián)想記憶是指實(shí)現(xiàn)模式完善、恢復(fù)相關(guān)模式的相互回憶等， 典型的有如Hopfield網(wǎng)絡(luò)等。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.2 前前 向向 網(wǎng)網(wǎng) 絡(luò)絡(luò) 7.2.1 感知機(jī)感知機(jī) 圖 9-5 基本感知機(jī)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)應(yīng)用

7、補(bǔ)感知機(jī)的學(xué)習(xí)算法為 )()()() 1(kxkydkWkWijjjijii=1, 2, , n nijijiixkWfky1)()(式中：為學(xué)習(xí)因子，在(0, 1區(qū)間取值。期望輸出與實(shí)際輸出之差為 1)(, 01)(011)(kydkyddkydjjjjjjjj輸入狀態(tài)xi(k) = 1 或 0 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.2.2 BP網(wǎng)絡(luò)網(wǎng)絡(luò) 一、一、BP網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 圖 9-6 一個(gè)三層BP網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)一般選用下列S形作用函數(shù)： xexf11)(且處理單元的輸入、 輸出值可連續(xù)變化。 BP網(wǎng)絡(luò)模型實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想。當(dāng)給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，它由輸入層單元傳到隱層單元，經(jīng)隱

8、層單元逐層處理后再送到輸出層單元，由輸出層單元處理后產(chǎn)生一個(gè)輸出模式， 故稱為前向傳播。如果輸出響應(yīng)與期望輸出模式有誤差，且不滿足要求，那么就轉(zhuǎn)入誤差后向傳播，即將誤差值沿連接通路逐層向后傳送，并修正各層連接權(quán)值。 (7-10)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)二、二、 學(xué)習(xí)算法學(xué)習(xí)算法 假設(shè)BP網(wǎng)絡(luò)每層有N個(gè)處理單元，作用函數(shù)如(7-10)式所示，訓(xùn)練集包含M個(gè)樣本模式對(duì)(xk, yk)。對(duì)第p個(gè)訓(xùn)練樣本(p=1, 2, ,M)單元j的輸入總和(即激活函數(shù))記為apj，輸出記為Opj, 它的第i個(gè)輸入(也即第i個(gè)神經(jīng)元的輸出)為Opi, 則 pjapjpiNipijipjeafOOWa11)(0神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)

9、如果任意設(shè)置網(wǎng)絡(luò)初始權(quán)值，那么對(duì)每個(gè)輸入模式p, 網(wǎng)絡(luò)輸出與期望輸出一般總有誤差。定義網(wǎng)絡(luò)誤差為 jpjpjpppOdEEE2)(21式中，dpj表示對(duì)第p個(gè)輸入模式輸出單元j的期望輸出。學(xué)習(xí)規(guī)則的實(shí)質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。 若權(quán)值Wji的變化量記為Wji, 則 jipjiWEW神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)而 pjpjpjpjpjipjpjpjipOOaEWaaEWE這里，令 pjppjaE于是 0,pjpjjiOW這就是通常所說(shuō)的學(xué)習(xí)規(guī)則。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)當(dāng)Opj表示輸出層單元的輸出時(shí)，其誤差 pjpjpjppjppjaOOEaE)( pjpjpjafaO)(pjpjpj

10、pOdOE)( pjpjpjpjOdaf神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)當(dāng)Opj表示隱單元輸出時(shí)，其誤差 pjpkpkppjppjpjppjpjpjppjppjOaaEOEafOEaOOEaE)( kjpjpkWOapkpkpaE神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)kjpkpjpWOE故 kjpkpjpjWaf)( 至此，BP算法權(quán)值修正公式可統(tǒng)一表示為 pjpjjijiOtWtW)() 1(kjpkpjpjpjpjpjWafOdaf)( )( 對(duì)于輸出單元 對(duì)于隱單元 (9-29)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 在實(shí)際應(yīng)用中，考慮到學(xué)習(xí)過(guò)程的收斂性，通常為了使學(xué)習(xí)因子取值足夠大，又不致于產(chǎn)生振蕩，在權(quán)值修正公式(7-29)中再加一個(gè)勢(shì)態(tài)項(xiàng)， 得

11、)1()()() 1(tWtWOtWtWjijipjpjjiji式中，是常數(shù)，稱勢(shì)態(tài)因子，它決定上一次學(xué)習(xí)權(quán)值對(duì)本次權(quán)值更新的影響程度。 一般地， BP網(wǎng)絡(luò)學(xué)習(xí)算法步驟描述如下： (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，如設(shè)置網(wǎng)絡(luò)初始矩陣、學(xué)習(xí)因子、 參數(shù)等； (2) 提供訓(xùn)練樣本，訓(xùn)練網(wǎng)絡(luò)，直到滿足要求； (3) 前向傳播過(guò)程：對(duì)給定訓(xùn)練模式輸入，計(jì)算網(wǎng)絡(luò)的輸出模式， 并與期望模式輸出比較，若有誤差，則執(zhí)行(4)，否則，返回(2)； 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) (4) 后向傳播過(guò)程： 計(jì)算同一層單元的誤差pj。 修正權(quán)值和閾值 )1()()() 1(tWtWOtWtWjijipjpjjiji閾值即為i=0時(shí)的連接

12、權(quán)值。 返回(2)。 用網(wǎng)絡(luò)的均方根值(RMS)誤差來(lái)定量反映學(xué)習(xí)性能。其定義為 mnydEmpnjpjpjRMS112)(神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)三、三、 競(jìng)爭(zhēng)網(wǎng)絡(luò)競(jìng)爭(zhēng)網(wǎng)絡(luò) 1. 競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu) 圖 7-7 兩層競(jìng)爭(zhēng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 2. 競(jìng)爭(zhēng)學(xué)習(xí)機(jī)理競(jìng)爭(zhēng)學(xué)習(xí)機(jī)理 競(jìng)爭(zhēng)單元的處理分為兩步：首先計(jì)算每個(gè)單元輸入的加權(quán)和； 然后進(jìn)行競(jìng)爭(zhēng)， 產(chǎn)生輸出。對(duì)于第j個(gè)競(jìng)爭(zhēng)單元，其輸入總和為 iijijxWS 當(dāng)競(jìng)爭(zhēng)層所有單元的輸入總和計(jì)算完畢，便開(kāi)始競(jìng)爭(zhēng)。競(jìng)爭(zhēng)層中具有最高輸入總和的單元被定為勝者，其輸出狀態(tài)為1，其它各單元輸出狀態(tài)為0。對(duì)于某一輸入模式，當(dāng)獲勝單元確定后，便更新權(quán)值。也只有獲

13、勝單元權(quán)值才增加一個(gè)量，使得再次遇到該輸入模式時(shí)，該單元有更大的輸入總和。 權(quán)值更新規(guī)則表示為 jiijiWmxW神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.3 反反 饋饋 網(wǎng)網(wǎng) 絡(luò)絡(luò) 7.3.1 Hopfield網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 圖 7-8 HNN網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.3.2 Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)A/D變換器變換器 圖 7-9 對(duì)稱式4位A/D轉(zhuǎn)換網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-10 遲滯現(xiàn)象 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-11 非對(duì)稱HNN網(wǎng)A/D變換器 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-12 采用非對(duì)稱結(jié)構(gòu)的A/D轉(zhuǎn)換關(guān)系 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4 神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用 7.4.1 紙漿

14、濃度傳感器非線性估計(jì)和動(dòng)態(tài)標(biāo)定的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)紙漿濃度傳感器非線性估計(jì)和動(dòng)態(tài)標(biāo)定的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)一、問(wèn)題提出一、問(wèn)題提出 實(shí)際上， 傳感器在整個(gè)測(cè)量范圍的非線性特性可用一冪級(jí)數(shù)多項(xiàng)式來(lái)描述： 332210 xWxWxWWy式中： y被測(cè)濃度； x傳感器輸出值； Wi(i=0, 1, , n)傳感器的特性參數(shù)。 (7-35)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 二、二、 神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)算法 對(duì)應(yīng)每一個(gè)實(shí)際輸入xi, 可得到一個(gè)非線性數(shù)據(jù)集1, x, x2, x3, ，xn這些可作為神經(jīng)網(wǎng)絡(luò)的輸入模式， niinniiinnniixkekWkWkykdkekWxky)()() 1()()()()()(神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖

15、 7-13 權(quán)值訓(xùn)練原理示意圖 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 三、三、 濃度傳感器非線性估計(jì)及動(dòng)態(tài)標(biāo)定濃度傳感器非線性估計(jì)及動(dòng)態(tài)標(biāo)定 濃度傳感器的本質(zhì)是非線性的?？蓪?7-35)式寫成下列近似形式： 3max32max2max10)/()/()/(ffWffWffWWy式中： y被測(cè)濃度；f傳感器的輸出頻率值；fmax傳感器的最大輸出頻率值。因此可用f/fmax表示傳感器的輸出特征。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)四、四、 實(shí)例分析及結(jié)論實(shí)例分析及結(jié)論 3max2maxmax33max2maxmax23max2maxmax1)/(14. 0)/(62. 5)/(73.1060. 6)/(12. 1)/(14. 6)/(93

16、. 886. 5)/(37. 1)/(01. 7)/(98. 912. 6ffffffyffffffyffffffy傳感器1： 傳感器2： 傳感器3： 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-14 擬合曲線 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)表表 7-1 傳感器輸出及對(duì)應(yīng)濃度估計(jì)值傳感器輸出及對(duì)應(yīng)濃度估計(jì)值 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4.2 神經(jīng)網(wǎng)絡(luò)在監(jiān)測(cè)材料損傷中的應(yīng)用神經(jīng)網(wǎng)絡(luò)在監(jiān)測(cè)材料損傷中的應(yīng)用 一、一、 問(wèn)題提出問(wèn)題提出 具有傳感、執(zhí)行、信號(hào)處理、通信與控制等功能的結(jié)構(gòu)稱之為智能結(jié)構(gòu)。這種結(jié)構(gòu)不僅具有承受載荷的能力，還具有感知和響應(yīng)內(nèi)外環(huán)境的變化，實(shí)現(xiàn)自檢測(cè)、自監(jiān)控、自校正、自適應(yīng)、自修復(fù)等功能。下面介紹利用人工神經(jīng)網(wǎng)絡(luò)和埋入偏振

17、型光纖傳感器陣列，實(shí)時(shí)適應(yīng)監(jiān)測(cè)復(fù)合材料損傷，并指示損傷位置的智能結(jié)構(gòu)系統(tǒng)模型。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)二、二、 智能結(jié)構(gòu)系統(tǒng)簡(jiǎn)介智能結(jié)構(gòu)系統(tǒng)簡(jiǎn)介 圖 7-15 智能結(jié)構(gòu)系統(tǒng)圖 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)三、前向三、前向BP網(wǎng)絡(luò)處理器網(wǎng)絡(luò)處理器 圖 7-16 三層BP網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-17 BP算法流程 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)四、四、 實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)結(jié)果 表 7-2 BP網(wǎng)絡(luò)學(xué)習(xí)樣本數(shù)據(jù) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)表表7-3 在線仿真實(shí)驗(yàn)數(shù)及結(jié)果在線仿真實(shí)驗(yàn)數(shù)及結(jié)果 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4.3 神經(jīng)網(wǎng)絡(luò)濾波神經(jīng)網(wǎng)絡(luò)濾波 一、問(wèn)題提出一、問(wèn)題提出 通常，由信號(hào)發(fā)生器產(chǎn)生的正弦波或三角波信號(hào)都不同程度地含有噪聲干擾信號(hào)。 若我們將它

18、作為精密測(cè)量供電信號(hào)或進(jìn)行相位檢測(cè)時(shí)，往往造成測(cè)量不精確等缺陷。消除噪聲干擾的辦法很多，下面提出一種采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)記憶功能，實(shí)現(xiàn)對(duì)含噪正弦波或三角波信號(hào)的復(fù)原，即消除噪聲干擾。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 二、二、 自適應(yīng)線性函數(shù)的最小二乘法自適應(yīng)線性函數(shù)的最小二乘法(LMS)學(xué)習(xí)算法學(xué)習(xí)算法 為了簡(jiǎn)單起見(jiàn)，我們以輸入矢量為二維的情況作為示例來(lái)進(jìn)行討論。 這時(shí)輸入矢量X和權(quán)矢量W可以分別表示為 1010wwWxxX在采用線性函數(shù)的條件下，神經(jīng)網(wǎng)絡(luò)輸出為 TTTiTiiXWWXIIfyXWWXxWI)(10(7-42)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)權(quán)值修正公式為 )()()()() 1(kxxkakwkw(k)為誤差，即

19、 )()()(kykdk式中，d(k)為期望輸出；y(k)為實(shí)際輸出。 (7-43)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)三、三、 軟件編程及說(shuō)明軟件編程及說(shuō)明實(shí)現(xiàn)上述算法的軟件編程如下(采用MATLAB語(yǔ)言)：disp(*歡迎使用*)disp(請(qǐng)輸入訓(xùn)練次數(shù))T=input( )disp(請(qǐng)輸入步長(zhǎng)參數(shù))l=input( )disp(請(qǐng)輸入所加噪聲方差參數(shù))m=input( )t=0 1 63x=sin(t*2*pi/64)plot(t, x) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)gridx=x, -1k=0 x1=0for t=1 1 63if (t=16)x1=x1, t/16elseif (t=48) x1=x1, 2-t/16e

20、lse x1=x1, -4+t/16endk=k, t;endplot(k, x1) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)x1=x1, -1w=rand(1, 65)q=10000; q0=0; k=0for i=0 1 Tk=k, i;d=w*xe=1-dq2=qq=e*ew=w+(e*1)*xd1=w*x1e1=-d1 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)w=w+(e1*1)*x1q=q+e1*e1q0=q0, q/2subplot(212)hh=plot(k,q0)if q2q break;endendiw*xw*x1xt=randn(1, 65) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)xt1=m*x1+xxt2=m*xt+x1j=0 64subplot

21、(211)h1=plot(j, x1) gridsubplot(212)hh=plot(j,xt2) gridy1=w*xt1y2=w*xt2h=figure(1)set(h, color, 1, 1, 1);h2=gca 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)1. 采樣部分采樣部分 圖 7-18 采樣所得正弦波和三角波 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 2. 學(xué)習(xí)部分學(xué)習(xí)部分 首先利用MATLAB中的rand ( )來(lái)產(chǎn)生滿足64維初始權(quán)值W(0)。 按照(7-42)式和(7-43)式修正權(quán)向量，直到滿足要求為止。選擇不同步長(zhǎng)，比較誤差變化情況，最后確定較合理的步長(zhǎng)。 3. 檢驗(yàn)部分檢驗(yàn)部分 當(dāng)學(xué)習(xí)結(jié)束后，應(yīng)檢驗(yàn)學(xué)習(xí)的正確性。此時(shí)給

22、訓(xùn)練好的網(wǎng)絡(luò)輸入含有噪聲干擾的一系列正弦波和三角波信號(hào)，要求噪聲服從正態(tài)分布。 檢驗(yàn)網(wǎng)絡(luò)是否能恢復(fù)標(biāo)準(zhǔn)波形。 若能很好地恢復(fù)標(biāo)準(zhǔn)波形，則說(shuō)該網(wǎng)絡(luò)可消除正弦波和三角波中的噪聲干擾， 達(dá)到濾波效果。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)四、實(shí)驗(yàn)效果四、實(shí)驗(yàn)效果 圖 7-19 加噪聲的正弦波 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-20 恢復(fù)正弦波 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4.4 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)微弱信號(hào)提取神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)微弱信號(hào)提取 一、一、 問(wèn)題提出問(wèn)題提出 在目標(biāo)跟蹤、多目標(biāo)檢測(cè)等許多工程領(lǐng)域，都涉及到從強(qiáng)的背景噪聲中提取弱信號(hào)的問(wèn)題?；贐P神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及算法的方法， 可從寬帶背景噪聲中提取微弱有用信號(hào)。該方法對(duì)微弱信號(hào)的提取是在網(wǎng)絡(luò)節(jié)點(diǎn)連接

23、權(quán)向量域進(jìn)行的，因此從根本上解決了對(duì)提取信號(hào)的頻率選擇問(wèn)題。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)二、二、BP網(wǎng)絡(luò)權(quán)向量方法原理網(wǎng)絡(luò)權(quán)向量方法原理(BPWV: Back-Propagation Weight Vector) 圖 7-21 弱信號(hào)提取模型 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)取背景噪聲的期望值mx作為期待響應(yīng)dk, 即 xkkmxEd)( 假設(shè)背景噪聲是平穩(wěn)的，則mx可用時(shí)間平均值近似估計(jì)。并假設(shè)弱信號(hào)出現(xiàn)之前，網(wǎng)絡(luò)學(xué)習(xí)過(guò)程已經(jīng)結(jié)束，即網(wǎng)絡(luò)連接權(quán)矩陣的期望值已收斂于由背景噪聲所確定的最佳權(quán)向量 。 于是有偏移權(quán)向量 *xW*xkkWWV神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4.5 基于神經(jīng)網(wǎng)絡(luò)的傳感器靜態(tài)誤差綜合修正法基于神經(jīng)網(wǎng)絡(luò)的傳感器靜態(tài)

24、誤差綜合修正法 一、一、 問(wèn)題提出問(wèn)題提出 傳感器輸出特性大都為非線性，且常受各種環(huán)境因素影響， 故存在多種誤差因素。 這些誤差因素通常同時(shí)存在，相互關(guān)聯(lián)， 若用一般方法對(duì)傳感器靜態(tài)誤差進(jìn)行綜合修正往往很困難。將神經(jīng)網(wǎng)絡(luò)用于傳感器靜態(tài)誤差的綜合修正， 實(shí)驗(yàn)證明會(huì)取得好的效果，說(shuō)明此方法的可行性。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)二、二、 用于傳感器靜態(tài)誤差綜合修正的前向神經(jīng)網(wǎng)絡(luò)用于傳感器靜態(tài)誤差綜合修正的前向神經(jīng)網(wǎng)絡(luò) 圖 7-22 前向網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)NiijijSjWxSeSfj011)(采用BP網(wǎng)絡(luò)(參考圖7-22)，由輸出層開(kāi)始逐層調(diào)整權(quán)值公式如下： )1()()() 1(tWtWxtWtWijiji

25、jijijkjkkjjjjjjjWxxdddd)1 ()(1 (對(duì)于輸出層 對(duì)于隱層 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)三、綜合修正方法三、綜合修正方法 圖 7-23 綜合修正原理框圖 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 神經(jīng)網(wǎng)絡(luò)誤差修正方法的步驟描述如下： (1) 取傳感器原始實(shí)驗(yàn)輸入輸出和相應(yīng)環(huán)境參量。 (2) 將這些原始數(shù)據(jù)進(jìn)行歸一化處理， 使輸入樣本在0, 1之內(nèi)。 (3) 初始化網(wǎng)絡(luò)， 如確定輸入、 輸出層單元數(shù)， 修正因子， 慣性系數(shù)等。 (4) 訓(xùn)練網(wǎng)絡(luò)，直至滿足要求為止。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)四、四、 實(shí)例分析實(shí)例分析 表表7-4 實(shí)實(shí) 驗(yàn)驗(yàn) 數(shù)數(shù) 據(jù)據(jù) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-24 修正后x、 t、 z關(guān)系

26、神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)7.4.6 基于神經(jīng)網(wǎng)絡(luò)的三傳感器數(shù)據(jù)融合處理法基于神經(jīng)網(wǎng)絡(luò)的三傳感器數(shù)據(jù)融合處理法 (消除兩個(gè)非目標(biāo)參量的影響消除兩個(gè)非目標(biāo)參量的影響) 1. 概述概述 傳感器靜態(tài)特性不僅受某一個(gè)環(huán)境參量的影響，即不只受一個(gè)非目標(biāo)參量的影響，有時(shí)甚至受多個(gè)非目標(biāo)參量的影響。如一個(gè)壓力傳感器， 在輸入壓力P數(shù)值不變的情況下，當(dāng)工作溫度T變化以及供電電源波動(dòng)都將引起傳感器輸出電壓U發(fā)生變化， 則該壓力傳感器受兩個(gè)非目標(biāo)參量(T，)的影響。為了提高傳感器的穩(wěn)定性， 消除兩個(gè)非目標(biāo)參量對(duì)傳感器輸入輸出特性的影響，可采用多種智能化技術(shù)，如多維回歸分析法與神經(jīng)網(wǎng)絡(luò)法， 這是兩種有效的融合處理方法。 神經(jīng)網(wǎng)

27、絡(luò)應(yīng)用補(bǔ)2. 基于神經(jīng)網(wǎng)絡(luò)法的三傳感器數(shù)據(jù)融合原理基于神經(jīng)網(wǎng)絡(luò)法的三傳感器數(shù)據(jù)融合原理 圖 7-25 采用神經(jīng)網(wǎng)絡(luò)進(jìn)行三傳感器數(shù)據(jù)融合的智能壓力傳感器系統(tǒng)框圖 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-26 傳感器模塊電路原理圖 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) (1) 壓力傳感器：這里的壓力傳感器采用的是CYJ-101型壓阻式壓力傳感器，對(duì)應(yīng)被測(cè)壓力P(目標(biāo)參量)輸出電壓U。一個(gè)理想的壓力傳感器，其輸出U應(yīng)為輸入P的一元單值函數(shù)，即U = f(P) 其反函數(shù)為P = f-1(U) 但是，該傳感器受工作溫度T與供電電源波動(dòng)的影響， 其輸出電壓U將發(fā)生變化，實(shí)際上是一個(gè)三元函數(shù)，即U = f(P, T, ) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) (2)

28、溫度傳感器：溫度傳感器將工作溫度T轉(zhuǎn)換為電壓信號(hào)Ut, 如圖7-26。采用恒流源供電的壓力傳感器，其供電端(AC兩端)電壓UAC即為Ut。 (3) 電流傳感器：電流傳感器將電流信號(hào)I轉(zhuǎn)換為電壓信號(hào)UI, 如圖7-26。采用標(biāo)準(zhǔn)恒定電阻RN與壓力傳感器相串聯(lián)，RN兩端電壓UI為UI = IRN則供電電源波動(dòng)為 IIUUII|神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 2) 神經(jīng)網(wǎng)絡(luò)模塊 神經(jīng)網(wǎng)絡(luò)模塊是由軟件編程實(shí)現(xiàn)的一種BP網(wǎng)絡(luò)算法。其三個(gè)輸入量X1、X2、X3分別為U、Ut、，輸出量為P。P亦是智能壓力傳感器系統(tǒng)的總輸出量?？傒敵隽縋有兩個(gè)特點(diǎn)： (1) P僅為被測(cè)壓力P的單值函數(shù)，這樣就消除了工作溫度和供電電源波動(dòng)兩個(gè)

29、非目標(biāo)參量的影響。 (2) 在工作溫度和供電電源同時(shí)波動(dòng)情況下，要求系統(tǒng)輸出P以某個(gè)允許偏差逼近被測(cè)目標(biāo)參量P， 從而實(shí)現(xiàn)了系統(tǒng)測(cè)量目標(biāo)參量P的目的。要實(shí)現(xiàn)上述要求，需對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練樣本由三維標(biāo)定實(shí)驗(yàn)數(shù)據(jù)來(lái)提供。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 3. 樣本庫(kù)的建立樣本庫(kù)的建立 1) 三維標(biāo)定實(shí)驗(yàn) 在不同工作溫度T(=21.5 , 44.0 , 70.0 ), 令電源電流波動(dòng)分別為 =3%,-1 %, -3 %條件下，對(duì)CYJ-101型壓力傳感器的靜態(tài)輸入(P)輸出(U)特性進(jìn)行標(biāo)定。實(shí)驗(yàn)標(biāo)定數(shù)據(jù)列于表7-5。 II神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)表表 7-5 不同工作溫度及供電電源波動(dòng)下傳感器輸入輸出標(biāo)定值不同工

30、作溫度及供電電源波動(dòng)下傳感器輸入輸出標(biāo)定值 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)2) 神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù)的歸一化 表表 7-6 神經(jīng)網(wǎng)絡(luò)輸入輸出標(biāo)準(zhǔn)樣本庫(kù)神經(jīng)網(wǎng)絡(luò)輸入輸出標(biāo)準(zhǔn)樣本庫(kù) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)05. 0)(9 . 0minmaxminminmaxminPPPPPXXXXXmmiiiimim式中: 第m個(gè)樣本神經(jīng)網(wǎng)絡(luò)輸入、輸出歸一化值；Xim、Pm第m個(gè)樣本第i個(gè)傳感器的輸入、輸出標(biāo)定值；Ximax、Ximin第i個(gè)傳感器輸出最大、 最小標(biāo)定值。 mimPX 、(7-53)(7-52)神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 如T=21.5 且當(dāng)i=1時(shí)，X1max=Umax=100.12 mV, X1min=0； 當(dāng)i=2時(shí)，X2ma

31、x=Utmax=290.5 mV, X2min=184.4 mV; 又如T=70.0 且當(dāng)i=1時(shí)，X1max=Umax=78.57mV, X1min=0； 當(dāng)i=2時(shí)，X2max=Utmax=826.1mV, X2min=669.3mV。Pmax=5104 Pa、Pmin=0為被測(cè)壓力最大、最小標(biāo)定值。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 計(jì) 算 舉 例 ： 計(jì) 算 m = 4 的 輸 入 輸 出 歸 一 化 數(shù) 值 P4, Xi4=(X14X24X34)。 當(dāng)i=1時(shí)，X1max=Umax=100.12mV, X1min=0.00mV,X14=62.72mV, 則由(7-52) 式求得X14=0.626; 當(dāng)

32、i=2時(shí)，X2max=Utmax=290.5 mV, X1min=184.4 mV, X24=224.5mV, 則由(7-52)式求得X24=0.378; 當(dāng)i=3時(shí)，已是無(wú)量綱數(shù)值，且在-1與1之間，不必再作歸一化， 即X34=0.03。 P4=3.0104 Pa時(shí)，由 (7-53) 式求得P34=0.59。 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)4. 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其結(jié)構(gòu)的確定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其結(jié)構(gòu)的確定 圖 7-27 多層感知機(jī)前向神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) 圖中i、j和k分別是輸入層、隱層和輸出層神經(jīng)元序號(hào)。同一層內(nèi)各神經(jīng)元互不相連，相鄰層之間的神經(jīng)元通過(guò)連接權(quán)值Wji、Wkj相聯(lián)系。Wji為輸入層與隱層之間

33、的連接權(quán)值；Wkj為隱層與輸出層之間的連接權(quán)值。本例中選輸入層結(jié)點(diǎn)數(shù)為3，輸出層結(jié)點(diǎn)數(shù)為1，故i=1, 2, 3， k=1；隱層結(jié)點(diǎn)數(shù)j=1, 2, ，l。l值根據(jù)網(wǎng)絡(luò)訓(xùn)練結(jié)果而定。 采用誤差反向傳播算法(BP算法)，其目標(biāo)是使神經(jīng)網(wǎng)絡(luò)輸出y=P(本例中稱為被測(cè)壓力融合值)，與壓力傳感器系統(tǒng)目標(biāo)參量的標(biāo)定值之間的均方差e為最小， 即 1812)(181mmPPe神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ)圖 7-28 BP網(wǎng)絡(luò)訓(xùn)練過(guò)程及算法流程神經(jīng)網(wǎng)絡(luò)應(yīng)用補(bǔ) (1) 網(wǎng)絡(luò)初始化。隨機(jī)設(shè)定連接權(quán)值Wji、Wkj, 與閾值j及k的初始值。設(shè)定隱結(jié)點(diǎn)數(shù)l、步長(zhǎng)及勢(shì)態(tài)因子; (2) 向具有上述初始值的神經(jīng)網(wǎng)絡(luò)按輸入模式提供樣本數(shù)據(jù)。 本例為三維矢量X=(X1X2X3)。如樣本m=1，輸入模式為X=(0.001.00 0.03)。 (3)計(jì)算隱層單元輸出值f(Sj)。隱層單元輸出值f(Sj)采用S型函數(shù)，其計(jì)算式為 31,1