神經(jīng)網(wǎng)絡第三章

神經(jīng)網(wǎng)絡第三章第一頁，共一百七十二頁，編輯于2023年，星期三3.1辨識模型

辨識模型只是被測系統(tǒng)在一定環(huán)境下的近似描述，選擇只能在以下情況中確定：

是選擇靜態(tài)模型，還是選擇動態(tài)模型？

是選擇參數(shù)模型，還是選擇非參數(shù)模型？

必須考慮：1)模型的用途；(2)被測對象的精確度與復雜程度；(3)系統(tǒng)的控制方式，是自適應控制還是實時控制；(4)使用神經(jīng)網(wǎng)絡，可以選擇三層網(wǎng)絡通過仿真比對完成，當前神經(jīng)網(wǎng)絡理論尚未明確指出需要幾個隱層節(jié)點數(shù)才能模擬出系統(tǒng)。第二頁，共一百七十二頁，編輯于2023年，星期三一、使用參數(shù)模型辨識的方法

從輸入輸出數(shù)據(jù)中提取被測系統(tǒng)S的數(shù)學模型M，使下式成立：

‖Ym－Yo‖=‖M(u)－S(u)‖≤ε

式中Ym、Yo分別是系統(tǒng)輸入u作用下模型和系統(tǒng)的輸出。ε為預設的辨識精度。設e=Ym－Yo，則辨識準則二、使用非參數(shù)模型辨識的方法

無需事先確定模型的具體結(jié)構(gòu)，只需要知道運行過程為線性。

這一類模型有階躍響應、脈沖響應、頻率特性第三頁，共一百七十二頁，編輯于2023年，星期三三、人工神經(jīng)網(wǎng)絡用于系統(tǒng)辨識

用神經(jīng)網(wǎng)絡構(gòu)成辨識模型，辨識方法就是用神經(jīng)網(wǎng)絡辨識模型逼近被測系統(tǒng)。用作辨識模型的神經(jīng)網(wǎng)絡通常有多層感知器、BP網(wǎng)絡、Hopfield網(wǎng)絡等。

四、辨識系統(tǒng)的輸入和輸出

被測系統(tǒng)與辨識模型使用相同的輸入信號。輸入信號滿足條件

1、辨識時間內(nèi)的輸入信號必須持續(xù)激勵，充分激勵系統(tǒng)的所有模態(tài)，輸入信號的頻譜必須足夠覆蓋系統(tǒng)的頻譜；

2、輸入信號要求最優(yōu)化。辨識系統(tǒng)常用的輸入信號有偽隨機序列或白噪聲。

辨識系統(tǒng)的輸出是系統(tǒng)的誤差。在確定系統(tǒng)誤差時，選擇誤差準則，用來衡量辨識模型接近被測系統(tǒng)的程度。第四頁，共一百七十二頁，編輯于2023年，星期三四、誤差準則函數(shù)的泛函表示

f(·)用得較多的是平方函數(shù)：f［e(k)］=e2(k)e(k)是誤差函數(shù)，定義區(qū)間為［0，M］，是辨識模型的輸出與被測系統(tǒng)的輸出之差。如果e(k)=0，則說明被測系統(tǒng)與辨識模型等價。第五頁，共一百七十二頁，編輯于2023年，星期三

3.2系統(tǒng)辨識過程中神經(jīng)網(wǎng)絡的作用

3.2.1神經(jīng)網(wǎng)絡辨識原理

一、系統(tǒng)辨識

實質(zhì)上是一個優(yōu)化問題，優(yōu)化準則依靠辨識目的、辨識算法的復雜程度進行選擇。

二、辨識方法

基于算法的辨識方法，適用于線性系統(tǒng)；基于神經(jīng)網(wǎng)絡的辨識方法，適用于非線性系統(tǒng)。

1.基于算法的辨識方法

要求建立一個模型，該模型依賴于某個參數(shù)θ，把辨識轉(zhuǎn)化成了對模型參數(shù)的估計。

1)最小二乘法

利用最小二乘法原理，通過極小化廣義誤差的二次方和函數(shù)來確定模型的參數(shù)。例如一個線性系統(tǒng)模型，在經(jīng)過一系列的數(shù)學變換后轉(zhuǎn)換成最小二乘格式：z(k)=hT(k)θ+e(k)第六頁，共一百七十二頁，編輯于2023年，星期三hT(k)是系統(tǒng)的廣義輸入，內(nèi)含原系統(tǒng)輸入u(k)和原系統(tǒng)輸出y(k)；e(k)是系統(tǒng)的廣義噪聲。

2)梯度校正法

沿著誤差準則函數(shù)關(guān)于模型參數(shù)的負梯度方向，逐步修改模型的參數(shù)估計值，直到誤差準則函數(shù)達到最小。

3)極大似然法

極大似然法通過極大化似然函數(shù)來確定模型參數(shù)。最小二乘法辨識系統(tǒng)第七頁，共一百七十二頁，編輯于2023年，星期三2.基于神經(jīng)網(wǎng)絡的辨識方法

人工神經(jīng)網(wǎng)絡辨識那些非線性系統(tǒng)，不需預先知道被測系統(tǒng)的模型。

辨識并不在意神經(jīng)網(wǎng)絡以什么形式去逼近實際系統(tǒng)，只關(guān)心神經(jīng)網(wǎng)絡的輸出與被辨識系統(tǒng)的輸出相差多少，誤差e(k)能否為0。從辨識的角度出發(fā)，只要e(k)小于某一個事先認可的值，對被辨識系統(tǒng)的辨識任務告一段落。第八頁，共一百七十二頁，編輯于2023年，星期三3、神經(jīng)網(wǎng)絡的辨識方法的特點：

(1)辨識器由神經(jīng)網(wǎng)絡構(gòu)成，被辨識對象允許是本質(zhì)上不能線性化的非線性系統(tǒng)；

(2)辨識過程非算法式，由神經(jīng)網(wǎng)絡的訓練來實施。辨識結(jié)果是網(wǎng)絡外部特性擬合系統(tǒng)的輸入輸出特性，網(wǎng)絡內(nèi)部特性歸納隱藏在輸入輸出數(shù)據(jù)中；

(3)辨識之前無須對被辨識系統(tǒng)建模，神經(jīng)網(wǎng)絡辨識器的權(quán)值反映了被辨識對象的可調(diào)參數(shù)；

(4)辨識過程是否收斂以及收斂速度僅取決于神經(jīng)網(wǎng)絡的結(jié)構(gòu)及其算法，與被辨識系統(tǒng)及其維數(shù)無關(guān)，有別于與模型參數(shù)的維數(shù)密切相關(guān)的傳統(tǒng)算法；

(5)神經(jīng)網(wǎng)絡可用于在線控制；

(6)神經(jīng)網(wǎng)絡連接權(quán)的權(quán)值在辨識中對應于模型參數(shù)，只要調(diào)節(jié)這些參數(shù)，就能使網(wǎng)絡輸出逼近系統(tǒng)輸出。第九頁，共一百七十二頁，編輯于2023年，星期三3.2.2多層前向網(wǎng)絡的辨識能力

1.三層前向網(wǎng)絡的逼近能力

僅含一個隱層的三層前向網(wǎng)絡可以逼近某個函數(shù)。設輸入層有n個節(jié)點，能接納n個輸入xi(i=1，2，3，…，n)，隱層有q個節(jié)點vj(j=1，2，3，…，q)，輸出層僅有一個節(jié)點。網(wǎng)絡的輸入矢量為X，輸入層到隱層第j個神經(jīng)元的連接權(quán)值矢量用Wj表示，網(wǎng)絡的輸出為單輸出，用y表示。

σ(·)是隱層節(jié)點的作用函數(shù)。第十頁，共一百七十二頁，編輯于2023年，星期三

給定函數(shù)空間S、映射p，若函數(shù)f，g，h∈S，且滿足：

(1)p(f，g)≥0，且僅當f=g時取等號，具有正定性；

(2)p(f，g)=p(g，f)，具有對稱性；

(3)三角不等式p(f，g)≤p(f，h)+p(h，g)成立。

(s，p)為賦范空間，映射p稱為距離函數(shù)或范數(shù)。

如果URn是n維單位立方體，C(U)是定義在U上的所有連續(xù)函數(shù)f(X)的集合，定義范數(shù)p=sup|f(X)|定理1若神經(jīng)元特性σ(t)是連續(xù)函數(shù)，且第十一頁，共一百七十二頁，編輯于2023年，星期三

函數(shù)f(x)不僅限于連續(xù)函數(shù)，f(x)是一個非連續(xù)函數(shù)時定理仍然成立，只要求f(x)在［－1，1］上有定義，且滿足平方可積條件。利用傅里葉積分將f(x)展開成傅里葉級數(shù)——若干個連續(xù)函數(shù)之和，對每一連續(xù)函數(shù)，定理1均成立。設f(x)連續(xù)，且在連續(xù)點處，有限次級數(shù)和的三角級數(shù)形式為第十二頁，共一百七十二頁，編輯于2023年，星期三

問題推廣到n維(n＞1)，定義矢量的絕對值為其各分量的最大絕對值，在單位空間中定義下列積分:其中將函數(shù)f(x)的集合記為L2(U)。定義范數(shù)則下列定理成立:

定理2若神經(jīng)元特性σ(t)是閾值特性，那么∑(σ)在L2(U)中是p稠密的，即對于f∈L2(U)及ε>0，g(X)，使得三層前向網(wǎng)絡能以任意精度逼近任意連續(xù)函數(shù)、任意非連續(xù)函數(shù)及其各階導數(shù)(如果存在導數(shù))。這一性質(zhì)能用于動態(tài)系統(tǒng)辨識，要求神經(jīng)網(wǎng)絡具備逼近各階導數(shù)的能力。第十三頁，共一百七十二頁，編輯于2023年，星期三2.多層前向網(wǎng)絡的基本結(jié)構(gòu)

1）靜態(tài)網(wǎng)絡的典型例子就是BP網(wǎng)絡，該網(wǎng)絡的三個特征是多層次結(jié)構(gòu)、S型神經(jīng)元及反向傳播算法(BackPropogation)。靜態(tài)網(wǎng)絡已在模式識別、系統(tǒng)識別、圖像處理等方面受到較大的關(guān)注。2）動態(tài)多層前向網(wǎng)絡回歸網(wǎng)絡是一種動態(tài)網(wǎng)絡，它的結(jié)構(gòu)特點存在反饋。第十四頁，共一百七十二頁，編輯于2023年，星期三或用一段時間內(nèi)的均方誤差值

T選用適宜的一個正整數(shù)，并要求輸入模式為動態(tài)信號。設網(wǎng)絡的全部可調(diào)參數(shù)(例如連接權(quán)值和閾值)的集合用Θ表示，網(wǎng)絡的當前參數(shù)為θ，θ∈Θ，▽J為當前時刻指標函數(shù)的梯度，由BP算法知當前參數(shù)增量Δθ與梯度成正比：Δθ=－η▽J比值η是學習速率或步長。第十五頁，共一百七十二頁，編輯于2023年，星期三(1)圖(a)，有式中，用W(z)表示一個動態(tài)系統(tǒng)，只需要用BP算法靜態(tài)計算，就能得到當前時刻的。設網(wǎng)絡期望輸出為W(z)是一個特定的脈沖傳遞標量函數(shù)。選取多層網(wǎng)N的結(jié)構(gòu)為四層：輸入層1個節(jié)點，第一隱層20個節(jié)點，第二隱層10個節(jié)點，輸出層1個節(jié)點。用多層網(wǎng)N逼近:第十六頁，共一百七十二頁，編輯于2023年，星期三逼近過程中W(z)可能有三種情況出現(xiàn)：第一種，取W(z)是純滯后q步的線性系統(tǒng)，傳遞函數(shù)W(z)=z－q，計算并時延q步得當前值。如取q=5,訓練指標用J1，η=0.1時訓練50000步可得較好效果。訓練指標用J2，η=0.2時訓練50000步得相同結(jié)果。第二種，取W(z)是有限脈沖響應模型(FIRM)，傳遞函數(shù)W(z)=∑aiz－1，計算線性組合以前各時刻的值后可得。如設W(z)=0.1z－1+1.0z－2+0.5z－3第十七頁，共一百七十二頁，編輯于2023年，星期三訓練指標用J2，每三步調(diào)整一次參數(shù)(T=3)，η=0.01時訓練50000次后N與f基本相同。

第三種，取W(z)是穩(wěn)定的有限傳遞函數(shù)，且能用參數(shù)模型描述，如描述模型用ARMA模型。取訓練指標用J1，η=0.005時訓練10萬次，發(fā)現(xiàn)y與yq仍有差別。訓練指標改用J2，η=0.005時訓練10萬次，取T=5，最終效果較好。(2)對圖(b)，多層前向網(wǎng)絡的映射有兩個，現(xiàn)分別確定。第十八頁，共一百七十二頁，編輯于2023年，星期三對于N1網(wǎng)絡映射，用靜態(tài)BP算法計算，其中θ是N1的參數(shù)。

對于N2網(wǎng)絡映射，使用靜態(tài)BP算法計算和，求得或?qū)懗善渲?，f［·］代表了非線性的關(guān)系，有此函數(shù)關(guān)系的非線性系統(tǒng)均可以用神經(jīng)網(wǎng)絡來逼近。盡管如此，也不能簡單地認為：N1能訓練成f［·］，N2能訓練成g(u)。第十九頁，共一百七十二頁，編輯于2023年，星期三用例說明，設N1是結(jié)構(gòu)為1×20×10×1的單輸入單輸出系統(tǒng)，取訓練用的輸入信號是分布在［－2，2］之間的隨機信號。訓練好以后，實際輸出y與期望輸出yq之間無多大的差別。第二十頁，共一百七十二頁，編輯于2023年，星期三(3)圖(c)，設和是當前點上取值的Jacobian矩陣矢量，它們能夠在每一時刻求得，成為以下線性差分方程的系數(shù)矩陣矢量式中，是n維矢量，系統(tǒng)傳遞函數(shù)W(z)僅對其后的產(chǎn)生延時作用。如果離散系統(tǒng)通過零階保持器采樣，W(z)至少有一步時延效應，使得W(z)

總只包括當前時刻前的各值。按照差分方程能遞推出各時刻的值。第二十一頁，共一百七十二頁，編輯于2023年，星期三

(4)圖(d)，N1的可用與圖(c)相同的線性差分方程計算出來，N2則有仿真結(jié)果表明這種動態(tài)BP算法能使網(wǎng)絡較好地跟蹤期望輸出。動態(tài)反向傳播算法比靜態(tài)反向傳播算法復雜得多，導致這種算法存在諸多缺點，其中突出的有兩個缺點：一個是必須假設系統(tǒng)可以分成線性系統(tǒng)和非線性系統(tǒng)；另一個是需要已知線性系統(tǒng)的傳遞函數(shù)。第二十二頁，共一百七十二頁，編輯于2023年，星期三3.2.3辨識系統(tǒng)中的非線性模型

神經(jīng)網(wǎng)絡作系統(tǒng)辨識，主要用于非線性辨識和自適應。非線性系統(tǒng)在能控性、能觀性、負反饋調(diào)節(jié)、狀態(tài)觀測器設計等方面，還沒有成熟的做法，難度是非線性系統(tǒng)的辨識模型和控制模型不易選取。為此，用神經(jīng)網(wǎng)絡辨識非線性系統(tǒng)，必須作一些假設限制：

(1)被控對象具有能控能觀性；

(2)對所有可能的輸入控制量u，被控對象的輸出y存在并有界；

(3)在辨識模型中的神經(jīng)網(wǎng)絡允許一個或幾個，選用的結(jié)構(gòu)同于被控對象；第二十三頁，共一百七十二頁，編輯于2023年，星期三

(4)辨識模型的基本結(jié)構(gòu)為包含神經(jīng)網(wǎng)絡的串—并聯(lián)結(jié)構(gòu)。

以上第(1)、(2)條限制是為了保證整個系統(tǒng)的穩(wěn)定性及可辨性；第(3)條限制是為了方便選擇模型，簡化數(shù)學處理過程；第(4)條限制源于串—并聯(lián)結(jié)構(gòu)有以下優(yōu)點：

①由于被控對象的輸出y存在并有界，那么串—并聯(lián)模型中所有用作辨識的信號均有界，使辨識模型易于穩(wěn)定；

②串—并聯(lián)模型無反饋網(wǎng)絡，使從后向前的靜態(tài)反向傳播算法成為可能；

③當辨識誤差足夠小時，不使用串—并聯(lián)結(jié)構(gòu)，只使用并聯(lián)結(jié)構(gòu)也能有好的效果。第二十四頁，共一百七十二頁，編輯于2023年，星期三在上述四種假設限制下，能夠?qū)懗龀Ｓ玫囊恍┓蔷€性典型模型，現(xiàn)舉例如下：

第一種，這種模型的輸出—輸入關(guān)系為n=2，m=0時的并聯(lián)結(jié)構(gòu)和串—并聯(lián)結(jié)構(gòu)如圖4-6所示。第二種，第三種，第二十五頁，共一百七十二頁，編輯于2023年，星期三并聯(lián)及串—并聯(lián)模型(a)n=2，m=0時的并聯(lián)模型；(b)n=2，m=0時的串—并聯(lián)模型第四種，

y(k+1)=f(y(k)，y(k－1)，…，y(k－n))，u(k)，u(k－1)，…，u(k－m)第二十六頁，共一百七十二頁，編輯于2023年，星期三

3.3非線性動態(tài)系統(tǒng)辨識

3.3.1非線性動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡辨識

設非線性離散動態(tài)系統(tǒng)的狀態(tài)方程為

X(k+1)=φ［X(k)，U(k)］

Y(k)=ψ［X(k)，U(k)］

式中，X，Y，U分別是系統(tǒng)的狀態(tài)矩陣、輸出矩陣和輸入矩陣，并設

X(k)∈Rn，Y(k)∈Rp，U(k)∈Rm第二十七頁，共一百七十二頁，編輯于2023年，星期三設狀態(tài)方程描述的系統(tǒng)滿足以下三個條件：

第一條，定義U的取值范圍組成的集合為ΩRm，則

U∈Ω。若X(0)∈Rm，則對有限個M，系統(tǒng)是穩(wěn)定的，表現(xiàn)為：‖X(M)‖+‖Y(M)‖<∞。

第二條，函數(shù)φ［·］和ψ［·］當Rn+m→Rn時連續(xù)且滿足Lipschitz條件，系統(tǒng)解唯一。

由于神經(jīng)網(wǎng)絡用作非線性離散系統(tǒng)辨識模型時屬靜態(tài)網(wǎng)絡，用作非線性離散系統(tǒng)的動態(tài)模型時還需要滿足下一個條件。第二十八頁，共一百七十二頁，編輯于2023年，星期三第三條，設任意連續(xù)函數(shù)f：C→Rp，其中C為閉集，

CRp，均存在網(wǎng)絡參數(shù)W，使網(wǎng)絡輸出F(X，W)滿足其中，ε是一個大于0的小正數(shù)。滿足以上三個條件的神經(jīng)網(wǎng)絡非線性動態(tài)系統(tǒng)結(jié)構(gòu)圖如圖4-7所示，用作系統(tǒng)辨識時有如下定理。

定理考慮到滿足第三條的系統(tǒng)狀態(tài)方程為第二十九頁，共一百七十二頁，編輯于2023年，星期三對于X(0)=X0∈Rm，U∈ΩRm，Ω為閉集，對于每一ε＞0，必存在網(wǎng)絡參數(shù)W，使得U∈Ω，都有滿足上述第一條、第二條條件的系統(tǒng)充分接近輸出，存在：

max‖y(k)－Y(k)‖<ε

證明過程從略。此定理說明用BP網(wǎng)絡組成非線性動態(tài)系統(tǒng)時，按上圖結(jié)構(gòu)，能構(gòu)成非線性離散動態(tài)系統(tǒng)的精確模型，且有唯一穩(wěn)定解。第三十頁，共一百七十二頁，編輯于2023年，星期三圖神經(jīng)網(wǎng)絡非線性動態(tài)系統(tǒng)結(jié)構(gòu)圖第三十一頁，共一百七十二頁，編輯于2023年，星期三3.3.2單輸入單輸出非線性動態(tài)系統(tǒng)的BP網(wǎng)絡辨識

選用BP網(wǎng)絡辨識，網(wǎng)絡的結(jié)構(gòu)可選三層前向網(wǎng)絡。其中輸入層用u(k)作輸入，神經(jīng)元個數(shù)為n1，則

n1≥n+m+1

隱層的神經(jīng)元個數(shù)假設為n2個，可取

n2＞n1

隱層神經(jīng)元個數(shù)n2在4～20個范圍內(nèi)選取，通過仿真比較，選取性能好的那個值。

輸出層神經(jīng)元個數(shù)設為n3，大小等于被辨識系統(tǒng)的輸出個數(shù)。第三十二頁，共一百七十二頁，編輯于2023年，星期三現(xiàn)考慮一個單輸入單輸出非線性動態(tài)系統(tǒng)，設系統(tǒng)的輸入及階次分別為u(k)和m，輸出及階次分別為y(k)和p，系統(tǒng)方程為

Y(k+1)=f(y(k)，y(k－1)，…，u(k)，…，u(k－m+1))

單輸入單輸出的n1＝n3＝1。

BP網(wǎng)絡的輸入矢量可寫成

x(k)=［x1(k)，x2(k)，…，xn1(k)］T

因m、p未知，可進行的幾種組合，比較性能后選最優(yōu)的一組。第三十三頁，共一百七十二頁，編輯于2023年，星期三設輸入層用“I”表示，隱層用“H”表示，輸入層到隱層的連接權(quán)矩陣為［wji］，對應輸入輸出關(guān)系為Ij(k)=H［neti(k)］閾值對應的狀態(tài)為x0=1。設輸出層用“O”表示，從隱層到輸出層的連接權(quán)矩陣為[Pi],相應輸入輸出關(guān)系為第三十四頁，共一百七十二頁，編輯于2023年，星期三

閾值對應的狀態(tài)為I0=1。

選用的性能指標為：學習規(guī)則采用廣義δ規(guī)則，為加快收斂，δ規(guī)則帶慣性項，格式如下：Pi(k)=Pi(k+1)－Pi(k)=a1e(k)Ii(k)+a2ΔPi(k－1)Δwji(k)=a1e(k)ΔH［neti(k)］Pi(k)xi(k)+a2Δwji(k－1)e(k)=y(k)－yq(k)ΔH［neti(k)］=neti(k)(1－neti(k))第三十五頁，共一百七十二頁，編輯于2023年，星期三式中，i=1，2，…，n2；j=1，2，…，n1，以下同。

基于BP網(wǎng)絡的系統(tǒng)辨識分6步實施，各步如下。

(1)初始化連接權(quán)為小的隨機值。

設Random(·)為［－1，+1］內(nèi)均勻分布的隨機函數(shù)，初始值

wji(0)=a·Random(·)∈［－0.1，0.1］

Pi(0)=a·Random(·)∈［－0.1，0.1］

(2)選擇輸入信號u(k)，候選的有階躍、斜坡、正弦波、偽隨機二進制序列(PRBS)等信號，只選一種加入系統(tǒng)。

(3)仿真計算y(k)。

(4)形成輸入矢量X(k)，計算e(k)。第三十六頁，共一百七十二頁，編輯于2023年，星期三

(5)計算ΔPi(k)、Δwji(k)。

(6)將u(k)、y(k)移位轉(zhuǎn)入第二步繼續(xù)。

如果是離線辨識，結(jié)束循環(huán)的判斷條件為(預先選定ε為小的正數(shù))

|e(k)|=|y(k)－yq(k)|<ε

例1

水輪發(fā)電機組模型BP網(wǎng)絡辨識。本例選自參考文獻［3］。

水輪發(fā)電機組在線辨識系統(tǒng)結(jié)構(gòu)如圖4-8所示。從結(jié)構(gòu)圖中看到，水輪發(fā)電機組模型的輸入信號除正常PC調(diào)節(jié)器調(diào)節(jié)信號外，還疊加有一個二位式偽隨機M序列信號PRES，由STD工控機參數(shù)在線辨識產(chǎn)生。第三十七頁，共一百七十二頁，編輯于2023年，星期三第三十八頁，共一百七十二頁，編輯于2023年，星期三辨識系統(tǒng)運行狀態(tài)如下：水輪發(fā)電機組在三種典型工況下運行，分別是空載、帶地區(qū)小負荷、并入大電網(wǎng)。機組工作于空載運行時，轉(zhuǎn)換開關(guān)S接入“電氣手動”時，水輪發(fā)電機組呈現(xiàn)開環(huán)調(diào)節(jié)系統(tǒng)運行。機組工作于帶地區(qū)小負荷運行時，轉(zhuǎn)換開關(guān)S接入“PC調(diào)節(jié)器”輸出，整個系統(tǒng)是一個受命于給定值的負反饋調(diào)節(jié)系統(tǒng)，由于負載較輕，參數(shù)在線辨

識裝置的輸入基本上與“空載運行”相同。機組工作于“并入大電網(wǎng)”時，S仍撥在“PC調(diào)節(jié)器”輸出位置上，負反饋調(diào)節(jié)繼續(xù)有效，但辨識裝置的輸入?yún)s不同于“帶地區(qū)小負荷運行”，由于機組的頻率同于外電網(wǎng)的頻率，辨識裝置的輸入為水輪機導葉開度和機組所帶的外部有功負荷。對于混流式機組，在小波動工況下，轉(zhuǎn)速v(s)對導葉開度k(s)的傳遞函數(shù)表示成第三十九頁，共一百七十二頁，編輯于2023年，星期三式中，T、T0分別是機組及引水道的慣性時間常數(shù)，e0、e、a、b均是水輪機組的特性參數(shù)。

水輪發(fā)電機組啟動后，先空載運行，隨后切換到電氣手動運行，頻率基準50Hz，此時實際空載開度約20%。輸入信號選用5級PRBS，單位游歷Δt=4s，采樣周期為0.4s，幅

值取導水機構(gòu)接力器全行程的2%，記錄1000次，用時6min40s，記錄下三個完整的PRBS周期。數(shù)據(jù)處理時去掉穩(wěn)態(tài)分量，得到機組頻率的相對變化曲線，如圖3-9(a)所示。第四十頁，共一百七十二頁，編輯于2023年，星期三使用三層BP神經(jīng)網(wǎng)絡辨識，網(wǎng)絡結(jié)構(gòu)選用3×2×1，學習率η=0.65，初始連接權(quán)在［0，1］間隨機取值，用基本BP算法得到的BP輸出如圖b)所示，圖(c)給出了實際

輸出與BP網(wǎng)絡輸出之間的差別，從差別極微可以看到，BP網(wǎng)絡能較理想辨識出水輪發(fā)電機組非線性動態(tài)模型。第四十一頁，共一百七十二頁，編輯于2023年，星期三

3-9水輪發(fā)電機組的BP動態(tài)辨識曲線(a)實際機組頻率輸出變化；(b)BP網(wǎng)絡辨識結(jié)果；(c)實際測出結(jié)果與BP辨識之差第四十二頁，共一百七十二頁，編輯于2023年，星期三

例2

煤氣加熱爐的BP動態(tài)辨識。

煤氣加熱爐是典型的單輸入單輸出系統(tǒng)，輸入u(t)是煤氣流量，輸出y(t)是排除煙道中CO2的濃度。輸入輸出的數(shù)據(jù)能夠測得。模型的動態(tài)結(jié)構(gòu)可以寫成

Y(k)=f(y(k－1),y(k－2),y(k－3),u(k－3),…,u(k－7)+cq－1ω(k))

式中，取模型的階次n=3，m=5，時滯d=2。c、q、ω是系統(tǒng)結(jié)構(gòu)參數(shù)。

用來辨識的前向網(wǎng)絡選用三層，輸入層、隱層、輸出層的神經(jīng)元個數(shù)分別為n1=8、n2=7、n3=1。第四十三頁，共一百七十二頁，編輯于2023年，星期三在進行訓練前測得有289對{u(i)，y(i)}數(shù)據(jù)對，可選擇其中200對訓練隱層(如果隱層選取10個神經(jīng)元，則可選用170對數(shù)據(jù)進行訓練)。在訓練前，所有數(shù)據(jù)對應進行正規(guī)化處理。

訓練使用帶修正項的BP算法，性能指標選擇均方誤差函數(shù)：兩種不同模型訓練后的辨識結(jié)果比較如表4-1所示。第四十四頁，共一百七十二頁，編輯于2023年，星期三第四十五頁，共一百七十二頁，編輯于2023年，星期三系統(tǒng)經(jīng)過學習后，可將測量所得289對數(shù)據(jù)中的余下數(shù)據(jù)對與BP網(wǎng)絡的輸出進行比對，就可以測得使用BP網(wǎng)絡的辨識準確程度。圖4-10給出了BP網(wǎng)絡辨識結(jié)果及預報曲

線，從圖中觀察到，預報時間較長，但預報的準確程度較為滿意。

網(wǎng)絡學習過程中均方誤差(MSPE)變化曲線如圖4-11所示。變化趨勢顯示出BP網(wǎng)絡能夠用于辨識，但與隱層神經(jīng)元個數(shù)、輸入輸出階次等有密切的關(guān)系。第四十六頁，共一百七十二頁，編輯于2023年，星期三圖BP網(wǎng)絡辨識結(jié)果及預報(a)辨識結(jié)果；(b)預報第四十七頁，共一百七十二頁，編輯于2023年，星期三圖BP網(wǎng)絡學習過程中的均方誤差變化第四十八頁，共一百七十二頁，編輯于2023年，星期三

例3

多輸入多輸出動態(tài)系統(tǒng)的BP網(wǎng)絡動態(tài)辨識。

現(xiàn)以兩輸入兩輸出系統(tǒng)為例介紹，設系統(tǒng)為一線性系統(tǒng)，傳遞矩陣為其中，A(z－1)=1+0.883z－1+0.471z－2+0.083z－3B11(z－1)=3z－1－3.5z－2－1.5z－zB12(z－1)=z－1－0.167z－2－0.167z－3B21(z－1)=－4z－2－2z－3－z－4B22(z－1)=z－1－0.167z－2－0.083z－3－0.167z－4第四十九頁，共一百七十二頁，編輯于2023年，星期三系統(tǒng)輸入輸出分別為這時網(wǎng)絡輸入量設為14，分別是n1=3，n2=3，m1=4，m2=4。y1(k)和y2(k)用兩個神經(jīng)網(wǎng)絡學習：y1網(wǎng)絡結(jié)構(gòu)為9×10×1，y2網(wǎng)絡結(jié)構(gòu)為10×12×1，辨識信號為0～10間的均勻分布隨機數(shù)，學習算法使用帶慣性項的BP算法：第五十頁，共一百七十二頁，編輯于2023年，星期三式中，η、δ、α是相關(guān)系數(shù)，取η=0.9，δ由輸出層或隱層選定，α=0.3；yq是網(wǎng)絡的輸出值，作用函數(shù)為取40個樣本，兩個網(wǎng)絡分別學習8500次和8800次后的辨識結(jié)果如表4-2所示，表內(nèi)數(shù)據(jù)已經(jīng)經(jīng)過轉(zhuǎn)換轉(zhuǎn)到區(qū)間(0，1)內(nèi)取值。第五十一頁，共一百七十二頁，編輯于2023年，星期三第五十二頁，共一百七十二頁，編輯于2023年，星期三設u1=u2=0.5作為系統(tǒng)常值輸入，系統(tǒng)的5組輸出及測試網(wǎng)絡后所得輸出，列在表4-3中。最大相對誤差(0.661－0.543)/0.661≈2.7%，表示神經(jīng)網(wǎng)絡辨識的精度相當高。

第五十三頁，共一百七十二頁，編輯于2023年，星期三第五十四頁，共一百七十二頁，編輯于2023年，星期三

3.4多層前向網(wǎng)絡辨識中的快速算法

在多層神經(jīng)網(wǎng)絡極值訓練中，BP算法存在收斂較慢及局部極小點問題。為此提出了多種修改算法，力圖克服收斂較慢或避免陷入局部極小點。這些修正算法有增加慣性項、改變學習率或?qū)W習步長、引入高階導數(shù)項等等。

本節(jié)討論使用遞推最小二乘法(RLS)學習訓練神經(jīng)網(wǎng)絡的連接權(quán)系數(shù)，這種方法有較快的收斂速度。第五十五頁，共一百七十二頁，編輯于2023年，星期三

1.神經(jīng)元模型

考慮有M層的多層前向網(wǎng)絡，輸入層為1層，輸出層為M層，其中的每個神經(jīng)元均可表示成式中，n是第n層神經(jīng)元個數(shù)，wij是第i個神經(jīng)元到第j個神經(jīng)元的連接權(quán)，f(·)是單調(diào)單值連接的S型函數(shù)，且第五十六頁，共一百七十二頁，編輯于2023年，星期三每個神經(jīng)元的輸入輸出關(guān)系可以分解成線性輸入或非線性輸出兩部分，從線性輸入到非線性輸出之間存在一一對應的映射和逆映射關(guān)系。其中逆映射可將輸出信息轉(zhuǎn)換到輸入

端，使用線性參數(shù)估計技術(shù)對神經(jīng)網(wǎng)絡的連續(xù)權(quán)進行訓練，便于使用遞推最小二乘法。第五十七頁，共一百七十二頁，編輯于2023年，星期三

2.RLS訓練算法

設輸出層神經(jīng)元的期望輸入r(k)和期望輸出d(k)之間有一定的關(guān)系：

d(k)=f［r(k)］

對d(k)的逆變換可寫成

r(k)=f－1［d(k)］

式中，f－1(·)是f(·)的反函數(shù)。定義性能指標：第五十八頁，共一百七十二頁，編輯于2023年，星期三式中，λ稱為遺忘因子。神經(jīng)元的輸入輸出重新寫出如下：性能指標改寫成考慮到第五十九頁，共一百七十二頁，編輯于2023年，星期三令可得W的LS估計為

W(k)=［ΦT(k)Φ(k)］－1ΦT(k)R(k)相應的RLS估計為WL(k)=WL－1(k)+ML－1(k)［rL(k)－XTL－1(k)WL－1(k－1)］式中，第六十頁，共一百七十二頁，編輯于2023年，星期三遞推時取初值：PL－1(0)=(103～106)I對于中間層每個神經(jīng)元，定義其期望輸入與期望輸出滿足d(k)=f［r(k)］定義反傳誤差為δit(k)=dit(k)－xit(k)=f[netit(k)][rit(k)－netit(k)]相應神經(jīng)元期望輸入為

Rit(k)=f－1［dit(k)］第六十一頁，共一百七十二頁，編輯于2023年，星期三定義式中，λ(k)為非負遺忘因子。在t=L－1時，對第i個神經(jīng)元，由于令反傳誤差δL(k)=rL(k)－nL(k)及

δL－1(k)=δL(k)wiLf′[netiL(k)]有第六十二頁，共一百七十二頁，編輯于2023年，星期三求解此式，可得神經(jīng)元i的連接權(quán)系數(shù)RLS估計：WL－1(k)=WL－1(k－1)+ΔWL－1由此類推直至t=1，可得RLS估計如下：Wit(k)=Wit(k－1)+Mt－1(k)［rit(k)－netit(k)］由此可計算各神經(jīng)元的輸出?，F(xiàn)舉一個仿真實例，設非線性系統(tǒng)為式中，u(k)=sin(2π/250)。u(k)和y(k)是該系統(tǒng)的輸入與輸出，而該系統(tǒng)的結(jié)構(gòu)未知。第六十三頁，共一百七十二頁，編輯于2023年，星期三現(xiàn)在使用4層前向網(wǎng)絡描述該非線性系統(tǒng)，4層的節(jié)點分別為5×20×10×1，輸入層的輸入矢量

X0T

(k)=［y(k－1),y(k－2),y(k－3),u(k－1),u(k－2)］

取初始值Pi(0)＝103I，λt=0.99，使用RLS估計，經(jīng)過400步學習后均方誤差收斂且小于0.075，學習時間小于31s。

圖3-12和圖3-13分別是RLS估計均方誤差和BP算法均方誤差,當比較兩條曲線時,能夠明顯發(fā)現(xiàn),RLS估計只要較少的學習步驟，例如400步便產(chǎn)生收斂，誤差就能限制在一個事先確定的較小范圍。而BP算法要想達到相同的目的，約需4000步費時4min13s(仿真結(jié)果)，收斂才能達到0.1。如果要想達到RLS估計的收斂值0.075，則還需要更長的時間。第六十四頁，共一百七十二頁，編輯于2023年，星期三圖3-12RLS算法估計均方誤差第六十五頁，共一百七十二頁，編輯于2023年，星期三圖3-13BP算法估計均方誤差第六十六頁，共一百七十二頁，編輯于2023年，星期三用BP算法估計神經(jīng)網(wǎng)絡的連接權(quán)時，所用的算法為

wij(k)=wij(k－1)aδit(k)xji(k)

式中，δit是反傳誤差，a是學習步長。輸出層的反傳誤差為

δL(k)=f［n(k)］［d(k)－x(k)］

中間層的反傳誤差為

δit(k)=f［n(k)］∑δjt(k)wji(k－1)

步長為

a(k)=amax+(amin－amax)e－λ第六十七頁，共一百七十二頁，編輯于2023年，星期三

3.5非線性模型的預報誤差神經(jīng)網(wǎng)絡辨識

除RLS外，還有諸多提高收斂速度的算法，預報誤差算法就是其中的一種。

3.5.1非動態(tài)模型建模

預報誤差算法簡稱RPE算法，它具有預報精度高、收斂速度快等特點，同樣該算法也能用于非動態(tài)模型的神經(jīng)網(wǎng)絡建模。

考慮圖4-14的三層前向網(wǎng)絡，設三層結(jié)構(gòu)n1×n2×1，輸入層有n1個神經(jīng)元，隱層有n2個神經(jīng)元，輸出層僅一個節(jié)點。第六十八頁，共一百七十二頁，編輯于2023年，星期三圖3-14三層前向網(wǎng)絡第六十九頁，共一百七十二頁，編輯于2023年，星期三網(wǎng)絡輸入為xi，i=1，2，…，n1。網(wǎng)絡的輸出為y。zj和qj是隱層中第j個神經(jīng)元的輸出值和閾值，j=1，2，…，n2。Wkij表示第k－1層中第i個神經(jīng)元，對第k層中的第j個神經(jīng)元

的連接權(quán)。

隱含層中節(jié)點的作用函數(shù)取成S型函數(shù)：網(wǎng)絡的輸入輸出關(guān)系為y(t)=∑WXX=g(∑WijXi+Qi)第七十頁，共一百七十二頁，編輯于2023年，星期三該網(wǎng)絡能辨識的非線性系統(tǒng)具有如下的輸出輸入關(guān)系：

y(t)=f[y(t－1)，…，y(t－m)，x(t－1)，…，x(t－n)]+d(t)

其中，y(t)和x(t)是非線性系統(tǒng)的輸出和輸入；m與n分別是輸出與輸入的最大滯后；d(t)是影響該系統(tǒng)的非線性隨機因素，如隨機噪音；f(·)是非線性函數(shù)。

在三層前向網(wǎng)絡中，設Q=[Q1，Q2，…，Qn]T是神經(jīng)網(wǎng)絡中待求的神經(jīng)元閾值，n1+n2是待定的神經(jīng)元個數(shù)。e(t)是實際輸出與神經(jīng)網(wǎng)絡輸出之差，又稱為偏差。訓練算法讓Q1～Qn在一定的條件準則下得到確定值。第七十一頁，共一百七十二頁，編輯于2023年，星期三

RPE算法是一種將預報誤差極小化來估計參數(shù)的方法。算法中同樣需要準則函數(shù)。這里不妨設準則函數(shù)為

式中，N是數(shù)據(jù)長度，e(t)是預報誤差。有了準則函數(shù)，RPE算法便可沿著J的高斯—牛頓(Gauss-Newton)方向搜索，不斷修正未知參數(shù)矢量，直至使J趨近于最小。第七十二頁，共一百七十二頁，編輯于2023年，星期三3.5.2遞推預報誤差算法

遞推預報誤差算法的原則是先選定參數(shù)矢量的修正算式，再求對Q的一階及二階微分。設修正算式為

Q(t)=Q(t－1)+S(t)μ[Q(t－1)]

式中，μ(Q)就是高斯—牛頓搜索方向，可定義成

μ(Q)=－[H(Q)]－1▽J(Q)

其中，▽J(Q)是J(Q)關(guān)于Q的梯度，H(Q)是J(Q)的Hessian矩陣。▽J(Q)和H(Q)表示成它們分別是J(Q)對Q的一階和二階微分。第七十三頁，共一百七十二頁，編輯于2023年，星期三

1.遞推預報流程

遞推預報誤差算法如下式：

e(t)=y(t)－yq(t)式中，λ(t)是遺忘因子，對收斂速度有影響。改變的方法是迭代開始時取λ(t)＜1；t→∞時取λ(t)→1?；蛟O置λ的初值，例如取λ(0)=0.95～0.99，而后有

λ(t)=λ(0)λ(t－1)+(1－λ(0))第七十四頁，共一百七十二頁，編輯于2023年，星期三若將RPE用于三層前向神經(jīng)網(wǎng)絡，隱層取一層，相應的Ψ為n×1矩陣，矩陣中各元素為由此設計的RPE流程如下：(1)用較小隨機值初始化連接權(quán)值和閾值，得：

W(0)=aRandom(·)

Q(0)=bRandom(·)第七十五頁，共一百七十二頁，編輯于2023年，星期三

(2)選P(0)為對角矩陣。

(3)按照網(wǎng)絡輸入分別計算隱層節(jié)點x1k及輸出節(jié)點yq的值。

(4)形成Ψ陣并求預報誤差e(t)、P(t)陣及參數(shù)序列Q(t)。

(5)重復以上(2)～(4)，直至收斂。

從以上的分析可以看到，RPE算法實際上是一種求高階導數(shù)的學習算法。在計算H(Q)的逆矩陣上使用遞推最小二乘法，與基本BP算法(僅利用一階導數(shù))相比，高階導數(shù)的計算加快了收斂速度。第七十六頁，共一百七十二頁，編輯于2023年，星期三

2.RPE算法的具體應用

例1

帶電流內(nèi)環(huán)和轉(zhuǎn)速外環(huán)的PWM直流脈寬調(diào)速系統(tǒng)，具有如圖4-15所示的系統(tǒng)結(jié)構(gòu)。轉(zhuǎn)速環(huán)處于外環(huán)，能有效克服環(huán)內(nèi)出現(xiàn)的干擾以及外特性引起的速度變化。但電機

轉(zhuǎn)速卻會因電機運行工況、電源電壓的波動或畸變、機械負荷的突然變化而發(fā)生改變，因此雙環(huán)調(diào)速系統(tǒng)本身是一個非線性時變系統(tǒng)。另外，還有許多非線性因素也廣為存在系統(tǒng)

中，如：時磁滯、齒輪間隙、庫侖摩擦、調(diào)節(jié)器限幅、脈沖調(diào)制放大器和運算放大器飽和產(chǎn)生的非線性等。第七十七頁，共一百七十二頁，編輯于2023年，星期三圖43-15轉(zhuǎn)速電流雙閉環(huán)PWM調(diào)速系統(tǒng)第七十八頁，共一百七十二頁，編輯于2023年，星期三在轉(zhuǎn)速環(huán)基礎上增加位置環(huán)，將構(gòu)成位置伺服系統(tǒng)，該系統(tǒng)有一系列典型的非線性特征，這是PWM調(diào)制所產(chǎn)生的。為了動態(tài)辨識轉(zhuǎn)速環(huán)，便于使用RPE算法，選用3×2×1的

神經(jīng)網(wǎng)絡結(jié)構(gòu)。同時選擇輸入信號為2V±0.2V，其中2V是系統(tǒng)轉(zhuǎn)速環(huán)給定值，對應需要恒定運轉(zhuǎn)的速度，0.2V是迭加的幅值，用于考慮一定的波動允許范圍。輸入信號可用矢量表示成

X(t)=［u(t－1)，u(t－2)，y(t－1)］T

輸出信號為測速發(fā)電機的輸出電壓。在用RPE算法訓練900次后，神經(jīng)網(wǎng)絡預報輸出及殘余序列實測曲線如圖3-16所示。實測階躍響應擬合曲線如圖3-17所示。第七十九頁，共一百七十二頁，編輯于2023年，星期三圖3-16神經(jīng)網(wǎng)絡預報輸出及殘余序列實測曲線第八十頁，共一百七十二頁，編輯于2023年，星期三圖3-17實測階躍擬合曲線第八十一頁，共一百七十二頁，編輯于2023年，星期三對比擬合曲線可以看到，神經(jīng)網(wǎng)絡辨識PWM系統(tǒng)動態(tài)模型的效果令人滿意。通常為了評價模型的擬合精度，常引入誤差指數(shù)E，定義成式中，e(t)是偏差值，為系統(tǒng)實際輸出與神經(jīng)網(wǎng)絡輸出之差。改變隱層節(jié)點數(shù)目后，不同的E值如表4-4所示。輸入矢量及輸入節(jié)點不同時的E值如表4-5所示。第八十二頁，共一百七十二頁，編輯于2023年，星期三第八十三頁，共一百七十二頁，編輯于2023年，星期三由此可見，選擇如此結(jié)構(gòu)的神經(jīng)網(wǎng)絡模型較為合理，輸入節(jié)點數(shù)及輸入矢量的合理搭配在很大程度上能影響擬合精度。通常情況下合理選擇隱層節(jié)點數(shù)量，適當增加輸入節(jié)

點數(shù)量及延遲y(t)，對提高辨識精度較為有利。

例2

設SISO非線性模型為選用辨識的神經(jīng)網(wǎng)絡結(jié)構(gòu)為2×1×1，輸入信號為六級偽隨機二進制序列PRBS，用u(t)表示，設輸入矢量為

X(t)=［u(t－1)，y(t－1)］T第八十四頁，共一百七十二頁，編輯于2023年，星期三參數(shù)矢量Θ(t)和Ψ分別為

Θ(t)=［θ1，θ2，θ3，θ4］T

Ψ=［ψ1，ψ2，ψ3，ψ4］T

遞推1000次后得參數(shù)矢量Θ(t)=［0.4999，0.3999，0.09985，0.6000］T

，表示結(jié)果十分理想。如果改用BP算法，因?qū)W習率等一系列參數(shù)難于折中表示，得不到滿意結(jié)果。第八十五頁，共一百七十二頁，編輯于2023年，星期三

4.6非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡辨識

無論是線性系統(tǒng)還是非線性系統(tǒng)，都存在一個可逆性問題。

在正常情況下，對系統(tǒng)進行分析的主要任務就是：系統(tǒng)在一個控制信號的作用下，將會產(chǎn)生什么樣的輸出，產(chǎn)生什么樣的運動軌跡。例如一個系統(tǒng)可用以下方程表示出來：

y=f(u，x，T)第八十六頁，共一百七十二頁，編輯于2023年，星期三其中，y是輸出，u

是輸入，x是狀態(tài)變量，T是系統(tǒng)的控制作用。當輸入一定、系統(tǒng)狀態(tài)不變時，系統(tǒng)輸出y應直接與控制作用T有關(guān)，式中的f(u，x，T)事實上是系統(tǒng)在外力作用下的非線性函數(shù)。

正常的系統(tǒng)分析過程是已知控制信號T(t)，確定其運動軌跡u(t)和x(t)。

已知系統(tǒng)的運動軌跡u(t)和x(t)，尋找控制信號T(t)，被稱為系統(tǒng)分析的逆過程。系統(tǒng)分析過程與逆過程如圖3-18所示。第八十七頁，共一百七十二頁，編輯于2023年，星期三圖3-18系統(tǒng)分析過程及逆過程(a)系統(tǒng)分析過程；(b)系統(tǒng)分析逆過程第八十八頁，共一百七十二頁，編輯于2023年，星期三3.6.1系統(tǒng)分析逆過程的存在性

在一個控制系統(tǒng)中，如果已經(jīng)知道了運動軌跡u(t)、x(t)，要想求出它的控制信號T(t)，首先必然要問：這個控制信號是否存在?系統(tǒng)是否可逆?

在求解系統(tǒng)運行的正向過程和逆向過程中，神經(jīng)網(wǎng)絡具有的獨特的作用與功能，尤其是對于非線性系統(tǒng)。神經(jīng)網(wǎng)絡的學習方式有監(jiān)督學習和非監(jiān)督學習兩種。監(jiān)督學習中存在導師信號，導師信號的功能恰好是演示期望的運動軌跡，而不是起控制作用的，不是直接教會網(wǎng)絡實施運動神經(jīng)的控制。由此可見，在清晰明了的導師信號前，系統(tǒng)的運動軌跡也清晰可見，尋找相應的控制指令更加方便與直觀。事實上，神經(jīng)網(wǎng)絡在獲取了所期望的運動軌跡后，將產(chǎn)生相應的各種運動神經(jīng)指令，傳送給網(wǎng)絡的各層以實現(xiàn)這個期望值，并由相應的感覺系統(tǒng)完成測量。第八十九頁，共一百七十二頁，編輯于2023年，星期三在比較實際軌跡與期望運動軌跡的基礎上，神經(jīng)網(wǎng)絡產(chǎn)生一個它們之間的差值。如果將這個差值作為導師信號完成對相應神經(jīng)網(wǎng)絡的訓練，那就能從神經(jīng)網(wǎng)絡的輸出中產(chǎn)生“控制信號”，從而實現(xiàn)系統(tǒng)分析的逆過程。

一個系統(tǒng)是否可逆，是否能用神經(jīng)網(wǎng)絡建立逆模型實現(xiàn)辨識，與系統(tǒng)自身的性質(zhì)密切相關(guān)，與系統(tǒng)是否線性無關(guān)。線性系統(tǒng)的可逆性問題比非線性系統(tǒng)的可逆性問題要簡單得多。

線性系統(tǒng)的可逆性問題實際上是一個能控性問題，凡具有能控性的系統(tǒng)，可逆性必存在，系統(tǒng)必然可逆。例如對單變量線性系統(tǒng)，可逆性十分清晰；對多變量線性系統(tǒng)，利用能控性判據(jù)也能得出可逆存在。第九十頁，共一百七十二頁，編輯于2023年，星期三非線性系統(tǒng)的可逆性問題則要復雜得多，目前尚無一個普遍適用的方法對應所有的非線性系統(tǒng)，既然無通用解法，只能遇到一個，辨識一個(非線性系統(tǒng))。

現(xiàn)考察離散單輸入單輸出非線性系統(tǒng)，設該系統(tǒng)的輸入和輸出分別是

u(k)∈R，y(k)∈R

又設m≤i，系統(tǒng)的傳輸關(guān)系為

y(k+1)=f［y(k)，…，y(k－n)，u(k)，…，u(k－m)］

式中，f(·)是輸出、輸入之間的函數(shù)關(guān)系。系統(tǒng)可逆性有如下定義：

如果存在R(n+m+1)的子集A，且

[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T∈A第九十一頁，共一百七十二頁，編輯于2023年，星期三當任意一個u(k)=u′(k)時，必有

f［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

≠f［y(k)，…，y(k－n)，u′(k－1)，…，u′(k－m)］

則稱系統(tǒng)在點［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

處是可逆的，否則稱系統(tǒng)在該點處是奇異(即不可逆)的。

對于奇異系統(tǒng)，有

f［y，u］=f［y，u′］第九十二頁，共一百七十二頁，編輯于2023年，星期三上述對系統(tǒng)可逆性的定義僅僅定義了系統(tǒng)在某些點上是可逆或奇異的。系統(tǒng)的奇異是一種極端情況，非線性系統(tǒng)在某一點上可逆并不等于說該系統(tǒng)就是一個可逆系統(tǒng)，這是

因為系統(tǒng)在某些點上是可逆的，但在另一些點上卻是奇異的。介于可逆系統(tǒng)與奇異系統(tǒng)之間的系統(tǒng)是存在的，一個系統(tǒng)能夠在某些點表現(xiàn)出存在兩個不同的輸入u(t)≠u′(t)，但能引起相同的輸出，例如帶滯環(huán)特性的閥門就有這種特征。

系統(tǒng)可逆性的充分條件由下述定理給出。第九十三頁，共一百七十二頁，編輯于2023年，星期三

定理如果對于u(k)，f［y(k)，…，y(k－n)，u(k)，u(k－1)，…，u(k－m)］嚴格單調(diào)，那么系統(tǒng)在點[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T處可逆。只有在所有點處可逆都成立，系統(tǒng)才是可逆系統(tǒng)。

定理的證明較為簡單，由于系統(tǒng)嚴格單調(diào)，則

f(y，u)≠f(y，u′)

表明系統(tǒng)在該點處單調(diào)。

多值非線性系統(tǒng)不一定都是可逆系統(tǒng)。是否可逆就看它是否符合定理的三個條件。例如磁滯回線是否為可逆系統(tǒng)，可作如下分析：第九十四頁，共一百七十二頁，編輯于2023年，星期三表面上看，磁滯的一個輸入對應兩個輸出，每個輸出可找到相應的兩個控制信號，似乎磁滯回線不可逆。但是磁滯控制有一個特征，就是有向性，升磁和消磁經(jīng)過的路徑不同，如果是磁化過程，一個輸入僅對應一個輸出；反之，退磁過程是一個輸入僅對應一個輸出。必然能逆向辨識，由此可見磁滯回線是可逆系統(tǒng)，只是正向過程和逆向過程所走的路徑不同罷了。

又如系統(tǒng)y=(u－1)u(u+1)就是一個不可逆系統(tǒng)，它不符合定理提出的三個條件，如y=0時，有1，0，－1三個解。第九十五頁，共一百七十二頁，編輯于2023年，星期三3.6.2非線性系統(tǒng)的逆模型

非線性系統(tǒng)的逆模型研究包括逆系統(tǒng)建模及逆模型辨識兩部分內(nèi)容。逆系統(tǒng)建模的主要任務是對非線性系統(tǒng)的逆運行過程建立一個數(shù)學模型；逆模型辨識是對非線性系統(tǒng)的逆

運行進行辨認識別，看其與哪一種已知模型更接近。

神經(jīng)網(wǎng)絡辨識是逆模型建立和辨識的核心內(nèi)容。本節(jié)所述逆模型的建立方法突出了神經(jīng)網(wǎng)絡的功能與作用。

非線性系統(tǒng)的逆模型建立方法有如下幾種：直接逆系統(tǒng)建模、正—逆系統(tǒng)建模及逆—正系統(tǒng)建模。第九十六頁，共一百七十二頁，編輯于2023年，星期三

1.非線性系統(tǒng)逆模型的直接建立

非線性系統(tǒng)逆模型的直接建立依靠直接逆系統(tǒng)建模法，該方法又稱為泛化學習法。泛化學習的本意是網(wǎng)絡訓練所覆蓋的范圍要比未知的逆系統(tǒng)所可能涉及的范圍大一些，這樣

設置有利于獲得更佳的逆動力學特性。

逆模型直接建立的結(jié)構(gòu)框圖如圖4-19所示，系統(tǒng)的給定值為u，輸出值為y，神經(jīng)網(wǎng)絡的訓練信號取自一個誤差值e，e是系統(tǒng)輸入u和神經(jīng)網(wǎng)絡輸出v之差：e=u－v。第九十七頁，共一百七十二頁，編輯于2023年，星期三圖3-19逆模型直接建立第九十八頁，共一百七十二頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡的輸入信號為系統(tǒng)的輸出信號y。訓練方法是：把未知被控對象的輸出y作為神經(jīng)網(wǎng)絡的輸入，神經(jīng)網(wǎng)絡的輸出v如果不等于系統(tǒng)的輸入u，將產(chǎn)生偏差e對網(wǎng)絡進行訓練，直至v=u為止，或u－v小到一個允許的范圍為止。

用于直接逆系統(tǒng)建模的網(wǎng)絡較多，有BP網(wǎng)絡、CMAC網(wǎng)絡、多層感知器等。不同的網(wǎng)絡結(jié)構(gòu)有不同的優(yōu)缺點，如BP網(wǎng)絡，優(yōu)點是訓練簡單、結(jié)構(gòu)簡練，不足之處是不能快

速進行，要想在線實時獲取逆動力學模型，就有一定難度。第九十九頁，共一百七十二頁，編輯于2023年，星期三

2.正—逆系統(tǒng)建模

非線性系統(tǒng)逆模型還可以依靠“正—逆系統(tǒng)建?！钡姆椒ǐ@得，這種方法的要點是在非線性系統(tǒng)的正模型(未知對象的動力學模型)基礎上，獲得逆動力學模型，有三種方案值

得考慮。

(1)被控對象—逆模型建模，建模示意圖如圖4-20所示。

本方案中的神經(jīng)網(wǎng)絡作逆系統(tǒng)辨識用，它的輸入是整個系統(tǒng)的輸入給定值u，系統(tǒng)的實際輸出是未知被控對象的輸出y，神經(jīng)網(wǎng)絡的訓練信號e取自二者之差：

e=y－u第一百頁，共一百七十二頁，編輯于2023年，星期三圖3-20被控對象—逆模型建模第一百零一頁，共一百七十二頁，編輯于2023年，星期三這種建模方法存在一個嚴重的缺憾，那就是要求知道未知對象的模型，恰恰在系統(tǒng)中它又是未知的，解決這個問題的方法是將未知對象改用直接自適應控制器，避免可能出現(xiàn)

的致命差錯。

(2)正模型—逆系統(tǒng)建模，建模示意圖如圖3-21所示。

本方案中的神經(jīng)網(wǎng)絡用于模擬被控對象的正模型(圖4-21中的“正模型”)，在前饋通道上的神經(jīng)網(wǎng)絡用于辨識逆模型。神經(jīng)網(wǎng)絡的訓練信號是兩值之差，一個值u是神經(jīng)網(wǎng)絡的期望輸入，另一個值v則是正模型的期望輸出，

e=u－v第一百零二頁，共一百七十二頁，編輯于2023年，星期三圖3-21正模型—逆系統(tǒng)建模第一百零三頁，共一百七十二頁，編輯于2023年，星期三誤差e用來訓練辨識逆模型的神經(jīng)網(wǎng)絡連接權(quán)值。

本方案的突出優(yōu)點是正模型一旦建立便成為已知條件，未知被控對象的各種運算都能從正模型計算出來。方案的不足之處在于逆模型的精確程度依賴于正模型的精確程度，如

果正模型本身精度低、誤差大，相應逆模型也不能正常反映被控對象的實際情況。產(chǎn)生這種狀態(tài)的直接原因是被控對象不在逆系統(tǒng)的反饋回路中，這是系統(tǒng)結(jié)構(gòu)造成的，沒辦法解決。

(3)被控對象—正模型—逆模型建模，建模示意圖如圖3-22所示。第一百零四頁，共一百七十二頁，編輯于2023年，星期三圖3-22被控對象—正模型—逆模型建模第一百零五頁，共一百七十二頁，編輯于2023年，星期三本方案以直接建模為基礎，神經(jīng)網(wǎng)絡作逆模型辨識用，它的訓練信號來自于兩值之差：一個值是它的期望輸入u，另一個是被控對象的實際輸出y，

e=u－y

在調(diào)節(jié)過程中，未知被控對象使用正模型神經(jīng)網(wǎng)絡代替。未知被控對象處在逆系統(tǒng)的反饋環(huán)中，通過正模型能反映出未知被控對象的真實情況，避免出現(xiàn)“正模型—逆系統(tǒng)建?！狈桨傅谋撞　５谝话倭懔?，共一百七十二頁，編輯于2023年，星期三本方案的第二個優(yōu)點在于：如果正反模型都采用BP網(wǎng)絡，則逆模型神經(jīng)網(wǎng)絡在誤差回傳時的最后一層誤差，通過正模型神經(jīng)網(wǎng)絡的誤差回傳傳遞。既然正模型神經(jīng)網(wǎng)絡的功能僅僅只是回傳誤差，那么即便存在誤差也無關(guān)緊要，僅影響收斂速度而不至于影響是否收斂。第一百零七頁，共一百七十二頁，編輯于2023年，星期三

3.逆—逆系統(tǒng)建模

這種建模方法使用兩個逆系統(tǒng)模型，與未知被控對象一起構(gòu)成訓練回路。處于系統(tǒng)前饋通道上的神經(jīng)網(wǎng)絡，功能是一個控制器，控制未知被控對象，讓被控對象產(chǎn)生相應的輸出。逆—逆系統(tǒng)建模示意圖如圖4-23所示。第一百零八頁，共一百七十二頁，編輯于2023年，星期三圖3-23逆—逆系統(tǒng)建模第一百零九頁，共一百七十二頁，編輯于2023年，星期三逆模型的輸入信號e為神經(jīng)網(wǎng)絡控制器的輸入u與未知被控對象的輸出y之差：

e=u－y

如果神經(jīng)網(wǎng)絡控制器與未知被控對象的逆動力學特性不相等，則逆模型的輸入不為0，神經(jīng)網(wǎng)絡控制器的訓練將繼續(xù)進行。只要系統(tǒng)中的逆模型是未知被控對象的另一個逆模型，就可以利用它來計算出未知被控對象應該具有的輸入估計值。

當e為0或進入一個事先預定的小的正數(shù)時，連接權(quán)訓練才可停止。

逆—逆系統(tǒng)建模中的“逆模型”可采用如下幾種形式：第一百一十頁，共一百七十二頁，編輯于2023年，星期三第一種，未知被控對象的線性化逆動力學模型，可通過最小二乘法、相關(guān)分析法等傳統(tǒng)辨識方法獲得。既為線性模型，就比較容易從輸出反推出輸入，辨識準則為線性化的程度。

第二種，未知被控對象的非線性逆動力學模型，可通過機理分析未知被控對象的結(jié)構(gòu)或?qū)嶒灚@得，也可由神經(jīng)網(wǎng)絡直接辨識逆模型而獲得。

第三種，神經(jīng)網(wǎng)絡控制器的復制模型，可通過神經(jīng)網(wǎng)絡控制器在訓練以后獲得，訓練過程是控制器每學習完一步，就可以復制出完全相同的連接權(quán)。使用這種模型時要注意：神經(jīng)網(wǎng)絡控制器與逆模型在初始值、參數(shù)及結(jié)構(gòu)等方面完全相同。第一百一十一頁，共一百七十二頁，編輯于2023年，星期三本節(jié)介紹了非線性系統(tǒng)逆模型的三種建模方法，其中直接逆系統(tǒng)建模簡單直觀，但不易在線操作。另外兩種方法將逆模型與神經(jīng)網(wǎng)絡控制器聯(lián)系在一起，成為系統(tǒng)閉環(huán)控制的一個組成部分。第一百一十二頁，共一百七十二頁，編輯于2023年，星期三3.6.3基于多層感知器的逆模型辨識

采用多層感知器的非線性系統(tǒng)辨識，是直接逆系統(tǒng)建模的一個具體應用。在非線性系統(tǒng)的神經(jīng)網(wǎng)絡中使用多層感知器，是因為其具有學習速度快、計算工作量快等優(yōu)點，這些優(yōu)點是相對于BP網(wǎng)絡而言的。

1.基本結(jié)構(gòu)

做開關(guān)作用函數(shù)的單層感知器結(jié)構(gòu)如圖4-24所示。它的學習算法有以下幾種。

(1)WidrowHoffδ學習規(guī)則:第一百一十三頁，共一百七十二頁，編輯于2023年，星期三

(2)修正的δ學習規(guī)則:(3)高收斂階δ學習規(guī)則：各種學習規(guī)則中都有X∈Rn，是輸入矢量；W(k)∈Rm是連接權(quán)矢量，e(k)是期望輸出與實際輸出之差，α是學習率，sgnX是符號函數(shù)陣：sgnX=［sgnx1，sgnx2，…，sgnxm］T式中，符號函數(shù)為第一百一十四頁，共一百七十二頁，編輯于2023年，星期三圖3-24單層感知器開關(guān)結(jié)構(gòu)示意圖第一百一十五頁，共一百七十二頁，編輯于2023年，星期三

2.高收斂階δ學習規(guī)則

采用高收斂階δ學習規(guī)則的單層感知器，在固定模式的訓練誤差e由下式?jīng)Q定：

e(k+1)=f[α，e(k)，e(k－1)]e(k)

按f(·)的取法，e(k)允許取超線性的1.618階、2階、3階或更高階次。

對于這一學習規(guī)則，證明如下。首先設單層感知器的輸入/輸出特性為

y(k)=∑wixi=WT(k)X

固定模式時有第一百一十六頁，共一百七十二頁，編輯于2023年，星期三則e(k+1)=f［α，e(k)，e(k－1)］e(k)若取f［α，e(k)，e(k－1)］=αe(k－1)則e(k+1)=αe(k－1)e(k)第一百一十七頁，共一百七十二頁，編輯于2023年，星期三設誤差初值為e(0)和e(1)，且e(0)，e(1)∈Δ={δ|αδ<1}，對任一k，都有

e(k+1)<αδ·δ<δ∈Δ

或

當k→∞時，e(k)→0，證明δ學習規(guī)則收斂。再看e(k+1)=αe(k－1)e(k)，若令第一百一十八頁，共一百七十二頁，編輯于2023年，星期三該式滿足差分方程:

z(k+1)=z(k)+z(k－1)

方程的兩根為λ1=1.618及λ2=－1.618，因此有比較后得收斂階λ1，為超線性的1.618階。第一百一十九頁，共一百七十二頁，編輯于2023年，星期三如果取f［α，e(k)，e(k－1)］=α2e(k)，則有

e(k+1)=［αe(k)］2

取α滿足則e(k+1)具有2次收斂階。對于3次或高次收斂階，亦可采取同樣的取法。第一百二十頁，共一百七十二頁，編輯于2023年，星期三

3.S型作用函數(shù)的使用

不用開關(guān)型作用函數(shù)，改用S型作用函數(shù)，多層感知器可采用BP算法，這是因為開關(guān)型作用函數(shù)不可微時，反傳學習法將無法使用。

設三層感知器的結(jié)構(gòu)如圖4-25所示。

圖中X、Y0分別是三層感知器的輸入和輸出，Y=、YH分別是輸入層和隱層的輸出，Z1和ZH分別是輸入層和隱層在經(jīng)過非線性開關(guān)函數(shù)后的輸出。設三層結(jié)構(gòu)為n1、nH和n0，連接權(quán)矩陣W1、WH、W0的維數(shù)分別為n1×n，nH×n，m×nH。第一百二十一頁，共一百七十二頁，編輯于2023年，星期三圖3-25三層感知器第一百二十二頁，共一百七十二頁，編輯于2023年，星期三輸入輸出特性如下：

輸入層：

隱層：輸出層：連接權(quán)訓練用的誤差矢量為E(k)=Yd－Y0(k)第一百二十三頁，共一百七十二頁，編輯于2023年，星期三其中，Yd是神經(jīng)網(wǎng)絡的期望輸出。連接權(quán)算法可表示成

W1(k+1)=W1(k)+U1(k)

WH(k+1)=WH(k)+UH(k)

W0(k+1)=W0(k)+U0(k)

算法收斂性可表達成U1、UH、U0，分別取值為第一百二十四頁，共一百七十二頁，編輯于2023年，星期三U1、UH、U0統(tǒng)一稱為連接權(quán)更新矩陣。誤差矩陣E(k)滿足差分方程：

E(k+1)=f［A，E(k)，E(k－1)］E(k)

式中，A，E(k)，E(k－1)均為對角矩陣：

A=diag{a1，a2，…，an}

E(k)=diag{e1(k)，e2(k)，…，en(k)}

當f(·)的取法不同時，E(k)收斂階數(shù)隨之不同，一般值有1.618、2、3或更高。

S型作用函數(shù)算法收斂性證明過程與S開關(guān)型函數(shù)算法收斂性證明過程相同。首先給E(k)一個能滿足的關(guān)系式：第一百二十五頁，共一百七十二頁，編輯于2023年，星期三又第一百二十六頁，共一百七十二頁，編輯于2023年，星期三則將U0T(k)表達式代入并整理，得A，E(k)，E(k－1)均為對角矩陣時，矢量差分方程由幾個差分方程組成，第i個方程為ei(k+1)=f［ai，ei(k)，li(k－1)］ei(k)其中，i=1，2，…，n。當f(·)的取法不同時，E(k)的收斂階數(shù)可分別為1.618、2、3或更高。第一百二十七頁，共一百七十二頁，編輯于2023年，星期三

4.動態(tài)模擬型辨識

動態(tài)逆模型辨識結(jié)構(gòu)圖如圖3-26所示。該系統(tǒng)由5部分組成：未知待辨識系統(tǒng)、感知器、學習算法、延時電路及誤差產(chǎn)生環(huán)節(jié)。其中未知待辨識系統(tǒng)既容許線性系統(tǒng)，也容許非線性系統(tǒng)；感知器既可以是單層網(wǎng)，也可以是多層網(wǎng)；學習算法使用本節(jié)討論過的算法。

學習過程就是感知器的訓練過程，訓練方法由以下幾個因素描述：

(1)一個狀態(tài)矢量W(k)，反映了網(wǎng)絡層間的連接權(quán)；

(2)用h(·)定義的非線性映射單輸出誤差e(k)；第一百二十八頁，共一百七十二頁，編輯于2023年，星期三圖3-26動態(tài)逆模型辨識結(jié)構(gòu)圖第一百二十九頁，共一百七十二頁，編輯于2023年，星期三

(3)一個非線性動態(tài)離散差分方程，其輸入量為連接權(quán)值改變量。

用數(shù)學式表示成

W(k+1)=f［W(k)，U(k)］

e(k)=h［W(k)］

式中，連接權(quán)陣W(k)∈Rn，輸