系統(tǒng)辨識課件：第4章 數(shù)學模型的最小二乘法辨識 -3

1、12最小二乘估計法的缺陷 最小二乘估計的無偏性、一致性等概率性質(zhì)，都是在(k)為零均值、不相關隨機序列的前提下得到的。 但實際系統(tǒng)中(k)往往是相關的，有些系統(tǒng)即使外加干擾為不相關的隨機序列，但在參數(shù)估計過程中，也變成相關的隨機序列了。3最小二乘估計法的缺陷4最小二乘估計法的缺陷 可見(k)是相關序列，進而得到的最小二乘參數(shù)估計不是無偏、一致估計。 因而，LS估計方法的應用受到一定限制，下面介紹在LS基礎上加以改進的方法。54.10 輔助變量法 現(xiàn)在開始討論如何克服最小二乘法的有偏估計問題。 對于原辨識方程 （2.157）當 是不相關隨機序列時，最小二乘法可以得到參數(shù)向量 的一致性無偏估計。但

2、是，在實際應用中 往往是相關隨機序列。 6用 乘以式（2.157）等號兩邊得 （2.158）由上式可得 （2.159） 這可以簡單地理解為所選擇的輔助變量應與 不相關，但與 和 中的 強烈相關。78式中Q是非奇異的。 假定存在著一個 的矩陣Z（與 同階數(shù)）, 滿足約束條件 （2.162）9因此輔助變量估計是無偏估計。 10 剩下的問題是如何選擇輔助變量，即如何確定輔助變量矩陣Z的各個元素。選擇輔助變量的基本原則是式（2.162）所給出的兩個條件必須得到滿足。 11Z可以有各種選擇方法，下面介紹兩種常用的選擇方法。1）迭代輔助變量參數(shù)估計法 1213迭代輔助變量參數(shù)估計法 計算步驟：142）自適

3、應濾波法 式中： 取 ；d 取 ； 為k時刻所得到的參數(shù)向量估計值。當 是持續(xù)激勵信號時，所選的輔助變量可以滿足式（2.162）所給出的2個約束條件。 15154.11 廣義最小二乘法（GLS） 對于原辨識方程 當 是不相關隨機序列時，最小二乘法可以得到參數(shù)向量 的一致性無偏估計。但是，在實際應用中 往往是相關隨機序列。其中 為零均值白噪聲序列。 控制系統(tǒng)中的絕大多數(shù)情況下 可以表示為一個白噪聲序列為輸入的線性系統(tǒng)的輸出，則有1616廣義最小二乘法原理 ：則上式進一步可表示為 帶入系統(tǒng)模型 中 則有 （*） 令 帶入（*）式中，則有而 f(z-1)是未知的，下面給出其近似算法。1717f (z

4、-1)近似算法18GLS算法的計算步驟如下：1.應用得到的輸入輸出數(shù)據(jù)u(k)和y(k)，按照模型 求出的最小二乘估計; k=1,2,n+N 2.計算殘差e(k) ;193.用殘差e(k) 代替(k) ，計算 f 的估值;204.計算yf(k)和uf(k);6. 返回步驟（2），直到的估值收斂為止。5. 用得到的yf(k)和uf(k)，按模型用最小二乘法重新估計。21上述循環(huán)的收斂性可用下式判斷。 即經(jīng)過i次循環(huán)，當i比較大時，f（z-1）近似為1。意味著以把殘差白噪聲化了。22廣義最小二乘法是一種迭代方法，不一定總能保證算法對最優(yōu)解的收斂性。為了獲得較好的計算結果，參數(shù)估計的初值應盡量選的接

5、近最優(yōu)參數(shù)估值。在沒有驗前信息的情況下，最小二乘估計被認為是最好的初始條件。廣義最小二乘法的收斂比較慢，往往需要進行多次迭代計算。234.12最小二乘類辨識算法的比較1.基本最小二乘法（LS） （1）對白噪聲，參數(shù)估計是無偏的一致的最小方差估計。 （2）對有色噪聲，參數(shù)估計有偏，但具有收斂性。 （3）對未知的直流分量敏感。（4）對高階系統(tǒng)，優(yōu)于其它算法，可作為其它辨識算法的較好的起始算法。 （5）一次完成算法精度較高，但逆矩陣計算量大，不適于在線辨識。 （6）數(shù)據(jù)較多時，占用存儲量和機時較多。 242.遞推最小二乘法（RLS） （1）對白噪聲，參數(shù)估計是無偏的一致的最小方差估計。 （2）對有色

6、噪聲，參數(shù)估計有偏，但具有收斂性。 （3）對未知的直流分量敏感。（4）對高階系統(tǒng)，優(yōu)于其它算法，可作為其它辨識算法的較好的起始算法。 （5）計算量少，占用內(nèi)存較少。 （6）適用于在線辨識，采用自適應算法后，可用以時變系統(tǒng)的辨識。253.輔助變量法（IV） （1）估計值是弱一致估計的。 （2）遞推輔助變量法，對初態(tài)敏感，初態(tài)選取得不合適，就可能不收斂。一般在前50100個采樣點用遞推最小二乘法，然后轉到輔助變量法。（3）算法簡單，計算量少，但不能得到噪聲模型。264.廣義最小二乘法（GLS） （1）可以得到噪聲模型：在不改變參數(shù)的情況下，對系統(tǒng)IO和噪聲進行變換。（3）抗干擾能力強：當信噪比較大

7、時，辨識精度較高。（2）計算量較大：廣義最小二乘收斂較慢，為了得到較準確的參數(shù)估值，往往需要進行多次迭代運算。（4）要求數(shù)據(jù)充分，初值對辨識結果有較大影響（5）廣義最小二乘法，遞推計算與離線計算結果不完全一樣。274.13 相關最小二乘法 相關最小二乘法（COR-LS），是一種兩步法估計出參數(shù)模型的參數(shù)值的辨識方法。 首先用相關分析法辨識系統(tǒng)的脈沖響應函數(shù)，確定出被辨識系統(tǒng)的非參數(shù)模型，然后再應用最小二乘法將非參數(shù)模型擬合成參數(shù)模型。維納霍夫方程28自相關函數(shù)：互相關函數(shù)：則M序列輸入時 29設單輸入-單輸出線性定常系統(tǒng)的差分方程為： 設輸入信號與隨機噪聲序列是不相關的。上式兩邊乘以u(k-)

8、，并取數(shù)學期望，得到： 30上式寫成最小二乘格式：其中e()表示相關函數(shù)用對應的估計值代替后所造成的誤差。311、白噪聲輸入信號32令=1，2，N.N2n332、二位式M序列輸入信號令=1，2，N.N2n，NpN3435輔助變量法 這可以簡單地理解為所選擇的輔助變量應與 不相關，但與 和 中的 強烈相關。廣義最小二乘法 相關最小二乘法 首先用相關分析法辨識系統(tǒng)的脈沖響應函數(shù)，確定出被辨識系統(tǒng)的非參數(shù)模型，然后在應用最小二乘法將非參數(shù)模型擬合成參數(shù)模型。36373.5 M序列作輸入信號辨識脈沖響應的步驟：1）預估過程的過渡過程時間Ts和過程的最高工作頻率fmax；2）設計M序列參數(shù)（Np，a） Np（1.21.5）Ts/ =（0.10.3）/fmax 選擇在穩(wěn)態(tài)工作點u附近，一般取a=u/103）至少送2個M序列，測第二個M序列的響