計(jì)算機(jī)硬件及網(wǎng)絡(luò)自適應(yīng)濾波器及其應(yīng)用PPT課件

1、000 1 2( )( )( ) 3( )ny nd ne nx n上圖中，濾波器輸入可以是串行單時(shí)間序列，也可是并行多時(shí)間序列在 時(shí)刻的樣值；輸出信號、期望信號、誤差信號均為時(shí)間序列；輸入時(shí)間序列可能參與自適應(yīng)算法（如信道估計(jì)）。00001. 1 2 3 4三、典型應(yīng)用：自適應(yīng)系統(tǒng)模擬（建模、辨識）應(yīng)用廣泛：自動控制、通信系統(tǒng)、信號與信息處理系統(tǒng)、人文生態(tài)系統(tǒng)等；目標(biāo)明確：僅獲取未知系統(tǒng)的外部特性（傳輸函數(shù)、單位脈沖響應(yīng)）等，不求結(jié)構(gòu)和參數(shù)一致（“黑匣子”）；算法準(zhǔn)則：相同激勵下，響應(yīng)與期望信號的誤差均方值最?。辉O(shè)計(jì)原則：特性一致性、可實(shí)現(xiàn)性。第1頁/共96頁(1) 加性噪聲未知系統(tǒng)的模擬：

2、+( )N n( )d n( )y n( )e n( )x n未知系統(tǒng)自適應(yīng)濾波器020001( )( )min234 .nE e nFIRIIRb濾波器參數(shù)的自適應(yīng)調(diào)整；自適應(yīng)濾波器僅模擬未知系統(tǒng)特性，不模擬加性噪聲特性；未知系統(tǒng)為結(jié)構(gòu)用足夠長橫向?yàn)V波器對之準(zhǔn)確模擬；a.無限長橫向?yàn)V波器可對之準(zhǔn)確模擬，未知系統(tǒng)為結(jié)構(gòu)但均方誤差存在局部最優(yōu)，不可實(shí)現(xiàn)全局最優(yōu)；用有限長橫向?yàn)V波器僅能對之足夠逼近（次優(yōu)）；第2頁/共96頁011115( )( )1( ).( )( )( ).( )( )( )1.( )1( )1( ).( )( )1( )1( )ccIIRB zIIRHzA z zae nB z

3、B zbe nA zA zcA zA z zB zdB zIIRHzA z zA z z自適應(yīng)濾波器的實(shí)現(xiàn)方法：結(jié)構(gòu)濾波器的傳輸函數(shù)：用自適應(yīng)調(diào)節(jié)的權(quán)系數(shù)，得到最優(yōu)；用自適應(yīng)調(diào)節(jié)的權(quán)系數(shù)，得到最優(yōu)；實(shí)現(xiàn)方法： 移植形成濾波器；級聯(lián)和形成最優(yōu)自適應(yīng)濾波器( )x nIIR未知系統(tǒng)1( )1( )B zA z z( )d n( )y n( )e n( )x n( )d n( )y n111( )A z z( )e n( )e n( )B z11z( )A z1(1( ) ( )A z zY z1(1( )( )A z zD z原理圖（不可實(shí)現(xiàn)）實(shí)現(xiàn)方案第3頁/共96頁(2) 未知系統(tǒng)逆系統(tǒng)的模擬：

4、正向建模：未知系統(tǒng)的直接模擬；反向建模：未知系統(tǒng)逆系統(tǒng)（與未知系統(tǒng)的傳輸函數(shù)互為倒數(shù)）的模擬。( )x n( )()d nx n未知系統(tǒng)( )H z( )N n自適應(yīng)濾波器z( )W z( )y n( )e n0001 ( )( )( )1( ) 1( ) 2 3( )W zH z W zH zx nd n自適應(yīng)處理目標(biāo)：或三個(gè)需要考慮的問題：自適應(yīng)處理時(shí)延與信號直接傳輸之間的時(shí)間同步問題；逆系統(tǒng)可能存在的穩(wěn)定性和非因果（不可實(shí)現(xiàn)問題）；參考信號如何獲取的問題。第4頁/共96頁000.(0)( )( )- () .(0)( )()ad nx nbd nx n （1）在參考信號支路引入傳輸時(shí)延：

5、1 未知系統(tǒng)存在時(shí)延如果參考支路無時(shí)延：，則要求自適應(yīng)處理器具有時(shí)延時(shí)間超前、非因果系統(tǒng)、不可實(shí)現(xiàn) ；如果參考支路引入時(shí)延：， 只要，自適應(yīng)處理器可設(shè)計(jì)成可實(shí)現(xiàn)的因果系統(tǒng)。解決前兩解個(gè)問題決辦法：00 ( )( )( )1 ( )()( )( ) ()H zH zW zW zH zW z 2 改善自適應(yīng)處理器模擬未知系統(tǒng)的適應(yīng)能力假設(shè)不為最小相位多項(xiàng)式，即在單位圓外存在零點(diǎn)，若因果，則不穩(wěn)定則在單位圓外有極點(diǎn)不可實(shí)現(xiàn)若穩(wěn)定，則非因果足夠大的引入，使穩(wěn)定的非因果系統(tǒng)近似因果，變成可實(shí)現(xiàn)。如下圖：第5頁/共96頁( )nnn0()n 00 00 ( )( - )( ), .( )( )( )( )

6、 .( )( ) .( )( )( ) .x nx nd nax np nd np nbW zncW znx nd（2）在收發(fā)兩端引入約定序列：一些應(yīng)用場合，不能直接用或作為參考信號（如無線通信系統(tǒng)）。約定序列：發(fā)端序列為；收端序列也為；收端自適應(yīng)處理，獲得最佳的或；在收端解決第3個(gè)問最佳或時(shí)，發(fā)端發(fā)實(shí)際數(shù)據(jù)；未知系統(tǒng)（信道）時(shí)題變時(shí)，分段反復(fù)( )( )W zn自適應(yīng)訓(xùn)練，跟蹤最佳或。第6頁/共96頁(3)自適應(yīng)干擾抵消1( )( )s nN n2( )Nn1( )( )y nN n( )( )e ns n自適應(yīng)處理器+( )n2211211( )( )( )( )( )( )( )( )(

7、1)NnN nE e nnN nNns nN n設(shè)計(jì)時(shí)，需要重點(diǎn)注意兩個(gè)問題：、與必須相關(guān)，否則，不能用最小的（信號功率）調(diào)節(jié)，從而實(shí)現(xiàn)對干擾的抵消；2、若，會造成有用信號損失。00 1 . 2 .自適應(yīng)胎兒心音檢測處理；語音中加性四種典型的應(yīng)用噪聲的自場景：適應(yīng)抵消；第7頁/共96頁混合器混合器甲方乙方自適應(yīng)濾波自適應(yīng)濾波線路線路線路+12( )( )s ns n2( )s n21( )( )s ns n1( )s n1( )s n2( )s n03 .長話線路中的語音回波自適應(yīng)抵消：211122( )( )( )( ) ( )( )s ns ns ns ns ns n有用語音信號為；話機(jī)乙

8、話機(jī)甲： 語音回波信號為；自適應(yīng)濾波器輸入為。有用語音信號為；話機(jī)甲話機(jī)乙： 語音回波信號為；自適應(yīng)濾波器輸入為第8頁/共96頁0( )H000001110 ( )( )cos()( )cos()( )( )( )( )( )()sin()( )d ns nCnx nAny nn x nn x nx nennAs n04 . 自動頻率跟蹤陷波器0( )( )cos()d ns nCn0( )x n1( )x n0( )n1( )n自適應(yīng)算法( )( )e ns n( )y n第9頁/共96頁*0011*00100( )( ) ( )cos()sin() cos()optnnynAnAnCn當(dāng)自

9、適應(yīng)處理后的濾波權(quán)系數(shù)達(dá)到最優(yōu)時(shí)，、，于是*2*21101*0CAtgC 、分別為 和 的最佳估計(jì)。0*0112304(,)iiN自適應(yīng)陷波器的主要特點(diǎn)：（）阻帶窄，近似理想幅頻特性；（ ）可自適應(yīng)跟蹤干擾頻率的變化；（ ）頻率時(shí)，可用于跟蹤消除零點(diǎn)漂移；（ ）可設(shè)置 個(gè)自適應(yīng)陷波器分別跟蹤抵消各頻點(diǎn)干擾。第10頁/共96頁（4）自適應(yīng)線性預(yù)測器( )s nz()s n( )e n( )y n()s n自適應(yīng)算法自適應(yīng)濾波器預(yù)測濾波器( )( )d ns n( - )s n 主要特征：自適應(yīng)濾波器的輸入為信號的時(shí)延；預(yù)測濾波器的參數(shù)是最佳權(quán)系數(shù)的復(fù)制；預(yù)測處理時(shí)間為 。主要應(yīng)用場景：語音的線性

10、預(yù)測編碼；寬帶和窄帶信號分離；譜線增強(qiáng)。第11頁/共96頁/( )( )( ) ( )( ) ( )( )() ( )( )()()()0( )( )( ) ( )BNBNBNBNsBBsNNsBsNNBBNNNs nsnsnsnsnRkE sn snkRkE sn snkRkRkkkkky nsnsne ns 關(guān)于寬 窄帶信號分離和加性噪聲中信號的譜線增強(qiáng)：設(shè)輸入信號：寬帶信號；：窄帶信號如果，則。當(dāng)取時(shí)，有 ( )( )( )( )()( )( )( )( )N NBBNBNyys snsnsnsnSNRy nsnSzSz特別地，若窄帶信號淹沒在白噪聲中極低寬帶和窄帶信號分離有用信號的譜，

11、則線得以突出( )R kk0BkNk第12頁/共96頁第四章第四章 自適應(yīng)濾波器及其應(yīng)用自適應(yīng)濾波器及其應(yīng)用u基本原理與典型應(yīng)用u自適應(yīng)算法及誤差性能自適應(yīng)算法及誤差性能u梯度下降算法u橫向LMS自適應(yīng)濾波器u橫向RLS自適應(yīng)濾波器第13頁/共96頁一、自適應(yīng)線性組合器的一般描述 1. 2.()nnFIRFIR多輸入：多個(gè)時(shí)間序列在 時(shí)刻的取值，如空間分集接收；單輸入：單個(gè)時(shí)間序列在 時(shí)刻及以前的取值，如時(shí)間分級接收。有限單位脈沖響應(yīng)濾波器。輸入序列各取值與濾波器響應(yīng)序列取值輸入形式：基本結(jié)構(gòu)：輸出形式：自適應(yīng)過程對應(yīng)線性加權(quán)。按自適應(yīng)算法對加權(quán)系數(shù)進(jìn)行調(diào)整，直到滿足最：優(yōu)準(zhǔn)則。()xn L1

12、z1z1zLw1( )Lwn1( )w n( )w n+-( )d n+( )y n( )e n( )x n(1)x n(1)x nL自適應(yīng)算法單輸入的結(jié)構(gòu)第14頁/共96頁( )Lx nLw1( )Lwn1( )w n( )w n+-( )d n+( )y n( )e n0( )x n1( )x n1( )Lxn自適應(yīng)算法多輸入的結(jié)構(gòu)00 1.( )( ) () 2.( )( )( )LkkLkkky nn x nky nn x n單輸入的情況輸入輸出關(guān)系：多輸入的情況：0101(1)( )( )( )( )( )( )( )( ) ( ) (1)()TLTLTLnnnnx n x nxnx

13、 nx n x nx nL個(gè)權(quán)系數(shù)表示成矢量：；輸入信號矢量為：第15頁/共96頁( )( )( ) ( )( ) ( )( ) ( )( )( )( ) ( )( )( )( )( ) ( )( )( ) ( )TTTTy nx nny nxnnn x nd ny ne ne nd ny nd nxnnd nn x n輸出信號可表示成與的點(diǎn)積：參考信號與輸出信號之間的誤差：自適應(yīng)算法準(zhǔn)則2( ) ( )( )mine nnE e n：誤差的均方值（平均功率）最小，即：2222222( )( )( ( )( ) ( ( )( ) ( ) ( )2 ( )( ) ( )( ) ( ) ()()(

14、)( )( )( )( ) ( )(TTTTTTnE e nE d ny nE d nxnnE dnE d n xnnE xnnABABABnnE dnn E x n xn考慮矩陣運(yùn)算：，且為非隨機(jī)確定矢量，有2) ( )2 ( )( ) ( ) ( )( )( )2( )TPTTTRnE d nPxnnE dnnnnR二、均方誤差性能曲面第16頁/共96頁 ( ) ( ) ( ) (1) ( ) () (1) ( ) (1) (1) (1) () ( )( ) () ( ) () (1) () ()(0)(1 ) xxxTxE x n x nE x n x nE x n x nLE x nx

15、 nE x nx nE x nx nLE x nL x nE xREnL x nE x nL x nx nLRRxn( )(1)(0)(1)( )(1)(0)xxxxxxxxxxxxxxRLRRRLRLRLR ( ) ( ) ( ) ( ) (1) ( ) () ( ) (0)(1)( )TTxdxdxdPE x n d nE x n d nE x nd nE x nL d nRRRL (1) 1RLLToeplitzPL顯然， 為階方陣，滿足對稱性、正定性、性；為階列矢量對單輸入。具體為：的情況：第17頁/共96頁00010101110100( )( )( )( )( )( )( )( )(

16、 )( )( )( )( )( )( )( )( )( ) ( ( )( )( ) 0) 2LLLLLLTE x n x nE x n x nE x n xnE x n x nE x n x nE x n xnE xn x nE xn x nE xn xRnE xnRn xR對多輸入的情況：0101011101(0)(0)(0)(0)(0)(0)(0)(0)LLLLLLRRRRRRR1201 ( ) ( )( ) ( )( ) ( )( ) ( ) (0)(0)(0)LTLTx dx dx dPE x n d nE x n d nE x n d nE xn d nRRR第18頁/共96頁200

17、00min( )( )( )( )2( ) 1( )( ) 2( )(1) 1 3( ) 4( )TTnE dnnRnPnnnnLnn由可知：是矢量各分量的二次函數(shù)；的圖形是維空間朝口向上的超拋物面；確定的超拋物面定義為均方誤差性能曲面，簡稱“性能曲面”；圖形的頂點(diǎn)是最低點(diǎn)，是唯一的，對應(yīng)。minmin( )( )nn自適應(yīng)算法的實(shí)質(zhì)：搜尋的策搜尋的過程。按在坐標(biāo)系中的梯度略：方向進(jìn)行。01min*0( )( )( )( ) ( )( )( )( ) 2( )2( ) TLnnnnnnnnRnPn 定義：代入展開：設(shè)自適應(yīng)過程結(jié)束時(shí)，對應(yīng)的最佳權(quán)系數(shù)表示為：性能曲面的梯度 ：*1TL第19頁/

18、共96頁*1 220()FIRWienerRPR P 則，空間與濾波器的最佳單位點(diǎn)處的梯度為：脈沖響應(yīng)于是一致！，*11*2111min( )()m2)1in ( )( )()()2 ( ) TTTTTnRRTnE dnPRRR PP R PE dnP R PE d最小均方誤差：*2( )TnP*012*2min*( )( )( )( )( )( )( )( )( )( )( )2( ) ( )( )TLTTTv nv nnnv n v nvnv nnE dnn RnPnE dnPPR定義：則在權(quán)偏移矢量下的性能曲面表達(dá)式為偏移矢量：權(quán)第20頁/共96頁*minmin*min( )( )( )

19、*( )( )( )( )( ) ( )()(TTTTRn Pn RTTTTTRTTTnTTTn RnPRPnnnnRnnRR*minminmin( )( ) ( ( )( )( ( )( ) ( )( )( )( )( )0( )( )( )0)TTTTnnnnRnnvn Rv nx nRvn Rv nnvn Rvvnnn顯然：因?yàn)榈淖韵嚓P(guān)矩陣 正定，有沿各分量單調(diào)，即：（遞減?。?1( )( )( )( )( ) 2( )( )( )( )( )TLv nnnnnRv nv nv nvnv n 權(quán)偏移矢量確定的性能曲面梯度：第21頁/共96頁22*1min.( )1 ( ) (1)0.5(

20、 )4 ( ) ( )1 ( ) (1)1 (1) (2) (3)2 (4) ( )sin()( )2c6E xnE x n x nE dnE d n x nE d n x nx nnd n 例 如圖所示的自適應(yīng)線性組合器，已知，；，。分開關(guān)開/閉兩種情況求解：性能曲面表達(dá)式；最佳權(quán)系數(shù)；最小均方誤差。，2os()6 n，重解前三個(gè)問題。1zS( )x n( )y n1( )d n( )e n122241(2122212111) 1(1)( )( )( ( )( ) ( ( )(1) ( )2 ( ) (1)(1) 42E xnnE e nE d ny nE d nx nE dnE d n x

21、 nE xn當(dāng)開解關(guān)斷開時(shí)：第22頁/共96頁11*1( )(2)2201n 梯度*11min1(3)( )3n62216611022(4)( )sin(),( )2cos()( )( )66612 ( )sin ()661 122122 cos()cos()6 266266 nnnx nnd nnx nd nE xnnnnnn設(shè)，則和周期為 ，集平均等于時(shí)間平均：261 (1)122(1) ( ) (1)sin() sin()66612 c0.50.25os()26nE xnnnE x n x n第23頁/共96頁61616221222 ( ) ( )cos() sin()666222(1)

22、 ( ) (1)cos() sin()66642( )cos ()660322nnnnnE x n d nnnE x n d nnE dn2220.50.25( ) ( ) (1) 0.250.5 (1) ( )(1)0 ( ) ( ) 3 ( ) (1)2 ( )( ) 2 ( ) () 1E xnE x n x nRE x nx nE xnE d n x nPE d n xnE dnE d nnnx2211211*1112min(1) 0.532( )3030.5 (3)3(3)20.5E xnn 第24頁/共96頁011( ) ( ) (1) ;( )1 ;( )( ) ( )TTTTx

23、 nx n x nny nxnn 當(dāng)開關(guān)閉合時(shí)：22( ) ( ) (1) ( )( ) (1) ( )(1)10.5 0.511 ( ) ( ) ( ) ( ) ( ) (1)1TTE xnE x n x nRE x n xnE x nx nE xnPE d n x nE d n x nE d n x n2112111(1) ( )( )21110.5 4121 107.51 TTnE dnRP第25頁/共96頁*1111min0.5*12( )( )(2) 210 (3) 0.56.75 ( )(4) ( )( )2 2TTnnnnE dnRP 211*111111mi110.50.253

24、12 00.250.52 ( )( ) (0.53)0 2.5(0.53)0.5(0.53)nn *11n(0.53)0( ).01n第26頁/共96頁01( )( )(0,1,2, ) (1)(0,1,2, ) (2)( )( ) TLiiiiv nvvvx nRq iLQvRq iLv nv n設(shè)二次性能曲面的主軸坐標(biāo)系統(tǒng)權(quán)矢量為：，輸入序列的自相關(guān)矩陣 的特征值為 ，對應(yīng)的特征矢量為、三、均方誤差性能曲面的重要性質(zhì)特征矢量矩陣為 ，則主軸坐標(biāo)系統(tǒng)的軸矢量是自相關(guān)矩陣 的特征矢量；主軸權(quán)矢量是權(quán)偏移矢量的旋轉(zhuǎn)矢量； (3)(0,1,2, )( )iRiLn自相關(guān)矩陣 的特征值等于性能曲面

25、沿各主軸權(quán)矢量分量的二階導(dǎo)數(shù)值。( )2( )22()2 ()1) ( TiiiiiiiiiiF vv RvRvvvvvvF vRvvRvvRIRqIv 000對于，令（梯度列矢量）主軸坐標(biāo)矢量過原點(diǎn)主軸坐標(biāo)矢量特征值 對應(yīng)的特征矢量性質(zhì)(1)得證是性能曲面的主軸矢量。性質(zhì)第27頁/共96頁(0,1, )det-0iiLRRI特征根可由 的特征方程求得。R的特征矢量矩陣：iRq的特征矢量 滿足：, (0,1, )1, (0,iiiTijRqqiLijq qij確定性矢量正）交01-1, (LTTQq qqQ QIQQ、酉陣）R實(shí)際上， 是對稱和正定的，可對角化為標(biāo)準(zhǔn)形：-1RQ QR是 的特征

26、值矩陣（對角陣），即：01(,)Ldiag 第28頁/共96頁222minmin0 ( ) 2(0,1,)(,322iLTiiiiiiivvvviLvv性質(zhì)（）*(2) TvQ vv在上式中，故（）性質(zhì)minminminmin()() ( )TTTTTTTv Rvv Q Q vQ vQ vvv( )( )( )v nvnn 于是 簡記為 、為 、為，有：001 122TLLvvvvv nvv任意單分量 為非零，則梯度位于該坐標(biāo)軸，為主軸坐標(biāo)系權(quán)矢量。第29頁/共96頁四、誤差性能曲面的幾何意義：為直觀期間，假定L=1，考察二維權(quán)矢量、三維空間的情況：01( )( )( )nnn01*( )(

27、)( )nnn *01-vvv (0)(1)(1)(0)RRRRR22minmin00 11(0)2 (1)(0)Tv RvRvRv vRv均方誤差性能函數(shù)：min1TTv RvCv RvC（常數(shù)） 或 （常數(shù)）為求等高線方程，令第30頁/共96頁min1000v*0*11v均方誤差性能曲面22001 1220110111 1 / /vvCvvCC于是，01(vvv橢圓方程， 和 為主坐標(biāo)軸，為主軸坐標(biāo)系）01100( )TTTQRQvvCvQ v （常數(shù)）11v0*opt1opt00v1v0v均方誤差性能曲面的等高線第31頁/共96頁231.132 ( )105 (1) (2) (3) (4

28、)RPE dn 例 已知輸入信號的自相關(guān)矩陣為，輸入信號與參考信號的互相關(guān)矩陣為，參考信號均方值為。試解答：性能曲面表達(dá)式；最佳權(quán)矢量；性能曲面主軸矢量；性能曲面沿主軸的二階導(dǎo)數(shù)。01200011122010101(1) ( )( )(1); ( )( )231 1022513 33241010TTTTx nx nx nnE dnRP 解：性能曲面：設(shè)第32頁/共96頁010101*0101010(2) ( )( )( ) 6242610113 88(3) TTTTnnnvvRqq 0最佳權(quán)矢量性能曲面的主軸有兩條，記為矢量 和 ，它們分別是特征值和 對應(yīng)的特征矢量和1012010000111

29、0110000011 111() 31 det68013 24()0 ()0TTRQQqqRIqqqqqqR qqRI qR qqRI q列矢量 ，記 的特征矩陣為 ，。設(shè)，則第33頁/共96頁0000101011121210102111121 101 10 110110qqcqqcccQccqqcqqc 122221211121222221222121212010110 0111111 12211 1211TQQQQIccccccccccccccccccQq qvv 由， 有（形式不唯一）主軸 ：； 主軸 ：第34頁/共96頁01*010101min0 01 1(4) ( ) 222 TTT

30、TTTTvv vvv vQ vvvvvvv 性能曲面權(quán)矢量：平移權(quán)矢量：主軸坐標(biāo)系權(quán)矢量(線性變換、旋轉(zhuǎn))：主軸坐標(biāo)系下的性能曲面： 對應(yīng)的梯度：主軸坐標(biāo)系性能曲面沿主軸的二階導(dǎo)數(shù)：20 01 1012012222014(2)(2) 228( ) 48()( )TTvvvvvvvv 第35頁/共96頁第四章第四章 自適應(yīng)濾波器及其應(yīng)用自適應(yīng)濾波器及其應(yīng)用u基本原理與典型應(yīng)用u自適應(yīng)算法及誤差性能u梯度下降算法梯度下降算法u橫向LMS自適應(yīng)濾波器u橫向RLS自適應(yīng)濾波器第36頁/共96頁q 自適應(yīng)算法min - -( )( )0( )0nf xf x自適應(yīng)過程是按自適應(yīng)算法搜索均方誤差曲面最低點(diǎn)

31、的過程。常見的自適應(yīng)算法有：(1)牛頓 拉夫遜迭代算法；(2)負(fù)梯度方向最陡下降算法。關(guān)于牛頓 拉夫遜迭代算法：將誤差曲面分段線性，分布逼近。以一元方程的根求解為例說明。設(shè)不存在直接求解根的公式，則采用分主要思步迭代想：幾何意義：的數(shù)值方法：梯度下降算法 （負(fù)梯度方向）最陡下降算法第37頁/共96頁0001100011112211122 (,() ()()()()0 ( ,() ()()()()0 xxf xxxf xf xfxxxxxxf xxxf xf xfxxxxx(1)假定迭代初值為 ；(2)點(diǎn)的切線與 軸的焦點(diǎn) 為近似解；(3)點(diǎn)的切線與 軸的焦點(diǎn) 為近似解；-10 ()(1)nnx

32、xn(4)若迭代精度指標(biāo) ，則迭代結(jié)束，迭代次數(shù)為。精確解x0 x1x2x0( )f xminmin(1) ( )( )( ) ( )( )0( )TTLnvnv nvnv nn推廣至個(gè)變量的情況，當(dāng)時(shí)，有。用牛頓迭代法可使各變量分別按分段線性方式逼近自己的精確值。牛頓法每次迭代需要求偏導(dǎo)，實(shí)現(xiàn)困難，工程上很少采用。第38頁/共96頁q 梯度的數(shù)學(xué)表示：相對于 階矢量 的梯度算子記作 ，定義為(1)1L 01(),TL 因此，一個(gè)實(shí)際量函數(shù) 相對于一列矢量的梯度為( ) 01( )( )( )( ) ( )TL q 梯度的主要特征： 梯度的每個(gè)分量給出了標(biāo)量函數(shù)在該分量方向上的變化率； 正梯度

33、表示當(dāng)變元增大時(shí)函數(shù)的最大增大率；負(fù)梯度表示當(dāng)變元增大時(shí)函數(shù)的最大減小率（梯度下降算法的基礎(chǔ)）。第39頁/共96頁極小化 取負(fù)曲率方向作搜索方向 取負(fù)梯度作目標(biāo)函數(shù)的更新方向。定理：令 是實(shí)矢量 的實(shí)值函數(shù)。將 視為獨(dú)立的變元，實(shí)目標(biāo)函數(shù) 的曲率方向由梯度矢量 給出。( ) ( ) ( ) 梯度下降算法的迭代關(guān)系：(1)( ) ( ( ),0nnn 近似解在迭代過程中的校正量與目標(biāo)函數(shù)的負(fù)梯度成正比。上式是優(yōu)化問題近似解的學(xué)習(xí)算法；常數(shù) 稱為學(xué)習(xí)步長，它決定近似解趨向最優(yōu)解的收斂速率；均方誤差 隨迭代次數(shù)n變化的曲線稱為“學(xué)習(xí)曲線”。( ( )( )nn 000123()算法構(gòu)造三要素：確定迭

34、代變量；建立迭代關(guān)系；控制迭代過程 初值和收斂 。第40頁/共96頁 ( ( )2( )2nRnP 梯度：故*(1)( )2( )2 ( )2 ( ) 2 ( )2nnRnPnRnIRnR *(1)2 ( )2 2( ( )nIRnIRIRn(1)2 ( )v nIR v n*( )( )(v nn權(quán)誤差矢量）坐標(biāo)平移( )( )Tv nQ v n坐標(biāo)旋轉(zhuǎn)去耦合(1)2 ( )v nIv n權(quán)矢量平移和偏轉(zhuǎn)：第41頁/共96頁( )2 (1)2(0)nv nIv nIv012(12) (12)(12) nnnnLIDiag由初始權(quán)向量迭代可得：0100001111(1 2)(1)(1 2) (

35、1)(1 2)( )(1 2)(0)( )(1 2)(0)( )(1 2)(1)0)LnnnLLLLv nvvv nvvvnvnvnn(分量間無耦合分量間無耦合)或表式為：因?yàn)椋?1(0)(0)(0)(0)TLvvvv設(shè)初始主軸權(quán)矢量：，則第42頁/共96頁( ) 1-2(0,1, ) kkkkv krkL所以，若迭代過程收斂，則主軸權(quán)矢量各分量的收斂路線獨(dú)立，衰減規(guī)律為幾何級數(shù)，幾何比為：收斂過程由自適應(yīng)學(xué)習(xí)步長 和自相關(guān)矩陣特征值確定。的選取須保證迭學(xué)習(xí)步長 的選?。捍惴ㄊ諗俊＜磡1 2| 1, 0,1,kkLlim2nnI 0或：maxmax01-1 -11 21 0,1,max, 1

36、 0 0 kkLkL 設(shè)，則主軸權(quán)矢量迭代收斂的充分條件為：第43頁/共96頁1max0R若按選取學(xué)習(xí)步長 ，則需要計(jì)算自相關(guān)矩陣 的特征值，常采用保守選擇原則:-10 trRmax0 Liitr R20 ()(1)Linitr RE xniLP tr RRR其中表示 的跡，等于其對角元素之和。又因 正定，有( ) x ntr R如果輸入序列平穩(wěn)，則按下式計(jì)算：( )inPx n為輸入信號的功率實(shí)際常用（保守的）收斂條件收斂條件：如果迭代過程收斂，則*lim( )lim( )nnv nn0第44頁/共96頁*111* ( )(2)(0)( )(2)(0) ( )( ) ( )(0) (0) (

37、 ( )( )(2)nnnv nIvQ v nQIvv nQ v nQnvQvnnQ In 自然坐標(biāo)系下于是的權(quán)矢量迭，代算法：11(2)* (0) (2) (0) ( )(2) (0(2)(nQ InnQIRnIRQIRn即由于不為對角方陣，權(quán)矢量各分量相互耦合，收斂不獨(dú)立。第45頁/共96頁學(xué)習(xí)曲線與收斂速度：minminmin2 ( )( )( ) ( )(2)(0)( ) ( ) (0)(0) (0)(2) (2)(2)TTnTnTnnvnv nv nIvnIvInnvvI 均方誤差：迭代關(guān)系：學(xué)習(xí)曲線()：22min0(0) (0)(2)LnkknkvvI min( )nn05101

38、5202502201max0min01()(1 2)2034()msekkkmsekkrrrr幾何衰減比：收斂條件：收斂值：收斂速度：由 和或 決定第46頁/共96頁*min* ( )( )( )( ) 1 21(0,1, )101 -10kkkkkkkkknnnnrkLrrrrr考察權(quán)矢量的一個(gè)分量：收斂的充分條件：和 的不同取值，對應(yīng)不同的迭代收斂速度：迭代過程和 決定的收斂速度：發(fā)散；迭代過程過阻尼收斂；迭代過程欠阻尼收斂=0kr；迭代過程臨界阻尼收斂。1 (20;)kkr（臨界阻尼）01 (201()kkr過阻尼1 (210()1kkkr 欠阻尼()1k發(fā)散()0發(fā)散01 (2)k1k

39、第47頁/共96頁步長 必須滿足收斂條件: 太大將不收斂； 在保證收斂情況下： 越大，收斂越快，但太大時(shí)過渡過程具有振蕩特性（欠阻尼），且穩(wěn)態(tài)誤差較大； 越小，穩(wěn)態(tài)誤差越小，但收斂越慢。1max0-10tr R或10*(a) 小的值情況(0)10*(0)步長值的影響(b) 大的值情況第48頁/共96頁2 0.4411 (1) (2)(0)01.5例.已知一維自適應(yīng)橫向?yàn)V波器的性能曲面為確定 的取值范圍，使迭代過程過阻尼收斂；設(shè)初始權(quán)值，給出學(xué)習(xí)曲線表達(dá)式。*min*220.4;2 0.84405;10.8 00.4(1)1 02(2)01.(0)0(005)( )512RPRPddRvR qq

40、qq 解： 由題意，若滿足迭代過程過阻尼，則為任意值，取22min21 10 ( 0(0) (0)5( )( (0).)22)1()nTnvq vnv 學(xué)習(xí)曲線表達(dá)式：欠阻尼第49頁/共96頁0122010101.222141642(1)0.1(0)(0)(0)5 2 (1) (5)(20)(2)0.05(0)TT 0例 已知性能曲面函數(shù)：取，用最陡下降法求和；取，給出最陡下降法的學(xué)習(xí)曲線表達(dá)式。*011001*0min*10101014214 421620( )432722228217 22128 TRP 解：由題意:由由217128 ;RP 第50頁/共96頁*0.40.20.60.2(1

41、) 20.220.20.40.20.62121.45 20.2 (0)1231.62 0.60.25 (1) 0.20.(1)(262) ( )2RRIRnIRnRR ， 而迭代公式：1.441.61.80.60.241.43.44 (2) 0.20.61.81.61.88 2.727 (5) 2.411 *23 第51頁/共96頁*20(20) ( )(1 2) (0)2523 (0)323123 (20)310.60.2 0.60.20.20. 0.20.66nnR 求時(shí)，使用公式：的特征值：01120200.4;0.80.40 00.8111111 1111220.60.2110.401

42、110.20.61100.81120.2310.231TSSS特征值對角陣：=特征矢量矩陣：第52頁/共96頁20*2322.0232(20)3132.970.60.20.20.60.2310.72 133 122min00010010011*(2)( )(0)(1 2) 1 ., 2 .() 01;3()011(0)1 1()0( (0)2)nTkkkkvQnvRRQRIRI qQq qRI q 學(xué)習(xí)曲線表達(dá)式：關(guān)鍵： 求 的特征值求 的特征矢量矩陣*12222min011110212 (0)( (0)1103522 ( )(0)(1 2)40.5(0.9)37.5(0.7)Tnnnkkkk

43、vQnv第53頁/共96頁 1. 2.() 3.()msekmsekT過渡過程的收斂速度度量參數(shù)包括：權(quán)系數(shù)衰減時(shí)間常數(shù) ；學(xué)習(xí)迭代過程（過渡過程）曲線時(shí)間常數(shù)；自適應(yīng)時(shí)間收斂速度常數(shù)的度量。-1( )(0) (0,1, )( ) ( )(1 2)(0)(0)(0) kkknnnkkkkkkkkv nvekLv nv nvr vrv定義：主軸權(quán)矢量分量隨迭代次數(shù)增加而衰減為對應(yīng)初值的倍時(shí)的迭代次數(shù)，稱為權(quán)系數(shù)衰減的時(shí)間常數(shù)權(quán)系數(shù)衰減時(shí)間常為數(shù)，：記。1111 (0,1, )121 1kkkkkkkkkrekrreL （迭代次數(shù)足夠大）第54頁/共96頁22min022min2minmin( )

44、(0)(1 2) ( ( )(0) (1 2) (0)( (0)()(Lnkkkknkkknk msekkkkmseknvnvrvv學(xué)習(xí)曲線：對于主軸坐標(biāo)系中的一個(gè)分學(xué)習(xí)曲線時(shí)間常有而數(shù)量，2minmin0)( ( ) ( (0)nkmseknr，于是min11m(in)()1 () (0,1, )1 ( ( ()()1()( (0)mse kmse kmsekmsekmsekkskm ekenkreenLr 定義：隨迭代次數(shù)增加而衰減為的倍時(shí)對應(yīng)的迭代次數(shù) 稱為學(xué)習(xí)曲線的時(shí)間常數(shù)，記為，。第55頁/共96頁222(1)2211()1()1 (1 44)1 (0,1, )4kkkmsekmse

45、kkkrrkL mse maxmin(1) 1 4L個(gè)時(shí)間常數(shù)最大值：為了保證收斂，步長 ，故有：1maxmaxmse maxmin4maxmin( )/conRRd稱為 的條件數(shù)。當(dāng)特征值分散性大使條件數(shù)很大時(shí)，最陡下降算法收斂性很差。第56頁/共96頁 () (0,1, ) ( ()()()msekssmsmsekmsesmskekTkLnnn TfTT定義：由真實(shí)時(shí)間單位代替迭代次數(shù)所表示的學(xué)習(xí)曲線時(shí)間常數(shù)，稱為自適應(yīng)時(shí)間自適應(yīng)時(shí)間常數(shù)常數(shù)，記為，。)1 ()()44ekssmsekkksfTTf秒11.( ) (0, )(1)(2)(3)(4)0.05;0.01;16 ( )msems

46、er nNNcond R例兩個(gè)權(quán)矢量的自適應(yīng)線性組合器如圖，白噪聲。試求：性能曲面表達(dá)式；最佳權(quán)矢量；迭代收斂的 取值范圍；設(shè)，、的值。1z01( )r n2( )sin()x nnN2( )2cos()d nnN( )e n第57頁/共96頁0122( );( )( )( )(1)(1) ( )( )( ( )( ) ( ( )( )( (1)(1) ( (1)(1)( ( )( )( (1)(1) TTTnX nx nr nx nr nRE X n XnE x nr nE x nr nx nr nE x nr nx nr nE x nr n 解： 依題意，設(shè)22222( ( )( ) (

47、(1)(1) 22 (sin()( ) sin ()( )( ( )( )( (1)(1) ( ) (1)221242 sin()sin(1) (cosco2s(21E x nr nE x nr nEnr nEnE rnNNE x nr nx nr nE x n x nEnnEnNNNN) 112cos22 121cos212cos22NNRNN 第58頁/共96頁22201 ( )( ) ( )( ( )( )( )( (1)(1)22222 cos()sin()2 cos()sin(1)20sin2( )4cos ()2(1)( )( )2 2TTTTTPE d n X nE d n x

48、nr nd n x nr nEnnEnnNNNNNE dnEnNnE dnRP 性能曲面表達(dá)式：0011220101120.50.5cos22 0sin20.5cos0.522 2(0.5)()cos()2sin()NNNNN 第59頁/共96頁01010110*22222(0.5)cos()0( )(2)2202(0.5)cos()2sin2222cos()sin()2(12 )sin() 22(12 )cos()(12 )cos(TNNNNNNN 最佳權(quán)矢量：2)TN01011m010120.50.5cos(3) 020.5cos0.5220.50.5cos;0.50.5cos; 12 0

49、 11(4)()104.04;()5.14;( )140142msemsemseNRRINtr RNNtrRcond R 的特征值：迭代收斂的學(xué)習(xí)步長取值范圍：axmin20.22mse（收斂慢）第60頁/共96頁第四章第四章 自適應(yīng)濾波器及其應(yīng)用自適應(yīng)濾波器及其應(yīng)用u基本原理與典型應(yīng)用u自適應(yīng)算法及誤差性能u梯度下降算法u橫向橫向LMS自適應(yīng)濾波器自適應(yīng)濾波器u橫向RLS自適應(yīng)濾波器第61頁/共96頁一、自適應(yīng)算法構(gòu)造 自適應(yīng)濾波器包括兩個(gè)過程：濾波過程和自適應(yīng)過程。濾波器的自適應(yīng)實(shí)現(xiàn)是關(guān)鍵；設(shè)計(jì)重點(diǎn)是選擇FIR結(jié)構(gòu)，主要內(nèi)容是研究自適應(yīng)算法。 FIR濾波器的自適應(yīng)實(shí)現(xiàn)指的是(L+1)階FI

50、R濾波器的抽 頭權(quán)系數(shù) 可以根據(jù)估計(jì)誤差e(n)的大小自動調(diào)節(jié)，使得誤差在某個(gè)統(tǒng)計(jì)最優(yōu)準(zhǔn)則下最小。 自適應(yīng)濾波器設(shè)計(jì)最常用MMSE準(zhǔn)則，即：使濾波器 實(shí)際輸出y(n)與期望響應(yīng)d(n)之間的均方誤差 最小; 最終達(dá)到Wiener解。2( )E e n01,L,第62頁/共96頁 最廣泛使用的自適應(yīng)算法是“下降算法”( )(1)( ) ( )nnn a n 下降算法的兩種實(shí)現(xiàn)方式 - 自適應(yīng)梯度算法：LMS算法及其改進(jìn)算法 - 自適應(yīng)高斯牛頓算法：RLS算法及其改進(jìn)算法 本節(jié)介紹LMS類算法，下一節(jié)介紹RLS類算法。式中 為第n步迭代(亦即時(shí)刻n)的權(quán)矢量， 為第n步 迭代的更新步長， 為第n步

51、迭代的更新方向(矢量)。)(n( )n( )a n隨機(jī)優(yōu)化問題(數(shù)學(xué)描述)：2min( ( )( ) ( ) TE d nn x n最優(yōu)解(Wiener解）：*1R P最陡下降算法：2(1)( )( ) ( ( )( ( )( ) ( )( ()TnnnnE d nn x nn 真實(shí)梯度真實(shí)梯度第63頁/共96頁最陡下降法存在不可實(shí)現(xiàn)的缺點(diǎn)：真實(shí)梯度含數(shù)學(xué)期望，只有理論意義。(1)( ) ( )( )nnnn梯度的估計(jì)梯度的估計(jì)算法改進(jìn)：算法改進(jìn)：( ) 2 ( ) ( ) 2 ( ) ( ) 2 ( )( ( )( ) 2 ( )( ) ( )2 ( ) ( ) 2( )( )TEnEe n

52、 x nEx n e nE x ny nd nE x n xnnE d n x nnRnP 無偏估計(jì)無偏估計(jì)瞬時(shí)梯度瞬時(shí)梯度：2( ) ( )2 ( )2 ( ) ( ) ( )( )( ) ( ) ( )Te nne ne n xe nd nnnnexn 先驗(yàn)估計(jì)誤差先驗(yàn)估計(jì)誤差用誤差平方代替均方誤差用誤差平方代替均方誤差第64頁/共96頁222201( )( )( )( )( )( )( )( )( ) 2 ( )2 ( )2 ( ) 2 ( ) ( )TLTe ne ne ne nnne ny nx ne ne ne ne n x n 000(1)( )2( ) ( ) 1 .( )2

53、( ) ( ) 2 . 3 .( )ne n x nnLMnne nSnnx由輸入序列表示，自適應(yīng)調(diào)整過程有噪聲；搜索方向?yàn)樗矔r(shí)梯度負(fù)方向，不能保證權(quán)矢量一致下降；合適選擇學(xué)習(xí)步長 ，可保證迭代收斂于最佳權(quán)矢量附近；任意時(shí)刻 的權(quán)矢量均是隨迭代算法：機(jī)矢量。222( )( ( )- ( )( ) ( )( )e nd ny nne nn用誤差的平方代替均方誤差，并算法思想：用對權(quán)矢量 的偏導(dǎo)對的梯度進(jìn)行估計(jì)。第65頁/共96頁 (1)( )2( ) ( ) (1) ( )2 ( ) ( ) ( )2 ( ) ( ) ( )( ) ( )Tnne n x nEnEnE e n x nEnE d

54、n x nE x n xnLMSn是隨二、算法的收斂特性機(jī)矢量，其數(shù)學(xué)期望：( )(1)(2)(0)(1)(2)(0)( )( ) ( )( ) ( ) ( )( ) ( )TTnx nx nxx nx nxnx nE x n xnnE x n xn En上式中，與矢量有關(guān)，設(shè)之間相互獨(dú)立，則與獨(dú)立*0011max02 (1) ( )2 ( )1 2 ( )21.2 . 00 ()3 .( ) (1) EnEnPREnR EnRtrRx ntr RLE x 于是，算法權(quán)矢量期望值之間的迭代規(guī)律與最陡下降法一致，屬一致性估計(jì)；迭代過程的收斂條件與最陡下降法一樣：或保守值若輸入序列平穩(wěn)，則1( )

55、(1) 0(1)ininnLPLP，學(xué)習(xí)步長 的工程選取方法：第66頁/共96頁001 .2 .( ) ( )( )( ) LMSnN nnnN nn 權(quán)矢量噪聲的起因：性能曲面梯度估計(jì)噪聲、各步迭代估計(jì)噪聲；權(quán)矢量噪聲的描述：對應(yīng)矢量的自協(xié)方差函數(shù)（矩陣）。設(shè)算法第 次迭代的梯度估計(jì)噪聲矢量為，則設(shè)經(jīng) 次迭代后，權(quán)矢量已收斂于最佳權(quán)矢梯度估量附三、權(quán)矢量的噪聲特性差近，即計(jì)誤功率*( )( ) ( )( ) ( )( )2 ( ) ( )( )( )( )( )( )v nnnnN nne n x ne nd ny nnx nN n 00 于是，式中，由 時(shí)刻以前的輸入確定，與近似無關(guān)。均值

56、為零，其自協(xié)方差函數(shù)（矩陣）為：第67頁/共96頁22min1( )( )( )4 ( ) ( )( ) 4 ( ) ( )( ) 4( ) ( )( )( )TTTCov N nE N n NnE e n x n xnE e nE x n xnRN nN nQ N nQRN n 將此時(shí)的變換至主軸坐標(biāo)系：（ 為 的特征矢量矩陣）的自協(xié)方差函數(shù)（矩陣11111minmin( )( ) ( ) ( )( )( ) 4 4TTCov N nE Q N nQ N nQ E N n Nn QQCov N nQQR Q ）為：用于估計(jì)梯度估計(jì)誤差的方差。第68頁/共96頁 (1)( )( ) (1)(

57、)2( )( ) (2) ( )( ) LMSnnN nv nv nRv nN nIR v nN n 迭代公式：坐標(biāo)平移：主軸權(quán)矢量權(quán)矢量穩(wěn)態(tài)誤差：功率：11101max (1)(2) ( )( )( )( ), ( )(2)(0)(2)(1)0 nnkkv nIv nN nN nQ N nRQQv nIvIN nkn 式中，通過歸納遞推，主軸權(quán)矢量的迭代公式：設(shè)，迭代次數(shù) 足夠大，則10 ( )(2)(1)nkkv nIN nk 權(quán)矢量因梯度估計(jì)誤差而引入的穩(wěn)態(tài)噪聲第69頁/共96頁 ( ( )(2) (1)(1)( )( ) ( )( )( ) ( )( ) (2) (1)(1)(2) (

58、1)(1)TTCov v nv nIv nN nN nn v nN nv nE v n vnEIv nN nIv nN n 與、不相關(guān)，與不相關(guān)：222222 (2)(1)(1)(1)(1) (2)( ) 4 () ( )( ) ) (TTCovE Iv nvnE N nNnICov N nCov v nCov nv N nCov 21221minmin22min( )()( )4 ( )4 ( )()1 ( )v nCov N nCov N nCov v nCov v nI 0 主軸權(quán)矢量噪聲功率梯度估計(jì)噪聲功率通常，于是權(quán)矢量穩(wěn)態(tài)噪聲功率權(quán)矢量穩(wěn)態(tài)噪聲功率第70頁/共96頁( )n0min

59、( )v0( )v nnnMSE超量示意圖000mminni 1( ) 2( )( )( )( ) 3( )0(v nv nvvnnn0梯度估計(jì)誤差偏移權(quán)矢量在 上下隨機(jī)變化；隨機(jī)變化四、最小均方誤差失調(diào)隨機(jī)變化；隨機(jī)變化，或量：（隨機(jī)）。minmin( ) ( )( )nEnM EvSEnMS超定義：的數(shù)學(xué)期望為 超量均方誤差 ，記為。以一個(gè)平移坐標(biāo)系權(quán)系數(shù)隨機(jī)變化為例，如下量超量圖示意：第71頁/共96頁min202min2minmin00( ) ( )( )( )( )( )( ) ( ) ( ) TLTkkkkLLkkkkkMSEnEnE vnR v nE vnvEMSnE v nE

60、v nESEnEvM 平移坐標(biāo)系下：主軸坐超量超標(biāo)系下：自適應(yīng)過程設(shè)，則，束量：結(jié)于超量是 tr RminMSELMS超量定量描述了梯度估計(jì)噪聲引起的算法穩(wěn)態(tài)均方誤差大于的程度。min MMMSELMS定義：超量與的比值為，記為，常用百分比表示。定量描述了自適應(yīng)過程結(jié)束后，算法的權(quán)矢量與 最佳權(quán)矢量接近失調(diào)量的程度。第72頁/共96頁min (1)()msekMSEMtr RMLM超量收斂速度越快越大的選取須折失調(diào)量、權(quán)系數(shù)數(shù)目、學(xué)習(xí)曲線中考慮。失調(diào)量越大時(shí)間常數(shù)的關(guān)系：00.111 ()44()1111 4()4()11 ()msekkkmsekLLkkkmsekmseavmseavmseL