第二講最速下降法

第二講最速下降法第一頁，共二十八頁，2022年，8月28日最速下降法（methodofsteepestdescent）是一種基于梯度的自適應(yīng)方法。最速下降法可用反饋系統(tǒng)來表示，濾波器的計(jì)算式一步一步迭代進(jìn)行的。從該意義上講，最速下降法是遞歸的。在適當(dāng)條件下，最速下降法的解收斂于維納解而不需要求輸入向量相關(guān)矩陣的逆矩陣。第二頁，共二十八頁，2022年，8月28日線性最優(yōu)濾波：問題綜述第三頁，共二十八頁，2022年，8月28日這里濾波器需要兩個(gè)約束條件： 1.濾波器是線性的 2.濾波器是離散時(shí)間的濾波器的具體實(shí)現(xiàn)依賴的兩個(gè)選擇： 1.濾波器的沖激響應(yīng)選擇 （FIR,IIR) 2.統(tǒng)計(jì)優(yōu)化準(zhǔn)則的選擇問題

1）估計(jì)誤差的均方值 2）估計(jì)誤差的絕對(duì)值期望值 3）估計(jì)誤差的絕對(duì)值的三階或高階期望值第四頁，共二十八頁，2022年，8月28日濾波器問題的本質(zhì)表示如下： 給定一個(gè)輸入取樣序列u(0),u(1),u(2),…,設(shè)計(jì)一個(gè)線性離散濾波器[其輸出y(n)提供了期望響應(yīng)d(n)的一個(gè)估值]，使得其估計(jì)誤差的均方值e(n)[定義為期望響應(yīng)d(n)與實(shí)際響應(yīng)y(n)之差]為最小。兩種數(shù)學(xué)解決方案 1正交性原理 2誤差性能曲面第五頁，共二十八頁，2022年，8月28日正交性原理n時(shí)刻濾波器輸出為線性卷積誤差代價(jià)函數(shù)—均方誤差

第六頁，共二十八頁，2022年，8月28日使代價(jià)函數(shù)J獲得最小值的充要條件是其對(duì)應(yīng)的估計(jì)誤差e(n)于n時(shí)刻進(jìn)入期望響應(yīng)估計(jì)的每個(gè)輸入樣值。第七頁，共二十八頁，2022年，8月28日第八頁，共二十八頁，2022年，8月28日2.1最速下降法的基本思想無約束最優(yōu)化的數(shù)學(xué)表示如下：

其中是一個(gè)代價(jià)函數(shù)，是個(gè)未知向量

是要尋找的最優(yōu)解。第九頁，共二十八頁，2022年，8月28日局部迭代下降思想

首先假設(shè)一個(gè)初始權(quán)向量，然后產(chǎn)生一系列權(quán)向量能夠使代價(jià)函數(shù)在算法的每次迭代都是下降的，也就是滿足如下表達(dá)式

最速下降法其實(shí)就是一種簡單形式的迭代下降，它主要思想是沿著最速下降方向連續(xù)不斷調(diào)整權(quán)向量。最速下降方向也就是負(fù)梯度方向梯度向量表示如下

第十頁，共二十八頁，2022年，8月28日通過以上可得最速下降算法

其中n表示迭代進(jìn)程，是步長參數(shù)，是正常數(shù)。在從n到n+1的迭代過程中，權(quán)向量的調(diào)整量為

第十一頁，共二十八頁，2022年，8月28日第十二頁，共二十八頁，2022年，8月28日假設(shè)w為復(fù)值向量，那么梯度向量g也是復(fù)值向量。所以使用共軛轉(zhuǎn)置（埃爾米特轉(zhuǎn)置）因此上式可變?yōu)?/p>

從上式可以看出當(dāng)為正數(shù)時(shí)，因此，隨著n的增加，代價(jià)函數(shù)減小，當(dāng)時(shí)，代價(jià)函數(shù)趨于最小值。第十三頁，共二十八頁，2022年，8月28日2.2最速下降算法應(yīng)用于維納濾波器圖2.1自適應(yīng)橫向?yàn)V波器的結(jié)構(gòu)第十四頁，共二十八頁，2022年，8月28日通過比較期望響應(yīng)及其估計(jì)值，可以得到一個(gè)估計(jì)誤差即

其中是抽頭權(quán)向量與抽頭輸入向量的內(nèi)積如果抽頭輸入向量u(n)和期望響應(yīng)d(n)是聯(lián)合平穩(wěn)的，則此時(shí)均方誤差或者在n時(shí)刻的代價(jià)函數(shù)J(n)是抽頭全向量的二次函數(shù)。第十五頁，共二十八頁，2022年，8月28日橫向?yàn)V波器的代價(jià)函數(shù)為所以展開可得其中，是目標(biāo)函數(shù)的方差P=抽頭輸入向量與期望響應(yīng)的互相關(guān)向量R=抽頭輸入向量的相關(guān)矩陣第十六頁，共二十八頁，2022年，8月28日同時(shí)梯度向量可寫為第十七頁，共二十八頁，2022年，8月28日因此維納濾波中最速下降法的數(shù)學(xué)表達(dá)式為:從另一個(gè)角度，可以將上公式看做一個(gè)反饋模型，信號(hào)流圖如下圖2.2最速下降算法的信號(hào)流圖表示第十八頁，共二十八頁，2022年，8月28日2.3最速下降法的穩(wěn)定性影響該算法的穩(wěn)定性有兩個(gè)因素：（1）步長參數(shù)（2）抽頭輸入向量的相關(guān)矩陣R首先定義n時(shí)刻的加權(quán)誤差向量其中是抽頭權(quán)向量的最優(yōu)值第十九頁，共二十八頁，2022年，8月28日使用特征值分解可得將R代入上公式可得兩邊同時(shí)左乘令v(n)的初始值為：第二十頁，共二十八頁，2022年，8月28日對(duì)于最速下降法的第k個(gè)自然模式，并初始化可以得到

為了滿足最速下降法的穩(wěn)定性或收斂性，對(duì)于所有k，我們可以有

因此最速下降法穩(wěn)定性的充分必要條件是步長因子滿足不等式第二十一頁，共二十八頁，2022年，8月28日從圖中可以看出，當(dāng)?shù)螖?shù)趨近于無窮時(shí)，趨近于0也就是抽頭加權(quán)向量逼近最優(yōu)解圖2.3最速下降算法的第k個(gè)自然模式隨時(shí)間變化的情況第二十二頁，共二十八頁，2022年，8月28日由上圖我們可以定義一個(gè)時(shí)間常數(shù)使得表示了衰減到初始值的時(shí)所需要的迭代次數(shù)初始抽頭加權(quán)向量的瞬態(tài)特性

兩邊同時(shí)左乘第二十三頁，共二十八頁，2022年，8月28日因此第i個(gè)抽頭權(quán)值的瞬態(tài)特性可以表示為其中是第i個(gè)抽頭權(quán)值的最優(yōu)值，是第k個(gè)特征向量的第i個(gè)分量上式表明，最速下降算法中每一個(gè)抽頭權(quán)值收斂于指數(shù)形式的加權(quán)和。同時(shí)定義整個(gè)時(shí)間常數(shù)則可得任意抽頭權(quán)值的時(shí)間常數(shù)的上下界定義如下第二十四頁，共二十八頁，2022年，8月28日均方誤差的瞬態(tài)特性可知誤差性能曲面的規(guī)范形式其中是最小均方誤差從初始值到最終值的指數(shù)衰減的時(shí)間常數(shù)為當(dāng)較小時(shí)第二十五頁，共二十八頁，2022年，8月28日2.4作為確定性搜索法的最速下降算法最速下降算法提供了從任意初始點(diǎn)出發(fā)尋找誤差性能曲面極小點(diǎn)的局部搜索方法。最速下降算法的運(yùn)行，取決于三個(gè)量：

*起始點(diǎn)：由抽頭權(quán)向量初始值w(0)規(guī)定*梯度向量：位于誤差性能曲面的特殊點(diǎn)，由互相關(guān)向量P和相關(guān)向量矩陣R唯一確定*步長參數(shù)：控制橫向?yàn)V波器抽頭權(quán)向量從算法的某一次迭代到下一次迭代的增量變化一旦規(guī)定了這三個(gè)量，最速下降算法將沿著多維權(quán)值空間獨(dú)特的路徑前進(jìn)，它從初始點(diǎn)w(0)出發(fā)，終止于最優(yōu)解.換句話說，在權(quán)值空間中最速下降算法是一種確定性的搜索方法。第二十六頁，共二十八頁，2022年，8月28日2.5最速下降法的優(yōu)點(diǎn)與局限性優(yōu)點(diǎn)：簡單性，只要給出起始點(diǎn)，梯度向量及步長參數(shù)，將沿著權(quán)值空間特殊的路徑前進(jìn)，從初始點(diǎn)出發(fā)，終止于最優(yōu)解。也就是說它是一種確定性搜索方法。局限性：該過程需要大量的迭代，主要原因就是以圍繞當(dāng)前點(diǎn)的誤差性能曲面的線性（一階）為基礎(chǔ)。針對(duì)這點(diǎn)后來提出來牛頓法，它是圍繞當(dāng)前點(diǎn)[記為w(n)]進(jìn)行誤差性能曲面的二次（例如二階）逼近。第二十七頁，共二十八頁，2022年，8月28日本章小結(jié)兩種集平均量

R（抽頭輸入向量的相關(guān)矩陣）

P（抽頭輸入向量和期望響應(yīng)的互相關(guān)向量）最速下降算法提供了計(jì)算維納濾波器抽頭權(quán)向量的簡化步驟。最速下降算法的一個(gè)重要特點(diǎn)就是存在反饋，實(shí)質(zhì)是該算法