中文第三章自適應(yīng)濾波器課件

現(xiàn)代數(shù)字信號(hào)處理第三章：自適應(yīng)濾波器現(xiàn)代數(shù)字信號(hào)處理第三章：自適應(yīng)濾波器1內(nèi)容1.自適應(yīng)濾波器原理2.自適應(yīng)線性組合器3.均方誤差性能曲面4.最陡下降算法5.LMS算法6.RLS算法7.典型應(yīng)用：噪聲消除自適應(yīng)算法理論分析內(nèi)容1.自適應(yīng)濾波器原理自適應(yīng)算法理論分析21。自適應(yīng)濾波原理學(xué)習(xí)和跟蹤（時(shí)變信號(hào)）帶有可調(diào)參數(shù)的最優(yōu)線性濾波器兩輸入兩輸出Twoinputsandtwooutputs;FIR,IIR,and格形（Lattice）最小均方誤差和最小平方誤差準(zhǔn)則1。自適應(yīng)濾波原理學(xué)習(xí)和跟蹤（時(shí)變信號(hào)）兩輸入兩輸出Two3線性濾波器性能評(píng)價(jià)自適應(yīng)方法輸入信號(hào)輸出信號(hào)期望響應(yīng)誤差濾波器參數(shù)通用自適應(yīng)濾波器的基本原理線性濾波器性能評(píng)價(jià)自適應(yīng)方法輸入信號(hào)輸出信號(hào)期望響應(yīng)誤差濾波43.自適應(yīng)濾波器的性能失調(diào)量（Misadjustment）計(jì)算復(fù)雜度（Computationalcomplexity）對(duì)時(shí)變統(tǒng)計(jì)量的跟蹤能力結(jié)構(gòu)上：高模塊性，并行性等（是否適合硬件實(shí)現(xiàn)）收斂速度數(shù)值特性：數(shù)值穩(wěn)定性（對(duì)字長(zhǎng)效應(yīng)不敏感），數(shù)值精確性魯棒性：對(duì)噪聲干擾不敏感，小能量干擾只能造成小估計(jì)誤差本章主要討論自適應(yīng)線性組合器（其分析和實(shí)現(xiàn)簡(jiǎn)單，在大多數(shù)自適應(yīng)濾波系統(tǒng)中廣泛應(yīng)用）。3.自適應(yīng)濾波器的性能失調(diào)量（Misadjustment）5多輸入自適應(yīng)線性組合器2。自適應(yīng)線性組合器一類具有自適應(yīng)參數(shù)的FIR數(shù)字濾波器。－－》一般形式多輸入自適應(yīng)線性組合器2。自適應(yīng)線性組合器一類具有自適應(yīng)參6單輸入自適應(yīng)線性組合器單輸入自適應(yīng)線性組合器7多輸入單輸入多輸入單輸入8輸入信號(hào)x的自相關(guān)矩陣R，期望信號(hào)d和輸入信號(hào)x的互相關(guān)矩陣P3.均方誤差性能曲面輸入信號(hào)x的自相關(guān)矩陣R，期望信號(hào)d和輸入信號(hào)x的互相關(guān)矩陣9單權(quán)重情況:拋物線性能曲面單權(quán)重情況:拋物線性能曲面10兩個(gè)權(quán)系數(shù):拋物面兩個(gè)權(quán)系數(shù):拋物面11權(quán)系數(shù)數(shù)目大于兩個(gè)情況：超拋物面

個(gè)權(quán)系數(shù):一個(gè)維空間內(nèi)的超拋物面“碗底”點(diǎn)對(duì)應(yīng)于均方誤差最小點(diǎn)，也就是最優(yōu)權(quán)系數(shù)矢量所在的點(diǎn)。對(duì)于一個(gè)二次性能方程，存在唯一全局最優(yōu)權(quán)矢量，沒有局部最優(yōu)點(diǎn)存在.權(quán)系數(shù)數(shù)目大于兩個(gè)情況：超拋物面?zhèn)€權(quán)系數(shù):一12梯度，最優(yōu)權(quán)矢量和最小均方誤差很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)到最小均方誤差的權(quán)矢量。均方誤差性能曲面的梯度定義為：最優(yōu)權(quán)重矢量處梯度為零：梯度，最優(yōu)權(quán)矢量和最小均方誤差很多自適應(yīng)方法使用13最小均方誤差：與維納濾波器的最小均方誤差比較:Thesameequations最小均方誤差：與維納濾波器的最小均方誤差比較:Thesam14背離矢量（背離最優(yōu)權(quán)重）均方誤差性能方程可寫為另一種形式：權(quán)重背離矢量:在坐標(biāo)系統(tǒng)中的性能曲面方程背離矢量（背離最優(yōu)權(quán)重）均方誤差性能方程可寫為另一種形式：權(quán)15為了使對(duì)于所有可能的值為非負(fù)，有必要使所有滿足。也就是說必須是正定或者半正定。在實(shí)際的系統(tǒng)中，矩陣總是正定的，有時(shí)半正定情況也會(huì)出現(xiàn)。梯度:

矢量是權(quán)重矢量對(duì)維納最優(yōu)權(quán)矢量的背離。任何背離都會(huì)導(dǎo)致均方誤差的一個(gè)增加量為了使對(duì)于所有可能的值為非負(fù)，有必要使所164.最陡下降法基本思想：搜索性能曲面理想情況下（梯度可知）:

使用基于梯度的方法（最陡下降法）實(shí)際情況（梯度多數(shù)不可知）:LMS方法（theLeast-Mean-Squarealgorithm）

RLS方法（RecursiveLeast-SquareAlgorithm）4.最陡下降法基本思想：搜索性能曲面17演示1:基于梯度搜索均方誤差曲面的最小點(diǎn)演示1:基于梯度搜索均方誤差曲面的最小點(diǎn)18為一個(gè)控制收斂速度和穩(wěn)定性的常數(shù)稱為自適應(yīng)步長(zhǎng)。演示2:為一個(gè)控制收斂速度和穩(wěn)定性的常數(shù)稱為自適應(yīng)步長(zhǎng)。演示19方程兩邊同減最優(yōu)權(quán)矢量幾個(gè)不同形式的權(quán)重更新方程方程兩邊同減最優(yōu)權(quán)矢量幾個(gè)不同形式的權(quán)重更新方程20穩(wěn)定和收斂條件：可證明：穩(wěn)定和收斂條件：可證明：21自適應(yīng)過程的穩(wěn)定性最優(yōu)點(diǎn):時(shí)間迭代:穩(wěn)定條件:Thedeepest-descendmethod實(shí)際應(yīng)用中選取:自適應(yīng)過程的穩(wěn)定性最優(yōu)點(diǎn):時(shí)間迭代:穩(wěn)定條件:Thedee22參數(shù)變更的回饋模型Thedeepest-descendmethod參數(shù)變更的回饋模型Thedeepest-descendm23收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長(zhǎng)的選擇在主軸系統(tǒng)中參數(shù)沿著各個(gè)參數(shù)坐標(biāo)軸獨(dú)立收斂。各個(gè)坐標(biāo)軸的收斂速度被各自的幾何比r控制。需要注意的是，在自然坐標(biāo)系中各個(gè)參數(shù)w并不是獨(dú)立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進(jìn)行收斂分析的原因。收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長(zhǎng)的選擇24幾何比r和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：幾何比r和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：25穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)幾何比和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)幾何比和自26權(quán)系數(shù)衰減時(shí)間常數(shù)權(quán)系數(shù)衰減到初始值的需要花費(fèi)的時(shí)間。收斂速度：幾個(gè)時(shí)間常數(shù)權(quán)系數(shù)衰減時(shí)間常數(shù)收斂速度：幾個(gè)時(shí)間常數(shù)27(2)學(xué)習(xí)曲線時(shí)間常數(shù)即均方誤差與最小均方誤差的差值下降到初始差值的時(shí)所花費(fèi)的時(shí)間。(2)學(xué)習(xí)曲線時(shí)間常數(shù)28(3)自適應(yīng)時(shí)間常數(shù)（用時(shí)間衡量學(xué)習(xí)曲線常數(shù)）(3)自適應(yīng)時(shí)間常數(shù)（用時(shí)間衡量學(xué)習(xí)曲線常數(shù)）29注意最陡下降法具有更多的理論分析意義，實(shí)際操作時(shí)我們必須對(duì)其做很多近似。注意最陡下降法具有更多的理論分析意義，實(shí)際操作時(shí)我們必須對(duì)其30Least-Mean-SquareAlgorithm最陡下降法在每次迭代時(shí)要求得到性能曲面梯度的估計(jì)值。LMS方法使用一個(gè)特別方法估計(jì)這個(gè)梯度（這個(gè)梯度對(duì)于自適應(yīng)的線性組合器是有效的）LMS方法的優(yōu)勢(shì)在于:(1)計(jì)算簡(jiǎn)單方便(2)不需要離線的梯度估計(jì)或者數(shù)據(jù)副本如果自適應(yīng)系統(tǒng)是一個(gè)自適應(yīng)線性組合器，并且輸入矢量和期望響應(yīng)在每次迭代時(shí)都可以得到，那么LMS方法通常是一個(gè)最好選擇。5.LMS方法Least-Mean-SquareAlgorithm31LMS方法推導(dǎo)使用單次計(jì)算的估計(jì)誤差平方代替平方誤差的期望。LMS使用單次誤差代替誤差平均，造成梯度和權(quán)矢量成為圍繞真值的隨機(jī)變量。LMS方法推導(dǎo)使用單次計(jì)算的估計(jì)誤差平方代替平方誤差的期望32LMS自適應(yīng)濾波器LMS自適應(yīng)濾波器33舉例

（2輸入線性組合器）舉例

（2輸入線性組合器）34LMS方法對(duì)梯度的估計(jì)的均值為真實(shí)梯度估計(jì)量的期望值與真實(shí)梯度的偏差為0。所以為無偏估計(jì)LMS方法對(duì)梯度的估計(jì)的均值為真實(shí)梯度估計(jì)量的期望值與真實(shí)梯35最陡下降法LMS權(quán)矢量的均值

等于最陡下降法得到的權(quán)矢量最陡下降法LMS權(quán)矢量的均值

等于最陡下降法得到的權(quán)矢量36最陡下降LMS單次最陡下降LMS單次37最陡下降LMS多次平均最陡下降LMS多次平均38收斂條件收斂條件39在最小均方誤差點(diǎn)附近的梯度估計(jì)誤差(around)(梯度估計(jì)噪聲)權(quán)矢量噪聲在最小均方誤差點(diǎn)附近的梯度估計(jì)誤差(aro40(2)在最小均方誤差點(diǎn)附近的權(quán)矢量估計(jì)誤差(2)在最小均方誤差點(diǎn)附近的權(quán)矢量估計(jì)誤差41(3)在最小均方誤差點(diǎn)附近的權(quán)矢量噪聲方差

(3)在最小均方誤差點(diǎn)附近的權(quán)矢量噪聲方差42梯度估計(jì)噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)起伏。這意味著穩(wěn)態(tài)的均方誤差值在附近隨機(jī)的改變。這個(gè)偏移量的期望值稱為超量EMS失調(diào)量

(1)超量EMS（Mean-SquareError）梯度估計(jì)噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)43中文第三章自適應(yīng)濾波器課件44中文第三章自適應(yīng)濾波器課件45(2)失調(diào)量M

實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個(gè)數(shù)往往需要作一個(gè)折中，因此這個(gè)方程很有用。(2)失調(diào)量M

實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個(gè)46通常自適應(yīng)過程在大概4倍學(xué)習(xí)曲線時(shí)間常數(shù)內(nèi)基本結(jié)束。因此，失調(diào)量可認(rèn)為等于權(quán)重?cái)?shù)目比上過渡時(shí)間（4倍時(shí)間常數(shù)）。特殊情況下所有特征值都相等：設(shè)計(jì)濾波器時(shí)的考慮假設(shè)要求失調(diào)量小于10％，則過渡時(shí)間應(yīng)當(dāng)比權(quán)重?cái)?shù)目大10倍。通常自適應(yīng)過程在大概4倍學(xué)習(xí)曲線時(shí)間常數(shù)內(nèi)基本結(jié)束。特476.自適應(yīng)的遞歸最小二乘方(RLS)算法維納濾波器的一種時(shí)間遞歸形式(收斂速度快)維納濾波器RLS自適應(yīng)濾波器6.自適應(yīng)的遞歸最小二乘方(RLS)算法維納濾波器的一種48遺忘因子新數(shù)據(jù)比舊數(shù)據(jù)更加重要遺忘因子新數(shù)據(jù)比舊數(shù)據(jù)更加重要49自相關(guān)矩陣：互相關(guān)矢量:自相關(guān)矩陣逆的迭代形式：相關(guān)的遞歸形式自相關(guān)矩陣：互相關(guān)矢量:自相關(guān)矩陣逆的迭代形式：相關(guān)的遞歸形50A和B是兩個(gè)正定矩陣關(guān)于矩陣逆的一個(gè)定理A和B是兩個(gè)正定矩陣關(guān)于矩陣逆的一個(gè)定理51濾波器增益矢量:誤差信號(hào)方程:濾波器系數(shù)更新濾波器增益矢量:誤差信號(hào)方程:濾波器系數(shù)更新52濾波器增益矢量:誤差信號(hào)方程:輸入信號(hào):初始值:濾波器參數(shù)更新:相關(guān)矩陣逆更新:RLS自適應(yīng)方法

濾波器增益矢量:誤差信號(hào)方程:輸入信號(hào):初始值:濾波器參數(shù)更53中文第三章自適應(yīng)濾波器課件547.典型應(yīng)用：噪聲消除AdaptiveFilterAdaptive

algorithm參考信號(hào)輸出輸入信號(hào)（信號(hào)＋噪聲）誤差信號(hào)W7.典型應(yīng)用：噪聲消除AdaptiveFilterAda55沒有回聲控制的遠(yuǎn)程電視會(huì)議系統(tǒng)Applications沒有回聲控制的遠(yuǎn)程電視會(huì)議系統(tǒng)Applications56使用自適應(yīng)回聲抵消器抵消回波ApplicationsRef.:B.WidrowandS.D.Stearns:AdaptiveSignalProcessing,Ch.12:Adaptivenoisecanceling:notchfilter,…B說話聲音B聲音回聲使用自適應(yīng)回聲抵消器抵消回波ApplicationsRef.57現(xiàn)代數(shù)字信號(hào)處理第三章：自適應(yīng)濾波器現(xiàn)代數(shù)字信號(hào)處理第三章：自適應(yīng)濾波器58內(nèi)容1.自適應(yīng)濾波器原理2.自適應(yīng)線性組合器3.均方誤差性能曲面4.最陡下降算法5.LMS算法6.RLS算法7.典型應(yīng)用：噪聲消除自適應(yīng)算法理論分析內(nèi)容1.自適應(yīng)濾波器原理自適應(yīng)算法理論分析591。自適應(yīng)濾波原理學(xué)習(xí)和跟蹤（時(shí)變信號(hào)）帶有可調(diào)參數(shù)的最優(yōu)線性濾波器兩輸入兩輸出Twoinputsandtwooutputs;FIR,IIR,and格形（Lattice）最小均方誤差和最小平方誤差準(zhǔn)則1。自適應(yīng)濾波原理學(xué)習(xí)和跟蹤（時(shí)變信號(hào)）兩輸入兩輸出Two60線性濾波器性能評(píng)價(jià)自適應(yīng)方法輸入信號(hào)輸出信號(hào)期望響應(yīng)誤差濾波器參數(shù)通用自適應(yīng)濾波器的基本原理線性濾波器性能評(píng)價(jià)自適應(yīng)方法輸入信號(hào)輸出信號(hào)期望響應(yīng)誤差濾波613.自適應(yīng)濾波器的性能失調(diào)量（Misadjustment）計(jì)算復(fù)雜度（Computationalcomplexity）對(duì)時(shí)變統(tǒng)計(jì)量的跟蹤能力結(jié)構(gòu)上：高模塊性，并行性等（是否適合硬件實(shí)現(xiàn)）收斂速度數(shù)值特性：數(shù)值穩(wěn)定性（對(duì)字長(zhǎng)效應(yīng)不敏感），數(shù)值精確性魯棒性：對(duì)噪聲干擾不敏感，小能量干擾只能造成小估計(jì)誤差本章主要討論自適應(yīng)線性組合器（其分析和實(shí)現(xiàn)簡(jiǎn)單，在大多數(shù)自適應(yīng)濾波系統(tǒng)中廣泛應(yīng)用）。3.自適應(yīng)濾波器的性能失調(diào)量（Misadjustment）62多輸入自適應(yīng)線性組合器2。自適應(yīng)線性組合器一類具有自適應(yīng)參數(shù)的FIR數(shù)字濾波器。－－》一般形式多輸入自適應(yīng)線性組合器2。自適應(yīng)線性組合器一類具有自適應(yīng)參63單輸入自適應(yīng)線性組合器單輸入自適應(yīng)線性組合器64多輸入單輸入多輸入單輸入65輸入信號(hào)x的自相關(guān)矩陣R，期望信號(hào)d和輸入信號(hào)x的互相關(guān)矩陣P3.均方誤差性能曲面輸入信號(hào)x的自相關(guān)矩陣R，期望信號(hào)d和輸入信號(hào)x的互相關(guān)矩陣66單權(quán)重情況:拋物線性能曲面單權(quán)重情況:拋物線性能曲面67兩個(gè)權(quán)系數(shù):拋物面兩個(gè)權(quán)系數(shù):拋物面68權(quán)系數(shù)數(shù)目大于兩個(gè)情況：超拋物面

個(gè)權(quán)系數(shù):一個(gè)維空間內(nèi)的超拋物面“碗底”點(diǎn)對(duì)應(yīng)于均方誤差最小點(diǎn)，也就是最優(yōu)權(quán)系數(shù)矢量所在的點(diǎn)。對(duì)于一個(gè)二次性能方程，存在唯一全局最優(yōu)權(quán)矢量，沒有局部最優(yōu)點(diǎn)存在.權(quán)系數(shù)數(shù)目大于兩個(gè)情況：超拋物面?zhèn)€權(quán)系數(shù):一69梯度，最優(yōu)權(quán)矢量和最小均方誤差很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)到最小均方誤差的權(quán)矢量。均方誤差性能曲面的梯度定義為：最優(yōu)權(quán)重矢量處梯度為零：梯度，最優(yōu)權(quán)矢量和最小均方誤差很多自適應(yīng)方法使用70最小均方誤差：與維納濾波器的最小均方誤差比較:Thesameequations最小均方誤差：與維納濾波器的最小均方誤差比較:Thesam71背離矢量（背離最優(yōu)權(quán)重）均方誤差性能方程可寫為另一種形式：權(quán)重背離矢量:在坐標(biāo)系統(tǒng)中的性能曲面方程背離矢量（背離最優(yōu)權(quán)重）均方誤差性能方程可寫為另一種形式：權(quán)72為了使對(duì)于所有可能的值為非負(fù)，有必要使所有滿足。也就是說必須是正定或者半正定。在實(shí)際的系統(tǒng)中，矩陣總是正定的，有時(shí)半正定情況也會(huì)出現(xiàn)。梯度:

矢量是權(quán)重矢量對(duì)維納最優(yōu)權(quán)矢量的背離。任何背離都會(huì)導(dǎo)致均方誤差的一個(gè)增加量為了使對(duì)于所有可能的值為非負(fù)，有必要使所734.最陡下降法基本思想：搜索性能曲面理想情況下（梯度可知）:

使用基于梯度的方法（最陡下降法）實(shí)際情況（梯度多數(shù)不可知）:LMS方法（theLeast-Mean-Squarealgorithm）

RLS方法（RecursiveLeast-SquareAlgorithm）4.最陡下降法基本思想：搜索性能曲面74演示1:基于梯度搜索均方誤差曲面的最小點(diǎn)演示1:基于梯度搜索均方誤差曲面的最小點(diǎn)75為一個(gè)控制收斂速度和穩(wěn)定性的常數(shù)稱為自適應(yīng)步長(zhǎng)。演示2:為一個(gè)控制收斂速度和穩(wěn)定性的常數(shù)稱為自適應(yīng)步長(zhǎng)。演示76方程兩邊同減最優(yōu)權(quán)矢量幾個(gè)不同形式的權(quán)重更新方程方程兩邊同減最優(yōu)權(quán)矢量幾個(gè)不同形式的權(quán)重更新方程77穩(wěn)定和收斂條件：可證明：穩(wěn)定和收斂條件：可證明：78自適應(yīng)過程的穩(wěn)定性最優(yōu)點(diǎn):時(shí)間迭代:穩(wěn)定條件:Thedeepest-descendmethod實(shí)際應(yīng)用中選取:自適應(yīng)過程的穩(wěn)定性最優(yōu)點(diǎn):時(shí)間迭代:穩(wěn)定條件:Thedee79參數(shù)變更的回饋模型Thedeepest-descendmethod參數(shù)變更的回饋模型Thedeepest-descendm80收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長(zhǎng)的選擇在主軸系統(tǒng)中參數(shù)沿著各個(gè)參數(shù)坐標(biāo)軸獨(dú)立收斂。各個(gè)坐標(biāo)軸的收斂速度被各自的幾何比r控制。需要注意的是，在自然坐標(biāo)系中各個(gè)參數(shù)w并不是獨(dú)立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進(jìn)行收斂分析的原因。收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長(zhǎng)的選擇81幾何比r和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：幾何比r和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：82穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)幾何比和自適應(yīng)步長(zhǎng)對(duì)收斂的影響：穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)幾何比和自83權(quán)系數(shù)衰減時(shí)間常數(shù)權(quán)系數(shù)衰減到初始值的需要花費(fèi)的時(shí)間。收斂速度：幾個(gè)時(shí)間常數(shù)權(quán)系數(shù)衰減時(shí)間常數(shù)收斂速度：幾個(gè)時(shí)間常數(shù)84(2)學(xué)習(xí)曲線時(shí)間常數(shù)即均方誤差與最小均方誤差的差值下降到初始差值的時(shí)所花費(fèi)的時(shí)間。(2)學(xué)習(xí)曲線時(shí)間常數(shù)85(3)自適應(yīng)時(shí)間常數(shù)（用時(shí)間衡量學(xué)習(xí)曲線常數(shù)）(3)自適應(yīng)時(shí)間常數(shù)（用時(shí)間衡量學(xué)習(xí)曲線常數(shù)）86注意最陡下降法具有更多的理論分析意義，實(shí)際操作時(shí)我們必須對(duì)其做很多近似。注意最陡下降法具有更多的理論分析意義，實(shí)際操作時(shí)我們必須對(duì)其87Least-Mean-SquareAlgorithm最陡下降法在每次迭代時(shí)要求得到性能曲面梯度的估計(jì)值。LMS方法使用一個(gè)特別方法估計(jì)這個(gè)梯度（這個(gè)梯度對(duì)于自適應(yīng)的線性組合器是有效的）LMS方法的優(yōu)勢(shì)在于:(1)計(jì)算簡(jiǎn)單方便(2)不需要離線的梯度估計(jì)或者數(shù)據(jù)副本如果自適應(yīng)系統(tǒng)是一個(gè)自適應(yīng)線性組合器，并且輸入矢量和期望響應(yīng)在每次迭代時(shí)都可以得到，那么LMS方法通常是一個(gè)最好選擇。5.LMS方法Least-Mean-SquareAlgorithm88LMS方法推導(dǎo)使用單次計(jì)算的估計(jì)誤差平方代替平方誤差的期望。LMS使用單次誤差代替誤差平均，造成梯度和權(quán)矢量成為圍繞真值的隨機(jī)變量。LMS方法推導(dǎo)使用單次計(jì)算的估計(jì)誤差平方代替平方誤差的期望89LMS自適應(yīng)濾波器LMS自適應(yīng)濾波器90舉例

（2輸入線性組合器）舉例

（2輸入線性組合器）91LMS方法對(duì)梯度的估計(jì)的均值為真實(shí)梯度估計(jì)量的期望值與真實(shí)梯度的偏差為0。所以為無偏估計(jì)LMS方法對(duì)梯度的估計(jì)的均值為真實(shí)梯度估計(jì)量的期望值與真實(shí)梯92最陡下降法LMS權(quán)矢量的均值

等于最陡下降法得到的權(quán)矢量最陡下降法LMS權(quán)矢量的均值

等于最陡下降法得到的權(quán)矢量93最陡下降LMS單次最陡下降LMS單次94最陡下降LMS多次平均最陡下降LMS多次平均95收斂條件收斂條件96在最小均方誤差點(diǎn)附近的梯度估計(jì)誤差(around)(梯度估計(jì)噪聲)權(quán)矢量噪聲在最小均方誤差點(diǎn)附近的梯度估計(jì)誤差(aro97(2)在最小均方誤差點(diǎn)附近的權(quán)矢量估計(jì)誤差(2)在最小均方誤差點(diǎn)附近的權(quán)矢量估計(jì)誤差98(3)在最小均方誤差點(diǎn)附近的權(quán)矢量噪聲方差

(3)在最小均方誤差點(diǎn)附近的權(quán)矢量噪聲方差99梯度估計(jì)噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)起伏。這意味著穩(wěn)態(tài)的均方誤差值在附近隨機(jī)的改變。這個(gè)偏移量的期望值稱為超量EMS失調(diào)量

(1)超量EMS（Mean-SquareError）梯度估計(jì)噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)100中文第三章自適應(yīng)濾波器課件101中文第三章自適應(yīng)濾波器課件102(2)失調(diào)量M

實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個(gè)數(shù)往往需要作一個(gè)折中，因此這個(gè)方程很有用。(2)失調(diào)量M

實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的