(信號檢測與估計學(xué)習(xí)輔導(dǎo))第8章

來源網(wǎng)絡(luò)侵權(quán)請聯(lián)系刪除來源網(wǎng)絡(luò)侵權(quán)請聯(lián)系刪除第8章信號參量估計的基本理論8.1內(nèi)容提要及結(jié)構(gòu)本章首先介紹信號參量估計的實質(zhì)，分析信號參量估計的基本原理，然后討論信號參量貝葉斯估計和最大似然估計，討論估計量的性能指標(biāo)和克拉美?羅不等式，最后討論線性最小均方誤差估計和最小二乘估計。本章內(nèi)容邏輯結(jié)構(gòu)如圖8.1圖圖8.1.1克拉美?羅不等式信號參量估計的基本原理信號參量貝葉斯估計信號參量估計的實質(zhì)最大后驗估計最小均方誤差估計條件中值估計估計量的性能指標(biāo)最大似然估計線性最小均方誤差估計最小二乘估計信號參量估計的基本理論8.2目的及要求本章的目的是使學(xué)習(xí)者理解信號參量估計的實質(zhì)，掌握以貝葉斯統(tǒng)計決策為基礎(chǔ)的信號參量估計的基本原理。掌握信號參量貝葉斯估計的使用條件及一般方法，掌握信號參量貝葉斯估計的三個具體方法：最小均方誤差估計、條件中值估計及最大后驗估計。理解和掌握估計量的性能指標(biāo)和克拉美?羅不等式。熟悉多元隨機參量信號檢測的基本原理。從使用條件、準(zhǔn)則及估計量等方面，理解和掌握論線性最小均方誤差估計和最小二乘估計。8.3學(xué)習(xí)要點8.●內(nèi)容提要：本小節(jié)主要簡述信號參量估計的相關(guān)概念、實質(zhì)和研究思路?！耜P(guān)鍵點：理解信號參量估計的實質(zhì)，熟悉信號參量估計的研究思路。1．信號參量估計的相關(guān)概念（1）信號估計是根據(jù)接收信號的觀測值或觀測波形來估計信號的未知參量或未知波形。（2）信號參量估計是根據(jù)接收信號的觀測值或觀測波形來估計信號的未知參量。未知參量可能是隨機變量，也可能是非隨機的變量。2．信號參量估計的實質(zhì)信號參量估計的實質(zhì)是隨機信號的參量估計問題，也就是數(shù)理統(tǒng)計中參數(shù)估計向隨機信號的拓展，是應(yīng)用貝葉斯統(tǒng)計決策理論和方法研究信號的參量估計問題。3．信號參量估計的研究思路信號參量估計采用貝葉斯統(tǒng)計決策的理論和方法。它是一個特殊的貝葉斯統(tǒng)計決策。通過使貝葉斯風(fēng)險最小，求解估計量。8.3.2●內(nèi)容提要：本小節(jié)主要將貝葉斯統(tǒng)計決策方法應(yīng)用于信號參量估計問題，分析信號參量估計的基本原理。●關(guān)鍵點：熟悉信號參量估計的信息傳輸系統(tǒng)模型及接收信號模型，理解觀測空間、參量空間、判決空間及代價函數(shù)的物理意義，掌握信道噪聲概率密度、發(fā)送信號及似然函數(shù)的關(guān)系，掌握設(shè)計信號參量估計算法或系統(tǒng)的步驟。1．信號參量估計的信息傳輸系統(tǒng)模型信號參量估計的信息傳輸系統(tǒng)模型是加性噪聲情況信息傳輸系統(tǒng)模型，如圖8.3圖圖8.3.1信息源發(fā)送設(shè)備信道接收設(shè)備（含信號參量估計系統(tǒng)）噪聲源終端設(shè)備2．信號參量估計的信號模型（1）接收信號模型設(shè)發(fā)送設(shè)備發(fā)送的信號為，信道的加性噪聲為，接收設(shè)備的接收信號為，則加性噪聲情況信息傳輸系統(tǒng)的接收信號模型為（8.3.1式中：為未知參量向量，表示未知參量信號的個未知參量。由于噪聲是隨機信號，故接收設(shè)備的接收信號也是隨機信號。（2）觀測空間在信號參量估計中，將所有可以觀測的接收信號組成的集合稱為觀測空間，并記為，或記為。3．參量空間及判決空間（1）參量空間對于信號參量估計，信號的所有參量向量組成的集合稱為參量空間，記作。（2）判決空間對于信號參量估計，判決空間一般取參量空間，即。4．信號參量估計所需的信息信號參量估計所需的信息是指未知信號、噪聲以及信息傳輸系統(tǒng)的統(tǒng)計特性，也就是貝葉斯統(tǒng)計決策所需的信息，包括先驗信息、抽樣信息和損失信息。1）先驗信息對于信號參量估計問題，先驗信息就是可以事先確定的信息源和發(fā)送設(shè)備發(fā)送信號的參量向量的聯(lián)合概率密度，稱為先驗概率密度。2）似然函數(shù)對于接收信號，如果發(fā)送設(shè)備發(fā)送的信號是具有未知參量信號（信號形式已知），則接收設(shè)備接收信號的概率分布形式與噪聲的概率分布形式相同，只是概率分布的參數(shù)不相同。將接收信號看作總體，知道了信道噪聲的概率分布形式，也就知道了接收設(shè)備所接收信號的總體分布。設(shè)信道噪聲的概率密度為，以信號參量向量為條件的接收信號的條件分布為（8.3.2）條件分布就是似然函數(shù)，它是對接收信號統(tǒng)計特性的描述，是接收信號觀測樣本信息與接收的信號總體信息的綜合反映。似然函數(shù)也就是抽樣信息。3）損失信息損失信息就是信號參量估計系統(tǒng)作出正確或錯誤判決的代價函數(shù)，表示信號參量估計系統(tǒng)所作決策的正確程度。設(shè)發(fā)送設(shè)備發(fā)送信號的真實參量為，而信號參量估計系統(tǒng)將信號參量估計為，定義信號參量估計系統(tǒng)為此付出的代價為代價函數(shù)。真實參量與估計量之差稱為估計誤差。一般選用的代價函數(shù)與估計誤差有關(guān)。即，而且誤差越大，代價越大。代價函數(shù)應(yīng)為非負函數(shù)、凹函數(shù)、在估計誤差時達到最小值，并且是誤差絕對值的非減函數(shù)，是關(guān)于的對稱函數(shù)。4）典型代價函數(shù)常用的典型代價函數(shù)有：誤差平方代價函數(shù)、誤差絕對值代價函數(shù)及均勻代價函數(shù)。（1）誤差平方代價函數(shù)的數(shù)學(xué)表示式為（8.3.3）誤差平方代價函數(shù)的圖形如圖8.3（2）誤差絕對值代價函數(shù)的數(shù)學(xué)表示式為（8.3.4）誤差絕對值代價函數(shù)的圖形如圖8.3（3）均勻代價函數(shù)的數(shù)學(xué)表示式為（8.3.5）式中：為正的常數(shù)。均勻代價函數(shù)的圖形如圖8.3.4圖圖8.3.2圖8.3.3圖8.3.45．信號參量估計的準(zhǔn)則信號參量估計的準(zhǔn)則就是使估計量達到最佳的標(biāo)準(zhǔn)。信號參量估計問題是一個最優(yōu)化問題。6．信號參量估計的估計量信號參量的估計量就是滿足一定最佳準(zhǔn)則的從觀測空間到判決空間上的一個映射或函數(shù)，7．估計量的性能評價對于同一個參量向量，可以有許多不同的估計量或有許多不同的估計方法，需要對估計量性能進行評價。8．設(shè)計信號參量估計系統(tǒng)框圖在滿足估計性能要求的情況下，依據(jù)估計量的數(shù)學(xué)表示式，設(shè)計信號參量估計系統(tǒng)的系統(tǒng)模型，并畫出系統(tǒng)框圖。9．設(shè)計信號參量估計系統(tǒng)的步驟一是確定信號參量估計所需的已知條件；二是尋求一種準(zhǔn)則下的估計量；三是評估估計量的性能；四是設(shè)計信號參量估計系統(tǒng)框圖。8.3.●內(nèi)容提要：本小節(jié)首先討論應(yīng)用貝葉斯統(tǒng)計決策方法的信號參量估計的一般方法，即信號參量貝葉斯估計；然后將代價函數(shù)分別取為誤差平方代價函數(shù)、誤差絕對值代價函數(shù)及均勻代價函數(shù)，討論最小均方誤差估計、條件中值估計及最大后驗估計?！耜P(guān)鍵點：理解和掌握風(fēng)險函數(shù)及貝葉斯風(fēng)險的構(gòu)造方法，掌握使貝葉斯風(fēng)險最小的方法。理解和掌握最小均方誤差估計、條件中值估計及最大后驗估計。1．一般貝葉斯估計（1）信號參量貝葉斯估計：采用貝葉斯統(tǒng)計決策的理論和方法的信號參量估計，常簡稱為貝葉斯估計。（2）貝葉斯估計的準(zhǔn)則：使貝葉斯風(fēng)險最小的準(zhǔn)則。（3）貝葉斯估計所需的使用條件發(fā)送信號的參量向量的先驗概率密度，反映接收信號統(tǒng)計特性的似然函數(shù)，描述參量估計所產(chǎn)生代價或損失的代價函數(shù)。（4）風(fēng)險函數(shù)估計量的風(fēng)險函數(shù)是代價函數(shù)對似然函數(shù)的統(tǒng)計平均，即（8.3.6）（5）貝葉斯風(fēng)險貝葉斯風(fēng)險是風(fēng)險函數(shù)對參量向量的先驗概率密度的統(tǒng)計平均，即（8.3.7）式中：表示在給定觀測信號條件下，待估參量向量的條件概率密度，即參量向量的后驗概率密度。（6）貝葉斯估計貝葉斯估計就是選擇估計量使貝葉斯風(fēng)險達到最小。它是把貝葉斯風(fēng)險作為目標(biāo)函的無約束條件的最優(yōu)化問題；通過求解最優(yōu)化問題，推導(dǎo)出貝葉斯估計的估計量。貝葉斯風(fēng)險最小等價于使條件貝葉斯風(fēng)險最小，即使（8.3.8）最小。式中：稱為條件貝葉斯風(fēng)險，或稱為條件平均代價。它表示在觀測向量已知條件下的貝葉斯風(fēng)險或平均代價。將條件貝葉斯風(fēng)險對求偏導(dǎo)并等于0，就能求得參量向量的貝葉斯估計量。即（8.3.9）2．最小均方誤差估計（1）最小均方誤差估計：是使估計誤差平方的統(tǒng)計平均達到最小的估計。它是代價函數(shù)為誤差平方代價函數(shù)的貝葉斯估計。（2）最小均方誤差估計的貝葉斯風(fēng)險對于單參量估計的情況，如果選用誤差平方代價函數(shù)，信號參量估計的貝葉斯風(fēng)險為（8.3.10）它實際是估計量對真實參量的均方誤差。最小均方誤差估計的條件貝葉斯風(fēng)險為（8.3.11）（3）最小均方誤差估計的估計量最小均方誤差估計量應(yīng)滿足如下方程（8.3.12）最小均方誤差估計量為（8.3.13）它是參量對后驗概率密度函數(shù)的均值。對于由個參量組成的參量向量，誤差平方代價函數(shù)為（8.3.14）條件貝葉斯風(fēng)險為（8.3.15）最小均方誤差估計量應(yīng)滿足如下方程（8.3.16）求解聯(lián)立方程，就可以同時獲得個參量的估計向量。3．條件中值估計對于單參量估計的情況，如果選用誤差絕對值代價函數(shù)，條件貝葉斯風(fēng)險為（8.3.17）貝葉斯估計應(yīng)滿足，故有（8.3.18）即估計量是條件分布的條件中值或條件中位數(shù)，故稱為條件中值估計，或稱為條件中位數(shù)估計，條件中值記為。對于由個參量組成的參量向量，誤差絕對值代價函數(shù)為（8.3.19）貝葉斯風(fēng)險為（8.3.20）相應(yīng)的條件貝葉斯風(fēng)險為（8.3.21）貝葉斯估計量應(yīng)滿足如下方程（8.3.22）求解聯(lián)立方程，就可以同時獲得個參量的估計向量。4．最大后驗估計（1）最大后驗估計是使后驗概率密度函數(shù)最大的估計，最大后驗估計量記為。它是代價函數(shù)為均勻代價函數(shù)的貝葉斯估計。（2）最大后驗估計所需的已知條件有：發(fā)送信號的參量向量的先驗概率密度，接收信號的似然函數(shù)。（3）最大后驗估計方程對于單參量估計的情況，最大后驗估計方程為（8.3.23）和（8.3.24）或（8.3.25）對于由個參量組成的參量向量，最大后驗估計方程組為（8.3.26）或（8.3.27）8.3.4最大似然估計●內(nèi)容提要：本小節(jié)主要討論最大似然估計的準(zhǔn)則、使用條件及方法?！耜P(guān)鍵點：理解最大似然估計概念，熟悉最大似然估計的使用條件，掌握最大似然估計的方法。掌握最大似然估計的不變性原理。（1）最大似然估計是使似然函數(shù)最大的估計，最大似然估計量記為。（2）最大似然估計的使用條件是：接收信號的似然函數(shù)。（3）最大似然估計方程對于單參量估計的情況，最大似然估計方程是（8.3.28）或（8.3.29對于由個參量組成的參量向量，最大似然估計方程組為（8.3.30或（8.3.31）（4）最大似然估計的不變性原理最大似然估計具有不變性：如果是的最大似然估計，且，則的最大似然估計為。也就是說，用原始參量的最大似然估計量替換變換關(guān)系中的參量，可以求出變換后的參量的最大似然估計量。最大似然估計的這個性質(zhì)稱為不變性。8.3.5估計量的性能指標(biāo)●內(nèi)容提要：本小節(jié)主要討論衡量估計量性能優(yōu)劣的指標(biāo)，評價估計量的性能指標(biāo)主要有4個：無偏性、有效性、一致性及充分性?！耜P(guān)鍵點：理解和熟悉評價估計量的性能指標(biāo)：無偏性、有效性、一致性及充分性。1．評價估計量的性能指標(biāo)（1）估計量的性能指標(biāo)：用衡量估計量性能優(yōu)劣的標(biāo)準(zhǔn)。（2）評價估計量的性能指標(biāo)主要有4個：無偏性、有效性、一致性及充分性。2．無偏性（1）非隨機參量的無偏性對于非隨機參量，如果估計量滿足，則估計量稱為的無偏估計量。（2）隨機參量的無偏性對于隨機參量，如果估計量滿足，則估計量稱為的無偏估計量。（3）非隨機參量的漸近無偏性對于非隨機參量，如果估計量是根據(jù)有限次觀測量構(gòu)造的，且滿足，則估計量稱為的漸近無偏估計量。（4）隨機參量的漸近無偏性對于隨機參量，如果估計量是根據(jù)有限次觀測量構(gòu)造的，且滿足，則估計量稱為的漸近無偏估計量。（5）無偏性的意義：保證估計量分布在被估計參量或被估計參量的均值附近。3．有效性（1）有效性是指估計量能否具有最小方差，具有最小方差的估計量稱為有效估計量。（2）有效性的意義：保證估計量具有最小的誤差。誤差越小，越有效。4．一致性（1）一致估計量對于任意小的正數(shù)，如果估計量滿足，則估計量稱為一致（概率收斂的）估計量。（2）均方一致估計量如果估計量的均方誤差滿足，則估計量稱為均方一致（均方收斂的）估計量。（3）一致性的意義：估計量是收斂的，并以概率或均方誤差收斂于被估計量的真值或均值。5．充分性（1）充分估計量對于觀測數(shù)據(jù)，如果被估計量的估計量使得似然函數(shù)分解成則估計量稱為充分估計量。式中：是通過才與有關(guān)的函數(shù)，并且以為參量，即只是和的函數(shù)；函數(shù)只是的函數(shù)，與參量無關(guān)。函數(shù)可以是估計量的概率密度函數(shù)。（2）充分估計量的意義：充分估計量比其他估計量能夠提供更多的有關(guān)參量的信息，或者說，充分估計量體現(xiàn)了含在觀測數(shù)據(jù)中有關(guān)參量的全部有用信息。8.3●內(nèi)容提要：本小節(jié)主要說明克拉美-羅不等式意義和作用，針對單個非隨機參量、單個隨機參量、單個非隨機參量函數(shù)、非隨機參量向量、隨機參量向量及非隨機參量向量函數(shù)的估計，分別討論了相應(yīng)的克拉美-羅不等式。以單個非隨機參量估計的克拉美-羅不等式為代表，重點討論?！耜P(guān)鍵點：理解和熟悉克拉美-羅不等式意義和作用，掌握不同類型的克拉美-羅不等式及使用條件。熟悉單個非隨機參量和單個隨機參量估計的克拉美-羅不等式的推導(dǎo)方法。1．克拉美-羅不等式意義和作用（1）克拉美-羅不等式的意義在于說明：任何估計量都存在一個方差或均方誤差下限。（2）克拉美-羅下限作用：求有效估計量的方差或均方誤差。2．單個非隨機參量情況的克拉美-羅不等式定理1：設(shè)是單個非隨機參量的任意無偏估計量，為似然函數(shù)，則估計量的方差滿足（8.3.32）或（8.3.33）當(dāng)且僅當(dāng)對所有的和都滿足（8.3.34）時，兩個不等式的等號成立。其中，可以是的函數(shù)，但不能是的函數(shù)，也可以是任意非0常數(shù)。兩個不等式稱為單個非隨機參量情況的克拉美-羅不等式?？死?羅不等式的右端是無偏估計量的方差下限，稱為克拉美-羅下限或克拉美-羅下界。證明：由于是單個非隨機參量的任意無偏估計量，有通過對上式兩邊求偏導(dǎo)，得到進一步由上式得到利用施瓦茲不等式，得到單個非隨機參量情況的不等式克拉美-羅不等式的第一種形式。通過對下式兩邊求2次偏導(dǎo)，得到于是有將上式代入克拉美-羅不等式的第一種形式，就可得到克拉美-羅不等式的另一種形式。3．單個隨機參量情況的克拉美-羅不等式定理2：設(shè)是單個隨機參量的任意無偏估計量，為觀測信號與待估隨機參量的聯(lián)合概率密度，則估計量的均方誤差滿足（8.3.35）或（8.3.36）當(dāng)且僅當(dāng)對所有的和都滿足（8.3.37）時，兩個不等式的等號成立。式中，為任意非0常數(shù)。兩個不等式稱為單個隨機參量情況的克拉美-羅不等式?？死?羅不等式的右端是無偏估計量的均方誤差下限，稱為克拉美-羅下限。4．關(guān)于單個參量情況的克拉美-羅不等式的討論（1）任何單個待估計參量，它的有效估計量并不一定總存在。（2）當(dāng)有效估計量存在時，此有效估計量的方差或均方誤差就是克拉美-羅下限。（3）對于單個非隨機參量，當(dāng)有效估計量存在時，有效估計量等于最大似然估計。（4）對于單個隨機參量，當(dāng)有效估計量存在時，有效估計量等于最大后驗估計。（5）有效估計量一定是建立在無偏的基礎(chǔ)上的。（6）只有無偏的和有效的估計量，其估計的方差或均方誤差才能達到克拉美-羅下限，并可通過計算克拉美-羅下限求得該估計量的方差或均方誤差。5．單個非隨機參量函數(shù)情況的克拉美-羅不等式定理3：設(shè)單個非隨機參量的函數(shù)，其估計量是的任意無偏估計量，為似然函數(shù)，則估計量的方差滿足（8.3.38）或（8.3.39當(dāng)且僅當(dāng)對所有的和都滿足（8.3.40）時，兩個不等式的等號成立。其中，可以是的函數(shù)，但不能是的函數(shù)，也可以是任意非0常數(shù)。兩個不等式稱為單個非隨機參量函數(shù)情況的克拉美-羅不等式?？死?羅不等式的右端是無偏估計量的方差下限，稱為克拉美-羅下限。6．非隨機參量向量情況的克拉美-羅不等式定理4：設(shè)是非隨機參量向量的任意無偏估計向量，為似然函數(shù)，如果是被估計的非隨機參量向量的第個參量的任意無偏估計量，則估計量的方差滿足（8.3.41）式中：是階矩陣的第行第列元素。矩陣的第行第列元素為（8.3.42）矩陣通常稱為費希爾（Fisher）信息矩陣，它表示從觀測數(shù)據(jù)中獲得的信息。當(dāng)且僅當(dāng)對所有的和都滿足（8.3.43）時，不等式的等號成立。不等式就是非隨機參量向量情況的克拉美-羅不等式，不等式的右邊就是克拉美-羅下限。如果對于維非隨機參量向量的任意無偏估計向量中的每一個參量，不等式的等號均成立，那么這種估計稱為聯(lián)合有效估計。所以，是的方差的下限，即克拉美-羅下限。7．隨機參量向量情況的克拉美-羅不等式定理5：設(shè)是隨機參量向量的任意無偏估計向量，為似然函數(shù)，如果是被估計的隨機參量向量的第個參量的任意無偏估計量，則估計量的均方誤差滿足（8.3.44）式中：是階矩陣的第行第列元素。為信息矩陣。矩陣的第行第列元素為（8.3.45）矩陣的第行第列元素為（8.3.46）當(dāng)且僅當(dāng)對所有的和都滿足（8.3.47）時，不等式的等號成立。不等式就是隨機參量向量情況的克拉美-羅不等式，不等式的右邊就是克拉美-羅下限。8．非隨機參量向量函數(shù)情況的克拉美-羅不等式對于由維非隨機參量向量，如果估計維向量的維函數(shù)，這就是非隨機參量向量函數(shù)的估計問題。定理6：設(shè)維非隨機參量向量，向量的維函數(shù)，是非隨機參量向量函數(shù)的任意無偏估計向量，為似然函數(shù)，如果是被估計向量的第個參量的任意無偏估計量，則估計量的方差滿足（8.3.48）式中：是矩陣的第行第列元素。矩陣為（8.3.49）當(dāng)且僅當(dāng)對所有的和都滿足（8.3.50）時，不等式的等號成立。不等式就是非隨機參量向量函數(shù)情況的克拉美-羅不等式，不等式的右邊就是克拉美-羅下限。8.3.7線性最小均方誤差估計●內(nèi)容提要：本小節(jié)首先介紹線性最小均方誤差估計的概念，然后分別討論單個參量和參量向量的線性最小均方誤差估計，最后討論線性最小均方誤差估計的性質(zhì)?！耜P(guān)鍵點：理解線性最小均方誤差估計的概念，掌握線性最小均方誤差估計方法，熟悉線性最小均方誤差估計的性質(zhì)。1．線性最小均方誤差估計的概念（1）估計量是觀測量的線性函數(shù)，并以均方誤差最小為準(zhǔn)則的估計稱為線性最小均方誤差估計。（2）線性最小均方誤差估計需要已知觀測信號和被估計參量的前二階矩。（3）線性最小均方誤差估計量具有正交性質(zhì)：估計的誤差向量與觀測向量正交，這一正交性質(zhì)常稱為正交原理。（4）最小均方誤差估計是一種最佳估計，而線性最小均方誤差估計是一種準(zhǔn)最佳估計。與最小均方誤差估計相比較，線性最小均方誤差估計的性能稍差些。2．單個參量的單次觀測情況設(shè)單個被估計參量為，一次觀測得到的數(shù)據(jù)為，對的估計量是觀測量的線性函數(shù)，即（8.3.51式中：，為常系數(shù)。線性最小均方誤差估計就是使（8.3.52最小。式中：為估計誤差。線性最小均方誤差估計的系數(shù)為（8.3.53）（8.3.54）式中：是被估計參量的均值；是觀測數(shù)據(jù)的均值；是觀測數(shù)據(jù)的方差，即；為和的協(xié)方差，即（8.3.55）線性最小均方誤差估計的估計量為（8.3.56）最小均方誤差為（8.3.57）當(dāng)與的聯(lián)合概率密度為高斯分布時，線性最小均方誤差估計與最小均方誤差估計一致。3．單個參量的多次觀測情況設(shè)單個被估計參量為，次觀測得到的數(shù)據(jù)為，對的估計量是觀測數(shù)據(jù)的線性函數(shù)，即（8.3.58）式中：為常系數(shù)。線性最小均方誤差估計就是使（8.3.59）最小。式中：為估計誤差。線性最小均方誤差估計的系數(shù)是下列方程組的解（8.3.60）（8.3.61）式中：是觀測數(shù)據(jù)的均值。4．參量向量的線性最小均方誤差估計設(shè)被估計參量向量為，次觀測得到的數(shù)據(jù)為，觀測數(shù)據(jù)組成觀測向量為，對的估計量是觀測向量的線性函數(shù)，即（8.3.62）式中：為階的常數(shù)矩陣；為行常數(shù)向量。定義估計誤差向量為。線性最小均方誤差估計就是使（8.3.63）最小。式中：為估計誤差向量。線性最小均方誤差估計的矩陣和向量為（8.3.64）（8.3.65）式中：是被估計參量向量的均值；是觀測向量的均值；是觀測向量的協(xié)方差矩陣；為和的互協(xié)方差矩陣。協(xié)方差矩陣和互協(xié)方差矩陣的表示式為（8.3.66）（8.3.67）線性最小均方誤差估計的估計量為（8.3.68）5．線性最小均方誤差估計的性質(zhì)（1）線性最小均方誤差估計的估計量是觀測量的線性函數(shù)。（2）線性最小均方誤差估計只需要已知觀測量和被估計參量的前二階矩。（3）線性最小均方誤差估計的估計量是無偏估計量。（4）線性最小均方誤差估計的估計量具有正交性質(zhì)：即估計誤差與觀測量正交。（5）當(dāng)觀測量與被估計參量的聯(lián)合概率密度為高斯分布時，線性最小均方誤差估計與最小均方誤差估計一致。（6）線性最小均方誤差估計的估計量在線性變換上的可轉(zhuǎn)換性。（7）線性最小均方誤差估計的估計量的可疊加性。8.3.7●內(nèi)容提要：本小節(jié)首先介紹最小二乘估計的概念及準(zhǔn)則，然后分別討論單個參量的線性最小二乘估計和參量向量的線性最小二乘估計，最后討論加權(quán)線性最小二乘估計。●關(guān)鍵點：理解最小二乘估計的概念及，熟悉最小二乘估計的準(zhǔn)則，掌握單個參量的線性最小二乘估計、參量向量的線性最小二乘估計和加權(quán)線性最小二乘估計。1．最小二乘估計的概念（1）最小二乘估計：使信號模型的觀測數(shù)據(jù)與真實數(shù)值誤差平方和達到最小的一種估計方法。（2）最小二乘估計的使用條件：含有被估計參量的信號模型已知，觀測數(shù)據(jù)和被估計參量的任何統(tǒng)計知識均未知。（3）信號模型：信號與被估計參量的關(guān)系式。（4）觀測數(shù)據(jù)：信號模型的觀測值，它等于信號模型加上觀測誤差（或噪聲）。（5）最小二乘估計可分為線性最小二乘估計和非線性最小二乘估計。（6）線性最小二乘估計：信號模型是線性函數(shù)（信號是被估計參量的線性函數(shù)）的最小二乘估計。（7）非線性最小二乘估計：信號模型是非線性函數(shù)（信號是被估計參量的非線性函數(shù)）的最小二乘估計。2．最小二乘估計準(zhǔn)則對于單個被估計參量，設(shè)信號模型為，如果對信號進行了次觀測得到觀測量，被估計參量的最小二乘估計是使（8.3.69）達到最小，相應(yīng)的估計量記為。最小二乘估計的準(zhǔn)則是使誤差的平方和達到最小的估計。對于被估計參量向量，設(shè)信號模型為，對信號進行（）次觀測得到的數(shù)據(jù)為，觀測數(shù)據(jù)組成觀測向量為，被估計參量向量的最小二乘估計使（8.3.70）達到最小，相應(yīng)的估計向量記為。式中：為誤差向量。3．單個參量的線性最小二乘估計對于單個被估計參量，設(shè)線性信號模型為（8.3.71）式中：是已知的觀測