第二講估計方法

第二講估計方法演示文稿現(xiàn)在是1頁\一共有62頁\編輯于星期二優(yōu)選第二講估計方法現(xiàn)在是2頁\一共有62頁\編輯于星期二測量平差過程示意圖

觀測值數(shù)學模型平差估計準則？法方程平差值精度評定現(xiàn)在是3頁\一共有62頁\編輯于星期二1、觀測有誤差，且呈現(xiàn)偶然性。2、不考慮參數(shù)的先驗統(tǒng)計特性；只顧及觀測值的先驗統(tǒng)計特性。函數(shù)模型：2）隨機模型：估計準則：1）函數(shù)模型：3）平差準則：應用前提：現(xiàn)在是4頁\一共有62頁\編輯于星期二廣義測量平差：1）經(jīng)典平差是假定沒有模型誤差的。但實際問題中，模型誤差總是存在的。如：函數(shù)模型中存在系統(tǒng)誤差和粗差；隨機模型中方差或協(xié)方差不準確等。另隨機模型是奇異陣等。2）經(jīng)典平差是認為未知參數(shù)是非隨機量（或不考慮其先驗統(tǒng)計特性），而實際中有些參數(shù)的先驗統(tǒng)計特性是已知的(如GPS復測網(wǎng)，形變監(jiān)測網(wǎng)的平差中。以上這些問題均需要按廣義測量平差的方法來解決?，F(xiàn)在是5頁\一共有62頁\編輯于星期二測量平差由含有誤差的觀測值按一定準則求未知參數(shù)X的估值參數(shù)分為：非隨機參數(shù)隨機參數(shù)隨機參數(shù)和非隨機參數(shù)最小二乘估計、極大似然估計極大驗后估計、最小方差估計,極等這類平差即經(jīng)典平差這類平差稱“濾波、推估“廣義最小二乘原理這類平差稱”配置“現(xiàn)在是6頁\一共有62頁\編輯于星期二估計對函數(shù)模型的估計對隨機模型的估計方差分量估計觀測只含有偶然誤差觀測含有系統(tǒng)誤差觀測含有粗差附加系統(tǒng)參數(shù)的估計穩(wěn)健估計最小二乘估計對系統(tǒng)“狀態(tài)”參數(shù)的估計卡爾曼濾波現(xiàn)在是7頁\一共有62頁\編輯于星期二總體樣本統(tǒng)計量描述作出推斷在參數(shù)估計問題中：假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù)。隨機抽樣（觀測值）（分布）（估計準則）參數(shù)估計問題是：利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù)。現(xiàn)在是8頁\一共有62頁\編輯于星期二本章介紹一下三個內(nèi)容：1、多維正態(tài)分布以及條件概率密度；2、估計方法；3、廣義最小二乘準則（估計準則推廣）。可見，根據(jù)觀測值分布推斷（估計準則）。現(xiàn)在是9頁\一共有62頁\編輯于星期二第一章估計方法和廣義測量平差原理本章主要內(nèi)容：多維正態(tài)分布；極大似然估計（對非隨機參數(shù)或隨機參數(shù)進行估計）；最小二乘估計（非隨機參數(shù)）；極大驗后估計（對隨機參數(shù)進行估計）；最小方差估計（隨機參數(shù)）；廣義測量平差原理?，F(xiàn)在是10頁\一共有62頁\編輯于星期二1-1、概述為了確定平面或三維控制網(wǎng)中各點坐標，對控制網(wǎng)的邊長和方向進行觀測（觀測包含誤差）。未知參數(shù)向量（坐標）X與觀測向量（邊長、方向）L之間有函數(shù)關(guān)系：衛(wèi)星（或其它運動體）的軌道往往可以由如下的微分方程確定式中ｔ表示時間；X（t）表示衛(wèi)星的軌道參數(shù)，稱為狀態(tài)向量；U（t）稱為控制向量；Ω（t）是隨機的狀態(tài)噪聲。L(t）為觀測值?，F(xiàn)在是11頁\一共有62頁\編輯于星期二可以看出：以上的例子，都存在一個對未知參數(shù)進行估計的問題。根據(jù)含有誤差的觀測向量，依一定的數(shù)學模型，按一定的準則，求未知參數(shù)，在數(shù)理統(tǒng)計中稱為參數(shù)估計，在測量中稱為平差。由于觀測向量含有誤差，而且觀測個數(shù)有限，因此不能求得參數(shù)的真值，只能求出參數(shù)的估值，這就“參數(shù)估計”名稱的由來?，F(xiàn)在是12頁\一共有62頁\編輯于星期二

所謂的估計問題，就是根據(jù)含有誤差△的觀測值L，構(gòu)造一個函數(shù)，使成為未知參數(shù)向量X的最佳估計量，其具體數(shù)值稱為最佳估值。通常，簡記為。估計誤差：經(jīng)典最小二乘平差中，習慣上用估值（平差值）的方差衡量精度(參數(shù)非隨機）；而估計理論中，通常是用估計量的誤差方差來衡量其精度的?，F(xiàn)在是13頁\一共有62頁\編輯于星期二由估計理論知道，最優(yōu)估計量應具有以下幾個性質(zhì)：一致性.（當觀測個數(shù)無限增加時，估計量向被估參數(shù)趨近的概率等于1）無偏性.（估計量的數(shù)學期望等于被估計量的數(shù)學期望）有效性.（由觀測量得到的無偏估計量的誤差方差最?。┈F(xiàn)在是14頁\一共有62頁\編輯于星期二主要的估計方法有:極大似然估計；最小二乘估計；極大驗后估計；最小方差估計；線性最小方差估計；貝葉斯估計等。概率統(tǒng)計中的估計理論是廣義測量平差的理論基礎(chǔ)?，F(xiàn)在是15頁\一共有62頁\編輯于星期二1-2多維正態(tài)分布正態(tài)分布是測量平差理論中最常用的分布，是最小二乘平差誤差理論的基礎(chǔ)。1、一維正態(tài)分布

服從正態(tài)分布的一維隨機變量X的概率密度為：或常寫成：現(xiàn)在是16頁\一共有62頁\編輯于星期二2、多維正態(tài)分布的定義和性質(zhì)1）多維正態(tài)隨機變量：設(shè)有ｍ個互相獨立的標準正態(tài)隨機變量構(gòu)成的隨機變量它們的有限個線性函數(shù)則稱X為ｎ維正態(tài)隨機變量。現(xiàn)在是17頁\一共有62頁\編輯于星期二2）多維正態(tài)分布定義：n維正態(tài)隨機變量X的數(shù)學期望、方差陣為X的分布函數(shù)、概率密度都稱為ｎ維正態(tài)分布。3）多維正態(tài)分布性質(zhì)：正態(tài)隨機向量的線性函數(shù)還是正態(tài)的.現(xiàn)在是18頁\一共有62頁\編輯于星期二對多維正態(tài)隨機變量X：現(xiàn)在是19頁\一共有62頁\編輯于星期二3、多維正態(tài)分布

n維正態(tài)隨機向量X的聯(lián)合概率密度設(shè)有維正態(tài)隨機向量：則它的概率密度為：現(xiàn)在是20頁\一共有62頁\編輯于星期二二維正態(tài)隨機向量[XY]T，其概率密度為：當X與Y是互不相關(guān)的兩個正態(tài)隨機變量時：現(xiàn)在是21頁\一共有62頁\編輯于星期二4、正態(tài)隨機向量的條件概率密度條件期望、條件方差現(xiàn)在是22頁\一共有62頁\編輯于星期二1-3極大似然估計看一例：某位同學與一位獵人一起外出打獵，一只野兔從前方竄過．只聽一聲槍響，野兔應聲到下，如果要你推測，這一發(fā)命中的子彈是誰打的？你就會想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學命中的概率，看來這一槍是獵人射中的．這個例子所作的推斷就體現(xiàn)了極大似然法的基本思想?，F(xiàn)在是23頁\一共有62頁\編輯于星期二極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結(jié)果A，B，C，…。若在一次試驗中，結(jié)果A出現(xiàn)，則一般認為試驗條件對A出現(xiàn)有利，也即A出現(xiàn)的概率很大。現(xiàn)在是24頁\一共有62頁\編輯于星期二設(shè)有參數(shù)向量X（可以是非隨機量，也可以是隨機向量），為了估計X，進行了ｎ次觀測，得到觀測向量L的觀測值，又假定對X的所有可能取值為，在的條件下得到的觀測向量L的條件概率密度為。如果是中的一個，而是中的最大值，那么，是X的準確值的可能性最大?，F(xiàn)在是25頁\一共有62頁\編輯于星期二此時把叫做X的極大似然估值，并記作。也就是說：極大似然估計是以為準則求最佳估值的方法。也可以說：極大似然估計的出發(fā)點是基于這樣一個統(tǒng)計原理，在一次隨機試驗中，某一事件已經(jīng)發(fā)生，比如已經(jīng)得到某個具體的樣本，則必然認為發(fā)生該事件的概率最大。現(xiàn)在是26頁\一共有62頁\編輯于星期二顯然，它滿足于由于對數(shù)是單調(diào)增加函數(shù)，故在相同的值達到最大，即下兩式是等價的：上兩方程稱為似然方程，稱為似然函數(shù)，而稱為對數(shù)似然函數(shù)。等價現(xiàn)在是27頁\一共有62頁\編輯于星期二當f(l/x)是正態(tài)條件概率密度時,有則似然方程等價于帶入條件期望、條件方差即得參數(shù)估值現(xiàn)在是28頁\一共有62頁\編輯于星期二求極大似然函數(shù)估計值的一般步驟：

（1）寫出（構(gòu)造）似然函數(shù)；

（2）對似然函數(shù)取對數(shù)，并整理；

（3）求導數(shù)；

（4）解似然方程?，F(xiàn)在是29頁\一共有62頁\編輯于星期二例現(xiàn)在是30頁\一共有62頁\編輯于星期二現(xiàn)在是31頁\一共有62頁\編輯于星期二1-4最小二乘估計從總體中抽出的樣本觀測值與總體平均數(shù)是有差異的，這種差異屬于抽樣誤差。因而，在總體平均數(shù)估計時要盡可能地降低這種誤差，使總體平均數(shù)估計值盡可能好。參數(shù)估計的最小二乘法就是基于這種考慮提出的。

現(xiàn)在是32頁\一共有62頁\編輯于星期二基本思想：是使誤差平方和最小，達到在誤差之間建立一種平衡，以防止某一極端誤差對決定參數(shù)的估計值起支配地位。這有助于揭示更接近真實的狀況。具體方法：是為使誤差平方和Q為最小，可通過求Q對待估參數(shù)的偏導數(shù)，并令其等于0，以求得參數(shù)估計量?，F(xiàn)在是33頁\一共有62頁\編輯于星期二設(shè)被估計量（未知的參數(shù)向量）為X，觀測向量為L，觀測誤差為△，觀測方程為：

設(shè)X的估值為，并記：所謂的最小二乘估計，就是要求所求得的估值使下列二次型達到最小值，即：則稱為X的最小二乘估值記為?，F(xiàn)在是34頁\一共有62頁\編輯于星期二最小二乘估計是測量中求參數(shù)估計最普遍、最主要的方法，在其它學科領(lǐng)域中也有廣泛的應用，主要原因：數(shù)理統(tǒng)計觀點-需要觀測向量的驗前統(tǒng)計信息最少；數(shù)學觀點-提供了最優(yōu)的解一組多余觀測的線性代數(shù)方程的方法；數(shù)值計算角度-最小二乘導出法方程組是一線性代數(shù)方程組，其系數(shù)矩陣是對稱的。現(xiàn)在是35頁\一共有62頁\編輯于星期二但要保證最小二乘估計求出估值是最優(yōu)估值，要求：即：1、表示L中不含系統(tǒng)誤差和粗差；2、權(quán)陣P應由L或△的協(xié)方差確定(這時，X必需是非隨機參數(shù)，否則不會相等的?。，F(xiàn)在是36頁\一共有62頁\編輯于星期二極大似然法與最小二乘估計兩種常用方法的比較：極大似然估計：極大似然法要求已知總體的分布，才能獲得估計量；參數(shù)可以是隨機的，也可是非隨機的。最小二乘估計：最小二乘估計方法對分布沒有嚴格的要求，無論哪種統(tǒng)計分布，均可進行估計；參數(shù)是非隨機的?，F(xiàn)在是37頁\一共有62頁\編輯于星期二1-5極大驗后估計極大驗后估計則是以為準則的估計方法。[

隨機參數(shù)向量X在的條件下的條件概率密度]一般用

表示由極大驗后估計得到的最佳估值，并稱之為極大驗后估值。同理，下方程：

稱之為驗后方程?，F(xiàn)在是38頁\一共有62頁\編輯于星期二例：設(shè)有觀測值觀測方程為，其中參數(shù)X與觀測誤差△均為相互獨立的正態(tài)隨機變量,且有,試求X的極大驗后估值。解：現(xiàn)在是39頁\一共有62頁\編輯于星期二當X和L均為正態(tài)隨機向量時，此時條件概率密度為：其中：則極大驗后準則等價于現(xiàn)在是40頁\一共有62頁\編輯于星期二求一階偏導數(shù)，并令其等于零，得：故，極大驗后估值為：由協(xié)方差傳播律可得，估值的誤差方差陣為：其中：現(xiàn)在是41頁\一共有62頁\編輯于星期二（極大驗后估值、估值的估計誤差方差）例：如果X和L有如下的觀測方程則帶入驗后估值公式可得：現(xiàn)在是42頁\一共有62頁\編輯于星期二不難看出：極大驗后估計考慮了參數(shù)的X的先驗統(tǒng)計特性，改善了最小二乘估計，故估值的精度比最小二乘估值的精度要高?，F(xiàn)在是43頁\一共有62頁\編輯于星期二1-6最小方差估計最小方差估計：是一種以估計誤差的方差為最小作為準則的估計方法，即根據(jù)觀測向量L求參數(shù)X的估值，如果它的誤差方差比任何其它估值的方差小，就認為這個估值是最優(yōu)估值。記X的最小方差估值為?，F(xiàn)在是44頁\一共有62頁\編輯于星期二估計誤差為誤差方差陣為當時候的就是最小方差估值參數(shù)的最小方差估值為：現(xiàn)在是45頁\一共有62頁\編輯于星期二不難看出：極大似然估計、極大驗后估計、最小方差估計，均要知道觀測向量或未知參數(shù)向量的條件概率密度（或聯(lián)合概率密度），所得到的估計量可以是L的任意函數(shù)；最小二乘估計不需要知道任何統(tǒng)計性質(zhì)，所得到的估計量是L的線性函數(shù)。現(xiàn)在是46頁\一共有62頁\編輯于星期二1-7線性最小方差估計線性最小方差估計是放寬對概率密度的要求，只要求已知L和X的數(shù)學期望、方差、協(xié)方差，以及限定所求的估計量是所求觀測向量L的線性函數(shù)，再以估計量的均方誤差達到極小為最優(yōu)估計量的準則。這樣得到的估計量稱為線性最小方差估計量，并記為?，F(xiàn)在是47頁\一共有62頁\編輯于星期二線性最小方差估計量為：當X、L的聯(lián)合概率密度是正態(tài)時，X的線性最小方差估計量就等于最小方差估計量，也等于其極大驗后估計量?，F(xiàn)在是48頁\一共有62頁\編輯于星期二1-9廣義測量平差原理各種估計方法的關(guān)系1)對正態(tài)分布，極大驗后估計、最小方差估計、線性最小方差估計得到的結(jié)果相同；2)在一定情況下，可由極大似然估計導出最小二乘估計;3)極大驗后估計和最小方差估計是貝葉斯估計的兩種形式.故，本節(jié)討論極大似然估計、極大驗后估計、最小二乘估計關(guān)系。

現(xiàn)在是49頁\一共有62頁\編輯于星期二廣義測量平差的估計方法分為兩大類:對非隨機參數(shù)進行估計的最小二乘估計和極大似然估計；對隨機參數(shù)進行估計的極大驗后估計、最小方差估計、線性最小方差估計等.現(xiàn)在是50頁\一共有62頁\編輯于星期二廣義最小二乘原理:一、對于正態(tài)分布，極大似然準則等價于當有觀測方程似然方程又等價于(推導見下頁)即等價于最小二乘估計準則現(xiàn)在是51頁\一共有62頁\編輯于星期二極大似然估計：似然方程：觀測方程：似然方程可寫為：現(xiàn)在是52頁\一共有62頁\編輯于星期二二、極大驗后估計準則等價于當有觀測方程時，上式又等價于上式可寫為：現(xiàn)在是53頁\一共有62頁\編輯于星期二可見：極大似然估計、極大驗后估計均可用“廣義最小二乘估計”表示！(即：下式是最小二乘估計準則的擴充?。┓Q為“廣義最小二乘原理”：當X是不具有先驗統(tǒng)計特性的非隨機量時,極大驗后估計退化為極大似然估計或最小二乘估計了。按廣義最小二乘原理進行平差的過程，稱為廣義測量平差?，F(xiàn)在是54頁\一共有62頁\編輯于星期二三、廣義最小二乘估計準則應用方法若將未知參數(shù)X的先驗期望μx看成是與觀測值L相互獨立，且方差為DX的虛擬觀測值，則有如下“觀測方程”誤差方程為是虛擬觀測值誤差?，F(xiàn)在是55頁\一共有62頁\編輯于星期二