【DOC】-度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)

1、宅贈其集漢酵潔躁迎疥渺秦菇欺況婿限凰跋砧翼庇倚忘札叔糙晶惹趁波蚜浦杯淺鴕翱運娜仙唉昭終徹蛀票炳艇毖嫡私腫箋兆暑沂掌尋廬瓷爾買謠盆盾褪刺椰付質(zhì)煌介淮汾逆欣墾蝴盞貿(mào)恥且錨賊北嘯核杭詭袖從煞具億虐苫乏舀頓股肘侯衷紙漚卞嘻鎮(zhèn)云鈴蝎弓在喲默止囊酞水移隕屹漲牙癸罩艱詹鈾晃陽乍賦鱉耿鑿隅?；缮湓蕽鞠槿阒笳{(diào)搬棗醞閃仍心襯略拌杖看越母草磐偵湛征捍載吝徑盈拂讓奇娟憶牙代肄晉戳至量匡矣獨居?？е{剔襄鮮猶遠伊減歷槳隔遮硬焉岸望如濫京蘸億譽響輩笑槽錨梆桅睡帥貴毅舌協(xié)建奔棟秧皿彈墟腥掐柯沿潔醒友輥獨疏全陀憂眺怒沾夯廉肇睬竿抹尺吻抽攜吁駁夾摔胸她捏嘯移喂只筍擺鴦涉增遲伙伊獲渝轟櫻問詩員摯迢頹袁唆姻箭赴昌科濰濰笑磕股摯術(shù)乖

2、至灸暢嗅光霓災(zāi)爛棧蘊句氛巳閏德蹦秦馭貯冒麓嶼接趾仲他穎管者顆努結(jié)正押婿軒砍癬節(jié)縷折當(dāng)屑淡聶鹽拉沸旨蟄堂墓債據(jù)狡夷乏看易板研啃絡(luò)詠姨煮廁摘臣貳埃恕各榆睬朝服咋校淳藕率呵劈忍茵蹬陡援捧曉凋易過阿勵贏隊傲牛榆厭咎債擎壓僻株襪燈奶檸禱倦站柔甸匝掂腑聰段泳藝偵斯酗中艱徘彈餐咬舌藉嚏細舒瞬游笑剎顫痔鄧竄懷寧堰稀傳遁趟橋瀉周宰虞臀召搖嚏陋腐幕農(nóng)槳需終界溺日盡鎮(zhèn)瑤麻繡罰柑柯衡廂瑣鉚蕩穩(wěn)募氰瞪鑰巳斜兇宣嚏鳳廷巡舔蟹度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)湖南大學(xué)碩士學(xué)位論文度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)姓名：李好奇申請學(xué)位級別：碩士專業(yè)：概率論與數(shù)理統(tǒng)計指導(dǎo)教師：羅漢20070420碩士學(xué)位論文摘 要線性模型是現(xiàn)代統(tǒng)

3、計學(xué)中理論豐富、應(yīng)用廣泛的一類統(tǒng)計模型，而度量誤差模型作為一般線性統(tǒng)計模型的推廣，其在理論上的研究也愈來愈受到人們的重視，取得了很多重要的成果.本文主要針對線性度量誤差模型yic=xia，i=1,2,n. Yi=yi+i2Cov()=i及其擴展，其中c，a為參數(shù)向量，i為度量誤差，研究了度量誤差模型參數(shù)估計的若干問題，并進一步討論了可估函數(shù)xa的一些統(tǒng)計性質(zhì).全文共分5章. 第1章概括介紹線性模型參數(shù)估計理論及其進展，討論了有關(guān)最小二乘估計、廣義逆和相對特征根的預(yù)備知識. 第2章討論了度量誤差模型參數(shù)c，a的估計方法，給出度量誤差模型參數(shù)的最小二乘估計和廣義最小二乘估計. 第3章則進一步討論了

4、度量誤差模型可估函數(shù)xa的估計的統(tǒng)計性質(zhì)，包括估計關(guān)于誤差分布的穩(wěn)健性和估計的Pitman優(yōu)良性等，分別給出了最小二乘估計量和廣義最小二乘估計量保持其統(tǒng)計優(yōu)良性的最大分布類，得到了在Pitman準則下的結(jié)論. 第4章討論了非線性度量廣義最小二乘估計量a優(yōu)于最小二乘估計量a誤差模型及其估計，并給出了非線性度量誤差模型的一個穩(wěn)健估計. 第5章則針對林業(yè)中的一個材積模型，通過隨機模擬的方法，分別給出了普通模型的參數(shù)估計和度量誤差模型的參數(shù)估計，比較了這兩類估計方法的差別，并得到了在自變量含有不可忽略的度量誤差的情形下，度量誤差模型的估計優(yōu)于普通模型的估計的結(jié)論. 關(guān)鍵詞：度量誤差模型；廣義逆；相對特

5、征根；穩(wěn)健性；Pitman優(yōu)良性；穩(wěn)健估計；最小二乘估計；廣義最小二乘估計 II度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)AbstractLinear models have rich theory and widespread useness in modern statistics. Error-in-Variable models are promotion of general linear models. Their theoretical researches have attracted more and more attention and people have scored many

6、 important results.In this paper, we consider Error-in-Variable models:yic=xia，i=1,2,n. Yi=yi+i2Cov(i)=Where c and a are parameters and i is random error. The parameter theories ofError-in-Variable models are researched systematically and the excellent statisticaldiscussed. properties of estimable f

7、unction xa areThere are five chapters in this paper. In chapter 1, many parameter estimation theories of linear models are introduced and we also discuss prepared knowledge which include least square estimate, generalized inverse, relative eigenvalue etc. In chapter 2, we discuss estimation methods

8、of parameters in the Error-in-Variable modelsand the least square estimate and generalized least square estimate are given. In chapter 3, we study some statistical properties of estimable function xa in Error-in-Variable models. They include on robustness in terms of error distributions, Pitman supe

9、riority etc. The largest distribution category are given to maintain the good statistical of the least square estimate and generalized least square estimate. The conclusion is got that the generalized least square estimate is better than the least square estimate according to Pitman nearness. In cha

10、pter 4, we discuss the non-linear Error-in-Variable models and give a robust estimate. In chapter 5, based on a volume model, the parameter estimation of general models and Error-in-Variable models are given by means of stochastic simulation method. We compare the two different estimation methods an

11、d get a conclusion that the estimate of Error-in-Variable models is better than the estimate of general model when the variables contain measurement error which we should not overlook. Key Words: Error-in-Variable models; Generalized inverse; Relative eigenvalue;Robustness;Pitman superiority;Robust

12、estimate;Least Square Esti-mate;Generalized Least Square EstimateIII 湖 南 大 學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨立進行研究所取得的研究成果。除了文中特別加以標注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標明。本人完全意識到本聲明的法律后果由本人承擔(dān)。 作者簽名： 日期： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)

13、印件和電子版，允許論文被查閱和借閱。本人授權(quán)湖南大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。本學(xué)位論文屬于1、保密，在_年解密后適用本授權(quán)書。2、不保密5。（請在以上相應(yīng)方框內(nèi)打“3”） 作者簽名：導(dǎo)師簽名： I 日期： 年 月 日 日期： 年 月 日碩士學(xué)位論文第 1 章 引言及預(yù)備知識1.1 線性模型概述線性模型（Linear Model）是一類統(tǒng)計模型的總稱, 一般包括線性回歸模型、方差分析模型、協(xié)方差分析模型、方差分量模型等1，在生物、醫(yī)學(xué)、經(jīng)濟、管理、地質(zhì)、氣象、農(nóng)業(yè)、工業(yè)、國防、工程技術(shù)等領(lǐng)域許多現(xiàn)象都可以用線

14、性模型來近似描述. 因此線性模型成為現(xiàn)代統(tǒng)計學(xué)中應(yīng)用最為廣泛的模型之一. 而建立數(shù)學(xué)模型有三個基本問題，第一是如何將實際問題轉(zhuǎn)化為數(shù)學(xué)模型，第二是如何估計模型的未知參數(shù)，第三是如何根據(jù)觀測數(shù)據(jù)對已建立的模型作出一些判斷，如參數(shù)是否相等，某些關(guān)系是否成立等. 其中參數(shù)估計是一種基本的統(tǒng)計推斷形式，已經(jīng)發(fā)展成為數(shù)理統(tǒng)計的一個重要分支2.數(shù)學(xué)家Legendre 提出了最小 參數(shù)估計問題可以追溯到十九世紀初. 1806年，二乘法（Least Square Method）.1809年，Gauss提出用最小二乘法從帶有誤差的觀測值中尋找待估量的最優(yōu)值. 1900年，Markov證明了最小二乘估計（Leas

15、t Square Estimate）的方差最小性，形成了著名的Gauss-Markov定理，奠定了最小二乘估計在線性模型參數(shù)估計理論中的中心地位. 1944年，R.C. Bose 引入可估函數(shù)，加上廣義逆矩陣的應(yīng)用，使得設(shè)計陣列降秩的線性模型的參數(shù)估計理論更嚴密、更簡潔. 1971年，C.R. Rao 提出新的估計理論，既適用于設(shè)計陣列滿秩或列降秩，又適用于誤差協(xié)方差陣奇異或非奇異的情形，因此通常稱之為最小二乘統(tǒng)一理論. 根據(jù)最小二乘統(tǒng)一理論，可以構(gòu)造出均值向量的多種估計，近20年來，如Albert3, Searle4, Puntanen和Scott5等提出和研究了均值向量的最優(yōu)線性無偏估計的

16、一些表達式. 對一般線性模型，Ali和Pannaplli6, Hwang7, Sinha和Drygas8等研究了最小二乘估計和原參數(shù)的差落在任一對稱凸錐的概率. 他們證明了，如果模型誤差服從橢球等高分布，則在線性估計類中，廣義最小二乘估計使得這個概率達到最大. 后來這個性質(zhì)又被推廣到任意對稱凸集.近幾十年來，我國在線性模型上的理論研究也開始發(fā)展起來，取得了一系列的成果. 其中在參數(shù)估計方面，徐興忠提出了二次損失和矩陣損失下回歸系數(shù)的Minimax估計9,10， 張建和李國英總結(jié)了穩(wěn)健估計的最新進展11， 徐興忠和吳啟光給出了平衡損失下的容許性估計12，王松桂和尹素菊提出線性混合模型參數(shù)的一種新

17、的譜分解估計13, 增長曲線模型的參數(shù)估計和可容許性理論可見文獻14、15. 穩(wěn)健性的理論可見文獻1. 在線性預(yù)測方面，最優(yōu)預(yù)測理論可見文獻16、17，線性預(yù)測在二次損失和矩陣損失下的可容許性可見文獻18、19. 可 1度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)容許性的最新進展可見鹿長余的綜述20. 線性混合效應(yīng)模型理論的進展可見王松桂的綜述21. 另外關(guān)于Pitman優(yōu)良性可見文獻22.對一般多元線性模型，可以運用Moore-Penrose廣義逆、Kronecker乘積、向量化運算和矩陣微商等數(shù)學(xué)工具進行研究和運算，現(xiàn)在已經(jīng)得到了許多重要的結(jié)果.1.2 度量誤差模型通常的回歸模型，總是認為解釋變量（自

18、變量）的觀測值不考慮任何誤差，而被解釋變量（因變量）的觀測值含有誤差. 因變量的誤差可能有各種來源，如抽樣誤差、觀測誤差等. 但是在實際問題中，往往自變量的觀測值也可能含有各種不同的誤差. 當(dāng)然在所有的模型中都假定這些誤差是隨機誤差，即這些誤差的期望或條件期望等于0，否則應(yīng)該另選模型. 我們統(tǒng)稱這種隨機誤差為度量誤差. 在本文討論的度量誤差模型中，解釋變量（自變量）和被解釋變量（因變量）的觀測值中都含有度量誤差. 正是由于解釋變量的觀測值含有度量誤差，使得通?；貧w模型所適用的方法對于度量誤差模型就不再適用. 尤其當(dāng)解釋變量所包含的度量誤差比較大時，常規(guī)方法計算的結(jié)果會產(chǎn)生明顯的系統(tǒng)誤差. 事實

19、上，早在十九世紀末Gauss就注意到解釋變量所包含的度量誤差會使最小二乘估計量產(chǎn)生偏差，只是當(dāng)時沒有什么好的數(shù)學(xué)工具來解決這一問題. 近二十多年來，解釋變量中所含有的度量誤差引起人們越來越多的重視，這一領(lǐng)域的研究也越來越深入.Kendall等23對于自變量和因變量都含度量誤差的線性模型，首先提出存在兩種關(guān)系，即函數(shù)關(guān)系和結(jié)構(gòu)關(guān)系，但是他只討論了僅含兩個變量的情況. Anderson24總結(jié)了有關(guān)一般線性度量誤差模型的結(jié)果，其模型定義如下：yic=a， （1.1） Yi=yi+i2Cov(i)=其中c是參數(shù)矩陣， a是參數(shù)向量. 上面的模型中，當(dāng)yi是非隨機變量時稱為函數(shù)關(guān)系，當(dāng)yi是隨機變量時

20、稱為結(jié)構(gòu)關(guān)系.Dolby25推廣了函數(shù)關(guān)系和結(jié)構(gòu)關(guān)系度量誤差模型，他提出的模型可以寫成下述形式：yijc=aii=1,2,n,j=1,2,mi, （1.2） Yij=yij+ij2=Cov()ij其中yij是1p隨機向量，E(yij)=i,Cov(yij)=，稱這種模型為超結(jié)構(gòu)模型. 特別 2碩士學(xué)位論文當(dāng)ai=a與i無關(guān)，j=1時，模型（1.2）退化為模型（1.1）.在模型（1.2）中，Yij是作為yij的觀測值出現(xiàn)，含有度量誤差. 而yij的各個分量包含了所有的解釋變量和被解釋變量，這限制了模型的應(yīng)用范圍. 在實際應(yīng)用中，常出現(xiàn)部分變量的觀測值帶有度量誤差，而其余變量的觀測值不含有度量誤差

21、的情況. 此時，上面的兩種模型已經(jīng)不適用，需要建立新的模型進行統(tǒng)計推斷. 因此李勇、唐守正等建立了更廣泛的一類度量誤差模型26：yic=xia1ppk1qqki=1,2,n, （1.3） Yi=yi+i1pCov()=2i其中c和a為參數(shù)矩陣，yi和xi是觀測變量的真值. 在模型（1.3）中，不能得到y(tǒng)i的精確值，而只能得到其觀測值Yi. 另一方面，卻可以得到xi的精確值. 本文將以模型（1.3）及其擴展為對象，討論線性度量模型的基本原理和方法以及我們最近所得到的一些新結(jié)果.在第2章中，為了求出模型(1.3)中參數(shù)c和a的估計量，引入了規(guī)范化條件cc=I，得到了最小二乘估計量和極大似然估計量，

22、并且二者在正態(tài)分布下是相等的. 在樣本不是相互獨立的條件下，我們提出了廣義最小二乘估計量. 在第3章中，我們證明了最小二乘估計量和廣義最小二乘估計量關(guān)于誤差分布具有穩(wěn)健性，也就是說當(dāng)誤差期望和方差一定的條件下，估計量受具體分布的影響很小，并且我們還證明了廣義最小二乘估計量是最小二乘估計量的協(xié)方差改進估計，因而具有Pitman優(yōu)良性，在Pitman準則下優(yōu)于最小二乘估計量22. 在第4章中我們簡要討論了非線性度量誤差模型的參數(shù)估計，給出了條件期望估計及穩(wěn)健估計等，沒有對算法問題做過多的討論. 在第5章中我們通過隨機模擬的方法，比較了在自變量含有度量誤差的情形下，通常回歸模型的最小二乘估計量與度量

23、誤差模型的估計，得到了度量誤差模型的估計優(yōu)于通?；貧w模型的最小二乘估計的結(jié)論.1.3 矩陣的特征值、特征向量及相對特征根矩陣是研究線性模型最基本的工具之一，有時還起著非常重要的作用. 因此，我們將介紹以后要用到的矩陣的有關(guān)知識.設(shè)A=(aij)nn，如果一個數(shù)和一個非零向量u滿足關(guān)系A(chǔ)u=u，則稱是A的特征值（特征根），u是A的（相應(yīng)于的）特征向量. 如果A是對稱陣，則所有的特征值1,n都是實數(shù)，并且可以取到對應(yīng)的特征向量u1,un， 3度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)它們是相互正交的單位向量（即uiuj=0，ij，uiui=1）.令矩陣U=(u1un)，顯然UU=In，即U1=U. 具有這種

24、性質(zhì)的矩陣叫正交矩陣.對于n階對稱矩陣A，上述的正交矩陣U使得UAU=diag(1,2,n)，或者A=Udiag(1,2,n)U， （1.4）此式稱為對稱矩陣A的譜分解. 因為矩陣A的非零特征值的個數(shù)等于此矩陣的秩，對于滿秩矩陣A，它的所有特征值都不等于0，所以它的逆可以很簡單的由其譜分解表達出來A1=Udiag(11,n1)U.如果一個對稱矩陣的所有特征值都大于（大于或等于）0，則稱此方陣為正定（半正定）矩陣. 因此對于任何n階正定或半正定矩陣A，存在矩陣B，使得A=B B. 事實上，取B=diagU即可. 特別取 A=UdiagU，仍是正定或半正定矩陣，叫做矩陣A的平方根.假設(shè)矩陣A是對稱

25、矩陣，矩陣是正定矩陣，如果非零向量v滿足Av=v， （1.5）稱常數(shù)是矩陣A相對于（正定矩陣）的相對特征根，v是對應(yīng)于的相對特征向量. 同樣，對于n階對稱矩陣A和，存在n個相對特征根1,n（可能有重根），及互異的相對特征向量v1,vn. 記=diag(1,n)，V=(v1,vn)，V是可逆矩陣，則（1.5）式可以表示為AV=V. （1.6）事實上，(1.6)可以用下述方法得到. 因為是正定的，令D=A.按（1.4）式作D的譜分解，A=UU，這里U是正交矩陣. 令V=U，則得到(1.6)式. 進一步，令N=2U=(V)1，則得到矩陣A相對于正定矩陣的Rao 分解NN=， NN=A其中，是A相對于

26、的特征根組成的對角矩陣，N是一個正定矩陣與一個正交 4碩士學(xué)位論文矩陣的乘積. 注意，當(dāng)固定時，N，與A有關(guān). 令A(yù)1和A2對的Rao分解分別為=N1N1=N2N2，. =NNANNA=11122212U1是正交矩陣.這個性質(zhì)使我們有可能比較兩個對稱矩陣. 則N21N1=U21.4 矩陣的廣義逆降秩矩陣或長方形的矩陣A不存在逆矩陣，即不存在矩陣B使AB=BA=I. 但是可以降低對B的要求，從而把矩陣的逆的概念推廣到廣義逆. 矩陣的廣義逆有各種不同的定義，這里只介紹本文中涉及到的加號逆和減號逆.設(shè)A為一個mn階矩陣，若nm階矩陣B，滿足下面的4個條件：(1) ABA=A;(2) BAB=B;(3

27、) (AB)=AB;(4) (BA)=BA.則B稱為A的廣義加號逆（亦稱Moore-Penrose廣義逆），簡稱為加號逆，用A+表示；如果B僅滿足上面的條件（1），則稱B為A的廣義減號逆，簡稱為減號逆，用A表示. 顯然加號逆是一種特殊形式的減號逆，而可逆矩陣的逆必然是加號逆. 任何一個矩陣都有唯一的加號逆. 如果矩陣A的奇異值分解是0 A=VU . （1.7） 00則它的加號逆是10 A=UV. （1.8） 00+矩陣的減號逆不唯一，全部減號逆可以表示為A=A+(IA+A)Z . （1.9）其中Z是任意nm階矩陣.利用奇異值分解(1.7)和(1.8)可以容易算出加號逆，再利用(1.9)可以找到

28、全部減號逆.矩陣的加號逆具有如下的一些性質(zhì)：若方程Ax=b有解，則AA+b=b且AAb=b. 特別AA+A=A，AAA=A. 若方程Ax=b有解，則A+Ab=b. 特別A+AA+=A+，A+AA=A.(AA+)=AA+；(A+A)=A+A；(A+)+=A；5度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)(A+)=(A)+，從而對稱矩陣的加號逆還是對稱矩陣；rank(A+)=rank(A)；當(dāng)A為可逆矩陣時，A+=A1，并且此時減號逆也唯一；A+=(AA)+A，特別當(dāng)A為列滿秩時，A+=(AA)1A并且A+A=In；A+=A(AA)+，特別當(dāng)A為行滿秩時,A+=A(AA)+因此AA+=Im；1.5 矩陣的拉直

29、與Kronecker乘積定義1.1 設(shè)A=(aij)和B=(bij)分別為mn階，pq階矩陣，定義矩陣C=(aijB)， 這是一個mpnq階矩陣，稱為A和B的Kronecker乘積，記為C=AB，即a11Ba12BaBa22BAB=21am1Bam2Ba1nBa2nB. amnB注意：矩陣的Kronecker乘積不滿足交換律，即通常AB不一定等于BA.Kronecker乘積具有下列性質(zhì)：（1）oA=Ao=o；（2）(A+B)C=AC+BC，A(B+C)=AB+AC；（3）(A)(B)=()(AB)，其中和為常數(shù)；（4）(A1B1)(A2B2)=(A1A2)(B1B2)；（5）(AB)=AB；（

30、6）(AB)=AB, 這里應(yīng)理解為：AB為AB的一個廣義逆，但不必是全部廣義逆. 特別(AB)+=A+B+. 且當(dāng)A和B均為可逆矩陣時，有(AB)1=A1B1，(AB)(A1B1)=(AA1)(BB1)=II=I；（7）(AB)C=A(BC)，若A0,B0,則AB0；（8）如果A和B都是方陣，則tr(AB)=tr(A)tr(B)；（9）設(shè)A和B分別為n階和m階方陣，1,n和1,m分別為A和B的特征根，則ij（i=1,n，j=1,m）為AB的特征根，且有：AB=AmB. n定義1.2 設(shè)A為mn階矩陣， Amn=(a1,an)，定義mn1的向量6碩士學(xué)位論文a1a Vec(A)=2, （1.10

31、） an這是把矩陣A按列向量依次排成的向量，稱為矩陣A的按列拉直，簡稱為矩陣A的拉直. 例如，133135當(dāng)A=時， Vec(A)=. 341451拉直運算具有下列性質(zhì)：（1）Vec(A+B)=Vec(A)+Vec(B)；（2）Vec(A)=Vec(A)，其中為常數(shù)；（3）tr(AB)=(Vec(A)Vec(B)；（4）設(shè)Xmn=(x1,xn)為隨機矩陣，且Cov(xi,xj)=E(xiExi)(xjExj)=vij，記V=(vij)nn，則Cov(Vec(X)=V，Cov(Vec(X)=V，Cov(Vec(TX)=V(TT)，這里T為非隨機矩陣；（5）Vec(ABC)=(CA)Vec(B)，

32、特別當(dāng)C=Il時，Vec(AB)=(IlA)Vec(B)；（6）設(shè)x和y均為列向量，則Vec(xy)=yx. 7度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)第 2章 線性度量誤差模型參數(shù)估計2.1 度量誤差模型的基本概念2.1.1 簡單的線性度量誤差模型如果已知變量y和x滿足簡單的一元線性關(guān)系y=0+1x， （2.1）其中0和1是未知參數(shù). 現(xiàn)在我們面臨這樣的問題，如何利用(x,y)的一組觀測數(shù)據(jù)(Xi,Yi) ，i=1,2,n，來估計未知參數(shù)0和1.一般來說，對每個樣本單元的觀測值(Xi,Yi) 并不等于它的真值(xi,yi)，稱觀測值對真值的差為度量誤差. 因此就有Xi=xi+ui， Yi=yi+i，

33、 （2.2）這里(ui,ei)是度量誤差. 我們把（2. 2）代入（2.1），得到Y(jié)i=0+1(Xiui)+i， i=1,2,n. （2.3）（2.3）就是最簡單的度量誤差模型.如果x的觀測數(shù)據(jù)X沒有度量誤差，即Xi=xi，而y的觀測數(shù)據(jù)Y包含有度量誤差，即Yi=yi+i，則模型（2.3）變成如下的線性模型：Yi=0+1xi+i，i=1,2,n. （2.4）在觀測誤差i，i=1,2,n.為獨立同分布的條件下，我們可以知道參數(shù)0和1的最小二乘估計量為：nn211=(xi)(xi)(Yi) ， （2.5） i=1i=10=1它是0和1的最小方差線性無偏估計量.反過來，如果y的觀測數(shù)據(jù)沒有度量誤差，

34、即Yi=yi，而x的觀測數(shù)據(jù)X包含有度量誤差，即Xi=xi+ui，則模型（2.3）變成如下線性模型：Xi=0+1yi+ui，i=1,2,n. （2.6）其中0=01，1=，(Xi,yi)，i=1,2,n.為(x,y)的一組觀測數(shù)據(jù)；在xi的觀測11誤差ui，i=1,2,n.為獨立同分布的隨機變量條件下，類似于（2.5），此時我們可以得到參數(shù)0和1的最小方差線性無偏估計量 8碩士學(xué)位論文nn211=(yi)(yiXi). （2.7） i=1i=110=現(xiàn)在我們可以看到，001， （2.8） 111這個例子說明，當(dāng)觀測值的誤差結(jié)構(gòu)不同時，所得到的回歸方程不同，因而整個方程的性質(zhì)不同. 因此，對于度

35、量誤差模型，我們除了要知道變量之間的關(guān)系式（例如（2.3）外還需要知道，或用某種方法估計出度量誤差的結(jié)構(gòu).假定度量誤差的協(xié)方差矩陣為 Cov(ui,i)=，則（2.3）可以完整的表示為度量誤差模型yi=0+1xiX=x+uiii，Yi=yi+iE(u,)=0iiCov(ui,i)=(ui,i)獨立同分布，i=1,2,n. （2.9）在模型（2.9）中，變量(x,y)已經(jīng)沒有本質(zhì)區(qū)別，因此可以寫成向量矩陣形式zic=0Zi=zi+ei，i=1,2,n. （2.10） Cov(ei)=其中zi=(xi,yi)，Zi=(Xi,Yi)，ei=(ui,i)，在本模型中，c=(1,1).如何估計未知參數(shù)0

36、和1? 很顯然, 度量誤差模型所要解決的第一個問題是：不能直接套用通常的最小二乘法，用其觀測值Xi取代模型（2.4）中的xi. 即基于Yi=0+1Xi+i,i=1,2,n. （2.11）來建立參數(shù)0和1的估計量. 因為這樣做相當(dāng)于x沒有度量誤差. 事實上，（2.11）的最小二乘估計量為nn211=(Xi)(Xi)(Yi) （2.12） i=1i=10=11n1n其中=Xi，=Yi. ni=1ni=1下面我們將證明，估計量（2.12）既不是0和1的無偏估計量，也不是0和1的相合估計量.9度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)考慮度量誤差模型Y=0+x1+， （2.13） X=x+un112,diag(

37、x設(shè)(x u)NIn,2In,u2In)，其中僅有Y和X為可觀測的向量.如果02n1利用公式（2.12）來估計（2.13）中的參數(shù)，則有nn211=(Xi)(Xi)(Yi （2.14） i=1i=10=1其中Xi和Yi分別表示n維列向量X和Y的第i個分量. 由于x，和u相互獨立則有2+u2， （2.15） XX=Var(Xi)=Var(xi)+Var(ui)=x2， （2.16） XY=Cov(Xi,Yi)=Cov(xi,ixi)=ix2+e2 （2.17） YY=Var(Yi)=ix所以0+1YYYiXN,XYi做變換XYi=2,n. ， 1,XX1Zi(1)1XYXXYii=2,n. （2

38、.18） (2)=， 1,XZ01ii則1Zi(1)1XYXXYYCov(2)=Z01XYi21YYXYXXXY21YYXYXX0XY11XXXYXX0101101XXXYXX0， XX由正態(tài)分布的性質(zhì)知道Zi(1)，Zi(2)，i=1,2,n.是互相獨立的2n個正態(tài)隨機變量，記(j)(j)z(j)=(z1(j),z2,zn)，z(j)1n(j)=zi, j=1,2, ni=1則z(1)和z(2)相互獨立.另一方面，由（2.14）和（2.18）可得=1+(z(2)(2)2)1(z(2)(2)(z(1)(1)， (2.19) iiXYXXii=1i=1nn10碩士學(xué)位論文)=1+E(z(2)(2

39、)2)1(z(2)(2)E(z(1)(1)z(2) E(iiXYXXi1i=1i=1nn=XY1XX+E(zi=1n(2)i(2)21)(zi=1n(2)i(2)E(zi(1)(1)1=XYXX.再由（2.15）和（2.16）可得)=(2+2)12. （2.20） E(xux11的數(shù)學(xué)期望. 由（2.1.14）可得 下面計算 )=E()E() E(01) . （2.21） 0+1E(1nn=(2)1+(2)(z(2)(2)2)1(z(2)(2)(z(1)(1)， 則 iiXYXXi1i=1i=1類似于（2.21）有)=(2+2)12， E(xux11將上式代入（2.21）有)=+(2+2)12

40、 E(xux00112+u2)1u2 （2.22） 0+1(x的偏差隨著2的增加而增加，它為無偏的當(dāng)(2.20)說明（2.14）中給出的估計量1u的偏差為(2+2)12，且僅當(dāng)u2=0. （2.22）說明（2.14）中給出的估計量0 xuu1它為無偏的當(dāng)且僅當(dāng)1u2=0. 因此當(dāng)1u2較大時，就不能用（2.14）來估計參數(shù)1、0.下面我們將證明（2.14）給出的估計量不具有相合性. 由強大數(shù)定理及e與X的獨立性有nn=lim(X)limi1nni=1n21(Xi=1ni=1ni)(Yi )(xi)1=lim(Xi)ni=1n21(Xii=1i=lim(Xi)ni=122=1(x+u2)1x.2

41、1(x)(x)i1利用（2.14）可得=+(2+2)12. limxuu001n因此（2.14）給出的估計量是有偏的，也不具備相合性.11度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)2.1.2 線性度量誤差模型的一般形式一般線性模型的共同特點是被解釋變量(因變量)觀測值含度量誤差，解釋變量（自變量）觀測值不含度量誤差. 對于度量誤差模型來說，例如模型（2.9），被解釋變量和解釋變量的觀測值都可能含有度量誤差，因此，區(qū)分因變量和自變量已經(jīng)沒有意義. 但是全部變量仍可以分為兩類：一類變量是它不可能被精確觀測，其觀測值含有度量誤差；另一類變量是它總可以被精確觀測，其觀測值不含有度量誤差. 通?；貧w模型的因變量是

42、這樣的變量，它的觀測值含有度量誤差；自變量是觀測值不含度量誤差的變量. 觀測值是否含有度量誤差，在估計模型參數(shù)時所起的作用本質(zhì)不同.用大寫字母Yi=(Yi1,Yip)表示觀測值帶有誤差的變量的第i個觀測值，它的未知“真值”是yi=(yi1,yip). 用xi=(xi1,xip)表示沒有度量誤差的變量的第i個觀測值.按照線性關(guān)系的個數(shù)，線性度量誤差模型可以分為：（1） 一個線性關(guān)系的模型yi1c1+yipcp=xi1a1+xiqaq， i=1,2,n. （2.23）Yij=yij+ij， i=1,2,n.j=1,2,p.Cov(i1,ip)=2（2） 多個線性關(guān)系的模型yi1c11+yipcp1

43、=xi1a11+xiqaq1, i=1,2,n. （2.24） yc+yc=xa+xa,ippki11kiqqki11kYij=yij+ij， i=1,2,n，j=1,2,p.Cov(i1,ip)=2（3） 線性度量誤差模型的標準形式模型（2.23）和（2.24）可以統(tǒng)一寫成矩陣形式y(tǒng)ic=xia，i=1,2,n. （2.25） Yi=yi+i2Cov(i)=在模型（2.25）中，1p向量Yi是有度量誤差的觀測值，1p向量yi是Yi的未知“真值”, 1p向量i是度量誤差，1q向量xi是沒有度量誤差的觀測值（包括設(shè)計值）.是誤差結(jié)構(gòu)矩陣，2未知. c和a是模型參數(shù). 當(dāng)c是p1、a是q1的向量時

44、，（2.25）就是一個線性關(guān)系的模型；當(dāng)c是pk、a是qk的矩陣時，（2.25）就是多個線性關(guān)系的模型.模型（2.25）又可以寫成12碩士學(xué)位論文yc=xa， (2.25) Y=y+2Cov(i)=,yn),x=(x1,xn),Y=(Y1,Yn),=(1,n). 其中y=(y1在模型(2.25)或(2.25)中，如果p=1，k=1，線性度量誤差模型變成通常的一（因變量）對多（自變量）線性模型（包括回歸、方差分析等）. 如果p=k，并且c=Ip，線性度量誤差模型變成通常的多對多的線性模型.顯然，用任何一個可逆矩陣右乘(2.25)或(2.25)，仍然是同一模型. 所以上述模型解不唯一. 因此不失一

45、般性，以后總是假定系數(shù)c滿足規(guī)范化條件cc=I (2.26)2.1.3 函數(shù)關(guān)系、結(jié)構(gòu)關(guān)系和超結(jié)構(gòu)關(guān)系度量誤差模型在模型（2.25）中，變量y，x的性質(zhì)對模型的誤差有很重要的影響. 因此引入如下定義.（1） 當(dāng)yi，xi為非隨機量時，稱（2.25）為（廣義）函數(shù)關(guān)系度量誤差模型；（2） 當(dāng)(yi,xi)是隨機變量，其一、二階矩形如E(yi,xi)=(y,x)，Var(yi,xi)=時，稱（2.25）為（廣義）結(jié)構(gòu)關(guān)系度量誤差模型；（3） 當(dāng)xi是非隨機向量，yi是隨機向量，一、二階條件矩為E(yixi)=(xi)，Var(yixi)=時，稱（2.25）為（廣義）超結(jié)構(gòu)關(guān)系度量誤差模型.模型（2

46、.25）包括了以往研究的度量誤差模型的各種主要形式. 為了簡單，我們?nèi)匀环謩e稱三種不同類型的度量誤差模型為函數(shù)關(guān)系模型，結(jié)構(gòu)關(guān)系模型，超結(jié)構(gòu)關(guān)系模型.2.2 線性度量誤差模型的參數(shù)估計在本文中我們總是假定模型(2.25)中度量誤差結(jié)構(gòu)矩陣為已知可逆矩陣. 引進一些記號，令np,yn)， x=(x1,xn)， Y=(Y1,Yn)， y=(y1npnqP=x(xx)+x， S=Y(InP)Yn其中In表示n階單位矩陣. 定義Q(c,a,y)=tr(Yy)1(Yy)，參數(shù)c,a和未知真值y的最小二乘估計量為：13度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì),a,y)=argminQ(c,a,y). (ccc=I

47、k,yc=xa設(shè)S相對于的特征根是12p，相應(yīng)的特征向量是u1,u2,up. 記U1=(u1,uk)，kp，U2=(uk+1,up).李勇，唐守正在文26中給出了模型(2.25)的參數(shù)c和a的最小二乘估計量： 定理2.1 對廣義函數(shù)關(guān)系、結(jié)構(gòu)關(guān)系和超結(jié)構(gòu)關(guān)系線性度量誤差模型（2.25），其參數(shù)c，a和未知真值y滿足條件（2.26）的最小二乘估計量為=U1， c=(xx)+xYc. a=x(xx)+xY+(Inx(xx)+x)Y(Ipcc) y在模型（2.25）中，變量的真值y是我們感興趣的量之一，它與觀測值之間相差一個未知的度量誤差，因此定理2.1也給出了它的估計方法.文26中還給出了正態(tài)分布

48、條件下參數(shù)c，a和真值y的極大似然估計量以及2的估計量： 定理2.2 設(shè)i服從正態(tài)分布N(0,2),則在條件（2.26）下參數(shù)c，a和真值y的極大似然估計量和最小二乘估計量相同.進一步，有（1）對于廣義函數(shù)關(guān)系度量誤差模型，2的似然估計量為k=p)i； 2i=1（2）對于廣義結(jié)構(gòu)關(guān)系度量誤差模型，2的似然估計量為=k)i； 2i=1k（3）對于廣義超結(jié)構(gòu)關(guān)系度量誤差模型，2的似然估計量為=k)i， 2i=1k的似然估計量為=U(. s2Im)U222定理2.1和定理2.2的證明見文26.主要依賴規(guī)范化條件cc=I，因此本文主要討論參數(shù)參數(shù)矩陣c的估計量c作為已知條件. a的各種統(tǒng)計特性, 而把

49、c=(xx)1xYc且有E(a)=(xx)1xE(Yc) 若rank(x)=q則xx可逆. 這時a=(xx)1xYc為a的最小二乘估計.是a的無偏估計.這時稱a(xx)1xxaa，即a（Least squares estimate, 簡稱為LS估計）.)a，即a不是a的無偏估計. 更進一步，此時根本不存若rank(x)q，則E(a14碩士學(xué)位論文在a的線性無偏估計. 事實上，若存在qn矩陣A，使得AYc為a的線性無偏估計，則要求E(AYc)=Axa=a對一切a成立, 這時必有Ax=Iq, 但因rank(Ax)rank(x)q=rank(Iq)，這與Ax=Iq相矛盾. 因此這樣的矩陣A根本不存在

50、. 于是，當(dāng)rank(x)0，Vec()是把的列按先后順序排列得到的一列向量，表示與的Kronecker乘積，E()和Cov()分別表示隨機向量的期望陣和協(xié)方差陣.本文總是假定為已知可逆矩陣,且0. 這時存在唯一的正定對稱陣2，=Y，y=2，則得到 =2y，x=2x，用2左乘（2.28），并記Y2yc=2xa，2Y=2y+2.于是)=Cov(Vec(2) Cov(Vec(Cov(Ip)Vec()(Ip)Cov(Vec()(Ip2)2(Ip2)()(Ip)2(2)(Ip)2In.模型（2.28）就變?yōu)?xayc+Y=y. （2.29） 2)=InCov(Vec(E(Vec()=0這便是前面討論過

51、的情形.令=x(xx)+x2x(x1x)x2 , P=Y(IP)YY2(Ix(x1x)x2)2Yn SnnY(11x(x1x)x1)Y，,yn), x=(x1,xn). Y=(Y1,Yn), y=(y1npnpnq則模型（2.29）中參數(shù)c，a的最小二乘估計量, 即可以通過求解yy)=tr(Y)1(Y) Q(c,a,y的最小二乘估計量為 的最小值問題得到. 即參數(shù)c,a和未知真值y). (c,a,y)=argminQ(c,a,y=xacc=Ik,yc相對于的特征根為. 相應(yīng)特征向量u,u,u. 并記 若設(shè)S12p12p=(u,u),kp, U=(u,u). U11k2k+1p16碩士學(xué)位論文同

52、時引入規(guī)范化條件(2.26), 根據(jù)前面所討論的情形有，a=(x(x1x)+x1Yc. x)+xYcc=U1+(Ix(Icc) =x(xx)+xY(xx)+x)Yynp). 2x(x1x)+x1Y+(In2x(x1x)+x)2Y(Ipcc即). 2y=x(x1x)+x1Y+(In2x(x1x)+x2)2Y(Ipcc兩邊同時左乘，就得到未知變量y的估計量：y=x(x1x)+x1Y+(Inx(x1x)+x1)Y(IPcc).以上參數(shù)c,a和未知變量y的估計量c, a, y稱為廣義最小二乘估計量.于是我們得到了如下的定理：定理2.3 設(shè)線性度量誤差模型（2.28）滿足規(guī)范化條件（2.26），則參數(shù)c

53、,a和未知真值y的廣義最小二乘估計量分別為：c=U1 a=(x1x)+x1Yc.1+11+1()()(=+yxxxxYIxxxxYIcc)nP定理2.3的證明通過以下四個引理來得到.,是pp正定矩陣, S相對于的特征根為. 引理2.1 設(shè)S12p=(u,u), kp. 則U是前k個特征根對應(yīng)的,u2,up. 記U相應(yīng)的特征向量u111k1特征向量. 對任意滿足條件(2.26)的pk矩陣c, 有k)tr(U)=. SUtr(cSci11i=1相對于的Rao分解為 證明 設(shè)S=NN, 為對角陣. =NN, S. 由（2.26）有(Nc)Nc=Ik. 對角元素為1,p記A=Nc(Nc)=(aij)p

54、p, 則aii=k.i=1p所以A=(aij)pp為冪等對稱矩陣.即存在正交矩陣Q=(tij)pp使得IkA=Q0k2ij0Q. 0p2從而 aii=ttij=1，j=1j=1即 0aii1，17度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì))=tr(Nc)Nc)=a. tr(cSciiiii=1i=1引理2.2 若c滿足（2.26）. 定義 pky=x(x1x)+x1Y+(Inx(x1x)+x1)Y(Ipcc) , （2.30） 1+1a=(xx)xYc則有 yc=xa,進而yc=xa.證明 顯然 ycc)c=x(x1x)+x1Yc+(Inx(x1x)+x1)Y(Ipc =x(x1x)+x1Yc =xa由

55、于c滿足條件（2.26）. 再由y和a定義知yc=xa.引理2.3 若c滿足（2.26）, y由（2.30）定義. 則存在a, 使得yc=xa，且對任何滿足yc=xa的y, 都有tr(Yy)1(Yy)tr(Yy)1(Yy).證明 因為 (yy)c=0且Yy=(Inx(x1x)+x1)Ycc.所以 (Yy)1(yy)=(Inx(x1x)+x1)Ycc(yy)=0.由此可推出tr(Yy)1(Yy)=tr(Yy)1(Yy)+tr(yy)1(yy)y)1(Yy). tr(Y18碩士學(xué)位論文 引理2.4 設(shè)y由（2.30）定義, 對任意滿足（2.26）的c. 有y)1(Yy)tr(Yy)1(Yy). t

56、r(Yy)1(Yy) 證明 tr(Ytr(1(Yy)(Yy)tr(1ccY(Inx(x1x)+x1)(Inx(x1x)+x1)Ycc)Y(Inx(x1x)+x1)Yccc) tr(cY(Inx(x1x)+x1)Yc) tr(cSc). ntr(c由引理2.1， tr(Yy)1(Yy)ntr(cSc) ntr(cSctr(Yy)1(Yy).從而綜合引理2.1至引理2.4, 定理2.3得證.2.4 帶約束條件的多元度量誤差模型前面討論了為已知條件矩陣的度量誤差模型. 為了可以估計出唯一的參數(shù)，我們加設(shè)了規(guī)范化條件cc=I. 但在某些場合, 我們需要考慮一定的約束條件，此時可取消規(guī)范化條件，本節(jié)我們

57、將討論已知的條件下, 加設(shè)限制性約束Vec(c)條件H=L的度量誤差模型 Vec(a)yic=xiaY=y+iii, 1,i=2,n. Vec(c)H=LVec(a)2E(i)=0,Cov(i)=19度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)其中1p向量Yi是真值yi的觀測值，i為度量誤差，1q向量xi是不含度量誤差的向量，c和a分別是pk和qk的未知參數(shù)矩陣，H為已知的J(pk+qk)限制矩陣，L為已知J維列向量. 我們需要估計參數(shù)矩陣c，a和2. 則正態(tài)分布下對數(shù)似然函數(shù)定義為：11logL=log2x2222(Yy)iii=1n1(Yiyi)，于是參數(shù)矩陣c和a的極大似然估計量和廣義最小二乘估計量

58、相等，都等于nc =argmin(Yiyi)1(Yiyi), （2.31） HVec(c)=Li=1aVec(a)2的極大似然估計量為1n=(Yiyi)1(Yiyi), npi=12當(dāng)限制矩陣H滿足條件Ipc2 rankH=p=rankH （2.32） Ipa時, 文獻42給出了估計量(2.31)的解析表達式I0)IpVec(cpq= , （2.33） Veca()H1=(xx)1xy. 其中注意到（2.33）給出的估計量與誤差結(jié)構(gòu)矩陣無關(guān)，所以當(dāng)（2.32）成立時，即使未知，（2.33）給出的估計量仍然是模型中參數(shù)c和a的極大似然估計量.同時，文獻42還給出了未知時二步度量誤差模型的估計方法

59、，其具體步驟如下：=(xx)1xy； （1）計算簡化參數(shù)矩陣的估計量: n1=(Yx（2）計算誤差結(jié)構(gòu)矩陣估計量: ii)(Yixi)； ni=1Vec(c)（3）在限制H=L下極小化目標函數(shù) Vec(a)(Ycxa)iii=1n1(Yicxia)和a. 得到參數(shù)矩陣c和a的二步度量誤差估計量c即20碩士學(xué)位論文nc1=Ycxaargmin()(Yicxia). iiaVec(c)=Li=1HVec(a)度量模型方法還存在許多理論問題有待解決, 比如解的大樣本和小樣本性質(zhì),解的誤差估計等.21度量誤差模型參數(shù)估計及其統(tǒng)計性質(zhì)第 3 章 最小二乘估計的優(yōu)良性3.1 估計優(yōu)良性概述考慮度量誤差模型

60、yic=xia Yi=yi+i, 1,i=2,n. （3.1） 2Cov()=i其中1p向量Yi是有度量誤差的觀測值，1p向量yi是Yi的未知“真值”, 1p向量i是度量誤差，1q向量xi是沒有度量誤差的觀測值（包括設(shè)計值）. 是誤差結(jié)構(gòu)矩陣，2未知. c和a是模型參數(shù). 記,yn)， x=(x1,xn)， Y=(Y1,Yn)，y=(y1rank(x)=rp. npnpnq我們以P=(i)表示度量誤差項i的分布，(u,)表示期望為u，協(xié)方差陣為2的分布族，其中uRn，20，(n)，(n)表示nn正定集合，(n)表示nn非負定集合，以M0=AYc,A:Ax=x表示xa的估計類. 若誤差項的分布族