最小二乘法在誤差分析中的應用

1、誤差理論綜述與最小二乘法討論摘要：本文對誤差理論和有關數(shù)據(jù)處理的方法進行綜述。并且針對最小二乘法（LS）的創(chuàng)立、發(fā)展、思想方法等相關方面進行了研究和總結。同時，將近年發(fā)展起來的全面最小二乘法(TLS)同傳統(tǒng)最小二乘法進行了對比。1. 誤差的有關概念對科學而言，各種物理量都需要經過測量才能得出結果。許多物理量的發(fā)現(xiàn)，物理常數(shù)的確定，都是通過精密測量得到的。任何測試結果，都含有誤差，因此，必須研究，估計和判斷測量結果是否可靠，給出正確評定。對測量結果的分析、研究、判斷，必須采用誤差理論，它是我們客觀分析的有力工具1.1測量基本概念一個物理量的測量值應由數(shù)值和單位兩部分組成。按實驗數(shù)據(jù)處理的方式，測

2、量可分為直接測量、間接測量和組合測量。直接測量:可以用測量儀表直接讀出測量值的測量。間接測量:有些物理量無法直接測得，需要依據(jù)待測物理量與若干直接測量量的函數(shù)關系求出。組合測量:如有若干個待求量，把這些待求量用不同方法組合起來進行測量，并把測量結果與待求量之間的函數(shù)關系列成方程組，用最小二乘法求出這個待求量的數(shù)值，即為組合測量。1.2誤差基本概念誤差是評定測量精度的尺度，誤差越小表示精度越高。若某物理量的測量值為y，真值為Y，則測量誤差dy=y-Y。雖然真值是客觀存在的，但實際應用時它一般無從得知。按照誤差的性質，可分為隨機誤差，系統(tǒng)誤差和粗大誤差三類。隨機誤差: 是同一測量條件下，重復測量中

3、以不可預知方式變化的測量誤差分量。系統(tǒng)誤差: 是同一測量條件下，重復測量中保持恒定或以可預知方式變化的測量誤差分量。粗大誤差: 指超出在規(guī)定條件下預期的誤差。1.3等精度測量的隨機誤差當對同一量值進行多次等精度的重復測量，得到一系列的測量值，每個測量值都含有誤差，這些誤差的出現(xiàn)沒有特定的規(guī)律，但就誤差的總體而言，卻有統(tǒng)計規(guī)律。 1.3.1正態(tài)分布通過對大量的測量數(shù)據(jù)的觀察，人們發(fā)現(xiàn)測量列的隨機誤差有以下幾個特征：（1） 絕對值相等的正誤差與負誤差出現(xiàn)的次數(shù)相等，即誤差的對稱性；（2） 絕對值小的誤差比絕對值大的誤差出現(xiàn)的次數(shù)多，即誤差的單峰性；（3） 在一定的測量條件下，隨機誤差的絕對值不會超

4、過一定界限，即誤差的有界性；（4） 隨著測量次數(shù)的增加，隨機誤差的算術平均值趨于零，即誤差的抵償性。正態(tài)分布曲線如下圖1-1所示。正態(tài)分布時區(qū)間(-，+)的面積占總面積的68.27%; (-1.96，+1.96)的面積占總面積的95%;區(qū)間(-2.58，+2.58)的面積占總面積的99%。圖1-1.正態(tài)分布曲線1.3.2 t分布t分布是小樣本分布，小樣本分布一般是指n3，該數(shù)據(jù)為異常數(shù)據(jù)，應剔除。萊依特準則的合理性是顯然的，對服從正態(tài)分布的隨機誤差，其殘差落在（-3，3）以外的概率僅為0.27%，當在有限次測量中發(fā)生的可能性很小，認為是不可能發(fā)生的。（2）肖維勒準則：若對某一物理量等精度重復測

5、量n次，得測量值，若認為為可疑數(shù)據(jù)，若此數(shù)據(jù)的殘差|v|Z，則此數(shù)據(jù)為異常數(shù)，應剔除。實用中Zl，當?shù)染葴y量時，測量數(shù)據(jù)與直接測量量的最佳估值的殘差應滿足最小，即：3.4回歸分析回歸分析（Regression Analysis）是英國生物學家兼統(tǒng)計學家高爾頓（Galton）在1889年出版的自然遺傳一書中首先提出，是處理變量之間相關關系的一種數(shù)理統(tǒng)計方法。由于相關變量之間不存在確定性關系，因此，在生產實踐和科學實驗所記錄的這些變量的數(shù)據(jù)中，存在不同程度的差異?；貧w分析就是應用數(shù)學方法，對大量觀測數(shù)據(jù)進行處理，從而得到比較符合事物內部規(guī)律的數(shù)學表達式。4.最小二乘法的創(chuàng)立、發(fā)展及其思想最小二乘

6、法是提供“觀測組合”的主要工具之一,它依據(jù)對某事件的大量觀測而獲得“最佳”結果或“最可能”表現(xiàn)形式。如已知兩變量為線性關系y=a+bx,對其進行n(n2)次觀測而獲得n對數(shù)據(jù)。若將這n對數(shù)據(jù)代入方程求解a,b之值則無確定解。最小二乘法提供了一個求解方法,其基本思想就是尋找“最接近”這n個觀測點的直線。最小二乘法不僅是19世紀最重要的統(tǒng)計方法,而且還可以稱為數(shù)理統(tǒng)計學之靈魂。相關回歸分析、方差分析和線性模型理論等數(shù)理統(tǒng)計學的幾大分支都以最小二乘法為理論基礎。作為其進一步發(fā)展或糾正其不足而采取的對策,不少近現(xiàn)代的數(shù)理統(tǒng)計學分支也是在最小二乘法基礎上衍生出來的。正如美國統(tǒng)計學家斯蒂格勒(S.M. S

7、tigler)所說,“最小二乘法之于數(shù)理統(tǒng)計學猶如微積分之于數(shù)學”。天文學和測地學的發(fā)展促進了數(shù)理統(tǒng)計學及其他相關科學的發(fā)展。丹麥統(tǒng)計史家哈爾德曾指出天文學在數(shù)理統(tǒng)計學發(fā)展中所起的作用。“天文學自古代至18世紀是應用數(shù)學中最發(fā)達的領域。觀測和數(shù)學天文學給出了建立數(shù)學模型及數(shù)據(jù)擬合的最初例子,在此種意義下,天文學家就是最初的數(shù)理統(tǒng)計學家。天文學的問題逐漸引導到算術平均,以及參數(shù)模型中的種種估計方法,以最小二乘法為頂峰。”這也說明了最小二乘法的顯著地位。4.1勒讓德創(chuàng)立最小二乘法現(xiàn)行的最小二乘法是勒讓德(A.M.Legendre)于1805年在其著作計算彗星軌道的新方法中提出的，該書有80頁,包含

8、8頁附錄,最小二乘法就包含在這個附錄中。勒讓德之所以能做出這個發(fā)現(xiàn),是因為他沒有因襲前人的想法要設法構造出k個方程去求解.他認識到關鍵不在于使某一方程嚴格符合,而在于要使誤差以一種更平衡的方式分配到各個方程。4.2高斯的正態(tài)誤差理論早在17世紀,伽利略在其名著關于兩個世界的對話托雷密與哥白尼(1632)中,就討論了隨機誤差及其分布的問題。雖然他并未提出這個名詞,但他提出了隨機誤差的分布曲線應有圖4-1的形狀：1.f關于0對稱(即f(-)=f(),這表示正負誤差有同等出現(xiàn)的機會)；2. f在兩邊單調地衰減至0,即大誤差出現(xiàn)的機會較小,很大誤差的機會幾乎為0。圖4-1. a是誤差大小，f(a)是a

9、這樣的誤差發(fā)生的概率1809年,高斯發(fā)表論著關于繞日行星運動的理論。在該書末尾,他寫了一節(jié)有關“數(shù)據(jù)結合”的問題,以極其簡單的手法導出誤差分布正態(tài)分布,并用最小二乘法加以驗證。關于最小二乘法,高斯宣稱自1795年以來他一直使用這個原理。這立刻引起了勒讓德的強烈反擊,他提醒說科學發(fā)現(xiàn)的優(yōu)先權只能以出版物確定?，F(xiàn)在一般認為,二人各自獨立地發(fā)明了最小二乘法,盡管早在10年前,高斯就使用這個原理,但第一個用文字形式發(fā)表的是勒讓德。高斯較之于勒讓德把最小二乘法推進得更遠,他由誤差函數(shù)推導出這個方法并詳盡闡述了最小二乘法的理論依據(jù)。其推導過程如下:設誤差密度函數(shù)為f(x),真值為x，n個獨立測定值為x1,

10、x2,xn。由于觀測是相互獨立的,因而這些誤差出現(xiàn)的概率為：（1）要找出最有希望的誤差函數(shù)應使L(x)達極大,高斯認為就是x的估計值,并使L(x)取得極大值。對 (1) 式兩端取對數(shù)得： （2）再對(2)式求導：，記，則有上式求對偏導數(shù)，而有，對于任意i有（c為常數(shù)），可得，因可以推出b=0，則有，積分可得，由，應有c0,取，可得，則有，此即為正態(tài)分布。這樣可知，的誤差密度函數(shù)為：要此式達到極大值，必選取之值而使表達式達極小值，于是可得的最小二乘估計法。綜上可知,勒讓德和高斯發(fā)現(xiàn)最小二乘法是從不同的角度入手的:一個是為解線性方程組,一個是尋找誤差函數(shù);一個用的是整體思維,考慮方程組的均衡性,一

11、個用的是逆向思維,首先接受經驗事實;一個是純代數(shù)方法,一個致力于應用。相比而言,高斯不愧為數(shù)學王子,他把最小二乘法推進得更遠、更深刻,這極大地推進了數(shù)理統(tǒng)計學的發(fā)展。5.全面最小二乘法（TLS）與最小二乘法對比研究傳統(tǒng)的平差問題都是采用最小二乘法來解決的。對非線性函數(shù)模型線性化的習慣作法是,將非線性函數(shù)模型按泰勒級數(shù)展開,保留一次項,略去二次及二次以上的高次項。它是建立在觀測值和未知數(shù)近似值與觀測值的真值和未知數(shù)的真值都充分接近的基礎上的。如果該條件不滿足,線性化必然會影響到線性函數(shù)模型的真實性,從而影響平差質量。全面最小二乘法(TLS)是上世紀70年代發(fā)展起來的一種新的數(shù)據(jù)處理方法,已經廣泛

12、地應用于聲學、自動控制、系統(tǒng)識別、信號處理等各個學科。該方法從一個新的角度來研究線性矛盾方程組,全面考慮了觀測向量與系數(shù)矩陣中的誤差,更符合實際情況。5.1全面最小二乘法原理無論是直接使用廣義逆陣A+還是使用A的奇異值分解（SVD）求解最小二乘問題,它們都是求x使之滿足：（1）及。其中為范數(shù)，定義為：，且矩陣A的值域定義為。因此,最小二乘問題等同于用一個最小的e去擾動b以便b+e可以用A的各列來預測。或者說,一般最小二乘問題只考慮了觀測向量b的擾動,而沒有考慮系數(shù)矩陣A的擾動。顯然,更合理的方法是同時考慮b和A二者的擾動。這就是全面最小二乘(TLS)的基本思想。換句話說,在TLS問題中,我們考

13、慮矩陣方程：（2）的求解。（2）式可以變換為（3a）或（3b）其中這樣一來,對齊次方程(3)的全面最小二乘解可以簡單表示為:求一個解向量z使得：（4）式中，F(xiàn)robenius范數(shù)（5）。5.2 TLS與LS在數(shù)據(jù)處理方法對比研究5.2.1設計平差網形,給出已知條件設計一平差網形如圖5-1,已知A, B, C, D, P1, P2,P3,P4, 4點的坐標,坐標如下表5-2。圖5-1.平差網形表5-2.已知點的真實坐標根據(jù)已知點坐標求出各個邊長的真實長度,分別為:L1=5760.7132m， L2=5187.3387m， L3=7838.8726m， L4=5483.1580m， L5=5731

14、. 8220m， L6=8720.1288m， L7=5598.6018m， L8=7494.8989m， L9=7493.2662m， L10=5438.4036m， L11=5487.0595m， L12=8884.5594m， L13=7228.3699m。5.2.2設計兩種方案把P1，P2，P3，P4點作為待定點,對以上網形進行同精度觀測,為了便于比較設計2組觀測值,方案1為觀測值與真實值相差不大的情況,即待定點坐標與真實坐標相差不大的情況,此時系數(shù)矩陣誤差不大;方案2為觀測值與真實值相差較大的情況,即待定點坐標與真實坐標相差較大,此時系數(shù)矩陣誤差較大的情況,2種方案觀測值如下:方案1

15、:同精度測得如圖1中的13個邊長,其結果為L1=5760.706m， L2=5187. 342m，L3=7838.880m，L4=5483.158m，L5=5731.788m，L6=8720.162m，L7=5598.570m，L8=7494.881m，L9=7493.323m，L10=5438.382m，L11=5487.073m，L12=8884.587m，L13=7228.367m。方案2：同精度測得如圖1中的13個邊長，其結果為L1=5761.706m，L2=5186.342m，L3=7837. 880m，L4=5484.158m，L5=5730.788m，L6=8721.162 m，

16、L7=5597.570m，L8=7493.881m，L9=7492.323m，L10=5437.382m，L11=5488.073m，L12=8883.587m，L13=7229.367m。5.3精度比較與分析表5-3為以上兩節(jié)獲得的數(shù)據(jù)，以及真實坐標與經平差以后的坐標值的比較：圖5-3. 兩種數(shù)據(jù)處理方法平差結果(單位/m)由上表可以看出：(1)最小二乘法處理方案1的數(shù)據(jù)精度可以達到0.1mm，而處理方案2的數(shù)據(jù)精度的只能達到1 mm。如果方案2中觀測值誤差更大一點，結果誤差可能會更大。由此可見：最小二乘在處理非線性函數(shù)模型平差的時候，適用于待定點近似坐標與真實坐標相差很小的情況，相差較大的時候，由于最小二乘沒有考慮系數(shù)矩陣的誤差導致精度不高，數(shù)據(jù)可靠性不高。(2)全面最小二乘處理方案1和方案2數(shù)據(jù)精度都可以達到0.1mm甚至更高。由此可見：全面最小二乘在處理非線性函數(shù)模型平差的時候，由于考慮了系數(shù)矩陣的誤差，所以對于兩種方案都能達到要求，平差出來的數(shù)據(jù)符合要求，數(shù)據(jù)可靠性有保障。5.3結論最小二乘在處理非線性函數(shù)模型平差時,僅僅適用于待定點近似坐標與真實坐標相差不大的情況,即觀測值誤差不是很大的情況下,反之,則數(shù)據(jù)可靠性可能受到影響,要進行多次平差來驗證。而采用全面最小二乘法則可以兼顧系數(shù)矩陣和觀測值兩者的誤差,數(shù)據(jù)精度符合要求,可