對比分析最小二乘法與回歸分析

1、對比分析最小二乘法與回歸分析摘要最小二乘法是在模型確定的情況下對未知參數(shù)由觀測數(shù)據(jù)來進 行估計，而回歸分析則是研究變量間相關關系的統(tǒng)計分析方法。關鍵詞：最小二乘法回歸分析數(shù)據(jù)估計目錄摘要 錯誤!目錄 錯誤!一：最小二乘法 錯誤!主要內容 錯誤!基本原理 錯誤!二：回歸分析法 錯誤!回歸分析的主要內容 錯誤!回歸分析原理 錯誤!三：分析與總結 錯誤!二最小二乘法主要內容最小二乘法又稱最小平方法是一種數(shù)學優(yōu)化技術。它通過定義殘差平方和的方式，最小化殘差的平方和以求尋找數(shù)據(jù)的最佳函數(shù)匹配，可以從一組測定的數(shù)據(jù)中尋求變量之間的依賴關系, 這種函數(shù)關系稱為經(jīng)驗公式. 利用最小二乘法可以十分簡便地求得未知

2、的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘法來表達。基本原理考慮超定方程組（超定指未知數(shù)大于方程個數(shù)）：其中m代表有m個等式，n代表有n個未知數(shù)（mn ;將其進行向量化后為：顯然該方程組一般而言沒有解，所以為了選取最合適的讓該等式“盡量成立，引入殘差平方和函數(shù)S（在統(tǒng)計學中，殘差平方和函數(shù)可以看成 n倍的均方誤差當 時，取最小值，記作：通過對 進行微分求最值，可以得到：如果矩陣非奇異則有唯一解:二：回歸分析法回歸分析是確定兩種或兩種以上變量間相互依賴的相關關系的一種統(tǒng)計分析方法?；貧w分析是應用

3、極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測數(shù)據(jù)建立變量間適當?shù)囊蕾囮P系，建立不同的回歸模型，確立不同的未知參數(shù)，之后使用最小二乘法等方法來估計模型中的未知參數(shù)， 以分析數(shù)據(jù)間的內在聯(lián)系。當自變量的個數(shù)等于一時稱為一元回歸， 大于 1 時稱為多元回歸，當因變量個數(shù)大于1 時稱為多重回歸， 其次按自變量與因變量之間是否呈線性關系分為線性回歸與非線性回歸。 最簡單的情形是一個自變量和一個因變量，且它們大體上有線性關系，叫一元線性回歸。回歸分析的主要內容從一組數(shù)據(jù)出發(fā)，確定某些變量之間的定量關系式，即建立數(shù) 學模型并估計其中的未知參數(shù)。估計參數(shù)的常用方法是最小二乘法。對這些關系式的可信程度進行檢驗。在許多

4、自變量共同影響著一個因變量的關系中，判斷哪個（或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量加入模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。利用所求的關系式對某一生產(chǎn)過程進行預測或控制?；貧w分析原理(1在回歸分析中自變量x函，X2，%)是影響因變量丫的主要因素，是 人們能控制或能觀察的，而y還受到隨機因素的干擾，可以合理地假 設這種干擾服從零均值的正態(tài)分布，于是模型記作y 01x1mxm2 N(0, 2)其中 未知。現(xiàn)得到n個獨立觀測數(shù)據(jù)(yi，Xii，Xim), i 1, ,n,n m,由上式得yi01xi 1m ximii N(0

5、, 2), i 1, ,n記1X11X1 my1X，Y1Xn 1Xnmyn1nT，01mT表為YX N (0, 2)參數(shù)估計 用最小二乘法估計模型中的參數(shù) 由這組數(shù)據(jù)的誤差平方和為n2TQ( )i2 (Y X )T(Y X )i1求 使 Q( ) 最小，得到的最小二乘估計，記作?，可以推出? (XTX) 1XTY將？代回原模型得到y(tǒng)的估計值 0 1 x1mxm而這組數(shù)據(jù)的擬合值為Y X?,擬合誤差e Y Y?稱為殘差，可作為 隨機誤差的估計，而nn_22Q e(yi %)i 1i 1為殘差平方和(或剩余平方和)，即Q(?)(3統(tǒng)計分析 不加證明地給出以下結果:(i) .是 的線性無偏最小方差估

6、計。指的是 .是Y的線性函數(shù); 的期望等于；在 的線性無偏估計中，？的方差最小。(ii ) ?服從正態(tài)分布?N( , 2(XTX) 1)2(iii )對殘差平方和Q, EQ (n m 1)，且-Q2- 2(n m 1)由此得到2的無偏估計?2S2是剩余方差(殘差的方差)，S稱為剩余標準差n(iv)對丫的樣本方差S(yi y)2進行分解，有i 1nS Q U , U(?i y)2i 1其中Q殘差平方和，反映隨機誤差對y的影響，U稱為回歸平方和,反映自變量對y的影響?；貧w模型的假設檢驗因變量y與自變量Xi, ,Xm之間是否存在如模型所示的線性關系是需要檢驗的，顯然，如果所有的|?j| (j 1, ,m)都很小，y與Xi, ,Xm的線性關系就不明顯，所以可令原假設為Ho： j 0(j1, ,m)當H。成立時由分解式定義的U,Q滿足U / mQ /(n m 1) F(m,nm 1)在顯著性水平下有1分位數(shù)(m,n m 1),若FF1 (m,n m 1),接受H。；否則，拒絕。三：分析與總結最小二乘法是基于既定模型對未知參數(shù)的一種估計方法，以函數(shù)殘差和最小的條件對未知參數(shù)進行估計?；貧w分析包括：建立帶有參數(shù)的函數(shù)模型（即經(jīng)驗公式），通過最小二乘法、最大似然估計法等方法對模型參