多元線性回歸方程的建立

1、多元線性回歸方程的建立建立多元線性回歸方程，實際上是對多元線性模型（2-2-4）進行估計，尋求估計式（2-2-3）的過程。與一元線性回歸分析相同，其基本思想是根據(jù)最小二乘原理，求解 使全部觀測值 與回歸值 的殘差平方和達到最小值。由于殘差平方和          （2-2-5）    是 的非負二次式，所以它的最小值一定存在。    根據(jù)極值原理，當Q取得極值時， 應滿足

2、60;   由（2-2-5）式，即滿足                    （2-2-6）    (2-2-6）式稱為正規(guī)方程組。它可以化為以下形式     （2-2-7）    如果用A表示上述方程組的系數(shù)矩陣可以看出A是對稱矩陣。則有  

3、60;                （2-2-8）  式中X是多元線性回歸模型中數(shù)據(jù)的結(jié)構(gòu)矩陣， 是結(jié)構(gòu)矩陣X的轉(zhuǎn)置矩陣。 (2-2-7)式右端常數(shù)項也可用矩陣D來表示    即               因此(2-

4、2-7)式可寫成Ab=D           （2-2-10）    或            （2-2-11）如果A滿秩（即A的行列式  ）那么A的逆矩陣A-1存在，則由(2-10)式和(2-11)式得 的最小二乘估計為      

5、60;     （2-2-12）  也就是多元線性回歸方程的回歸系數(shù)。  為了計算方便往往并不先求  ，再求b，而是通過解線性方程組(2-2-7)來求b。(2-2-7)是一個有p+1個未知量的線性方程組，它的第一個方程可化為            （2-2-13）    式中     &#

6、160;      （2-2-14）    將（2-2-13）式代入（2-2-7）式中的其余各方程，得            （2-2-15）    其中            （2-2-16）   

7、 將方程組（2-2-15）式用矩陣表示，則有Lb=F           （2-2-17）    其中      于是b=L-1F           （2-2-18）  因此求解多元線性回歸方程的系數(shù)可由（2-2-16）式先求出L，然后將其代回（2-2-17

8、）式中求解。求b時，可用克萊姆法則求解，也可通過高斯變換求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩陣，因而相對復雜一些。  例2-2-1 表2-2-1為某地區(qū)土壤內(nèi)含植物可給態(tài)磷(y)與土壤內(nèi)所含無機磷濃度(x1)、土壤內(nèi)溶于K2CO3溶液并受溴化物水解的有機磷濃度(x2)以及土壤內(nèi)溶于K2CO3溶液但不溶于溴化物的有機磷(x3)的觀察數(shù)據(jù)。求y對x1, x2, x3的線性回歸方程  。表2-2-1 土壤含磷情況觀察數(shù)據(jù)    計算如下：   

9、由(2-2-16)式     代入(2-2-15)式得         （2-2-19）    若用克萊姆法則解上述方程組，則其解為                （2-2-20）    其中   &

10、#160;計算得b1=1.7848，b2=-0.0834，b3=0.1611     回歸方程為  應用克萊姆法則求解線性方程組計算量偏大，下面介紹更實用的方法高斯消去法和消去變換。多項式回歸標簽： c2009-07-04 14:52 6443人閱讀 評論(0) 收藏 舉報在上一節(jié)所介紹的非線性回歸分析，首先要求我們對回歸方程的函數(shù)模型做出判斷。雖然在一些特定的情況下我們可以比較容易地做到這一點,但是在許多實際問題上常常會令我們不知所措。根據(jù)高等數(shù)學知識我們知道，任何曲線可以近似地用多

11、項式表示，所以在這種情況下我們可以用多項式進行逼近，即多項式回歸分析。    一、多項式回歸方法假設(shè)變量y與x的關(guān)系為p次多項式，且在xi處對y的隨機誤差  (i=1,2,n)服從正態(tài)分布N(0,)，則    令xi1=xi, xi2=xi2，xip=xip    則上述非線性的多項式模型就轉(zhuǎn)化為多元線性模型，即     這樣我們就可以用前面介紹的多元線性回歸分析的方法來解決上述問題了。其系數(shù)矩陣、結(jié)構(gòu)矩陣

12、、常數(shù)項矩陣分別為   (2-4-11)                  (2-4-12)                        (2-4-13)&#

13、160;    回歸方程系數(shù)的最小二乘估計為                       (2-4-14)需要說明的是，在多項式回歸分析中，檢驗bj是否顯著，實質(zhì)上就是判斷x的j次項xj對y是否有顯著影響。對于多元多項式回歸問題，也可以化為多元線性回歸問題來解決。例如，對于    

14、0;  (2-4-15)    令xi1=Zi1, xi2=Zi2, xi3=Zi12, xi4=Zi1Zi2, xi5=Zi22    則(2-4-15)式轉(zhuǎn)化為    轉(zhuǎn)化后就可以按照多元線性回歸分析的方法解決了。    下面我們通過一個實例來進一步說明多項式回歸分析方法。        一、應用舉例   

15、0;例2-4-2  某種合金中的主要成分為元素A和B，試驗發(fā)現(xiàn)這兩種元素之和與合金膨脹系數(shù)之間有一定的數(shù)量關(guān)系，試根據(jù)表2-4-3給出的試驗數(shù)據(jù)找出y與x之間的回歸關(guān)系。表2-4-3  例2-4-2試驗數(shù)據(jù) 首先畫出散點圖（圖2-4-3）。從散點圖可以看出，y與x的關(guān)系可以用一個二次多項式來描述：i=1,2,3,13圖2-4-3  例2-4-2的散點圖    令xi1=xi,xi2=xi2,    則    

16、;現(xiàn)在我們就可以用本篇第二章介紹的方法求出   的最小二乘估計。由表2-4-3給出的數(shù)據(jù)，求出    由（2-2-16）式    由此可列出二元線性方程組    將這個方程組寫成矩陣形式，并通過初等變換求b1,b2和系數(shù)矩陣L的逆矩陣L-1:    于是    b1=-13.3854    b2=0.16598  &#

17、160; b0=2.3323+13.3854 40-0.16598 1603.5=271.599    因此    下面對回歸方程作顯著性檢驗：    由（2-2-43）式S回=    由（2-2-42）式S總=S殘=Lyy- S回=0.2572 將上述結(jié)果代入表2-2-2中制成方差分析表如下：表2-4-4          方差分析表     查F檢驗表，F(xiàn)0。01（2，10）=7.56, F>F0.01(2 ,10)，說明回歸方程是高度顯著的。    下面對回歸系數(shù)作顯著性檢驗    由前面的計算結(jié)果可知：    b1=-13.3854      &