多元線性回歸方程的建立

1、精品資料歡迎下載多元線性回歸方程的建立建立多元線性回歸方程，實(shí)際上是對多元線性模型（2-2-4）進(jìn)行估計(jì),尋求估計(jì)式（2-2-3）的過程。與一元線性回歸分析相同，其基本思想是根據(jù)最小二乘原理，求解瓦由,也使全部觀測值X與回歸值立的殘差平方和達(dá)到最小值。由于殘差平方和Q-力8-反尸力必-國+瓦西1+也如+%專）i-li-1（2-2-5）是練瓦的非負(fù)二次式，所以它的最小值一定存在。根據(jù)極值原理，當(dāng)Q取得極值時(shí)，綜也應(yīng)滿足tU-"2#）嗎由（2-2-5）式，即滿足士-（品+%月=。魯,一（用十”和十%心十十%”小L0，兌Y與+4%+%”）悔=。一偈十”和十名瑪。十+%）%=。（2-2-6）

2、（2-2-6）式稱為正規(guī)方程組。它可以化為以下形式精品資料歡迎下載注M九丸叫十玄£兇+玄加泡+十（20片.i-1i-1b2-1 >_12B!（»q%十（2工；兇十（1研泡十十（Z/力油工碣乂diUMi_】QIi-ii 菱呢JI同（»審）%十（£%）*+（£、”建唐十舂=工/乂I3i-13-1IJ】（2-7）如果用A表示上述方程組的系數(shù)矩陣可以看出A是對稱矩陣。則有(2-2-8)式中X是多元線性回歸模型中數(shù)據(jù)的結(jié)構(gòu)矩陣，工是結(jié)構(gòu)矩陣X的轉(zhuǎn)置矩陣。（2-2-7）式右端常數(shù)項(xiàng)也可用矩陣D來表示即精品資料歡迎下載因此(2-2-7)式可寫成Ab=D

3、(2-2-9)(2-2-10)或(2-2-11)如果A滿秩(即A的行列式為)那么A的逆矩陣A1存在，則由(2-10)式和(2-11)式得/的最小二乘估計(jì)為(2-2-12)也就是多元線性回歸方程的回歸系數(shù)。為了計(jì)算方便往往并不先求X盯,再求b,而是通過解線性方程組(2-2-7)來求b。(2-2-7)是一個(gè)有p+1個(gè)未知量的線性方程組，它的第一個(gè)方程可化為(2-2-13)式中瓦下一濟(jì)虧-自舄力工(2-2-14)將(2-2-13)式代入(2-2-7)式中的其余各方程，得精品資料歡迎下載AA短血十十上】也=%£31Al+4斗£?禽=%其中(2-2-15)/=工（海-馬M注-以）：工

4、勺司-一方）工4）2-1i-1i-L±-1H廉MRJ=E（町一號）&-同=工源-一（£。）（£乂）>1i>L再i-lj-1將方程組（2-2-15）（2-2-16）式用矩陣表示，則有其中Lb=F(2-2-17)于是(2-2-18)b=L-1F因此求解多元線性回歸方程的系數(shù)可由（2-2-16）式先求出L,然后將其代回（2-2-17）式中求解。求b時(shí)，可用克萊姆法則求解，也可通過高斯變換求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩陣，因而相對復(fù)雜一些。例2-2-1表2-2-1為某地區(qū)土壤內(nèi)含植物可給態(tài)磷（y）與土壤內(nèi)所含無機(jī)磷濃度（

5、X1）、土壤內(nèi)溶于&CO溶液并受澳化物水解的有機(jī)磷濃度（x2）以及土壤內(nèi)溶于K2CO溶液但不溶于澳化物的有機(jī)磷（x3）的觀察數(shù)據(jù)。求y對X1,X2,X3的線性回歸方程。精品資料歡迎下載表2-2-1土壤含磷情況觀察數(shù)據(jù)樣本序號土壤中含磷量2加土麋中植物可給瑁0唱.0有小10.4521586420.4231636033.1-19377140.6341576154.724595461.7651237779.4444681210.113111793S11.6291739310126581121511110337111761223.146114961323.150134171421.64473泊

6、1523.15616895161336143341726.8581202181S2995112499計(jì)算如下：1"石=一£而丁=1L944理制檢=工72,111".一£/,-123.0001y=，乂=81,278由(2-2-16)式41=一五乂仙一耳）三175296i-l/三-石-左)=1035-61=L2li-l精品資料歡迎下載加三工（4一石）6,一&）i20U三J1i-l加工一耳）（21-石）=175296i-l/三工-初（物-&）=雙4=%U1JL工H-a)(4-總)=充5723-1工內(nèi)一4）-2刃如%廣±6-動每-兩三2

7、21644i-l耳尤®瑪）5-刀，例3i-l代入（2-2-15）式得175296叫+1085.6161+1200-323L48(2-2-19)，10&56七1十3155.782+336=22164412叫+3充明+35572%=7593若用克萊姆法則解上述方程組，則其解為(2-2-20)其中精品資料歡迎下載計(jì)算得bi=1.7848,b2=-0.0834,ba=0.1611=y-4瑞一與方一烏網(wǎng).43.67回歸方程為P-43.67+17S48z1-0.0S34x.+0161k,應(yīng)用克萊姆法則求解線性方程組計(jì)算量偏大，下面介紹更實(shí)用的方法一一高斯消去法和消去變換。多項(xiàng)式回歸標(biāo)簽：

8、c2009-07-0414:526443人閱讀評論(0)收藏舉報(bào)在上一節(jié)所介紹的非線性回歸分析，首先要求我們對回歸方程的函數(shù)模型做出判斷。雖然在一些特定的情況下我們可以比較容易地做到這一點(diǎn)但是在許多實(shí)際問題上常常會令我們不知所措。根據(jù)高等數(shù)學(xué)知識我們知道，任何曲線可以近似地用多項(xiàng)式表示，所以在這種情況下我們可以用多項(xiàng)式進(jìn)行逼近，即多項(xiàng)式回歸分析。一、多項(xiàng)式回歸方法假設(shè)變量y與x的關(guān)系為p次多項(xiàng)式，且在Xi處對y的隨機(jī)誤差不(i=1,2,n)服從正態(tài)分布N(0產(chǎn))，則y/d+鳳+*B劉+104田令Xi1=Xi,Xi2=Xi2,，Xip=XiP精品資料歡迎下載則上述非線性的多項(xiàng)式模型就轉(zhuǎn)化為多元線

9、性模型，即XT區(qū)+用/1+用/”+%+&(2-4-11J),n)這樣我們就可以用前面介紹的多元線性回歸分析的方法來解決上述問題了。其系數(shù)矩陣、結(jié)構(gòu)矩陣、常數(shù)項(xiàng)矩陣分別為(2-4-11)(2-4-12)B-XY(2-4-13)回歸方程系數(shù)的最小二乘估計(jì)為2m=(片片尸二¥-14)需要說明的是，在多項(xiàng)式回歸分析中，檢驗(yàn)bj是否顯著斷x的j次項(xiàng)xj對y是否有顯著影響。(2-4實(shí)質(zhì)上就是判對于多元多項(xiàng)式回歸問題，也可以化為多元線性回歸問題來解決。例如,對于精品資料歡迎下載(2-4乂二鳳十科乩+£?舄+口*+"+£i-15)令Xi1=Zl,Xi2=Zj2,

10、xi3=Zl2,Xi4=ZlZi2,xi5=Z22則(2-4-15)式轉(zhuǎn)化為居三中用心十自工最十戶”汽十十j轉(zhuǎn)化后就可以按照多元線性回歸分析的方法解決了。F面我們通過一個(gè)實(shí)例來進(jìn)一步說明多項(xiàng)式回歸分析方法o一、應(yīng)用舉例例2-4-2某種合金中的主要成分為元素A和B,試驗(yàn)發(fā)現(xiàn)這兩種元素之和與合金膨脹系數(shù)之間有一定的數(shù)量關(guān)系，試根據(jù)表2-4-3給出的試驗(yàn)數(shù)據(jù)找出y與x之間的回歸關(guān)系。表2-4-3例2-4-2試驗(yàn)數(shù)據(jù)序號y137.03.40237.53-00338.03.00435.52.27539.02.10639.5L83740.0L53840.E1,70941.0L801041.5L901142

11、.02.351242.52.541343.02.90首先畫出散點(diǎn)圖（圖2-4-3）。從散點(diǎn)圖可以看出，y與x的關(guān)系可以用一個(gè)二次多項(xiàng)式來描述：M-飽+從蟲+鳳城+Ji=1,2,3，13精品資料歡迎下載Xil=Xi,xi2=Xi2,M三鳳十明。十月馬4國現(xiàn)在我們就可以用本篇第二章介紹的方法求出機(jī)乩尾的最小二乘估計(jì)。由表2-4-3給出的數(shù)據(jù)，求出司4。島-1603.5,2.3323由（2-2-16）式精品資料歡迎下載=2（工正一9=4551-1"=£gi-Ta?=291325.13i-l工5耳-片）區(qū)-3640i-lAi幾364Q4=2（4-吊）5-y）=-4,87i-L上勘=

12、g（%曷）8歹）=一3函*33-1%三七力”72212i-l由此可列出二元線性方程組尸5典十364圾-487，國（%291425,13=一交KW3將這個(gè)方程組寫成矩陣形式，并通過初等變換求bi,b2和系數(shù)矩陣L的逆矩陣L-1：-4.871Q-388301/-0.639328179916乂1曠3J45.53M0-3640291325.13-13,/1250.16598-0.63933于是bi=-13.3854b2=0.16598b0=2.3323+13.3854:140-0.16598:1603.5=271.599因此?=271.599-13.38MX+016598jtJF面對回歸方程作顯著性檢驗(yàn)：由（2-2-43）式精品資料歡迎下載£4=3.加0S回二由（2-2-42）式S殘=Lyy-S回=0.2572將上述結(jié)果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表絲方和自由度均方顯著性回歸3.96402L982006剩余0.257210C.02572口4.221212查F檢驗(yàn)表，F(xiàn)oo01(2,10)=7.56,F>