第四講 多項(xiàng)式回歸與正交多項(xiàng)式(安徽農(nóng)大徐建新版)

1、變量間的關(guān)系并不都是如前三講所設(shè)定的線性關(guān)系，而有時(shí)是非線性的關(guān)系。對(duì)于非線性變量間的回歸分析，人們通常經(jīng)過某種線性處理，將非線性性回歸轉(zhuǎn)化為線性回歸，即在選用適當(dāng)函數(shù)類型進(jìn)行擬合時(shí)，進(jìn)行適當(dāng)?shù)淖兞孔儞Q，把曲線方程轉(zhuǎn)化為直線方程。但是也不是所有的曲線都能找到適當(dāng)?shù)暮瘮?shù)類型進(jìn)行擬合。這時(shí)可采用多項(xiàng)式逼近。所以，在許多比較復(fù)雜的實(shí)際問題中，可以不問自變量和依變量的關(guān)系如何，采用多項(xiàng)式回歸進(jìn)行分析。然而，多項(xiàng)式回歸分析也存在不足之處。首先是，當(dāng)自變量的個(gè)數(shù)較多時(shí) 計(jì)算將十分繁雜；其次，如同多元線性回歸一樣，偏回歸系數(shù)之間存在相關(guān)性，當(dāng)剔除一個(gè)自變量后，必須重新計(jì)算偏回歸系數(shù)。為此，人們研究了各種簡(jiǎn)化

2、計(jì)算和消去偏回歸系數(shù)間相關(guān)性的辦法。而最為常用的是正交多項(xiàng)式的分析方法。在介紹該方法之前先要了解多項(xiàng)式回歸的分析方法。一、多項(xiàng)式回歸的基本方法 設(shè)有一組觀察值（xt，yt） t=1，2，n，存在非線性關(guān)系，則多項(xiàng)式回歸方程為： （41） ppxbxbxbby2210 為使離回歸平方和SSQ=(y )2最小，即根據(jù)最小二乘法原理可得出下列正規(guī)方程組： y （42） yxxbxbxbxbyxxbxbxbxbxyxbxbxbxbyxbxbxbnbkppppppppppp222110224231201322102210解上述方程組可得：b0，b1，b2 bp 。若令x1=x，x2=x2，xp=xp，或

3、1(x)=x，2(x)=x2，p(x)=xp，則（41）可改寫成 ： （43） ppxdxdxddy22110 或 （44） )()()(22110 xdxdxddypp 這樣就把xi 或i(x)看成是新的變量，（43）或（44）式便是一個(gè)p元的線性回歸方程，各偏回歸系數(shù)di仍可按下列正規(guī)方程組求得。 （45）pypppppyppypplldldldlldldldlldldld22112222221111122111ppxdxdxdyd22110其中 （i，j=1，2，p） nxxxxxxxxljtitjtitjjtiitntij)(1nyxyxyyxxlttttitntiy)(1nltttt

4、ttxjxixjxixjxjxixintij)()()()()()()()(1)(nyyyyltxitxitxixintiyttt)()()()(1)(或 同樣，對(duì)于多元多項(xiàng)式回歸，也可以化為多元線性回歸來分析，例如，對(duì)于多變量的任意多項(xiàng)式回歸方程： 22521421322110zbzzbzbzbzbby 只要令x1=z1， x2=z2 ，x3= ，x4=z1z2，x5= 可化為多元線性回歸方程： 21z22z55443322110 xdxdxdxdxddy 其偏回歸系數(shù)的計(jì)算，回歸方程的顯著性檢驗(yàn)，各偏回歸平方和的計(jì)算及顯著性檢驗(yàn)，都與多元線性回歸分析相似。二、實(shí)例分析 例1 有一組資料如表

5、41，試配置一個(gè)回歸方程。表41 x與y的資料 x012476810y12467653 先將x與y數(shù)值在坐標(biāo)系上作圖。 圖4.1 x與y點(diǎn)式圖及回歸曲線圖 由圖所示，x與y的點(diǎn)式圖呈拋物線形狀，故可配合一個(gè)二次拋物線方程。為了配合更為適當(dāng)，可先配合成三次項(xiàng)后再作檢驗(yàn)。其方程為： 332210 xbxbxbby令x1=x，x2=x2，x3=x3，則上述方程可轉(zhuǎn)化為三元線性方程3322110 xdxdxddy 其中 3322110 xdxdxdyd 1、計(jì)算必要數(shù)據(jù)，列出正規(guī)方程組一級(jí)數(shù)據(jù)：x1=38， x2=x2=270， x3=x3=2144， y=34， =x4=18066，y2=176，

6、=x6=1430610， x1x2=x3=2144， x1x2=x4=18066，x2x3x5=158408，x1y=189，x2y=x2y=1293，x3y=x3y=9675二級(jí)數(shù)據(jù)：22x23x,75. 41x,75.3322 xx,28633xx25. 4y =2703828=89.5nxxl212111）（nxxxxl212112nxxxxl313113nxxl222222）（nxxxxl323223nxxl232333）（=1430610214428=856018=2144382708=861.5=180663821448=7882=1806627028=8953.5=1584082

7、7021448=86048nyxyxly111nyxyxly222nyxyxly333nyylyy22)(=18938348=27.5=1293270348=145.5=96752144348=563=1763428=31.5 于是正規(guī)方程組為： 5638560188604878825 .145860485 .89535 .8615 .2778825 .8615 .89321321321ddddddddd 2、計(jì)算偏回歸系數(shù)，列出回歸方程，仍可用（116）式對(duì)下列增廣矩陣作消元變換，求得系數(shù)矩陣的逆及各偏回歸系數(shù)。 5638560188604878825 .145860485 .89535 .

8、8615 .2778825 .8615 .89)0(A84357.18585986.1618732459.1017839.067.88206704.1192459.10178960915.660625698. 9307263. 0067039.88625698. 9017773. 0)1(A16028.2311465.5137399165.15160677.60180354. 0399165.15001513. 0014563. 0043292. 2160677.60014563. 0151354. 0)2(A004508. 0000195. 0002998. 0011711. 0110928

9、. 0002998. 0047673. 0194901. 0772064. 1011711. 0194901. 0855590. 0)3(A d1=1.7721，d2=0.1109，d3=0.0045 d0=4.251.77214.75+0.110933.75+0.0045256=0.7814 因此，三次方曲線方程為： 320045. 01109. 07721. 17814. 0 xxxy 3、顯著性檢驗(yàn)及準(zhǔn)確性測(cè)定： 回歸平方和 0633.305630045. 05 .1451109. 05 .277721. 131iyiUldSS 離回歸平方和 4367. 10633.305 .31Uyy

10、UYQSSlSSSSSS表42 回歸系數(shù)的方差分析 變異來源dfSSMSFF0.05(3，4)回歸離回歸總的34730.06331.436731.510.02110.3592 10.218* 6.599769. 05 .310633.30yyUlSSR R0.01(4)=0.962，RR0.01，差異極顯著，可見多元回歸極為顯著，且準(zhǔn)確度也較高。4、偏回歸系數(shù)的顯著性檢驗(yàn) Cii為A(3)主對(duì)角線上的元素，即高斯乘數(shù)。 iiidicdMS2 MSQ為離回歸的均方。 QdidiMsMSF289. 03592. 0000195. 0)0045. 0(718. 03592. 004767. 0)11

11、09. 0(218.103592. 085559. 07721. 1233222*211QddQddQddMsMSFMsMSFMsMSF F0.05(1，4)=7.71，F(xiàn)d1F0.05，由于僅有d1檢驗(yàn)達(dá)到5%顯著水準(zhǔn)，故需對(duì)F值最小的x3進(jìn)行剔除，把三次方曲線方程變?yōu)槎螔佄锞€方程，可由A(2)中求得逆和解，即： d1=2.0433，d2=0.1804 d0=4.252.04334.75+0.180433.75=0.6328 二次拋物線方程為 21804. 00433. 26328. 0 xxy SSU=2.043327.50.1804145.5=29.9426 SSQ=31.529.94

12、26=1.5574*065.483115. 09713.14)5/5574. 1 ()2/9426.29(QUMSMSF F0.01(2，5)=13.27，F(xiàn)F0.01; R0.01(5)=0.917，RR0.01。 975. 05 .319426.29R 檢驗(yàn)結(jié)果表明，該資料所配的二次拋物線方程，其顯著水準(zhǔn)達(dá)到1%，且準(zhǔn)確度較高。 *22*21052.693115. 0001513. 0)1804. 0(555.883115. 0151354. 00433. 2ddFF 兩偏回歸系數(shù)皆極顯著，表明，所配合的二次拋物線適合于該資料。因此，可依據(jù)該回歸方程描繪出回歸曲線圖(見圖4.1)。倘若需要

13、求出該拋物線最高點(diǎn)的x值時(shí)，可對(duì) =0.6328+2.0433x0.1804x2求一階導(dǎo)數(shù)，并令其為零，即： y 66.51804.020433.20)1804.0(20433.2xxxy 所以，當(dāng)x=5.66時(shí)， 取最大值，亦即曲線最高點(diǎn)。 y 上述分析可見，要配合一個(gè)適當(dāng)?shù)亩囗?xiàng)式回歸方程，其計(jì)算工作量是十分繁瑣的。但，如果自變量取等間隔數(shù)值時(shí)，可通過恰當(dāng)?shù)淖兞孔儞Q，如采用正交多項(xiàng)式來配合其回歸方程，將使得分析變的十分簡(jiǎn)便和實(shí)用。 為引出正交多項(xiàng)式的分析方法，可先看下例： 設(shè)有一組x與y的觀察值： x 1 2 3 4 5 y 2 4 3 6 7試建立一個(gè)二次拋物線回歸方程，即：2210 xd

14、xddy 若令： 1(x)=x3，2(x)=(x3)22， 則方程可化為二元線性回歸方程 ：)(22)(110Xxdddy 一、正交多項(xiàng)式回歸方程的建立 )(21x)(2)( 1xxyx)(1yx)(22y140140000010010004 . 25/122512212222512112112251211211121）（）（，）（）（）（）（）（）（）（）（）（）（xnxxxnxxxnxxxlllyx1234521012212122436741014414144101444061444661441693649001210140122114 表43 n=5時(shí)二元i(x) 值計(jì)算表1（x）2（x

15、）y)(22x2 .8512114)(012021212012251212512122511111yylyylyylnyyxnxyxnxy）（）（）（）（ 依（45）式，正規(guī)方程組為： 2140120102121dddd解得：d1=12/10=1.2，d2=2/14=0.143 2)3(143. 0)3(2 . 14 . 24 . 20143. 002 . 14 . 22)(22)(110 xxyddydxx以上計(jì)算結(jié)果可看出，通過恰當(dāng)?shù)淖兞孔儞Q可使得 ), 2 , 1,(0), 2 , 1(0)()(1)(1jipjipixjxinxin 這種變換具有正交性，若推廣至一般： 設(shè)x1=1，x2

16、=2，xn=n。如果x1=a+h，x2=a+2h，xn=a+nh 可變換x=（nxxxn, 2, 121x-a）/h 。于是， ，記對(duì)應(yīng)于xt的實(shí)驗(yàn)結(jié)果yt（t=1，2，n）。該組觀察值可配合一個(gè)p次多項(xiàng)式回歸方程 ：ppxbxbxbby22110 設(shè)1(x)，2(x)，p(x)為x 函數(shù)，分別表示一次，二次，p次多項(xiàng)式，則上述方程可表示為p元線性回歸方程： 為解得各偏回歸系數(shù)，需算出二級(jí)數(shù)據(jù)為：)()()(22110 xdxdxddypp), 2 , 1(), 2 , 1,()()()()()()(ntnyylpjinltxitxiiyxjxixjxiijtttttt 為滿足正交條件，變換的

17、變量i(x)須滿足)(00)()()()(2)(1jixjxixpxx 這樣yljijilxiiyxiijxi)(2)()(, 00 于是正規(guī)方程組可簡(jiǎn)化為ydydydxppxpxxxx)(2)()(222)(2)(112)(1000000000 （46） 各偏回歸系數(shù)為 ydydxixii02)()( 對(duì)于d的計(jì)算已大大簡(jiǎn)化，問題在于如何選取i(x)以滿足正交條件?，F(xiàn)以模型2210 xbxbby （47） 為例加以說明。 設(shè)1(x)，2(x)分別為x的一次和二次多項(xiàng)式，并令i(x)）的表達(dá)式為： （48） 20212)(210)(1cxcxcxxx 二次模型可化為：)(22)(110Xxdd

18、dy 為滿足 000)(2)(1)(2)(1xxxx（49） 只要適當(dāng)調(diào)節(jié)三個(gè)參數(shù)c10，c21，c20即可。 為例。 把（48）式代入（49）式得：0)(0)(0)(20212101202121101cxcxcxcxcxcxnnn xnxcncxnn1101010則 將 代入 ，有 xc100)(20212101cxcxcxn0)()()()2()(0)()(2()(0)()22()2)(12212022121312212021212212021221221xxxxccxxxcxxxxccxxxcxxxxxxccxcxxxxcxxxxxxnnnn ， 0)(1xxn0)(31xxn 這樣 必

19、為0，故 。 )2(21xcxc221 將 代入 ，得 xc2210)(202121cxcxn 于是 0)()(0)2(220212021xcxxcxxxnn211220)(xxxcnn 所以，在x取等間隔數(shù)值時(shí)，只要選取 2112)(2)(1)()(xxxxxxnnxx 即可滿足正交條件，若x取自然數(shù)1，2，n時(shí)， ) 1(21nx （410） 12/) 1()21(6) 12)(1()(222221nnnnnnnxnxxxn將上式代入（4-10）式 121)(121)21(212222)(2)(1nxxnnxxxnxxx（411） 所以當(dāng)x的取值可用 xt=x0+ht （h為公差： t=1

20、，2，n）表示時(shí) ，各次正交多項(xiàng)式i（x）的統(tǒng)一形式為： )(12222)()(1)(12325)(522224)(423)(322)(2)(1) 14(4)()(100840723015)(18)7(5)(560)9)(1(3)(14133)()(2073)(121)(xpxpxxpxxxxxppnphxxnnhxxnhxxnnhxxnhxxhxxnhxxnhxxhxx （412） 例如x 取值為0，20，40，60，80，則可表示為xt=20+20t（t=1，2，5）。按（412）式 ，各i(x)值列于表43表44 n=5時(shí)的i(x) x1(x)2(x)3(x)4(x)0204060802

21、1012212126/512/5012/56/512/3548/3572/3548/3512/35 由表44可見，i(x)值并非全為整數(shù)，為避免小數(shù)運(yùn)算時(shí)的麻煩，通常再引入一個(gè)適當(dāng)?shù)南禂?shù)i使 ci=ii(x) (i=1，2，p) （413） 為絕對(duì)值盡可能小的整數(shù)，如表43中，取1=1，2=1，3=5/6，4=35/12。則c3（第3列）=（1，2，0，2，1），c4=（1，4，6，4，1）。 相應(yīng)地由（47）式，計(jì)算的di可改寫成： （414） ), 2 , 1(2picycdiii)(1xiiipidyy（415） 不同觀察值次數(shù)下的p次多項(xiàng)式ci已由學(xué)者編制成表，實(shí)際工作中直接引用即可。

22、 二、正交多項(xiàng)式回歸的顯著性檢驗(yàn) （一）p次式回歸方程的顯著性檢驗(yàn) p次式回歸平方和 SSU= dfU=p ycdiipi1 p次式離回歸平方和 SSQ=SSySSU dfQ=np1 1pnSSpSSFQU （二）各偏回歸系數(shù)di的顯著性檢驗(yàn) （i=1，2，p） QididiiidMSMSFcycMS22)( 其中 ， 分別為各個(gè)偏回歸平方和（均方，dfdi=1）及離回歸均方。idMSQMSidMS 由于正交性，F(xiàn)di檢驗(yàn)不顯著時(shí)，可直接從多項(xiàng)式回歸方程中剔除，并將其自由度、平方和（ ）并入離回歸項(xiàng)中，以檢驗(yàn)其余的di。無須重新計(jì)算di。例2、用鎮(zhèn)痛藥對(duì)小動(dòng)物鎮(zhèn)痛效果的研究中，得到關(guān)于用藥后時(shí)

23、間（x）和平均反映時(shí)間（y）的資料如下，試配合一個(gè)適當(dāng)?shù)亩囗?xiàng)式回歸方程。 x（分） 0 20 40 60 80 100 120 y（分） 24.9 37.0 42.0 37.5 34.0 28.1 25.9 因資料中x取等間隔數(shù)據(jù)n=7，公差h=20，故可用正交系數(shù)作多項(xiàng)式回歸分析。 1、x與y的點(diǎn)式圖，以確定多項(xiàng)式的次數(shù)。由點(diǎn)式圖可知，擬配以三次多項(xiàng)式回 歸方程。 y |50 + | | * 40 + | * * | *30 + | * * | *20 + | | -+-+-+-+-+-+-+- x 0 20 40 60 80 100 120 圖4.2 x與y的點(diǎn)式圖 2、據(jù)n=7 選擇正交

24、多項(xiàng)式系數(shù)ci值表（表44），所抄表中的列數(shù)，應(yīng)比點(diǎn)式圖推測(cè)的可能多項(xiàng)式的最高次方數(shù)多一列。本例可抄下四列。3、計(jì)算偏回歸系數(shù)，偏回歸平方和，作顯著性檢驗(yàn)由公式（414）及（416）可得di及偏回歸平方和MSdi。以d1為例 5657.1828/)8 .22(8143. 028/8 .222212121111ccMScycdyd SSy=y2(y)2/n=7775.68229.42/7=257.9143 四次式回歸平方和 0494.255411idiipiUMSycdSS 離回歸平方和 SSQ=257.9143255.0494=2.8649 因MSd4最小，故可先作F檢驗(yàn)，以決定是否剔除。 1

25、28649. 20344. 0244QdSSMSF F檢驗(yàn)結(jié)果差異不顯著，表明多項(xiàng)式中4次式的回歸方程可不作考慮，故將4次式的回歸平方和及自由度合并于離回歸平方和中，并對(duì)d1，d2，d3，作顯著性檢驗(yàn)，檢驗(yàn)結(jié)果如表45。 表44 n=7時(shí)的ci值表 y 2ic7714.32y0204060801001203210+1+2+3+503430+51+1+1011+1+37+1+6+17+324.937.042.037.534.028.125.924.8537.3840.9838.6733.3127.9925.64iciydiMSdi12822.80.814318.56571841241.47621

26、83.04761/6617.92.983353.40177/121542.3.01490.0344y2=7775.68y=229.4SSy=257.9143x 表45 例2資料多項(xiàng)式回歸各次分量的方差分析 F檢驗(yàn)結(jié)果表明，例2資料宜用三項(xiàng)式表示： 但依（415）式有3219833. 24762. 18143. 07714.32cccy3232)(1000062. 001488. 089936. 085.2420607)2060(69833. 24)2060(4762. 1206081439. 07714.32xxxxxxxdyyxiiipi*9944. 09143.257015.255yUSS

27、SSR 可見，所配多項(xiàng)式回歸方程估測(cè)的準(zhǔn)確性極高。對(duì)于三次多項(xiàng)式，求一、二y 階導(dǎo)數(shù)，并令其為零，可求得 的極值和曲線上的拐點(diǎn)。即： 變異來源dfSSMSFF0.05 F0.01一次式二次式三次式離回歸總變異1113618.5657183.047653.40172.8993257.914318.5657183.047653.40170.966419.21*189.41*55.26*10.13 34.4 （416） 331222232133032bbbbbxxbxbbxy3232223062bbxxbbxy對(duì)于本例 的極大、極小值分別在x為40.32、119.35時(shí)；方程在x=40上有一拐點(diǎn)。

28、y 二、處理間平方和的多項(xiàng)式回歸分解 若試驗(yàn)因素可分為若干個(gè)數(shù)量水平（處理），則處理間的平方和可剖分為單一自由度的各次式偏回歸平方和。這時(shí)處理（水平）為x變量，試驗(yàn)結(jié)果y為處理的反應(yīng)變量，亦稱y為x的響應(yīng)，則稱一次式為一次響應(yīng)，二次式為二次響應(yīng)等等。當(dāng)數(shù)量水平取等間隔數(shù)值時(shí)，仍可采用正交多項(xiàng)式分析。需要指出的是，若以各處理組的合計(jì)數(shù)Ti為一變量y時(shí)，則方差分析時(shí)的各項(xiàng)平方和皆應(yīng)乘以處理組內(nèi)的重復(fù)數(shù)r，才能與回歸分析相對(duì)應(yīng)。 例3 以4種粗纖維含量（%）不同的飼料（x）喂養(yǎng)仔雞，各種飼料飼養(yǎng)三只仔雞，其試驗(yàn)結(jié)果列于表46，試作多項(xiàng)式回歸分析。 表46不同飼料對(duì)仔雞的增重結(jié)果 y粗纖維仔雞增重（y

29、）y=Ti3456151156145144153157149146152158147145456471441435152157147145 因x取間隔值h=1，故可采用正交多項(xiàng)式回歸分析，其計(jì)算結(jié)果如表47 表47 正交多項(xiàng)式回歸分析計(jì)算表 2icxxc1c2c3y345631+1+1+111+11+33+1456471441435iciyMSdidi22093432.454.6524 21110.255.25101320 69238.053.45SSy=780.75 =4.5SSQ=0y=450.75 本例所用y為Ti，故方差分析中各平方和均應(yīng)乘以r（=3）后，才能與多項(xiàng)式回歸分析相對(duì)應(yīng)，即

30、：SST=274.253=822.75，SSA=260.253=780.75，SSE=143=12。亦可把多項(xiàng)式回歸分析中把ssy和各Msdi都除以r（=3），并將y和iy也除以3后，建立以處理平均數(shù) “g/只”的回歸方程式。本例采用后者分析。于是例3資料的顯著性檢驗(yàn)如表48 。表48 例3資料的多項(xiàng)式回歸顯著性檢驗(yàn) 變異來源dfSSMSF處理間一次響應(yīng)二次響應(yīng)三次響應(yīng)誤差項(xiàng)31118260.25144.1536.7579.351486.75144.1536.7579.351.7549.57*82.37*21.0*45.34*總變異11274.25 檢驗(yàn)結(jié)果表明：仔雞增重對(duì)不同飼料中粗纖維含量的一、二、三次響應(yīng)皆為極顯著，相對(duì)而言，以一次響應(yīng)最大（F=82.37）。但其關(guān)系仍需以三次多項(xiàng)式配合為宜。即： 3