第八章 曲線擬合、回歸與相關(guān)

1、曲線擬合、回歸和相關(guān)曲線擬合、回歸和相關(guān)曲線擬合曲線擬合實(shí)踐中尋求兩個(gè)(或多個(gè))變量間存在的關(guān)系，擬合給定數(shù)據(jù)用以確定變量間的近似曲線方程，此過(guò)程叫曲線擬合?；貧w回歸曲線擬合的主要目的之一是從一個(gè)變量(獨(dú)立變量)估計(jì)另一個(gè)變量(相依變量)，估計(jì)的過(guò)程常牽涉到回歸。如果按某個(gè)方程的意義從x估計(jì)y，我們稱該方程為y關(guān)于x的回歸方程。對(duì)應(yīng)的曲線稱為y關(guān)于x的回歸曲線。最小二乘法最小二乘法若在近似n個(gè)數(shù)據(jù)點(diǎn)的集合時(shí)，對(duì)一給定的曲線族的全部曲線，其中有一條曲線的性質(zhì):達(dá)最小值，則稱該曲線為給定曲線族中的最佳擬合曲線。有這樣性質(zhì)的一條曲線稱為在最小二乘意義上對(duì)數(shù)據(jù)的擬合，該曲線稱為最小二乘回歸曲線2222

2、1.nddd最小二乘直線最小二乘直線數(shù)據(jù)點(diǎn)集(x1,y1),(xn,yn)最小二乘直線方程 y=a+bx將所有點(diǎn)代入直線方程后相加，我們得到 y=an+bx(或 )以及 xy=ax+bx2這兩個(gè)方程稱為最小二乘的正規(guī)方程。由上面的方程組我們可以達(dá)到a,b分別為：xbay222222)()(,)(,)(xxyyxxbbxxnyxxynbxxnxyxxya也可以寫成其中我們還可以得到：從上式我們可以看到最小二乘直線通過(guò)點(diǎn) ，此點(diǎn)稱為此批數(shù)據(jù)的重心。顯然斜率b與坐標(biāo)原點(diǎn)無(wú)關(guān)，所以我們可以通過(guò)適當(dāng)?shù)淖鴺?biāo)變換來(lái)減少求最小二乘直線的工作量。)(xxbyy),(yx用樣本方差和協(xié)方差表示的最小二乘直線用樣本

3、方差和協(xié)方差表示的最小二乘直線x和y的樣本方差和協(xié)方差給定為用這些項(xiàng)，y關(guān)于x或x關(guān)于y的最小二乘回歸直線分別寫成因?yàn)橄嚓P(guān)系數(shù)nyyxxsnyysnxxsxyyx)(,)(,)(2222)()(22yyssxxxxssyyyxyxxy和yxxysssr 所以我們可以得到事實(shí)上，以上就是x,y的標(biāo)準(zhǔn)化樣本值。我們可以看到僅當(dāng) r=1時(shí)，上面兩式才是表示同一直線，而且全部樣本點(diǎn)都處與這條直線上，因此存在完全線性的相關(guān)和回歸。)()(yxxysyyrsxxsxxrsyy和最小二乘拋物線最小二乘拋物線從最小二乘直線推廣到最小二乘拋物線： y=a+bx+cx2其中a,b,c由下列正規(guī)方程確定： y=na

4、+bx+cx2 xy=ax+bx2+cx3 x2y=ax2+bx3+cx4多元回歸多元回歸上面的概念也可以推廣到更多變量。例如 z=a+bx+cy那么確定a,b,c的方程組為 z=na+bx+cy xz=ax+bx2+cxy yz=ay+bxy+cy2估計(jì)的標(biāo)準(zhǔn)誤差估計(jì)的標(biāo)準(zhǔn)誤差Y關(guān)于x回歸曲線離散程度的一個(gè)度量這個(gè)量稱為y關(guān)于x的估計(jì)的標(biāo)準(zhǔn)誤差。由于 ，我們可以看到最小二乘曲線在全部可能的回歸曲線中有最小的估計(jì)的標(biāo)準(zhǔn)誤差。nyysestxy2.)(22)(dyyest在最小二乘直線中對(duì)最小二乘直線也能用方差和相關(guān)系數(shù)表示nyyxxbyysnxybyaysxyxy)()(2.22.或)1 (2

5、22.rssyxy正如存在一個(gè)總體方差的無(wú)偏估計(jì)一樣，有一個(gè)估計(jì)的理論標(biāo)準(zhǔn)誤差的平方的無(wú)偏估計(jì)，有) 1/(22nnss)2/(2.2.nnssxyxy線性相關(guān)系數(shù)線性相關(guān)系數(shù)為了考察相關(guān)系數(shù)的統(tǒng)計(jì)意義 我們也能顯示式子的左邊為總變差，右邊的第一項(xiàng)為不可解釋的變差(是隨機(jī)的或不可預(yù)見(jiàn)的方式引起的)，第二項(xiàng)為可解釋變差(可以由最小二乘回歸線得到解釋)，所以我們可以得到所以，相關(guān)系數(shù)可解釋稱總變差中可用最小二乘回歸直線解釋的部分。換句話說(shuō)，r度量了最小二乘回歸直線擬合樣本數(shù)據(jù)是如何地好。如果r2=1，我們說(shuō)有純線性相關(guān)。如果r=0，則總變差完全不可解釋。222)()(1yyyyrest222)()

6、()(yyyyyyestest總變差可解釋的變差222)()(yyyyrest廣義相關(guān)系數(shù)廣義相關(guān)系數(shù)廣義相關(guān)系數(shù)定義：我們使用此定義可獲得非線性相關(guān)系數(shù)。由于相關(guān)系數(shù)僅是度量一個(gè)給定的回歸曲線(曲面)是否較好地?cái)M合了樣本數(shù)據(jù)。所以，當(dāng)樣本是非線性的，如果我們得到線性相關(guān)系數(shù)很小，這并不表明僅有一點(diǎn)相關(guān)性，而是僅有一點(diǎn)線性相關(guān)?？傋儾羁山忉尩淖儾?22)()(yyyyrest回歸的概率解釋回歸的概率解釋從同一總體抽取不同的樣本作擬合，我們會(huì)得到不同的回歸曲線。給定兩個(gè)隨機(jī)變量X和Y的聯(lián)合密度函數(shù)和概率函數(shù)。如果使EY-g(X)2=最小值的y=g(x)曲線稱為Y關(guān)于X的最小二乘回歸曲線有如下定理

7、：定理一：y=g(x)=E(Y|X=x)滿足EY-g(X)2=最小值，所以它是Y關(guān)于X的最小二乘曲線。定理二：如果X和Y是具有二元正態(tài)分布的隨機(jī)變量，那么Y關(guān)于X的最小二乘回歸曲線是一條回歸直線，為前面對(duì)樣本的最小二乘回歸的敘述容易推廣到總體上。例如，總體情況下的估計(jì)的標(biāo)準(zhǔn)誤差用方差和相關(guān)系數(shù)項(xiàng)給定為YXXYXXYYxy這里)()1 (222.YXY相關(guān)的概率解釋相關(guān)的概率解釋總體相關(guān)系數(shù)提供了給定的總體回歸曲線是否較好地?cái)M合了總體數(shù)據(jù)地一種度量。前面關(guān)于樣本間相關(guān)的各種敘述均可以很好地用到總體上。)()(222YYEYYEest總變差可解釋的變差回歸的抽樣理論回歸的抽樣理論樣本回歸方程y=a

8、+bx，而總體的回歸方程y=+x。下面是與正態(tài)分布有關(guān)的一些檢驗(yàn)：1 假設(shè)=c的檢驗(yàn)為了檢驗(yàn)假設(shè)：回歸系數(shù)等于某一特定值c，使用統(tǒng)計(jì)量它具有n-2自由度的t分布。此結(jié)論也可用于從樣本值求總體回歸系數(shù)的置信區(qū)間2/.nssbtxxy2 預(yù)報(bào)值的假設(shè)檢驗(yàn)設(shè)y0是x=x0時(shí)y的預(yù)報(bào)值，它是從樣本回歸方程得到的估計(jì)，即y0=a+bx0。設(shè)yp記對(duì)總體而言對(duì)應(yīng)x=x0的y的預(yù)報(bào)值，那么統(tǒng)計(jì)量有n-2個(gè)自由度的t分布。由此能求得預(yù)報(bào)得總體值得置信限/)(12)(220.0 xxypsxxnnsnyyt2 預(yù)報(bào)的平均值的假設(shè)檢驗(yàn)設(shè)y0是x=x0時(shí)y的預(yù)報(bào)值，它是從樣本回歸方程得到的估計(jì)，即y0=a+bx0。

9、設(shè) 記對(duì)總體而言對(duì)應(yīng)x=x0的y的預(yù)報(bào)平均值，那么統(tǒng)計(jì)量有n-2個(gè)自由度的t分布。由此能求得預(yù)報(bào)的平均總體值的置信限/)(12)(220.0 xxypsxxsnyytpy相關(guān)的抽樣理論相關(guān)的抽樣理論我們經(jīng)常要從樣本的相關(guān)系數(shù)r估計(jì)總體的相關(guān)系數(shù)，或者檢驗(yàn)有關(guān)的假設(shè)。為此我們必須知道r的抽樣分布。在0的情況，這個(gè)對(duì)稱是對(duì)稱的，且有一個(gè)具有t分布的統(tǒng)計(jì)量可以利用。對(duì)0，這個(gè)分布是偏斜的，這種情況，F(xiàn)isher做出的變換構(gòu)造了一個(gè)統(tǒng)計(jì)量，它近似正態(tài)分布。下面的檢驗(yàn)概括了這一構(gòu)造。1 假設(shè)0的檢驗(yàn)使用下列事實(shí)：統(tǒng)計(jì)量有n-2個(gè)自由度的t分布。2 假設(shè)=00的檢驗(yàn)使用下列事實(shí)：統(tǒng)計(jì)量212rnrt)11

10、ln(21rrZ有近似正態(tài)分布，具有一下均值和標(biāo)準(zhǔn)差這一事實(shí)也能用于求相關(guān)系數(shù)的置信限。3 相關(guān)系數(shù)間的差的顯著性從大小分別為n1和n2的樣本得到兩個(gè)相關(guān)系數(shù)r1和r2，確定它們間是否有顯著差異，利用2中的統(tǒng)計(jì)量對(duì)應(yīng)r1和r2計(jì)算出Z1和Z2，然后使用下列事實(shí)：檢驗(yàn)統(tǒng)計(jì)量31),11ln(2100nzz是近似正態(tài)分布。3131,212221212121212121nnZZzZZZZZZZZZZ這里相關(guān)和相依相關(guān)和相依當(dāng)兩個(gè)隨機(jī)變量X和Y有非零的相關(guān)系數(shù)時(shí)，我們知道它們?cè)诟怕室饬x上是相依的(也就是聯(lián)合分布不能折成邊緣分布的乘積)，進(jìn)而當(dāng)0時(shí)，能使定理二中的那樣方程預(yù)報(bào)對(duì)應(yīng)X值的Y值。上述意義上的“相