現(xiàn)代回歸分析方法

現(xiàn)代回歸分析方法上海財經大學統(tǒng)計系韓小亮第一頁，共一百七十九頁。目的:

回歸分析研究的是一個變量(應變量)和其他變 量(自變量)之間的關系.其目的可能是:1.確定哪些變量有關及其程度;2.預測;3.找出最優(yōu)的組合;4.控制;5.尋求合適的數(shù)學模型;6.評估兩個或兩個以上因素的交互影響等等.

1.回歸分析(RegressionAnalysis)第二頁，共一百七十九頁。

數(shù)據資料（data）

應變量（response）自變量（independentvariables,predictorvariables)這里n

是記錄數(shù)目，k

是自變量數(shù)目（包括常數(shù)項).第三頁，共一百七十九頁?；灸Ｐ?

第四頁，共一百七十九頁。2.線性回歸(LinearRegression)模型：

Y=X+

這里X是Z

的函數(shù)(已知),

是未知參數(shù)向量，是誤差項第五頁，共一百七十九頁。

也就是說

有

第六頁，共一百七十九頁。線性模型的假設：

1.正態(tài)分布；2.互相獨立；3.同方差；4.一個隨機誤差項;5.系統(tǒng)影響的相加性（additivityofsystematiceffects);6.資料完整.第七頁，共一百七十九頁。參數(shù)估計（）：

最小二乘估計

→ 有 (注意:這里沒有用到正態(tài)分布的假定)第八頁，共一百七十九頁。極大似然估計

這里在正態(tài)分布的假定下

這個估計是所謂BLUE的.第九頁，共一百七十九頁。估計量的分布第十頁，共一百七十九頁。殘差平方和的分布

→ 方差的估計：

（矩估計）第十一頁，共一百七十九頁。顯著性

1。模型的顯著性，即檢驗假設

使用統(tǒng)計量

當

為真時

第十二頁，共一百七十九頁。

2。某個因素的顯著性，即檢驗假設

定義對稱方陣

設為其對角元素，則有檢驗統(tǒng)計量 當成立時

第十三頁，共一百七十九頁。模型選擇（變量數(shù)目）

當兩個模型有嵌套的(nested)關系時，可以用下述F檢驗來決定取舍模型1:模型2:當為真時

這里是回歸平方和,是殘差平方和.第十四頁，共一百七十九頁。方差分析表

第十五頁，共一百七十九頁。擬合優(yōu)度確定系數(shù):R2statistic:

R2c(adjustR2):

第十六頁，共一百七十九頁。UnderH0：1

=

2

=…=p-1=0

(testR2exactlyequivalenttoFtest)第十七頁，共一百七十九頁。應變量的變換

(transformationofresponse)

目的： 1。正態(tài)分布（對稱）；2。同方差；3。相加性。第十八頁，共一百七十九頁。異方差或者不獨立

加權最小二乘估計:假如

Y=X+

~N(0,2V)

而且V

已知，則存在滿秩對稱矩陣P

PＴP＝PP＝P２＝V

且有P－1

~N(0,2In)即

P－1Y|X~N(P－1

X,2In)第十九頁，共一百七十九頁。對P－1Y＝P－1

X＋P－1

取最小二乘估計，得

^＝(XTV－1X)-1XTV－1Y

稱之為加權最小二乘估計(weightedleastsquareestimator)

有

^~N(,2(XTV－1X)-1)第二十頁，共一百七十九頁。3.共線性

(Multicollinearity,collinearity)這里主要討論“幾乎”共線性，順便也討論一下精確的共線性

第二十一頁，共一百七十九頁。定義：自變量之間存在強烈的線性關系。 精確地說，存在使

或

對至少一個

k成立.

第二十二頁，共一百七十九頁。跡象：XTX至少有一個很小的特征值(≈0)

注意:λj≥0forj=1,2,…,p(這里λj

是XTX的特征值).第二十三頁，共一百七十九頁。影響:典型的影響是使參數(shù)估計的方差增大從而使整個估計不精確.

總的說來:Var(^)=2(XTX)-1

具體地說:Var(^j)=forj=0,1,…,p-1第二十四頁，共一百七十九頁。這里

R2j

是即其它自變量對自變量j回歸的確定系數(shù).

第二十五頁，共一百七十九頁。線性回歸的理想要求是:Y對X有很強的線性關系,而X之間有較弱的線性關系.

第二十六頁，共一百七十九頁。共線性的測度

(1)

VIF(varianceinflationfactor)

VIFj=1/(1-R2j)forj=0,1,2,…,p-1.

當max(VIFj)≥10時,有共線性問題(這是經驗公式,無精確理論基礎)

第二十七頁，共一百七十九頁。注意:VIF0≡1/(1-R20)其對應模型是此模型右邊無常數(shù)項.第二十八頁，共一百七十九頁。(2)

ConditionNumber

這里λ(j)是按大小排列的矩陣XTX的特征值.當κ>1000時,可能有嚴重的共線性問題.第二十九頁，共一百七十九頁。(3)

ConditionIndex

forj=2,3,…,p

ConditionIndex能發(fā)現(xiàn)多于一個的共線性關系.經驗公式:列出所有的κj≥100.第三十頁，共一百七十九頁。解決方法

(1)

從模型中除去一些變量(例如對應于比較大的VIFj的Xj).

這個問題與變量選擇和模型確定的方法有關;

如果βj≠0,則剔除βj會導致,即最小二乘估計成為有偏估計.第三十一頁，共一百七十九頁。(2)

主成分回歸(PrincipalComponentRegression)

Y=X+=X(UUT)+=(XU)(UT)+≡Gα+

這里U

是XTX

的特征向量矩陣(XTX=UΛUT);

G=XU(G稱為主成分principalcomponent) α=UT第三十二頁，共一百七十九頁。這時α

的LS估計是

α^=(GTG)-1GTY=Λ-1GTY→β^=Uα^

如果把G去掉(p-r)列(比如說對應于較小的λi),記為G(r),G(r)=XU(r),

取α~=(GT(r)

G(r))-1GT(r)

Yβ~=U(r)α~=U(GT(r)

G(r))-1GT(r)

Y

稱之為主成分估計(principalcomponentestimator).第三十三頁，共一百七十九頁。這時有

SV(β~)=2

SMSE(β~)=2

即這個估計是有偏的(除非α2i=0i=r+1,…,p).

(注意:主成分回歸只減少”成分”個數(shù),沒有減少變量個數(shù)).第三十四頁，共一百七十九頁。(3)

嶺回歸(Ridgeregression)

β*＝(XTX+kI)-1XTY這里k>0通常是個小正數(shù).第三十五頁，共一百七十九頁。前面有 SV(^)=2

現(xiàn)在有 SV(*)=2

SV(^)

當k→∞時,SV(*)→0

事實上 Var(*)=2

UΛ*UT

這里 (Λ*)ii=λi(λi+k)-2第三十六頁，共一百七十九頁。然而SMSE(β*)=2

β*是β的有偏估計.

當k↑

有Var(*)↓同時bias(*)↑.注意到上述SMSE(β*)的第二項是單調增函數(shù),且有當k=0時為0,則存在k*

使SMSE(k*

)<SMSE(0).第三十七頁，共一百七十九頁。但事實上koptimal

不可求(因為式中的β未知).經驗方法是: 1)k^=p*^2/^T^

這里^2=(Y-X^)T(Y-X^)/(n–p);

2)找出使β*”穩(wěn)定”下來的k(1<VIFmax<10);

3)畫脊嶺跡(ridgetrace),即對j=0,1,…,p-1

畫出*j(k),k.脊嶺跡也可用來作為除去變量的標準:除去那些不穩(wěn)定(變號,很快趨于零)的變量.

第三十八頁，共一百七十九頁。廣義逆回歸

如果完全的共線性存在,即XTX的秩小于p,則最小二乘估計^不唯一.可用廣義逆(如Moore-Penrose廣義逆)找出^的一般解.

第三十九頁，共一百七十九頁。4.重大影響點,異類點和穩(wěn)健性回歸(Influentialpoints,OutliersandRobustregression)第四十頁，共一百七十九頁。定義:殘差(residual)

這里

hatmatrix:

H=X(XTX)-1XT

有

var(e)=

(I-H)σ2

和var(ei)=(1-hii)σ2

且有 (含有β0項時)和 第四十一頁，共一百七十九頁。定義:標準殘差(Standardizedresidual)

zi=ei/s

有第四十二頁，共一百七十九頁。定義:學生殘差(Studentizedresidual)

在回歸模型假定下ri漸進服從自由度為(n-p)的學生分布.

第四十三頁，共一百七十九頁。定義:大折刀殘差(Jackkniferesidual)

這里s2(-i)是指去掉第i

項的方差估計.

在回歸模型假定下r(-i)精確地服從自由度為(n-p-1)的學生分布.

當(n-p)>>30時ri,r(-i)

都漸進服從N(0,1).第四十四頁，共一百七十九頁。常用殘差圖

(1)

分布圖或直方圖(histogram);(2)

盒子圖(box-plotorschematicplot);(3)

正態(tài)圖或半正態(tài)圖;(4)

二維圖(如Y^,r(-i)).第四十五頁，共一百七十九頁。重大杠桿點

(highleveragepoint)

一個事實:

fori=1,2,…,n.(single-roweffects)第四十六頁，共一百七十九頁。帽子矩陣H的一些性質(1)

對稱(symmetric);(2)

冪等(idempotent):H2=H;(3)

1/n≤hii

≤1;(4)

特征值:theeigenvaluesarealleither0or1,(#of1s=Rank(H));(5)

Rank(H)=Rank(X)=p,(tr(H)=Σhii=p).第四十七頁，共一百七十九頁。Onaverage:hii=p/n;經驗公式:Aruleofthumb:hii>2p/n→highleveragepointi.第四十八頁，共一百七十九頁。Leverage的度量: Cook’sdistance

當Di<<1時,沒有highleverage的問題.(注意:highleveragepoint不一定會很大地改變參數(shù)估計值.)[圖]第四十九頁，共一百七十九頁。異類點及其處理

異類點(Outliers)通常指的是這樣一種情況:資料不純(contamination),即資料中的一個記錄(點)或某項記錄(點)顯然與其他大部分記錄(點)”不一樣”.第五十頁，共一百七十九頁。異類點的統(tǒng)計模型

原假設:

備用假設1: 確定性備用假設(deterministicalternative)

有記錄或測量誤差;

備用假設2: 內在性備用假設(inherentalternative)

第五十一頁，共一百七十九頁。 備用假設3: 混合型備用假設(mixturealternative)

備用假設4: 滑動型備用假設(slippagealternative)

除了事先確定的k個點之外(確定指的是數(shù)目k而不是點)所有其他點都屬于F.F由位置參數(shù)(location)μ和等級參數(shù)(scale)σ2

確定.而k個點則來自μ和σ2有變動的版本F;第五十二頁，共一百七十九頁。 備用假設5: 可變換型備用假設(exchangeablealternative)

只有一個異類點

j等可能地來自[1,2,…,n].第五十三頁，共一百七十九頁。異類點的處理方法

(1)找出并剔除(discardancytest):例如基于殘差的檢驗.注意:當用max{r(-i)}n的P值進行檢驗時,需要考慮所謂的Bonferronicorrection.(2)去除或減少其影響(accommodation):穩(wěn)健性(robust)統(tǒng)計.注意:異類點常常是重大杠桿點,但重大杠桿點不一定是異類點.第五十四頁，共一百七十九頁。BonferroniInequality

ntestseachofsizeα,theprobabilityoffalselylabellingatleastonepoint,anoutlierisnograterthannα.如果選α’=α/n,則可得保守的α值

第五十五頁，共一百七十九頁。穩(wěn)健性回歸(Robustregression)

穩(wěn)健性統(tǒng)計的一些方法(以位置[location]估計為例):(1)修剪法(trimming)略去r個最小的和s個最大的樣本值:或者取 αn=r+f (0<f<1)第五十六頁，共一百七十九頁。(2)溫莎法(Winsorizing)或者類似于定義第五十七頁，共一百七十九頁。(3)L估計量,M估計量和R估計量L-estimators(LinearOrderStatisticsestimators)

注意:修剪法和溫莎法都是L估計量.第五十八頁，共一百七十九頁。M-estimators找出方程 關于

的解.注意:當密度函數(shù)為f(x-μ)

時,取,

就是似然方程的解.R-estimators

由一定的秩檢驗(ranktest,如Wilcoxontest)的程度所取得.第五十九頁，共一百七十九頁。為什么要穩(wěn)健性回歸

替代方法是分兩步走:(1)去除異類點;(2)用經典方法進行回歸.但是去除異類點首先需要可靠的參數(shù)估計;原先的分布假設可能不對;經驗表明穩(wěn)健性方法往往比剔除異類點的方法更可取.因為它不決斷地接受或拒絕一個觀察點.第六十頁，共一百七十九頁。穩(wěn)健性回歸的要求

(1)在假定模型下是好的估計;(2)假如資料對模型假定有一點偏離,其參數(shù)估計還是”穩(wěn)健的”;(3)如果資料對模型假定有較大的偏離,參數(shù)估計也不是”災難性”的.第六十一頁，共一百七十九頁。穩(wěn)健性回歸的幾個例子

(1)考慮M估計量當 時,它就是LS估計.取 這里0<f<2.較小的f等價于給較大的殘差以較小的權.第六十二頁，共一百七十九頁。特別地,當f=1時,稱之為LeastAbsoluteDeviationEstimation,又叫L1-regression.或者取 這里c>0是一個常數(shù).第六十三頁，共一百七十九頁。(2)考慮下列步驟:(i)對Yi回歸,得Y^i,s和ri(或r(-i));(ii)WinsorizeYi:這里c是穩(wěn)健控制值,一般取1到2之間.(iii)對Y*i回歸,得新的Y^i,s和ri(或r(-i));重復(i)和(ii)直到收斂.第六十四頁，共一百七十九頁。注意:當用:e*i=Y*i-Y^i

代替:ei=Yi-Y^i時,將會低估σ2

修正方法:這里m是未修改的Y的數(shù)目.第六十五頁，共一百七十九頁。(3)LTSregression

這里h<n,稱之為LeastTrimmedSquaresRegression第六十六頁，共一百七十九頁。(4)LMSregression

稱之為LeastMedianofSquaresRegression注意:穩(wěn)健性回歸的思想具有一般的意義.第六十七頁，共一百七十九頁。5.廣義線性模型

(GeneralizedLinearModels)線性模型的推廣一大類回歸模型有完整的理論結構第六十八頁，共一百七十九頁。邏輯回歸(LogisticRegression)

如果應變量Yi只能取兩個值0和1,則Yi服從二點分布(Bernoullidistribution).

設

則 第六十九頁，共一百七十九頁。邏輯函數(shù): 第七十頁，共一百七十九頁。邏輯回歸模型

設 這里g定義為連系函數(shù)(linkfunction),連系函數(shù)將線性組合Xiβ與數(shù)學期望pi連在一起.

則 即p是關于η的邏輯函數(shù),且有0<pi<1.第七十一頁，共一百七十九頁。參數(shù)β的極大似然估計

由 得似然函數(shù) 于是

forr=1,2,…k.

第七十二頁，共一百七十九頁。費雪信息矩陣(Fisherinformationmatrix)

這里 第七十三頁，共一百七十九頁。當 是邏輯連系函數(shù)時

注意:需用疊代算法求出β^,即解方程組.第七十四頁，共一百七十九頁。參數(shù)估計β^的性質

事實上β^是漸進正態(tài)分布的.第七十五頁，共一百七十九頁。擬合優(yōu)度

差異函數(shù)(deviancefunction): (注意:0?log(0)=0)如果模型假定正確,D漸進服從;如有兩個嵌套模型H0

和HA,則D0–DA

漸進服從.第七十六頁，共一百七十九頁。注意:嵌套模型的檢驗比顯著性檢驗D更強,即D服從的要求比較高,D0–DA

服從的要求比較低,甚至當D0和DA

都不服從和時亦成立.第七十七頁，共一百七十九頁。二項分布(Binomialdistribution)的情形

等價于mj個貝努里實驗,且有: 第七十八頁，共一百七十九頁。設連系函數(shù)為

似然函數(shù)[去掉常數(shù)項]為

第七十九頁，共一百七十九頁。有這里第八十頁，共一百七十九頁。當 是邏輯連系函數(shù)時

差異函數(shù)

第八十一頁，共一百七十九頁。正態(tài)連系函數(shù)(probitlinkfunction)

如果連系函數(shù)取所謂的probitlink的話,即

則有: 和 將此式代入,既可得對應的和W.

第八十二頁，共一百七十九頁。普阿松回歸(PoissonRegression)

應變量Yi只能取非負的離散值(事實上只需要一邊有界),其離散程度大致與其水平成正比例.設即則 第八十三頁，共一百七十九頁。設

(對數(shù)連系函數(shù))則對任何X和β有 第八十四頁，共一百七十九頁。參數(shù)β的極大似然估計

去掉常數(shù)項后

這里 第八十五頁，共一百七十九頁。當 時(對數(shù)連系函數(shù))

注意:需用疊代算法求出β^,即解方程組第八十六頁，共一百七十九頁。參數(shù)估計β^的性質

β^漸進服從N[β,(XTWX)-1)]第八十七頁，共一百七十九頁。擬合優(yōu)度

差異函數(shù):

如果模型假定正確,D漸進服從;如有兩個嵌套模型H0

和HA,則D0–DA

漸進服從.第八十八頁，共一百七十九頁。過度離散(over-dispersion)

實際案例中常有 如對應于負二項分布的情形.解決方法:

設 估計 第八十九頁，共一百七十九頁。廣義線性模型

四個組成部分

1。數(shù)學期望（均值）

E(Yi

)=i

2。線性預測量(linearpredictor)

i=Xi3。連系函數(shù)(linkfunction)

g(i)=i

4。方差函數(shù)(variancefunction)

Var(Yi)=V(i)第九十頁，共一百七十九頁。線性指數(shù)分布族

(linearexponentialfamily)

形式如：

L(,;y)=exp{[y-c()]/+h(y,)}（這里假定是已知的。如果是未知的，它可能是二參數(shù)的指數(shù)分布族，也可能不是。）第九十一頁，共一百七十九頁。對線性指數(shù)分布族有：

E(y)=c()

Var(y)=c()

V()這里稱之為離散參數(shù)(dispersionparameter)第九十二頁，共一百七十九頁。常用分布的離散參數(shù)和方差函數(shù)分布V()正態(tài)分布（normal)21普阿松分布(Poisson)1伽瑪分布(Gamma)1/2兩點分布(Bernoulli)1(1-)二項分布(binomial)1/m(1-)第九十三頁，共一百七十九頁。當連系函數(shù)ｇ取c的反函數(shù)（記之為c-1)形式時，我們稱ｇ為標準連系函數(shù)(canonicallink)第九十四頁，共一百七十九頁。常用分布的標準連系函數(shù)

分布cc連系函數(shù)正態(tài)分布（normal)2/2恒等g()=普阿松分布(Poisson)e

e對數(shù)g()=log()伽瑪分布(Gamma)-log(-)–(1/)倒數(shù)g()=-1/兩點分布(Bernoulli)log(1+e)e/(1+e)邏輯(logit)g()=log[/(1-)]二項分布(binomial)log(1+e)e/(1+e)邏輯(logit)g()=log[/(1-)]第九十五頁，共一百七十九頁。其他常用連系函數(shù)：正態(tài)(probit): g()=-1();冪族(powerfamily):g()=(0) g()=log()(=0)余雙對數(shù)(complementarylog-log) g()=log[-log(1-)]第九十六頁，共一百七十九頁。參數(shù)估計（）

線性指數(shù)分布族的似然估計方程組是

(Yi-i)/iV(i)i/r=0r=1,2,…,k對廣義線性模型,它成為

(Yi-i)/iV(i)xir/g(i)=0r=1,2,…,k第九十七頁，共一百七十九頁。當離散參數(shù)i

＝aii=1,2,…,n時，該方程組成為

(Yi-i)/aiV(i)xir/g(i)=0(*)r=1,2,…,k而當連系函數(shù)ｇ是標準連系函數(shù)時，有

Yixir/ai=ixir/air=1,2,…,k第九十八頁，共一百七十九頁。一般來說方程組(*)沒有直接的解法。當V()=1,g()=

時（線性模型），解是

^

＝(XTW-1

X)-1

XTW-1

Y這里W=diag(1/ai)第九十九頁，共一百七十九頁。迭代加權最小二乘法

(iterativeweightedleastsquares,簡寫為IWLS)

考慮變量

zi=i+(Yi-i)g(i)有

E(zi)=i=xi

rVar(zi)=[g(i)]2aiV(i)第一百頁，共一百七十九頁。迭代算法：（1）從某一個i(0)

開始（通常取i(0)

=Yi)得i(0)=g(i(0))；（2）給定i(t)

和i(t)

，算出zi(t)=i(t)+(Yi-i(t))g(i(t))wi(t)=1/[g(i(t))]2aiV(i(t))i=1,2,…,n;第一百零一頁，共一百七十九頁。（3）給出估計(t+1)=(XTW(t)X)-1XTW(t)

z(t)（這里W(t)

＝diag(wi(t))）定義(t+1)=X(t+1)

(t+1)=g-1((t+1))重復步驟（2）和（3）直到收斂。第一百零二頁，共一百七十九頁。迭代加權最小二乘估計的性質

^~*N(,i-1())這里

i-1()＝-1

XT

WXW=diag(wi)wi=1/[g(i)]2aiV(i)i=1,2,…,n第一百零三頁，共一百七十九頁。估計量方差的估計

Cov^(^)=(XT

W^X)-1

的估計：

~=1/(n-p)(Yi-i^)/[aiV(i^)]第一百零四頁，共一百七十九頁。擬合優(yōu)度

定義差異函數(shù)(deviance)為D(y;^)=2[l(y;y,)–l(y;^,)]如果模型假定正確,D漸進服從;如有兩個嵌套模型H0

和HA,則D0–DA

漸進服從.第一百零五頁，共一百七十九頁。常用分布的差異函數(shù)

正態(tài)分布(y-^)2普阿松分布2[y(log(y/^)-(y-^)]二項分布2{y(log(y/^)+(m-y)log[(m-y)/(m-^)]}伽瑪分布2[-log(y/^)+(y-^)/^]第一百零六頁，共一百七十九頁。在原假定下,D漸進服從;如有兩個嵌套模型H0

和HA,則D0–DA

漸進服從.第一百零七頁，共一百七十九頁。非參數(shù)回歸

(non-parametricregression)

離散圖平滑法(scatterplotsmoother):假定X只含有一個變量x.在x上定義一個函數(shù): s(x)=S(Y|x)

一般s(x)定義在x的所有定義域上,但也可能只定義在觀察值上.這時對一般的s(x0)就需要用某種插值法計算.

第一百零八頁，共一百七十九頁。類型:(1)格子平滑法(binsmoother,regressogram):選點: 定義: 取: 第一百零九頁，共一百七十九頁。(2)移動平均法(running-meansmoother,movingaveragesmoother):定義: 取: 第一百一十頁，共一百七十九頁。(3)跑動直線平滑法(running-linesmoother):取: 這里 是對回歸的LS估計量.第一百一十一頁，共一百七十九頁。倘若這個回歸是加權的,則是所謂的loess(locally-weightedrunning-linesmoother).具體地說可采取下列步驟:(i)找出與最接近的k個樣本點,記為;(ii)定義:(iii)取權數(shù) 這里 (iv)第一百一十二頁，共一百七十九頁。(4)核平滑法(kernelsmoother):

取: 對點的權數(shù)為

第一百一十三頁，共一百七十九頁。這里λ是窗寬參數(shù)(window-widthparameter);c0是個常數(shù),通常使權數(shù)的和為一;d(t)是關于|t|的減函數(shù),如: (Gaussiankernel) (Epanechnikovkernel) (minimumvariancekernel)等等.注意:窗寬參數(shù)λ的選擇比核函數(shù)的選擇重要的多.第一百一十四頁，共一百七十九頁。(Gaussiankernel)(Epanechnikovkernel)

(minimumvariancekernel)第一百一十五頁，共一百七十九頁。(5)回歸樣條(regressionspline):找出k個節(jié)點(knots): 取: (+表示正的部分)第一百一十六頁，共一百七十九頁。S(x)有三個特性(i)在任何區(qū)間內是三次函數(shù); (ii)有一階和二階連續(xù)導數(shù); (iii)三階導數(shù)是個階梯函數(shù).當加上節(jié)點以外函數(shù)為線性的附加限制時,(三次)樣條稱之為自然樣條(naturalspline).給定節(jié)點的數(shù)目和位置,未知參數(shù)可用回歸法求得.但如何確定節(jié)點的數(shù)目和位置是個較復雜的問題.第一百一十七頁，共一百七十九頁。(6)三次平滑樣條(cubicsmoothingspline):找出一個有一階和二階連續(xù)導數(shù)的任意函數(shù)f,使這里λ是個固定常數(shù),.可以證明這個函數(shù)是節(jié)點取在所有上的naturalcubicspline.第一百一十八頁，共一百七十九頁。平滑參數(shù)λ

設離散圖平滑的模型是:

定義: (averagemean-squarederror) (averagepredictivesquarederror) (這里Yi*是在點xi上的一個新觀察值).有: 第一百一十九頁，共一百七十九頁。定義: (cross-validationsumofsquares)有:

(注意: (averagesquaredresidual)不是PSE的好的估計量).可以用下列標準確定λ:

第一百二十頁，共一百七十九頁。定義: 線性平滑法:

對任意常數(shù)a和b,有上述平滑法都是線性平滑法.第一百二十一頁，共一百七十九頁。對于觀察點來說,一個線性平滑法可表示為這里S是一個矩陣,稱為平滑矩陣(smoothermatrix).對于一個線性平滑法來說,定義偏

第一百二十二頁，共一百七十九頁。有:

第一百二十三頁，共一百七十九頁。定義: Mallows’Cp這里

λ*是個很小的數(shù)(盡量減小偏).因為所以Cp是PSE的一個估計.可以用下列標準確定λ:

第一百二十四頁，共一百七十九頁。注意: (1)Cp只適用于線性平滑法,CV則適用于一般的平滑法. (2)在實際應用時上述兩法時常特性不佳.這時用直觀的圖像法選擇λ可能更可靠一些. (3)用自由度來確定λ也是常用的方法.第一百二十五頁，共一百七十九頁。平滑法的自由度

有三個表示:(1)自由度:對于一個線性平滑法

第一百二十六頁，共一百七十九頁。(2)誤差自由度:對非線性平滑法的一般定義是:第一百二十七頁，共一百七十九頁。(3)方差自由度:對非線性平滑法的一般定義是:第一百二十八頁，共一百七十九頁。注意:I如果S是個對稱投影矩陣(symmetricprojectionmatrix)(例如線性回歸,多項式回歸,回歸樣條),則有II對于三次平滑樣條有并且三者都是關于λ的減函數(shù).第一百二十九頁，共一百七十九頁。置信區(qū)間

對于線性平滑 有

這里偏向量是依賴于未知函數(shù)f的.在一定假定下偏的一個估計是于是可取的對角線元素構造置信區(qū)間.第一百三十頁，共一百七十九頁。這里取自由度

第一百三十一頁，共一百七十九頁。近似的F檢驗

對于兩個線性平滑法 (假定f1^比f2^更平滑),有

第一百三十二頁，共一百七十九頁。一個更好的檢驗是取

有

第一百三十三頁，共一百七十九頁。相加模型(additivemodel)

一般的相加模型可表示為這里 第一百三十四頁，共一百七十九頁。懲罰性的最小二乘條件(penalizedleast-squares):

可以用使penalizedleast-squares最優(yōu)化的方法來求得合適的相加模型.第一百三十五頁，共一百七十九頁。注意:(1)所謂半參數(shù)模型(semi-parametricmodel)是相加模型的一個重要特例,如:(2)相加模型可以包括某一個或某幾個自變量是離散變量的情況.(3)相加模型可以包括某一個或某幾個函數(shù)是多元函數(shù)的情況,如:當然這時需用scatterplotsmoother的多維推廣.第一百三十六頁，共一百七十九頁。廣義相加模型

(generalizedadditivemodels)

類似于從線性模型推廣到廣義線性模型的思路,相加模型可以推廣成廣義相加模型.即定義四個組成部分

1。數(shù)學期望（均值）

2。相加預測量(additivepredictor)

3。連系函數(shù)(linkfunction)

4。方差函數(shù)(variancefunction)第一百三十七頁，共一百七十九頁。Algorithm

其求解的思路也類似廣義線性模型(1)Initialize:(2)Update:with

第一百三十八頁，共一百七十九頁。

Constructweights

Fitaweightedadditivemodeltozi,toobtainestimatedComputetheconvergencecriterion

第一百三十九頁，共一百七十九頁。(3)Repeatstep(2)replacingbyuntil isbelowsomesmallthreshold.第一百四十頁，共一百七十九頁。注意:所謂半參數(shù)廣義線性模型(semi-parametricgeneralizedlinearmodel)是廣義相加模型的一個重要特例,如:

第一百四十一頁，共一百七十九頁。7.模型選擇模型選擇的目的常常是尋找一個最簡單的合理的模型來恰當?shù)孛枋鏊^察到的資料.可以粗略地分為兩大類問題:(1)同一類模型中參數(shù)和變量個數(shù)的選擇;(2)不同類模型之間的比較.第一百四十二頁，共一百七十九頁。一個事實:如果真正的模型是而我們所用的回歸模型是最小二乘估計是 則 即一般這個估計是有偏的.

第一百四十三頁，共一百七十九頁。且有

注意:項數(shù)太少會造成參數(shù)估計有偏;項數(shù)太多不會造成參數(shù)估計有偏,但因為減少了自由度從而造成效率(精確度)的喪失.第一百四十四頁，共一百七十九頁。選擇回歸變量的基本步驟

(1)確定最大的模型:保證”正確”的模型在它之內;(2)確定選擇模型的條件;(3)確定選擇變量的策略;(4)用最后的模型分析資料;(5)評估模型的可靠性.第一百四十五頁，共一百七十九頁。確定最大的模型

可以包括:(1)所有基本的回歸變量;(2)基本回歸變量的高階冪(等等);(3)基本回歸變量的其它轉換如對數(shù),倒數(shù)等等;(4)基本回歸變量之間二階或更高階的交互影響(interaction);(5)(在某些問題中)所有的控制變量和它們的(2),(3),(4).第一百四十六頁，共一百七十九頁。注意:不要選太大的最大模型(會損失可靠性),宜中心突出,針對問題.還應注意共線性問題.經驗公式: (樣本大小和變量個數(shù)的比例)第一百四十七頁，共一百七十九頁。確定選擇模型的條件

(1)確定系數(shù)此法只適用于參數(shù)個數(shù)相同的情形.因為對嵌套模型而言,是關于p的增函數(shù),而無理論基礎.第一百四十八頁，共一百七十九頁。(2)對于嵌套的線性回歸模型,可用統(tǒng)計量當F檢驗不顯著時,可以用較簡單的p個變量模型.第一百四十九頁，共一百七十九頁。(3)定義選擇較小的第一百五十頁，共一百七十九頁。(4)Mallow’sCp這里k是最大的模型.選擇較小的或最小的Cp注意:當 時, 第一百五十一頁，共一百七十九頁。ACI(Akaikeinformationcriterion)

選擇較小的或最小的ACI注意:Mallow’sCp是ACI的一個特例.第一百五十二頁，共一百七十九頁。確定選擇變量的策略

(1)列出所有的回歸模型;

共有個,通常不實際.第一百五十三頁，共一百七十九頁。(2)向后剔除法(Backwardelimination):步驟:(i)給出最大的回歸模型;(ii)一次去掉一個變量,其對應的t值(或等價地,其PartialF值)在所有變量只中是最小的,且低于給定的顯著性水平.直到沒有這樣的變量.注意:兩次去掉一個變量不等價于一次去掉兩個變量(即使是相同的兩個變量!).第一百五十四頁，共一百七十九頁。(3)向前選進法(Forwardselection):步驟:(i)選進相關系數(shù)最大的第一個變量;(ii)一次一個,選進一個變量,其PartialF最大(在已定模型,既現(xiàn)有變量下),且其p值大于給定的顯著性水平.直到沒有這樣的變量.注意:A兩次進一個變量不等價于一次進兩個變量.B(ii)等價于計算部分相關系數(shù),即Residualofcurrentmodel對Xj.第一百五十五頁，共一百七十九頁。(4)逐步回歸(Stepwiseregression):步驟:(i)同向前選進法(i);(ii)選進一個變量,同向前選進法(ii);(iii)去掉一個變量(如有必要),同向后剔除法(ii);直到沒有變量進,也沒有變量出.第一百五十六頁，共一百七十九頁。(5)脊嶺回歸:如前所述.(6)PRESS法:定義:

這里是除去第i項后由模型對Yi

的預測值.找出一個模型,其PSS較小且不含有太多的回歸變量.第一百五十七頁，共一百七十九頁。階段回歸(Stagewiseregression):步驟:(i)找出最大相關自變量,得到回歸模型

(ii)以此模型的殘差作為應變量,找出下一個最大相關自變量,得到回歸模型如果模型顯著,則新的模型為

(iii)再定義為應變量,重復(ii)直到沒有新的變量能進入.注意:最后的模型不等價于最小二乘估計.第一百五十八頁，共一百七十九頁。測度誤差問題

(MeasurementErrors)

有些自變量有較大的測度誤差或不可能直接觀測到.將自變量分成兩部分: X_有測度誤差的自變量,設W是它們的觀察值; Z_沒有測度誤差的自變量.定義:

函數(shù)型模型(classicalfunctionalmodels):X是固定常數(shù)(未觀察到);

構造型模型(classicalstructuralmodels):X是隨機變量.第一百五十九頁，共一百七十九頁。測度誤差的模型

有兩種一般的模型:(1)誤差模型(errormodels)

給出條件分布W|Z,X的模型如:(a) (b)第一百六十頁，共一百七十九頁。(2)回歸校正模型(regressioncalibration