《回歸分析》 課件 第3、4章 多元線性回歸、回歸診斷

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸應(yīng)用回歸分析李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院1

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性目錄多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院2

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性點(diǎn)球成金李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院3

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性電影《點(diǎn)球成金》講述了奧克蘭田徑棒球隊(duì)總經(jīng)理比利·比恩（BillyBeane）如何利用分析技術(shù)組建一支有競(jìng)爭(zhēng)力的球隊(duì)的故事。這部電影是根據(jù)邁克爾·劉易斯2003

年出版的同名非小說(shuō)類(lèi)書(shū)籍《點(diǎn)球成金：贏得不公平游戲的藝術(shù)》改編1。1/

qinyn/BANA7038/moneyball.html李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院4

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性取因變量為回合數(shù)(runs,R),散點(diǎn)圖y

軸為因變量，x

軸為各自變量2：2/

qinyn/BANA7038/moneyball.html李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院5

/

105中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)

模型推斷化肥成分含量與農(nóng)作物產(chǎn)出關(guān)系某種化肥含氮、磷和鉀三種主要成分。為了研究該肥料三種成分不同含量對(duì)某種農(nóng)作物產(chǎn)量的影響，對(duì)每畝農(nóng)作物施用一定量的該種化肥，得到了該作物每畝收成以及該化肥各主要成分含量的數(shù)據(jù)，如表1所示。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院6

/

105中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)

模型推斷化肥成分含量與農(nóng)作物產(chǎn)出關(guān)系表1:某農(nóng)作物每畝收成與對(duì)應(yīng)施用化肥中氮、磷和鉀含量數(shù)據(jù)

氮含量（X1，單位：千克）磷含量（X2，單位：克）

0.798

10000.062鉀含量（X3，單位：千克）

30.098作物收成（Y

，單位：千克/畝）332.6241.90510527.58032.130355.7912.16811053.39429.476352.4673.60811580.22132.402383.8593.31212104.94931.783386.8693.98712631.64134.154409.3873.56013157.67532.994413.1295.33013684.94135.203438.5384.26414209.86934.454440.7725.20314737.58933.058446.0856.12715263.56735.016468.6546.60715791.73134.251474.2626.78316316.15236.695496.3498.19816842.49438.940524.1048.05517368.23135.296511.2138.37617895.01539.075542.6278.49018421.73637.222542.0859.86318948.28640.972575.7918.91319475.25041.055583.57512.61020001.47039.361592.589李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院7

/

105中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)

模型推斷化肥成分含量與農(nóng)作物產(chǎn)出關(guān)系圖1:氮、磷和鉀含量數(shù)據(jù)與農(nóng)作物產(chǎn)量三維圖。其中，(a)圖的自變量為氮、磷含量；(b)圖的自變量為氮、鉀含量；(c)圖為磷、鉀含量李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院8

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院9

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性引言李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院10

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性引言李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院11

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型簡(jiǎn)介李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院12

/

105

(1)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型簡(jiǎn)介李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院13

/

105稱

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型假定李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院14

/

105

(4)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型假設(shè)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院15

/

105正態(tài)性假定(5)從而有模型（3）滿足(6)

(7)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型解釋李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院16

/

105為了對(duì)多元線性回歸模型以及對(duì)應(yīng)的回歸系數(shù)進(jìn)行解釋，使用服裝銷(xiāo)售研究中的員工薪資、宣傳費(fèi)用和流動(dòng)資金三個(gè)變量對(duì)服裝銷(xiāo)售量的影響這一實(shí)例，給出回歸方程的幾何解釋以及各回歸系數(shù)的實(shí)際含義。(8)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性模型解釋李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院17

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院18

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性最小二乘估計(jì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院19

/

105

(9)其中，

為離差平方和。(10)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性最小二乘估計(jì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院20

/

105利用式（10）對(duì)各參數(shù)求偏導(dǎo)并令其等于0，即(11)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性最小二乘估計(jì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院21

/

105有

(12)稱

(13)為經(jīng)驗(yàn)回歸方程。多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性極大似然估計(jì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院22

/

105由式（7）有似然函數(shù)

取對(duì)數(shù)并分別對(duì)參數(shù)β

和σ2

求偏導(dǎo)，并令其等于0

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性極大似然估計(jì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院23

/

105

(14)

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.1李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院24

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性回歸擬合值與殘差李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院25

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性回歸擬合值與殘差李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院26

/

105

(18)稱(19)

(20)為回歸殘差向量。

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性回歸擬合值與殘差李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院27

/

105由式（17）有

則(21)因而有(22)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性回歸擬合值與殘差李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院28

/

105由式（11）可知，殘差滿足

(23)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性估計(jì)性質(zhì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院29

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院30

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院31

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院32

/

105由

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院33

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院34

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院35

/

105性質(zhì)5

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院36

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性估計(jì)性質(zhì)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院37

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院38

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院39

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院40

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院41

/

105從而有

作變換，令

有故有

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院42

/

105

所以

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院43

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性引言李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院44

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)F

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院45

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)F

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院46

/

105類(lèi)似于一元線性回歸檢驗(yàn)，這里仍使用總離差平方和的分解式，即簡(jiǎn)記為

(24)其中，進(jìn)而構(gòu)造F

檢驗(yàn)統(tǒng)計(jì)量(25)

模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)F

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院47

/

105表2:方差分析表模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)F

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院48

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)t

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院49

/

105

(26)由性質(zhì)（6）有

(27)

(28)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)t

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院50

/

105

(29)其中，

模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)t

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院51

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)偏F

檢驗(yàn)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院52

/

105

(30)

(31)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性擬合優(yōu)度李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院53

/

105類(lèi)似于一元線性回歸模型，可以定義關(guān)于多元線性回歸模型的樣本決定系數(shù)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性擬合優(yōu)度李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院54

/

105(33)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性置信區(qū)間李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院55

/

105由性質(zhì)（6）及式（28），可得

(34)

(35)

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.2李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院56

/

105例3.1

中已經(jīng)得到了某農(nóng)作物每畝產(chǎn)量與某化肥氮、磷和鉀含量之間的線性估計(jì)方程。這里將對(duì)模型以及各回歸系數(shù)的估計(jì)結(jié)果分別進(jìn)行F檢驗(yàn)和t

檢驗(yàn)，并計(jì)算相應(yīng)的擬合優(yōu)度。檢驗(yàn)結(jié)果見(jiàn)表3。表3:參數(shù)估計(jì)以及模型推斷結(jié)果模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.2李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院57

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院58

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性引言李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院59

/

105在多元線性回歸模型的使用場(chǎng)景中，常常會(huì)遇到自變量之間具有不同度量單位的情形。例如，對(duì)于距離這一變量而言，有的數(shù)據(jù)記錄采用的是以米為單位，而有的則可能是以千米為單位，再如對(duì)于商品價(jià)格而言，有的數(shù)據(jù)記錄采用的是以人民幣元為單位，也有的可能是以美元為單位。在分析類(lèi)似數(shù)據(jù)時(shí)，得到的結(jié)果可能會(huì)不一致，對(duì)分析結(jié)果的比較也會(huì)帶來(lái)影響，因此需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，例如：中心化（centralization）和標(biāo)準(zhǔn)化（normalization）。多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院60

/

105記(36)則經(jīng)驗(yàn)回歸方程（13）等價(jià)于

(37)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性圖2:數(shù)據(jù)中心化效果示意圖李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院61

/

105中心化稱式（37）為中心化經(jīng)驗(yàn)回歸方程。中心化經(jīng)驗(yàn)回歸方程中的常數(shù)項(xiàng)為

0，中心化是將樣本中心移到坐標(biāo)原點(diǎn)，因而方程中沒(méi)有截距項(xiàng)，而其他回歸系數(shù)的最小二乘估計(jì)值則保持不變。顯然，這是因?yàn)樽鴺?biāo)的平移變換不會(huì)改變直線的斜率，圖2為數(shù)據(jù)中心化處理的示意圖。多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性標(biāo)準(zhǔn)化李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院62

/

105在多元線性回歸模型中，由于自變量X1,·

·

·

,Xp

所用單位大多不同，數(shù)據(jù)的大小差異往往很大，這就不利于在同一標(biāo)準(zhǔn)上進(jìn)行比較。對(duì)于中心化處理后的數(shù)據(jù)可以進(jìn)一步進(jìn)行標(biāo)準(zhǔn)化處理，從而消除變量量綱不同和數(shù)量級(jí)差異所帶來(lái)的影響。樣本數(shù)據(jù)標(biāo)準(zhǔn)化處理公式為(38)其中，

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性標(biāo)準(zhǔn)化李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院63

/

105標(biāo)準(zhǔn)化后的經(jīng)驗(yàn)回歸方程為

(39)

標(biāo)準(zhǔn)化回歸系數(shù)與普通最小二乘回歸系數(shù)之間存在如下關(guān)系式(40)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性標(biāo)準(zhǔn)化李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院64

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性標(biāo)準(zhǔn)化圖3:數(shù)據(jù)標(biāo)準(zhǔn)化示意圖.標(biāo)準(zhǔn)化處理使原數(shù)據(jù)的取值范圍以及對(duì)應(yīng)擬合直線斜率等信息都發(fā)生了改變李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院65

/

105模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.3李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院66

/

105觀察例3.1中的數(shù)據(jù)（見(jiàn)下表）可以發(fā)現(xiàn)磷元素的含量從數(shù)值上看明顯大于氮和鉀的含量，這是由于單位不同引起的。

表4:某農(nóng)作物每畝收成與對(duì)應(yīng)施用化肥中氮、磷和鉀含量數(shù)據(jù)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.3李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院67

/

105表5:某農(nóng)作物產(chǎn)量與對(duì)應(yīng)施用化肥中氮、磷和鉀含量標(biāo)準(zhǔn)化數(shù)據(jù)123模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.3李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院68

/

105利用多元線性回歸模型再次對(duì)表5中標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行建模，得到經(jīng)驗(yàn)回歸方程

由此可以看出，標(biāo)準(zhǔn)化回歸系數(shù)使變量的相對(duì)重要性具有了很好的可比較性。數(shù)據(jù)標(biāo)準(zhǔn)化處理過(guò)程中包含了數(shù)據(jù)中心化過(guò)程，這對(duì)應(yīng)了利用標(biāo)準(zhǔn)化數(shù)據(jù)所得到的經(jīng)驗(yàn)回歸方程中沒(méi)有截距項(xiàng)這一事實(shí)。多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院69

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性相關(guān)陣?yán)顡P(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院70

/

105

(41)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性偏決定系數(shù)和偏相關(guān)系數(shù)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院71

/

105

,

(42)

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性偏相關(guān)系數(shù)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院72

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性偏相關(guān)系數(shù)與簡(jiǎn)單相關(guān)系數(shù)在此用一個(gè)例子來(lái)說(shuō)明簡(jiǎn)單相關(guān)系數(shù)和偏相關(guān)系數(shù)的關(guān)系：一種商品的需求既受收入水平的影響又受其價(jià)格的影響。按照經(jīng)濟(jì)學(xué)理論，在一定收入水平下，該商品的價(jià)格越高，商品的需求量就越小。也就是說(shuō)，需求與價(jià)格之間應(yīng)當(dāng)是負(fù)相關(guān)關(guān)系?？墒?，在現(xiàn)實(shí)經(jīng)濟(jì)生活中,由于收入和價(jià)格常常都有不斷提高的趨勢(shì)，如果不考慮收入對(duì)需求的影響，僅僅利用需求和價(jià)格的時(shí)間序列數(shù)據(jù)去計(jì)算簡(jiǎn)單相關(guān)系數(shù),就有可能得出價(jià)格越高需求越大的錯(cuò)誤結(jié)論。在多元回歸中，簡(jiǎn)單相關(guān)系數(shù)只是衡量?jī)蓚€(gè)變量的局部相關(guān)性，而偏相關(guān)系數(shù)真正反映了因變量與自變量、自變量與自變量之間的相關(guān)性。在后續(xù)的逐步回歸剔除某個(gè)自變量時(shí)，也可以綜合偏相關(guān)系數(shù)來(lái)考慮。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院73

/

105模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.4李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院74

/

105利用例3.1

中的數(shù)據(jù)計(jì)算氮、磷、鉀元素含量和該農(nóng)作物產(chǎn)量相關(guān)陣，并計(jì)算相應(yīng)的偏決定系數(shù)和偏相關(guān)系數(shù)，結(jié)果見(jiàn)表6。表6:氮、磷、鉀元素含量和某農(nóng)作物產(chǎn)量相關(guān)陣模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.4李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院75

/

105

模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.4李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院76

/

105由以上分析，本例可得如下結(jié)論：由于氮、磷、鉀含量分別與該農(nóng)作物產(chǎn)量之間的相關(guān)系數(shù)都大于0.9，表明這些自變量與農(nóng)作物產(chǎn)量具有顯著的正的線性相關(guān)關(guān)系。由偏決定系數(shù)值可以看出，各自變量與因變量之間具有顯著的線性相關(guān)關(guān)系，偏相關(guān)關(guān)系值表明各自變量與因變量之間具有顯著的線性正相關(guān)性。由此可能發(fā)現(xiàn)，施用含氮、磷、鉀元素的肥料越多該農(nóng)作物的產(chǎn)量越高。多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院77

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性類(lèi)別型自變量

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院78

/

105中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)

模型推斷例3.5（兩類(lèi)別的定性協(xié)變量）

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院79

/

105模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.5反映性別屬性的啞變量為

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院80

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.5

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院81

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多類(lèi)別的定性協(xié)變量

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院82

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多類(lèi)別的定性協(xié)變量再如,考慮建立個(gè)人受教育水平與個(gè)人教育支出之間的回歸模型,若教育水平被分為高中以下、高中、大學(xué)及其以上三個(gè)層次,這時(shí)僅需要引人兩個(gè)啞變量:

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院83

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多類(lèi)別的定性協(xié)變量

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院84

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院85

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性分段線性回歸在經(jīng)濟(jì)學(xué)中常有這樣的情況，一些經(jīng)濟(jì)變量之間的關(guān)系會(huì)在解釋變量達(dá)到某個(gè)臨界值時(shí)發(fā)生突變。對(duì)于這類(lèi)問(wèn)題，研究者發(fā)現(xiàn)使用線性回歸模型擬合后的殘差不具隨機(jī)性，其中仍存在系統(tǒng)性信息。研究者可以利用虛擬變量，通過(guò)分段線性回歸進(jìn)行處理。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院86

/

105模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院87

/

105模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院88

/

105模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院89

/

105模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院90

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院91

/

105

模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)例3.6

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院92

/

105圖5:日平均氣溫與居民生活用電量間的分段回歸擬合直線多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院93

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析本節(jié)以高性能水泥的混凝土抗壓強(qiáng)度數(shù)據(jù)分析為例，對(duì)多元線性回歸模型的一般步驟進(jìn)行介紹。由于高性能混凝土的水泥含量、高爐渣含量、飛灰含量、水的含量、高效減水劑含量、粗骨料含量和細(xì)骨料含量等8個(gè)因素（單位：kg/m3）對(duì)高性能水泥的混凝土抗壓強(qiáng)度有關(guān)。使用的數(shù)據(jù)共包含9

個(gè)變量1030

個(gè)樣本觀測(cè)值，變量由上述提到的8

個(gè)自變量以及1

個(gè)因變量（混凝土抗壓強(qiáng)度）組成。使用的數(shù)據(jù)來(lái)自于葉怡成[2]的相關(guān)研究，可以從UCI

數(shù)據(jù)庫(kù)中下載，網(wǎng)址為：/ml/datasets/

Concrete+Compressive+Strength。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院94

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析

圖6:高性能混凝土成對(duì)變量散點(diǎn)圖李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院95

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析第二步是擬合模型。利用R軟件采用多元線性回歸模型擬合上述數(shù)據(jù)，擬合結(jié)果如下表9所示。從表中可以得到模擬方程為李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院96

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析表9:多元線性回歸模型擬合結(jié)果表李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院97

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析第三步是模型診斷。若取顯著性水平為α

=0.1，從表中可得Fstat

=204.300,其對(duì)應(yīng)的

p

<2.00

×10?16

?α

=0.1，則拒絕H0，表明使用多元線性回歸模型擬合該數(shù)據(jù)是可取的。各自變量t

檢驗(yàn)所對(duì)應(yīng)的p

值都小于給定的顯著性水平α，表明各自變量對(duì)因變量具有顯著的影響。從實(shí)際意義上看，自變量的8個(gè)因素分別與高性能水泥的混凝土抗壓強(qiáng)度具有顯著的相關(guān)關(guān)系。結(jié)合各變量的系數(shù)可以看出，在一定限度內(nèi)含水量的大小與混凝土抗壓強(qiáng)度成反比而其他因素則與混凝土抗壓強(qiáng)度成正比。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院98

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院99

/

105利用Q-Q

圖對(duì)殘差項(xiàng)的正態(tài)性進(jìn)行檢驗(yàn)，可以從圖5中看出，殘差項(xiàng)的Q-Q

圖大致在一條直線上，因而可以判斷隨機(jī)誤差項(xiàng)滿足正態(tài)性假定。圖7:隨機(jī)誤差項(xiàng)正態(tài)性檢驗(yàn)Q-Q

圖多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性實(shí)例分析值得注意的是，實(shí)際數(shù)據(jù)往往具有不可忽略的“缺陷”，例如不滿足多元線性模型的基本假定：正態(tài)性，獨(dú)立同分布性，自變量之間不相關(guān)性，樣本量足夠大等。此時(shí)，前文提到的基本步驟的每一步可能都會(huì)遇到阻礙，這時(shí)，只有解決這些問(wèn)題，才能繼續(xù)下一步。對(duì)于相應(yīng)可能出現(xiàn)的問(wèn)題以及相應(yīng)的處理方法，將會(huì)在后續(xù)章節(jié)中一一學(xué)習(xí)。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院100

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性多元線性回歸模型參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)類(lèi)別型自變量分段線性回歸實(shí)例分析小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院101

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化

相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院102

/

105

多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性小結(jié)與評(píng)注另一方面，樣本量的多少也會(huì)影響到參數(shù)估計(jì)。當(dāng)樣本量相較于變量個(gè)數(shù)較小時(shí)，設(shè)計(jì)矩陣的列滿秩假定可能不再滿足，此時(shí)同樣無(wú)法使用普通的最小二乘估計(jì)參數(shù)。進(jìn)一步，當(dāng)自變量個(gè)數(shù)不斷增大，達(dá)到高維甚至超高維時(shí)，傳統(tǒng)的參數(shù)估計(jì)方法以及參數(shù)顯著性的檢驗(yàn)方法也不再適用。這時(shí)，一些新的解決方法應(yīng)運(yùn)而生，在后續(xù)的學(xué)習(xí)中將對(duì)這些問(wèn)題的解決方法進(jìn)行學(xué)習(xí)。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院103

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性參考文獻(xiàn)周紀(jì)薌.回歸分析.上海:華東師范大學(xué)出版社,1993.Yeh

IC.

Modeling

ofstrength

of

high-performance

concrete

using

arti- ficial

neural

networks.

CementandConcrete

research,

28(12):

1797– 808,

1998.袁建文，李宏，王克林.劑量經(jīng)濟(jì)學(xué)理論與實(shí)踐.北京:清華大學(xué)出 版社,2012.李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院104

/

105多元線性回歸模型

參數(shù)的估計(jì)與性質(zhì)模型推斷中心化與標(biāo)準(zhǔn)化相關(guān)陣與偏相關(guān)系數(shù)

類(lèi)別型自變量

分段線性謝謝！李揚(yáng)/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院105

/

105模型的診斷異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX歸分析之緒論應(yīng)用

歸分析李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院106

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX目錄歸模型的診斷異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX變換廣義最小二乘估計(jì)小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院107

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX高斯-馬爾可夫李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院108

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX最小二乘法是一種使誤差平方和達(dá)到最小以尋求估計(jì)值的方法，最常見(jiàn)于線性模型。用最小二乘法得到的估計(jì)，叫做最小二乘估計(jì)。1805年，法國(guó)數(shù)學(xué)家勒讓德在他的著作《計(jì)算彗星軌道的新 方法》的附錄中第一次公開(kāi)提出了最小二乘法。德國(guó)數(shù)學(xué)家高斯對(duì)最小二乘理論的貢獻(xiàn)除了著名的正態(tài)誤差 理論之外，還有高斯-馬爾可夫定理。他聲稱從1799年起就 開(kāi)始使用最小二乘法，導(dǎo)致了當(dāng)時(shí)兩大數(shù)學(xué)家關(guān)于最小二乘 法發(fā)明優(yōu)先權(quán)之爭(zhēng)，類(lèi)似于牛頓和萊布尼茨關(guān)于微積分發(fā)明 權(quán)的爭(zhēng)論，至今都沒(méi)有定論。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院109

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX高斯-馬爾可夫定理是最小二乘理論中最重要的理論結(jié)果，它 從統(tǒng)計(jì)學(xué)的角度肯定了最小二乘法的合法性，在此之前，最 小二乘估計(jì)只是看上去合理且計(jì)算簡(jiǎn)便的一種算法。但是實(shí)際數(shù)據(jù)有很多情況不滿足高斯-馬爾可夫定理的條件，這一點(diǎn)在二十世紀(jì)中期得到了學(xué)者的廣泛關(guān)注。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院110

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX高斯-馬爾可夫條件李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院111

/

110

異常值和強(qiáng)影響點(diǎn)BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關(guān)的診斷及其處理例1.居民收入和消費(fèi)的關(guān)系運(yùn)用截面數(shù)據(jù)研究消費(fèi)和居民收入的關(guān)系。用Yi

表示第i

戶的消費(fèi)額，用Xi

表示第i

戶的收入，一個(gè)簡(jiǎn)單的消費(fèi)模型為Yi

=

β0

+

β1Xi

+

εi

,

i

=

1,

...,

n.將家庭以收入數(shù)據(jù)按照一定方式進(jìn)行劃分會(huì)發(fā)現(xiàn)：低收入組家庭用于購(gòu)買(mǎi)生活必需品的比例相對(duì)較大，且購(gòu)買(mǎi)差異性較小。高收入組家庭購(gòu)買(mǎi)行為差異很大，自由支配的收入更多意味著更多的購(gòu)買(mǎi)選擇，消費(fèi)的分散程度很大。反映在消費(fèi)模型上則為εi

對(duì)回歸直線即均值的偏離程度存在差異，從而出現(xiàn)異方差。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院112

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX例2.經(jīng)濟(jì)模型經(jīng)濟(jì)變量的滯后性會(huì)給序列帶來(lái)自相關(guān)性。許多經(jīng)濟(jì)變量都會(huì)產(chǎn)生滯后影響，

例如物價(jià)指數(shù)、基建投 資、國(guó)民收入、消費(fèi)、貨幣發(fā)行量等都有一定的滯后性，例 如前期消費(fèi)額對(duì)后期消費(fèi)額一般會(huì)有明顯的影響。經(jīng)濟(jì)變量的滯后有時(shí)表現(xiàn)出一種不規(guī)則的循環(huán)波動(dòng)，當(dāng)經(jīng)濟(jì) 處于衰退的低谷時(shí)，經(jīng)濟(jì)擴(kuò)張期隨之開(kāi)始，這時(shí)大多數(shù)經(jīng)濟(jì) 時(shí)間序列上升得快一些。在經(jīng)濟(jì)擴(kuò)張期，經(jīng)濟(jì)時(shí)間序列內(nèi)部 有一種內(nèi)在的沖力，序列一直上升到循環(huán)的頂點(diǎn)，在頂點(diǎn)時(shí) 刻經(jīng)濟(jì)收縮隨之開(kāi)始。因此在這樣的時(shí)間序列中，序列觀測(cè)值之間的相關(guān)現(xiàn)象是很自然的。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院113

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX歸模型的診斷異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX變換廣義最小二乘估計(jì)小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院114

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX殘差分析在利用最小二乘估計(jì)得到參數(shù)估計(jì)值β?0和β?1后，可以通過(guò)下式得到殘差ei

=

Yi

?

β?0

?

β?1Xi

.由于高斯—馬爾可夫條件都是關(guān)于誤差項(xiàng)的，所以研究者自 然地可以從分析誤差項(xiàng)的“估計(jì)量”——?dú)埐畹慕嵌葋?lái)考察數(shù) 據(jù)是否滿足假設(shè)。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院115

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX考慮線性

歸模型Y

=

Xβ

+

ε,(1)??1?n若用X

,...,X

表示X

的n個(gè)行向量，定義第i

次觀測(cè)的殘差?i

i

i?e

=

Y

?

X

β,

i

=

1,

...,

n將殘差ei

看作誤差εi

的一次觀測(cè)值，如果模型(1)正確，ei

應(yīng)具有εi

的一些特征。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院116

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COXi記Y?

=X

β?，

稱Y?

為擬合值向量，

稱其第i

個(gè)分量Y?i

=X

?β?為第i

個(gè)擬合值，則Y?

可以寫(xiě)成Y?

=

X

(X

?X

)?1X

?Y

=

HY

,其中H

=X

(X

?X

)?1X

?，文獻(xiàn)中通常稱之為帽子矩陣。容易驗(yàn)證，帽子矩陣H滿足H?

=

H,

H2

=

H,即帽子矩陣是一個(gè)對(duì)稱冪等陣。利用帽子矩陣H，殘差向量e可表示為e

=

Y

?

Y?

=

(I

?

H)Y

=

(I

?

H)ε.(2)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院117

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX定理考慮線性

歸模型(1)，則由(2)式所定義的殘差向量具有如下性質(zhì)：E

(e)

=

0,

Cov

(e)

=

σ2(I

?

H);若進(jìn)一步假設(shè)誤差服從正態(tài)分布，即ε

～N(0,σ2I

)，則e

～

N(0,

σ2(I

?

H)).李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院118

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院119

/

110

歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX根據(jù)正態(tài)分布的性質(zhì)，若隨機(jī)變量U

～N(μ,

σ2)，則P(μ

?

2σ

<

U

<

μ

+

2σ)

=

95.4%.因此學(xué)生化殘差具有如下性質(zhì)：當(dāng)μ

=0,σ

=1時(shí)，大約應(yīng)有95.4%的ri

落在區(qū)間[?2,2]中。擬合值向量Y?

與殘差e相互獨(dú)立，因而與學(xué)生化殘差r1,...,rn也獨(dú)立。如果以擬合值y?i

為橫軸，ri

為縱軸，那么平面上的點(diǎn)(y?i

,ri

),i

= 1,...,n大致應(yīng)落在寬度為4的水平帶|ri|≤2區(qū)域內(nèi)，且不呈 現(xiàn)任何趨勢(shì)。這種以殘差為縱軸，以擬合值或其它量為橫軸的圖稱為殘差圖，這是回歸診斷的一個(gè)重要工具。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院120

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX殘差示意圖李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院121

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院122

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX本章介紹了

歸模型隨機(jī)誤差項(xiàng)違背基本假設(shè)的診斷與修正方法，以及異常值的識(shí)別和處理。隨機(jī)誤差序列方差不同或存在相關(guān)，分別對(duì)應(yīng)了違背基本假設(shè)的異方差性和自相關(guān)現(xiàn)象。殘差圖分析是診斷兩者最直觀的方式，但比較粗糙。更準(zhǔn)確的診斷方法包括：借助等級(jí)相關(guān)系數(shù)檢驗(yàn)或其他方法 來(lái)診斷是否具有異方差性；通過(guò)自相關(guān)系數(shù)或DW檢驗(yàn)等方 法考察序列相關(guān)是否存在。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院123

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX當(dāng)根據(jù)某種檢驗(yàn)方法認(rèn)為存在異方差時(shí)，可以用自變量的冪函數(shù)作為權(quán)函數(shù)，作加權(quán)最小二乘

歸。但是加權(quán)最小二乘估計(jì)并不能消除異方差，只是能夠消除或減弱異方差的不良影響；研究者們還常?？紤]對(duì)因變量進(jìn)行方差穩(wěn)定變換，使得對(duì)變換過(guò)后的數(shù)據(jù)，誤差方差能夠近似相等，即方差比較穩(wěn)定；要注意的是方差穩(wěn)定變換在改變誤差項(xiàng)方差的同時(shí)，也會(huì)改變誤差項(xiàng)的分布和

歸函數(shù)的形式。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院124

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COXDW檢驗(yàn)是檢驗(yàn)隨機(jī)誤差項(xiàng)自相關(guān)性最常用的一種方法，但DW檢驗(yàn)有一些局限性。不僅因其不適合隨機(jī)項(xiàng)具有高階序列相關(guān)的檢驗(yàn)，還因?yàn)镈W檢驗(yàn)有兩個(gè)不能確定結(jié)果的區(qū)域。當(dāng)模型存在序列相關(guān)時(shí)，常通過(guò)迭代法和差分法消除自相關(guān)性。要注意的是用迭代法處理序列相關(guān)并不總是有效。一階差分法是自相關(guān)系數(shù)ρ

=1時(shí)的迭代法，因此只有當(dāng)ρ

=1或者接近1時(shí)，差分法的效果才會(huì)好。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院125

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX異常值的識(shí)別和處理是優(yōu)化

歸方程的必要部分。通過(guò)散點(diǎn)圖可以簡(jiǎn)單直觀地對(duì)某些點(diǎn)進(jìn)行甄別。更準(zhǔn)確地方法，則是通過(guò)計(jì)算刪除學(xué)生化殘差、杠桿值、Cook統(tǒng)計(jì)量等對(duì)異常值進(jìn)行判斷。識(shí)別出異常值后，需要對(duì)異常值產(chǎn)生的原因進(jìn)行診斷，不能簡(jiǎn)單地剔除異常值。有時(shí)異常值是正確的觀測(cè)，出現(xiàn)的原因可能是由于模型遺漏 了關(guān)鍵的自變量，或模型設(shè)定錯(cuò)誤，這時(shí)將為模型的修正帶 來(lái)啟發(fā)。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院126

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX歸模型的診斷異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX變換廣義最小二乘估計(jì)小結(jié)與評(píng)注李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院127

/

110編號(hào)

Y

（億元）X

（萬(wàn)畝）

編號(hào)

Y

（億元）

X

（萬(wàn)畝）農(nóng)作物產(chǎn)值播種面積農(nóng)作物產(chǎn)值播種面積116.31907.516183.6517729.2217.14873.217146.7911061.53125.2413159.218129.6311304.7442.245928.119154.289166.2540.286834.42061.246821.7684.475495.521206.517779.6770.76055.22244.374701.38101.6712694.62351.796036.1916.831018.5243.53316.510211.5112770.92559.457016.5111016542.72637.295252.512155.8712244.3276.33761.71349.723601.52810.071235.21469.78158.12944.784275.115255.9216564.5異常值和強(qiáng)影響點(diǎn)BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關(guān)的診斷及其處理農(nóng)作物種植業(yè)產(chǎn)值與播種面積關(guān)系表

1:1986

年

29

個(gè)省市自治區(qū)農(nóng)作物種植業(yè)產(chǎn)值和農(nóng)作物播種面積數(shù)據(jù)李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院128

/

110歸模型的診斷

異方差的診斷及其處理

自相關(guān)的診斷及其處理

異常值和強(qiáng)影響點(diǎn)BOX-COX1986年29個(gè)省市自治區(qū)農(nóng)作物種植業(yè)產(chǎn)值和農(nóng)作物播種面積數(shù)據(jù)如表所示，以農(nóng)作物種植業(yè)產(chǎn)值作為因變量Y

，以農(nóng)作物播種面積作為自變量X

，建立一元線性

歸模型。首先利用普通的最小二乘估計(jì)得到經(jīng)驗(yàn)

歸模型Y?

=

?5.661

+

0.012X

.其次做殘差與自變量農(nóng)作物播種面積的散點(diǎn)圖如下所示，可以發(fā)現(xiàn)有明顯的異方差問(wèn)題。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院129

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX異方差性產(chǎn)生的原因模型設(shè)定錯(cuò)誤常導(dǎo)致異方差，模型設(shè)定主要包括變量的選擇。模型遺漏關(guān)鍵解釋變量常導(dǎo)致異方差，此時(shí)隨機(jī)誤差項(xiàng)、異方差的產(chǎn)生與解釋變量密切相關(guān)。設(shè)正確模型的形式為Yi

=β0

+β1Xi1

+β2Xi2

+β3Xi3

+εi

，但實(shí)際采用的是Yi

=

β0

+

β1Xi1

+

β2Xi2

+

ui

,即略去了解釋變量X3。當(dāng)X3與X1,X2之間存在相關(guān)性或某種函數(shù)關(guān)系時(shí)，其影響將體現(xiàn)在誤差項(xiàng)中。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院130

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX

李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院131

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX異方差性的影響當(dāng)

歸模型出現(xiàn)異方差時(shí)，如果仍用OLS估計(jì)來(lái)估計(jì)未知參數(shù)，將引起不良后果。參數(shù)的OLS估計(jì)仍是無(wú)偏的，但不再是最小方差線性無(wú)偏估計(jì)(BLUE)。普通最小二乘估計(jì)的無(wú)偏性僅依賴于解釋變量非隨機(jī)與隨機(jī) 誤差項(xiàng)均值為0的假定，而其為BLUE則需要高斯—馬爾可夫 條件均滿足。本章廣義最小二乘估計(jì)這一節(jié)將介紹當(dāng)異方差存在時(shí)，比OLS更 有效的線性無(wú)偏估計(jì)。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院132

/

110歸模型的診斷

異方差的診斷及其處理自相關(guān)的診斷及其處理異常值和強(qiáng)影響點(diǎn)BOX-COX

?

將不再服從t分布，并且即使擴(kuò)大樣本量也不能解決這個(gè)問(wèn)題。類(lèi)似地，F(xiàn)

統(tǒng)計(jì)量不再服從F

分布。因此，異方差的存在使高 斯-馬爾可夫假定下進(jìn)行的假設(shè)檢驗(yàn)不再有效，檢驗(yàn)結(jié)果不再 值得信任。李揚(yáng)/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院133

/

110歸模型的診斷異方差的診斷及其處理自