SPC統(tǒng)計(jì)相關(guān)知識(shí)之回歸分析課件

SPC統(tǒng)計(jì)相關(guān)與回歸分析

SPC統(tǒng)計(jì)相關(guān)與回歸分析

1課時(shí)安排本章的特點(diǎn)描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別第一節(jié)相關(guān)與回歸分析的基本概念(1學(xué)時(shí))第二節(jié)一元線性回歸分析(4學(xué)時(shí))第三節(jié)多元線性回歸分析(2學(xué)時(shí))第四節(jié)非線性回歸分析(1學(xué)時(shí))第五節(jié)相關(guān)分析(1學(xué)時(shí))課時(shí)安排本章的特點(diǎn)2本章的特點(diǎn)與以往的統(tǒng)計(jì)學(xué)原理教科書不同，本章從推斷統(tǒng)計(jì)的角度講解相關(guān)分析與回歸分析。這是因?yàn)樵谟嘘P(guān)現(xiàn)實(shí)經(jīng)濟(jì)和管理問題的定量分析中，作為推斷統(tǒng)計(jì)的相關(guān)分析與回歸分析更加具有廣泛的應(yīng)用價(jià)值。本章的特點(diǎn)與以往的統(tǒng)計(jì)學(xué)原理教科書不同，本章從推斷統(tǒng)計(jì)的角度3描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別描述統(tǒng)計(jì):不需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)值是具體數(shù)值,是對總體存在的相關(guān)關(guān)系的描述,不存在顯著性檢驗(yàn).推斷統(tǒng)計(jì):需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)量是隨機(jī)變量,抽取的樣本不同時(shí),得到的估計(jì)值也不同.可以用來推斷總體.需要進(jìn)行各種檢驗(yàn).描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別描述統(tǒng)計(jì):4

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析與回歸分析四、相關(guān)表和相關(guān)圖

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)5一、函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，稱這種關(guān)系為確定性的函數(shù)關(guān)系。當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的.一、函數(shù)關(guān)系與相關(guān)關(guān)系6二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。按相關(guān)的方向可分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)。按變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。一個(gè)變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)。一個(gè)變量對兩個(gè)以上變量的相關(guān)關(guān)系時(shí)，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當(dāng)假定其他變量不變時(shí)，其中兩個(gè)變量的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)的性質(zhì)可分為“真實(shí)相關(guān)”和“虛假相關(guān)”。判斷什么是“真實(shí)相關(guān)”什么是虛假相關(guān)，必須依靠實(shí)質(zhì)性科學(xué)二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和7三、相關(guān)分析與回歸分析相關(guān)分析是用一個(gè)指標(biāo)來表明現(xiàn)象間依存關(guān)系的密切程度?；貧w分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。相關(guān)分析可以不必確定變量中哪個(gè)是自變量，哪個(gè)是因變量，其所涉及的變量都是隨機(jī)變量。回歸分析必須事先確定具有相關(guān)關(guān)系的變量中哪個(gè)為自變量，哪個(gè)為因變量。一般地說，回歸分析中因變量是隨機(jī)的，而把自變量作為研究時(shí)給定的非隨機(jī)變量。一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。三、相關(guān)分析與回歸分析8四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到簡單的相關(guān)表。相關(guān)圖又稱散點(diǎn)圖。它是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y,將兩個(gè)變量間相對應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。根據(jù)表8-2的資料繪制的相關(guān)圖如下：四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表9SPC統(tǒng)計(jì)相關(guān)知識(shí)之回歸分析課件10第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型二、一元線性回歸模型的估計(jì)三、一元線性回歸模型的檢驗(yàn)四、一元線性回歸模型預(yù)測第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型11一、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)Ｙt＝β1＋β2Ｘt＋ut（8.1）ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對Ｙ的影響。(二)樣本回歸函數(shù):

ｔ＝１，２，...nｅt稱為殘差，在概念上，ｅt與總體誤差項(xiàng)ut相互對應(yīng)；ｎ是樣本的容量。一、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)12總體回歸線與隨機(jī)誤差項(xiàng)

Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。ut

總體回歸線與隨機(jī)誤差項(xiàng)Ｅ（Ｙt）＝β1＋β2ＸtXYtY13樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線?？傮w回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動(dòng)?？傮w回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計(jì)算出ｅt的具體數(shù)值。樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。14誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０假定２：Var(ut)＝Ｅ（）＝假定３：Cov(utus)＝Ｅ（utus）＝０ｔ≠ｓ假定４：自變量是給定變量，與誤差項(xiàng)線性無關(guān)。假定５：隨機(jī)誤差項(xiàng)服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０15二、一元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)最小二乘法設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

二、一元線性回歸模型的估計(jì)（一）回歸系數(shù)的估計(jì)最小二16回歸系數(shù)的最小二乘估計(jì)量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組，式中的ｎ是樣本容量。求解這一方程組可得：回歸系數(shù)的最小二乘估計(jì)量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組17（二）總體方差的估計(jì)

上式中，分母是自由度，其中ｎ是樣本觀測值的個(gè)數(shù)，２是一元線性回歸方程中回歸系數(shù)的個(gè)數(shù)。在一元線性回歸模型中，殘差ｅt必須滿足因而失去了兩個(gè)自由度，所以其自由度為ｎ－２。Ｓ2的正平方根又叫做回歸估計(jì)的標(biāo)準(zhǔn)誤差。

S2＝

＝０；

＝０

（二）總體方差的估計(jì)

S2＝＝０；＝０18證明:殘差平方和計(jì)算一般采用以下公式計(jì)算殘差平方和：證明:殘差平方和計(jì)算一般采用以下公式計(jì)算殘差平方和：19（三）最小二乘估計(jì)量的性質(zhì)

最小二乘估計(jì)量是隨機(jī)變量。在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計(jì)量的期望值等于其真值，即有：Ｅ（）＝β1Ｅ（）＝β2

其方差為：Ｖａｒ（）＝Ｖａｒ（）＝

（三）最小二乘估計(jì)量的性質(zhì)

最小二乘估計(jì)量是隨機(jī)變量。20估計(jì)量性質(zhì)的數(shù)學(xué)證明

(一)線性估計(jì)量

將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計(jì)量，得：===最小二乘估計(jì)量可表現(xiàn)為所要估計(jì)的參數(shù)的真值與隨機(jī)誤差項(xiàng)的線性組合

估計(jì)量性質(zhì)的數(shù)學(xué)證明(一)線性估計(jì)量21推導(dǎo)用的恒等式

＝０＝Ｘｔ＝令

推導(dǎo)用的恒等式

＝０22最小二乘估計(jì)量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（∑ｗｔuｔ）＝β2＋∑ｗｔＥ（uｔ）（根據(jù)標(biāo)準(zhǔn)假定４）＝β2＋∑ｗｔ×０（根據(jù)標(biāo)準(zhǔn)假定１）＝β2

Ｖａｒ（）＝Ｖａｒ（β2＋∑ｗｔuｔ）＝Ｅ（∑ｗｔuｔ）2＝（根據(jù)標(biāo)準(zhǔn)假定４、３）＝（根據(jù)標(biāo)準(zhǔn)假定２）＝最小二乘估計(jì)量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（23有效性證明：設(shè)＝為任意無偏線性估計(jì)量，則有約束條件：按照與上面同樣的方法，可推導(dǎo)出Var()=比較Ｖａｒ（）與Var()的大小，有：

有效性證明：設(shè)＝為任意無偏線性估計(jì)24Var()－Var（）＝－＝）＝以上第二步到第三步之所以成立，是因?yàn)椋憾们懊骊P(guān)于線性無偏估計(jì)量的約束條件，可有：

Var()－Var（）＝－25三、一元線性回歸模型的檢驗(yàn)

（一）回歸模型檢驗(yàn)的種類回歸模型的檢驗(yàn)包括理論意義檢驗(yàn)、一級(jí)檢驗(yàn)和二級(jí)檢驗(yàn)。（二）擬合程度的評(píng)價(jià)總離差平方和的分解ＳＳＴ＝ＳＳＲ＋ＳＳＥ（8.28）ＳＳＴ是總離差平方和；ＳＳＲ是回歸平方和；ＳＳＥ是殘差平方和。可決系數(shù)：ｒ2＝=1－（8.30）可決系數(shù)的特性三、一元線性回歸模型的檢驗(yàn)（一）回歸模型檢驗(yàn)的種類26（三）顯著性檢驗(yàn)

1．提出假設(shè)。2.確定顯著水平α。3.計(jì)算回歸系數(shù)的ｔ值。

=（8.36）4.確定臨界值。雙側(cè)檢驗(yàn)查ｔ分布表所確定的臨界值是（-ｔα／2）和（ｔα／2）；單側(cè)檢驗(yàn)所確定的臨界值是（ｔα）。5.做出判斷。（三）顯著性檢驗(yàn)1．提出假設(shè)。27四、一元線性回歸模型預(yù)測

（一）簡單回歸預(yù)測的基本公式：（8.38）回歸預(yù)測是一種有條件的預(yù)測，在進(jìn)行回歸預(yù)測時(shí)，必須先給出Ｘf的具體數(shù)值。內(nèi)插檢驗(yàn)或事后預(yù)測。外推預(yù)測或事前預(yù)測。（二）預(yù)測誤差發(fā)生預(yù)測誤差的原因。預(yù)測誤差Ｖar（ｅf）＝σ2（8.42）（三）區(qū)間預(yù)測Ｙf的（１－α）的置信區(qū)間為：Ｙf±ｔα／2(n-2)×Ｓｅf

回歸預(yù)測的置信區(qū)間的特點(diǎn)。

四、一元線性回歸模型預(yù)測（一）簡單回歸預(yù)測的基本公式：28回歸預(yù)測的置信區(qū)間回歸預(yù)測的置信區(qū)間29第三節(jié)多元線性回歸分析

一、標(biāo)準(zhǔn)的多元線性回歸模型二、多元線性回歸模型的估計(jì)三、多元線性回歸模型的檢驗(yàn)和預(yù)測四、多元線性回歸預(yù)測第三節(jié)多元線性回歸分析一、標(biāo)準(zhǔn)的多元線性回歸模型30一、標(biāo)準(zhǔn)的多元線性回歸模型

多元線性回歸模型總體回歸函數(shù)的一般形式

(8.48)多元線性回歸模型的樣本回歸函數(shù)

(8.49)多元線性回歸分析的標(biāo)準(zhǔn)假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強(qiáng)的線性關(guān)系。一、標(biāo)準(zhǔn)的多元線性回歸模型多元線性回歸模型總體回歸函數(shù)的一31二、多元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)＝(X'X)－1X'Y

(8.55)（二）總體方差的估計(jì)

Ｓ2＝(8.56)（三）最小二乘估計(jì)量的性質(zhì)標(biāo)準(zhǔn)的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。

二、多元線性回歸模型的估計(jì)（一）回歸系數(shù)的估計(jì)32三、多元線性回歸模型的檢驗(yàn)和預(yù)測

（一）擬合程度的評(píng)價(jià)修正自由度的可決系數(shù)（理由）。＝１－(8.61)＝１－（１－Ｒ2）(8.62)式中，ｎ是樣本容量；ｋ是模型中回歸系數(shù)的個(gè)數(shù)。修正自由度的可決系數(shù)的特點(diǎn)。

三、多元線性回歸模型的檢驗(yàn)和預(yù)測（一）擬合程度的評(píng)價(jià)33(二)顯著性檢驗(yàn)1．回歸系數(shù)的顯著性檢驗(yàn)ｔ＝j(luò)=1,2,…,k(8.63)式中，S是的標(biāo)準(zhǔn)差的估計(jì)值。按下式計(jì)算：Ｓ＝(8.64)式中，是(X'X)-1的第ｊ個(gè)對角線元素，Ｓ2是隨機(jī)誤差項(xiàng)方差的估計(jì)值。(8.63)式的ｔ統(tǒng)計(jì)量的原假設(shè)是Ｈ0：βj＝０，因此ｔ的絕對值越大表明βj為０的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。(二)顯著性檢驗(yàn)1．回歸系數(shù)的顯著性檢驗(yàn)342．回歸方程的顯著性檢驗(yàn)具體的方法步驟回歸模型方差分析表（3）Ｆ統(tǒng)計(jì)量

Ｆ＝

離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=2．回歸方程的顯著性檢驗(yàn)具體的方法步驟離差名稱平方和自35

四、多元線性回歸預(yù)測

基本公式：(8.66)式中，Xjf(j=2,3,……k)是給定的Xj在預(yù)測期的具體數(shù)值；是已估計(jì)出的樣本回歸系數(shù)；是Xj給定時(shí)Ｙ的預(yù)測值。四、多元線性回歸預(yù)測基本公式：36第四節(jié)非線性回歸分析

一、非線性回歸分析的意義

二、非線性函數(shù)形式的確定確定函數(shù)形式的原則實(shí)際分析中較常用的幾種非線性函數(shù)的特點(diǎn)第四節(jié)非線性回歸分析一、非線性回歸分析的意義37三、非線性回歸模型的估計(jì)

幾種線性變換方法實(shí)際應(yīng)用時(shí)要注意：第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中的變量不允許包含未知的參數(shù)。第三、當(dāng)變換后的新模型中包含的誤差項(xiàng)能夠滿足標(biāo)準(zhǔn)假定時(shí)，新模型中回歸系數(shù)最小二乘估計(jì)量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只是適用于變量為非線性的函數(shù)。第五、并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價(jià)的線性方程。三、非線性回歸模型的估計(jì)幾種線性變換方法38第五節(jié)相關(guān)分析

一、單相關(guān)系數(shù)及其檢驗(yàn)二、等級(jí)相關(guān)系數(shù)及其檢驗(yàn)四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)六、相關(guān)指數(shù)第五節(jié)相關(guān)分析一、單相關(guān)系數(shù)及其檢驗(yàn)39一、單相關(guān)系數(shù)及其檢驗(yàn)

（一）相關(guān)系數(shù)的定義ｒ＝（8.86）樣本相關(guān)系數(shù)的定義還可從另一個(gè)角度給出。設(shè)Ｙ倚Ｘ和Ｘ倚Ｙ的樣本回歸方程為：（8.87）（8.88）一、單相關(guān)系數(shù)及其檢驗(yàn)（一）相關(guān)系數(shù)的定義40樣本相關(guān)系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即:ｒ＝±（8.89）上式中ｒ的符號(hào)應(yīng)與回歸系數(shù)的符號(hào)一致。（二）相關(guān)系數(shù)與可決系數(shù)簡單線性回歸模型中相關(guān)系數(shù)ｒ的平方等于可決系數(shù)ｒ2。樣本相關(guān)系數(shù)的特點(diǎn)：（三）單相關(guān)系數(shù)的檢驗(yàn)樣本相關(guān)系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即:41

二、等級(jí)相關(guān)系數(shù)及其檢驗(yàn)

（一）等級(jí)相關(guān)系數(shù)的定義和計(jì)算ｒs=(8.92)式中，，和分別是兩個(gè)變量按大小（或優(yōu)劣）排位的等級(jí)，n是樣本的容量。推導(dǎo)通常的單相關(guān)系數(shù)為：ｒs＝i=1,2,……n(9.121)

二、等級(jí)相關(guān)系數(shù)及其檢驗(yàn)（一）等級(jí)相關(guān)系數(shù)的定義和計(jì)算42注意到和是等級(jí)變量，其可能的取值范圍均為：1，2，3，……，n。利用有關(guān)數(shù)列求和的公式可得：

(9.122)

(9.123)

(9.124)

(9.125)

注意到和是等級(jí)變量，其可能的取值范圍均為：143

==

整理后，可得:(9.126)將(9.124)、（9.125）和(9.126)式代入（9.121）式，便可導(dǎo)出等級(jí)相關(guān)系數(shù)的計(jì)算公式(9.120)式。（二）等級(jí)相關(guān)系數(shù)檢驗(yàn)

44四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)

（一）復(fù)相關(guān)系數(shù)Ｒ＝(8.94)實(shí)際計(jì)算復(fù)相關(guān)系數(shù)時(shí)，一般是先計(jì)算出可決系數(shù)，然后再求可決系數(shù)的平方根。復(fù)相關(guān)系數(shù)只取正值。（二）偏相關(guān)系數(shù)計(jì)算偏相關(guān)系數(shù)時(shí)，需要掌握多個(gè)變量的數(shù)據(jù)，一方面考慮多個(gè)變量之間可能產(chǎn)生的影響，一方面又用一定的方法控制其他變量，專門考察兩個(gè)特定變量的凈相關(guān)關(guān)系。偏相關(guān)系數(shù)與單相關(guān)系數(shù)數(shù)值上可能相差很大，甚至符號(hào)都可能相反。四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)（一）復(fù)相關(guān)系數(shù)45(三)樣本偏相關(guān)系數(shù)的定義

偏相關(guān)系數(shù)等于兩個(gè)相應(yīng)偏回歸系數(shù)的幾何平均數(shù)。設(shè)有３個(gè)變量X1、X2和X3。３個(gè)變量各自以另兩個(gè)變量為自變量擬合的樣本回歸方程如下３個(gè)變量之間的偏相關(guān)系數(shù)可定義如下：(三)樣本偏相關(guān)系數(shù)的定義

偏相關(guān)系數(shù)等于兩個(gè)相應(yīng)偏回歸系數(shù)46

六、相關(guān)指數(shù)相關(guān)指數(shù)，也就是對非線性回歸模型進(jìn)行擬合時(shí)所得到的可決系數(shù)。對相關(guān)指數(shù)進(jìn)行顯著性檢驗(yàn)的方法與對復(fù)相關(guān)系數(shù)進(jìn)行檢驗(yàn)的方法類似。六、相關(guān)指數(shù)相關(guān)指數(shù)，也就是對非線性回歸模型進(jìn)行擬合時(shí)所得47

SPC統(tǒng)計(jì)相關(guān)與回歸分析

SPC統(tǒng)計(jì)相關(guān)與回歸分析

48課時(shí)安排本章的特點(diǎn)描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別第一節(jié)相關(guān)與回歸分析的基本概念(1學(xué)時(shí))第二節(jié)一元線性回歸分析(4學(xué)時(shí))第三節(jié)多元線性回歸分析(2學(xué)時(shí))第四節(jié)非線性回歸分析(1學(xué)時(shí))第五節(jié)相關(guān)分析(1學(xué)時(shí))課時(shí)安排本章的特點(diǎn)49本章的特點(diǎn)與以往的統(tǒng)計(jì)學(xué)原理教科書不同，本章從推斷統(tǒng)計(jì)的角度講解相關(guān)分析與回歸分析。這是因?yàn)樵谟嘘P(guān)現(xiàn)實(shí)經(jīng)濟(jì)和管理問題的定量分析中，作為推斷統(tǒng)計(jì)的相關(guān)分析與回歸分析更加具有廣泛的應(yīng)用價(jià)值。本章的特點(diǎn)與以往的統(tǒng)計(jì)學(xué)原理教科書不同，本章從推斷統(tǒng)計(jì)的角度50描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別描述統(tǒng)計(jì):不需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)值是具體數(shù)值,是對總體存在的相關(guān)關(guān)系的描述,不存在顯著性檢驗(yàn).推斷統(tǒng)計(jì):需要對隨機(jī)誤差項(xiàng)作出各種假定,各種參數(shù)估計(jì)量是隨機(jī)變量,抽取的樣本不同時(shí),得到的估計(jì)值也不同.可以用來推斷總體.需要進(jìn)行各種檢驗(yàn).描述統(tǒng)計(jì)與推斷統(tǒng)計(jì)中相關(guān)回歸分析的差別描述統(tǒng)計(jì):51

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析與回歸分析四、相關(guān)表和相關(guān)圖

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)52一、函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，稱這種關(guān)系為確定性的函數(shù)關(guān)系。當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的.一、函數(shù)關(guān)系與相關(guān)關(guān)系53二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。按相關(guān)的方向可分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)。按變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。一個(gè)變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)。一個(gè)變量對兩個(gè)以上變量的相關(guān)關(guān)系時(shí)，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當(dāng)假定其他變量不變時(shí)，其中兩個(gè)變量的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)的性質(zhì)可分為“真實(shí)相關(guān)”和“虛假相關(guān)”。判斷什么是“真實(shí)相關(guān)”什么是虛假相關(guān)，必須依靠實(shí)質(zhì)性科學(xué)二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和54三、相關(guān)分析與回歸分析相關(guān)分析是用一個(gè)指標(biāo)來表明現(xiàn)象間依存關(guān)系的密切程度。回歸分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。相關(guān)分析可以不必確定變量中哪個(gè)是自變量，哪個(gè)是因變量，其所涉及的變量都是隨機(jī)變量?；貧w分析必須事先確定具有相關(guān)關(guān)系的變量中哪個(gè)為自變量，哪個(gè)為因變量。一般地說，回歸分析中因變量是隨機(jī)的，而把自變量作為研究時(shí)給定的非隨機(jī)變量。一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。三、相關(guān)分析與回歸分析55四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到簡單的相關(guān)表。相關(guān)圖又稱散點(diǎn)圖。它是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y,將兩個(gè)變量間相對應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。根據(jù)表8-2的資料繪制的相關(guān)圖如下：四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表56SPC統(tǒng)計(jì)相關(guān)知識(shí)之回歸分析課件57第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型二、一元線性回歸模型的估計(jì)三、一元線性回歸模型的檢驗(yàn)四、一元線性回歸模型預(yù)測第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型58一、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)Ｙt＝β1＋β2Ｘt＋ut（8.1）ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對Ｙ的影響。(二)樣本回歸函數(shù):

ｔ＝１，２，...nｅt稱為殘差，在概念上，ｅt與總體誤差項(xiàng)ut相互對應(yīng)；ｎ是樣本的容量。一、標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)59總體回歸線與隨機(jī)誤差項(xiàng)

Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。ut

總體回歸線與隨機(jī)誤差項(xiàng)Ｅ（Ｙt）＝β1＋β2ＸtXYtY60樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。總體回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動(dòng)?？傮w回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計(jì)算出ｅt的具體數(shù)值。樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。61誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０假定２：Var(ut)＝Ｅ（）＝假定３：Cov(utus)＝Ｅ（utus）＝０ｔ≠ｓ假定４：自變量是給定變量，與誤差項(xiàng)線性無關(guān)。假定５：隨機(jī)誤差項(xiàng)服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。誤差項(xiàng)的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０62二、一元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)最小二乘法設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

二、一元線性回歸模型的估計(jì)（一）回歸系數(shù)的估計(jì)最小二63回歸系數(shù)的最小二乘估計(jì)量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組，式中的ｎ是樣本容量。求解這一方程組可得：回歸系數(shù)的最小二乘估計(jì)量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組64（二）總體方差的估計(jì)

上式中，分母是自由度，其中ｎ是樣本觀測值的個(gè)數(shù)，２是一元線性回歸方程中回歸系數(shù)的個(gè)數(shù)。在一元線性回歸模型中，殘差ｅt必須滿足因而失去了兩個(gè)自由度，所以其自由度為ｎ－２。Ｓ2的正平方根又叫做回歸估計(jì)的標(biāo)準(zhǔn)誤差。

S2＝

＝０；

＝０

（二）總體方差的估計(jì)

S2＝＝０；＝０65證明:殘差平方和計(jì)算一般采用以下公式計(jì)算殘差平方和：證明:殘差平方和計(jì)算一般采用以下公式計(jì)算殘差平方和：66（三）最小二乘估計(jì)量的性質(zhì)

最小二乘估計(jì)量是隨機(jī)變量。在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計(jì)量的期望值等于其真值，即有：Ｅ（）＝β1Ｅ（）＝β2

其方差為：Ｖａｒ（）＝Ｖａｒ（）＝

（三）最小二乘估計(jì)量的性質(zhì)

最小二乘估計(jì)量是隨機(jī)變量。67估計(jì)量性質(zhì)的數(shù)學(xué)證明

(一)線性估計(jì)量

將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計(jì)量，得：===最小二乘估計(jì)量可表現(xiàn)為所要估計(jì)的參數(shù)的真值與隨機(jī)誤差項(xiàng)的線性組合

估計(jì)量性質(zhì)的數(shù)學(xué)證明(一)線性估計(jì)量68推導(dǎo)用的恒等式

＝０＝Ｘｔ＝令

推導(dǎo)用的恒等式

＝０69最小二乘估計(jì)量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（∑ｗｔuｔ）＝β2＋∑ｗｔＥ（uｔ）（根據(jù)標(biāo)準(zhǔn)假定４）＝β2＋∑ｗｔ×０（根據(jù)標(biāo)準(zhǔn)假定１）＝β2

Ｖａｒ（）＝Ｖａｒ（β2＋∑ｗｔuｔ）＝Ｅ（∑ｗｔuｔ）2＝（根據(jù)標(biāo)準(zhǔn)假定４、３）＝（根據(jù)標(biāo)準(zhǔn)假定２）＝最小二乘估計(jì)量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（70有效性證明：設(shè)＝為任意無偏線性估計(jì)量，則有約束條件：按照與上面同樣的方法，可推導(dǎo)出Var()=比較Ｖａｒ（）與Var()的大小，有：

有效性證明：設(shè)＝為任意無偏線性估計(jì)71Var()－Var（）＝－＝）＝以上第二步到第三步之所以成立，是因?yàn)椋憾们懊骊P(guān)于線性無偏估計(jì)量的約束條件，可有：

Var()－Var（）＝－72三、一元線性回歸模型的檢驗(yàn)

（一）回歸模型檢驗(yàn)的種類回歸模型的檢驗(yàn)包括理論意義檢驗(yàn)、一級(jí)檢驗(yàn)和二級(jí)檢驗(yàn)。（二）擬合程度的評(píng)價(jià)總離差平方和的分解ＳＳＴ＝ＳＳＲ＋ＳＳＥ（8.28）ＳＳＴ是總離差平方和；ＳＳＲ是回歸平方和；ＳＳＥ是殘差平方和?？蓻Q系數(shù)：ｒ2＝=1－（8.30）可決系數(shù)的特性三、一元線性回歸模型的檢驗(yàn)（一）回歸模型檢驗(yàn)的種類73（三）顯著性檢驗(yàn)

1．提出假設(shè)。2.確定顯著水平α。3.計(jì)算回歸系數(shù)的ｔ值。

=（8.36）4.確定臨界值。雙側(cè)檢驗(yàn)查ｔ分布表所確定的臨界值是（-ｔα／2）和（ｔα／2）；單側(cè)檢驗(yàn)所確定的臨界值是（ｔα）。5.做出判斷。（三）顯著性檢驗(yàn)1．提出假設(shè)。74四、一元線性回歸模型預(yù)測

（一）簡單回歸預(yù)測的基本公式：（8.38）回歸預(yù)測是一種有條件的預(yù)測，在進(jìn)行回歸預(yù)測時(shí)，必須先給出Ｘf的具體數(shù)值。內(nèi)插檢驗(yàn)或事后預(yù)測。外推預(yù)測或事前預(yù)測。（二）預(yù)測誤差發(fā)生預(yù)測誤差的原因。預(yù)測誤差Ｖar（ｅf）＝σ2（8.42）（三）區(qū)間預(yù)測Ｙf的（１－α）的置信區(qū)間為：Ｙf±ｔα／2(n-2)×Ｓｅf

回歸預(yù)測的置信區(qū)間的特點(diǎn)。

四、一元線性回歸模型預(yù)測（一）簡單回歸預(yù)測的基本公式：75回歸預(yù)測的置信區(qū)間回歸預(yù)測的置信區(qū)間76第三節(jié)多元線性回歸分析

一、標(biāo)準(zhǔn)的多元線性回歸模型二、多元線性回歸模型的估計(jì)三、多元線性回歸模型的檢驗(yàn)和預(yù)測四、多元線性回歸預(yù)測第三節(jié)多元線性回歸分析一、標(biāo)準(zhǔn)的多元線性回歸模型77一、標(biāo)準(zhǔn)的多元線性回歸模型

多元線性回歸模型總體回歸函數(shù)的一般形式

(8.48)多元線性回歸模型的樣本回歸函數(shù)

(8.49)多元線性回歸分析的標(biāo)準(zhǔn)假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強(qiáng)的線性關(guān)系。一、標(biāo)準(zhǔn)的多元線性回歸模型多元線性回歸模型總體回歸函數(shù)的一78二、多元線性回歸模型的估計(jì)

（一）回歸系數(shù)的估計(jì)＝(X'X)－1X'Y

(8.55)（二）總體方差的估計(jì)

Ｓ2＝(8.56)（三）最小二乘估計(jì)量的性質(zhì)標(biāo)準(zhǔn)的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。

二、多元線性回歸模型的估計(jì)（一）回歸系數(shù)的估計(jì)79三、多元線性回歸模型的檢驗(yàn)和預(yù)測

（一）擬合程度的評(píng)價(jià)修正自由度的可決系數(shù)（理由）。＝１－(8.61)＝１－（１－Ｒ2）(8.62)式中，ｎ是樣本容量；ｋ是模型中回歸系數(shù)的個(gè)數(shù)。修正自由度的可決系數(shù)的特點(diǎn)。

三、多元線性回歸模型的檢驗(yàn)和預(yù)測（一）擬合程度的評(píng)價(jià)80(二)顯著性檢驗(yàn)1．回歸系數(shù)的顯著性檢驗(yàn)ｔ＝j(luò)=1,2,…,k(8.63)式中，S是的標(biāo)準(zhǔn)差的估計(jì)值。按下式計(jì)算：Ｓ＝(8.64)式中，是(X'X)-1的第ｊ個(gè)對角線元素，Ｓ2是隨機(jī)誤差項(xiàng)方差的估計(jì)值。(8.63)式的ｔ統(tǒng)計(jì)量的原假設(shè)是Ｈ0：βj＝０，因此ｔ的絕對值越大表明βj為０的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。(二)顯著性檢驗(yàn)1．回歸系數(shù)的顯著性檢驗(yàn)812．回歸方程的顯著性檢驗(yàn)具體的方法步驟回歸模型方差分析表（3）Ｆ統(tǒng)計(jì)量

Ｆ＝

離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=2．回歸方程的顯著性檢驗(yàn)具體的方法步驟離差名稱平方和自82

四、多元線性回歸預(yù)測

基本公式：(8.66)式中，Xjf(j=2,3,……k)是給定的Xj在預(yù)測期的具體數(shù)值；是已估計(jì)出的樣本回歸系數(shù)；是Xj給定時(shí)Ｙ的預(yù)測值。四、多元線性回歸預(yù)測基本公式：83第四節(jié)非線性回歸分析

一、非線性回歸分析的意義

二、非線性函數(shù)形式的確定確定函數(shù)形式的原則實(shí)際分析中較常用的幾種非線性函數(shù)的特點(diǎn)第四節(jié)非線性回歸分析一、非線性回歸分析的意義84三、非線性回歸模型的估計(jì)

幾種線性變換方法實(shí)際應(yīng)用時(shí)要注意：第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中的變量不允許包含未知的參數(shù)。第三、當(dāng)變換后的新模型中包含的誤差項(xiàng)能夠滿足標(biāo)準(zhǔn)假定時(shí)，新模型中回歸系數(shù)最小二乘估計(jì)量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只是適用于變量為非線性的函數(shù)。第五、并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價(jià)的線性方程。三、非線性回歸模型的估計(jì)幾種線性變換方法85第五節(jié)相關(guān)分析

一、單相關(guān)系數(shù)及其檢驗(yàn)二、等級(jí)相關(guān)系數(shù)及其檢驗(yàn)四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)六、相關(guān)指數(shù)第五節(jié)相關(guān)分析一、單相關(guān)系數(shù)及其檢驗(yàn)86一、單相關(guān)系數(shù)及其檢驗(yàn)

（一）相關(guān)系數(shù)的定義ｒ＝（8.86）樣本相關(guān)系數(shù)的定義還可從另一個(gè)角度給出。設(shè)Ｙ倚Ｘ和Ｘ倚Ｙ的樣本回歸方程為：