相關(guān)與回歸分析演示

相關(guān)與回歸分析演示第一頁，共四十七頁，編輯于2023年，星期三課時安排本章的特點描述統(tǒng)計與推斷統(tǒng)計中相關(guān)回歸分析的差別第一節(jié)相關(guān)與回歸分析的基本概念(1學(xué)時)第二節(jié)一元線性回歸分析(4學(xué)時)第三節(jié)多元線性回歸分析(2學(xué)時)第四節(jié)非線性回歸分析(1學(xué)時)第五節(jié)相關(guān)分析(1學(xué)時)第二頁，共四十七頁，編輯于2023年，星期三本章的特點與以往的統(tǒng)計學(xué)原理教科書不同，本章從推斷統(tǒng)計的角度講解相關(guān)分析與回歸分析。這是因為在有關(guān)現(xiàn)實經(jīng)濟和管理問題的定量分析中，作為推斷統(tǒng)計的相關(guān)分析與回歸分析更加具有廣泛的應(yīng)用價值。第三頁，共四十七頁，編輯于2023年，星期三描述統(tǒng)計與推斷統(tǒng)計中相關(guān)回歸分析的差別描述統(tǒng)計:

不需要對隨機誤差項作出各種假定,各種參數(shù)估計值是具體數(shù)值,是對總體存在的相關(guān)關(guān)系的描述,不存在顯著性檢驗.推斷統(tǒng)計:

需要對隨機誤差項作出各種假定,各種參數(shù)估計量是隨機變量,抽取的樣本不同時,得到的估計值也不同.可以用來推斷總體.需要進(jìn)行各種檢驗.第四頁，共四十七頁，編輯于2023年，星期三

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析與回歸分析四、相關(guān)表和相關(guān)圖第五頁，共四十七頁，編輯于2023年，星期三一、函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個或幾個變量取一定的值時，另一個變量有確定值與之相對應(yīng)，稱這種關(guān)系為確定性的函數(shù)關(guān)系。當(dāng)一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的.第六頁，共四十七頁，編輯于2023年，星期三二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。按相關(guān)的方向可分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)。按變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。一個變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)。一個變量對兩個以上變量的相關(guān)關(guān)系時，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當(dāng)假定其他變量不變時，其中兩個變量的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)的性質(zhì)可分為“真實相關(guān)”和“虛假相關(guān)”。判斷什么是“真實相關(guān)”什么是虛假相關(guān)，必須依靠實質(zhì)性科學(xué)第七頁，共四十七頁，編輯于2023年，星期三三、相關(guān)分析與回歸分析相關(guān)分析是用一個指標(biāo)來表明現(xiàn)象間依存關(guān)系的密切程度?；貧w分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量都是隨機變量?；貧w分析必須事先確定具有相關(guān)關(guān)系的變量中哪個為自變量，哪個為因變量。一般地說，回歸分析中因變量是隨機的，而把自變量作為研究時給定的非隨機變量。一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。第八頁，共四十七頁，編輯于2023年，星期三四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到簡單的相關(guān)表。相關(guān)圖又稱散點圖。它是以直角坐標(biāo)系的橫軸代表變量X，縱軸代表變量Y,將兩個變量間相對應(yīng)的變量值用坐標(biāo)點的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。根據(jù)表8-2的資料繪制的相關(guān)圖如下：第九頁，共四十七頁，編輯于2023年，星期三第十頁，共四十七頁，編輯于2023年，星期三第二節(jié)一元線性回歸分析

一、標(biāo)準(zhǔn)的一元線性回歸模型二、一元線性回歸模型的估計三、一元線性回歸模型的檢驗四、一元線性回歸模型預(yù)測第十一頁，共四十七頁，編輯于2023年，星期三一、標(biāo)準(zhǔn)的一元線性回歸模型

(一)總體回歸函數(shù)Ｙt＝β1＋β2Ｘt＋ut（8.1）

ut是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對Ｙ的影響。

(二)樣本回歸函數(shù):

ｔ＝１，２，...n

ｅt稱為殘差，在概念上，ｅt與總體誤差項ut相互對應(yīng)；ｎ是樣本的容量。第十二頁，共四十七頁，編輯于2023年，星期三總體回歸線與隨機誤差項

Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。ut

第十三頁，共四十七頁，編輯于2023年，星期三樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。總體回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動?？傮w回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出ｅt的具體數(shù)值。第十四頁，共四十七頁，編輯于2023年，星期三誤差項的標(biāo)準(zhǔn)假定假定１：Ｅ（ut）＝０假定２：Var(ut)＝Ｅ（）＝假定３：Cov(utus)＝Ｅ（utus）＝０ｔ≠ｓ假定４：自變量是給定變量，與誤差項線性無關(guān)。假定５：隨機誤差項服從正態(tài)分布。滿足以上標(biāo)準(zhǔn)假定的一元線性回歸模型，稱為標(biāo)準(zhǔn)的一元線性回歸模型。第十五頁，共四十七頁，編輯于2023年，星期三二、一元線性回歸模型的估計

（一）回歸系數(shù)的估計最小二乘法設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

第十六頁，共四十七頁，編輯于2023年，星期三回歸系數(shù)的最小二乘估計量以上方程組稱為正規(guī)方程組或標(biāo)準(zhǔn)方程組，式中的ｎ是樣本容量。求解這一方程組可得：第十七頁，共四十七頁，編輯于2023年，星期三（二）總體方差的估計

上式中，分母是自由度，其中ｎ是樣本觀測值的個數(shù)，２是一元線性回歸方程中回歸系數(shù)的個數(shù)。在一元線性回歸模型中，殘差ｅt必須滿足因而失去了兩個自由度，所以其自由度為ｎ－２。Ｓ2的正平方根又叫做回歸估計的標(biāo)準(zhǔn)誤差。

S2＝

＝０；

＝０

第十八頁，共四十七頁，編輯于2023年，星期三證明:殘差平方和計算一般采用以下公式計算殘差平方和：第十九頁，共四十七頁，編輯于2023年，星期三（三）最小二乘估計量的性質(zhì)

最小二乘估計量是隨機變量。在標(biāo)準(zhǔn)假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計量的期望值等于其真值，即有：Ｅ（）＝β1

Ｅ（）＝β2

其方差為：Ｖａｒ（）＝Ｖａｒ（）＝

第二十頁，共四十七頁，編輯于2023年，星期三估計量性質(zhì)的數(shù)學(xué)證明

(一)線性估計量

將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計量，得：

===最小二乘估計量可表現(xiàn)為所要估計的參數(shù)的真值與隨機誤差項的線性組合

第二十一頁，共四十七頁，編輯于2023年，星期三推導(dǎo)用的恒等式

＝０＝Ｘｔ＝令

第二十二頁，共四十七頁，編輯于2023年，星期三最小二乘估計量期望值和方差的推導(dǎo)Ｅ（）＝β2＋Ｅ（∑ｗｔuｔ）＝β2＋∑ｗｔＥ（uｔ）（根據(jù)標(biāo)準(zhǔn)假定４）＝β2＋∑ｗｔ×０（根據(jù)標(biāo)準(zhǔn)假定１）＝β2

Ｖａｒ（）＝Ｖａｒ（β2＋∑ｗｔuｔ）＝Ｅ（∑ｗｔuｔ）2

＝（根據(jù)標(biāo)準(zhǔn)假定４、３）＝（根據(jù)標(biāo)準(zhǔn)假定２）＝第二十三頁，共四十七頁，編輯于2023年，星期三有效性證明：設(shè)＝為任意無偏線性估計量，則有約束條件：按照與上面同樣的方法，可推導(dǎo)出Var()=比較Ｖａｒ（）與Var()的大小，有：

第二十四頁，共四十七頁，編輯于2023年，星期三

Var()－Var（）＝－＝）＝以上第二步到第三步之所以成立，是因為：而利用前面關(guān)于線性無偏估計量的約束條件，可有：

第二十五頁，共四十七頁，編輯于2023年，星期三三、一元線性回歸模型的檢驗

（一）回歸模型檢驗的種類回歸模型的檢驗包括理論意義檢驗、一級檢驗和二級檢驗。（二）擬合程度的評價總離差平方和的分解ＳＳＴ＝ＳＳＲ＋ＳＳＥ（8.28）ＳＳＴ是總離差平方和；ＳＳＲ是回歸平方和；ＳＳＥ是殘差平方和?？蓻Q系數(shù)：ｒ2＝=1－（8.30）可決系數(shù)的特性第二十六頁，共四十七頁，編輯于2023年，星期三（三）顯著性檢驗

1．提出假設(shè)。2.確定顯著水平α。3.計算回歸系數(shù)的ｔ值。

=（8.36）4.確定臨界值。雙側(cè)檢驗查ｔ分布表所確定的臨界值是（-ｔα／2）和（ｔα／2）；單側(cè)檢驗所確定的臨界值是（ｔα）。5.做出判斷。第二十七頁，共四十七頁，編輯于2023年，星期三四、一元線性回歸模型預(yù)測

（一）簡單回歸預(yù)測的基本公式：（8.38）回歸預(yù)測是一種有條件的預(yù)測，在進(jìn)行回歸預(yù)測時，必須先給出Ｘf的具體數(shù)值。內(nèi)插檢驗或事后預(yù)測。外推預(yù)測或事前預(yù)測。（二）預(yù)測誤差發(fā)生預(yù)測誤差的原因。預(yù)測誤差Ｖar（ｅf）＝σ2

（8.42）（三）區(qū)間預(yù)測Ｙf的（１－α）的置信區(qū)間為：Ｙf±ｔα／2(n-2)×Ｓｅf

回歸預(yù)測的置信區(qū)間的特點。

第二十八頁，共四十七頁，編輯于2023年，星期三回歸預(yù)測的置信區(qū)間第二十九頁，共四十七頁，編輯于2023年，星期三第三節(jié)多元線性回歸分析

一、標(biāo)準(zhǔn)的多元線性回歸模型二、多元線性回歸模型的估計三、多元線性回歸模型的檢驗和預(yù)測四、多元線性回歸預(yù)測第三十頁，共四十七頁，編輯于2023年，星期三一、標(biāo)準(zhǔn)的多元線性回歸模型

多元線性回歸模型總體回歸函數(shù)的一般形式

(8.48)多元線性回歸模型的樣本回歸函數(shù)

(8.49)

多元線性回歸分析的標(biāo)準(zhǔn)假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強的線性關(guān)系。第三十一頁，共四十七頁，編輯于2023年，星期三二、多元線性回歸模型的估計

（一）回歸系數(shù)的估計＝(X'X)－1X'Y

(8.55)（二）總體方差的估計

Ｓ2＝(8.56)

（三）最小二乘估計量的性質(zhì)標(biāo)準(zhǔn)的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。

第三十二頁，共四十七頁，編輯于2023年，星期三三、多元線性回歸模型的檢驗和預(yù)測

（一）擬合程度的評價修正自由度的可決系數(shù)（理由）。＝１－(8.61)＝１－（１－Ｒ2）(8.62)式中，ｎ是樣本容量；ｋ是模型中回歸系數(shù)的個數(shù)。修正自由度的可決系數(shù)的特點。

第三十三頁，共四十七頁，編輯于2023年，星期三(二)顯著性檢驗1．回歸系數(shù)的顯著性檢驗ｔ＝j(luò)=1,2,…,k(8.63)

式中，S是的標(biāo)準(zhǔn)差的估計值。按下式計算：Ｓ＝(8.64)

式中，是(X'X)-1的第ｊ個對角線元素，Ｓ2是隨機誤差項方差的估計值。(8.63)式的ｔ統(tǒng)計量的原假設(shè)是Ｈ0：βj＝０，因此ｔ的絕對值越大表明βj為０的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。第三十四頁，共四十七頁，編輯于2023年，星期三2．回歸方程的顯著性檢驗具體的方法步驟回歸模型方差分析表（3）Ｆ統(tǒng)計量

Ｆ＝

離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=第三十五頁，共四十七頁，編輯于2023年，星期三

四、多元線性回歸預(yù)測

基本公式：

(8.66)

式中，Xjf(j=2,3,……k)是給定的Xj在預(yù)測期的具體數(shù)值；是已估計出的樣本回歸系數(shù)；是Xj給定時Ｙ的預(yù)測值。第三十六頁，共四十七頁，編輯于2023年，星期三第四節(jié)非線性回歸分析

一、非線性回歸分析的意義

二、非線性函數(shù)形式的確定確定函數(shù)形式的原則實際分析中較常用的幾種非線性函數(shù)的特點第三十七頁，共四十七頁，編輯于2023年，星期三三、非線性回歸模型的估計

幾種線性變換方法實際應(yīng)用時要注意：第一、比較復(fù)雜的非線性函數(shù)，需綜合利用上述的幾種方法。第二、變換得到的方程式中的變量不允許包含未知的參數(shù)。第三、當(dāng)變換后的新模型中包含的誤差項能夠滿足標(biāo)準(zhǔn)假定時，新模型中回歸系數(shù)最小二乘估計量的理想性質(zhì)才能成立。第四、嚴(yán)格地說，線性變換方法只是適用于變量為非線性的函數(shù)。第五、并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價的線性方程。第三十八頁，共四十七頁，編輯于2023年，星期三第五節(jié)相關(guān)分析

一、單相關(guān)系數(shù)及其檢驗二、等級相關(guān)系數(shù)及其檢驗四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)六、相關(guān)指數(shù)第三十九頁，共四十七頁，編輯于2023年，星期三一、單相關(guān)系數(shù)及其檢驗

（一）相關(guān)系數(shù)的定義ｒ＝（8.86）樣本相關(guān)系數(shù)的定義還可從另一個角度給出。設(shè)Ｙ倚Ｘ和Ｘ倚Ｙ的樣本回歸方程為：（8.87）（8.88）第四十頁，共四十七頁，編輯于2023年，星期三樣本相關(guān)系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即:

ｒ＝±（8.89）上式中ｒ的符號應(yīng)與回歸系數(shù)的符號一致。（二）相關(guān)系數(shù)與可決系數(shù)簡單線性回歸模型中相關(guān)系數(shù)ｒ的平方等于可決系數(shù)ｒ2。樣本相關(guān)系數(shù)的特點：（三）單相關(guān)系數(shù)的檢驗第四十一頁，共四十七頁，編輯于2023年，星期三

二、等級相關(guān)系數(shù)及其檢驗

（一）等級相關(guān)系數(shù)的定義和計算ｒs=(8.92)式中，，和分別是兩個變量按大?。ɑ騼?yōu)劣）排位的等級，n是樣本的容量。推導(dǎo)通常的單相關(guān)系數(shù)為：ｒs＝i=1,2,……n(9.121)

第四十二頁，共四十七頁，編輯于2023年，星期三注意到和是等級變量，其可能的取值范圍均為：1，2，3，……，n。利用有關(guān)數(shù)列求和的公式可得：

(9.122)

(9.123)

(9.124)