第7章 相關回歸分析

1、 第一節(jié)第一節(jié) 相關分析的基本問題相關分析的基本問題 第二節(jié)第二節(jié) 相關關系的測度相關關系的測度 第三節(jié)第三節(jié) 回歸分析的基本問題回歸分析的基本問題 第四節(jié)第四節(jié) 回歸分析的基本問題回歸分析的基本問題 第七章 相關回歸分析第一節(jié) 相關分析的基本問題一、相關關系與函數關系一、相關關系與函數關系 二、相關關系的種類二、相關關系的種類三、相關分析的主要內容三、相關分析的主要內容 函數關系是指現象之間存在確定性的數量依存關系。在這函數關系是指現象之間存在確定性的數量依存關系。在這種關系中，當某一變量或某些變量取任意一個值時，另一變種關系中，當某一變量或某些變量取任意一個值時，另一變量都會有一個確定值與

2、之嚴格對應，并且這種對應關系可以量都會有一個確定值與之嚴格對應，并且這種對應關系可以用一個數學表達式來反映。用一個數學表達式來反映。 相關關系，也稱統(tǒng)計相關，是指現象之間存在的非確定性相關關系，也稱統(tǒng)計相關，是指現象之間存在的非確定性的數量依存關系。即現象之間雖然存在著數量依存關系，一的數量依存關系。即現象之間雖然存在著數量依存關系，一個現象發(fā)生數量上發(fā)生變化時，另一個現象數量水平也會相個現象發(fā)生數量上發(fā)生變化時，另一個現象數量水平也會相應地發(fā)生變化。但這種數量變化關系并不是嚴格一一對應的應地發(fā)生變化。但這種數量變化關系并不是嚴格一一對應的，當一個變量數值確定時，另，當一個變量數值確定時，另個

3、變量可能有許多個可能的個變量可能有許多個可能的取值與之相對應，這些數值圍繞著它們的平均數上下波動。取值與之相對應，這些數值圍繞著它們的平均數上下波動。 相關關系的數學相關關系的數學般形式為：般形式為： (為隨機誤為隨機誤差項，用于反映隨機因素對差項，用于反映隨機因素對y y的影響的影響 ) )(xfy )(xfy一、相關關系與函數關系 按相關關系涉及的變量（或因素）的多少 按變量之間相互關系的表現形式按變量之間的相互關系的方法或性質不同 按變量之間的相關程度不同 單相關復相關線性相關非線性相關正相關負相關完全相關不相關不完全相關二、相關關系的種類廣義上講，對兩個或兩個以上現象之間數量上的不確定

4、性依存關系廣義上講，對兩個或兩個以上現象之間數量上的不確定性依存關系進行的統(tǒng)計分析，即為相關分析。進行的統(tǒng)計分析，即為相關分析。 具體來說，相關分析的內容有：具體來說，相關分析的內容有：（一）判斷確定現象之間有無關系以及相關關系的具體表現形式。（一）判斷確定現象之間有無關系以及相關關系的具體表現形式。（二）確定相關關系的密切程度：根據變量數據的類型，選擇適當（二）確定相關關系的密切程度：根據變量數據的類型，選擇適當的方法，計算出相關系數。的方法，計算出相關系數。（三）檢驗現象統(tǒng)計相關的顯著性，包括檢驗相關關系的存在性、（三）檢驗現象統(tǒng)計相關的顯著性，包括檢驗相關關系的存在性、檢驗相關關系強度是

5、否達到一定水平，檢驗兩對現象相關程度的檢驗相關關系強度是否達到一定水平，檢驗兩對現象相關程度的差異性，估計相關系數的取值。差異性，估計相關系數的取值。（四）廣義地說，相關關系分析還包括對相關關系的數學形式加以（四）廣義地說，相關關系分析還包括對相關關系的數學形式加以描述，即擬合回歸方程，檢驗回歸方程的合理性，并且應用回歸描述，即擬合回歸方程，檢驗回歸方程的合理性，并且應用回歸模型進行統(tǒng)計分析與預測和控制模型進行統(tǒng)計分析與預測和控制。三、相關分析的主要內容 第二節(jié) 相關關系的測度 一、相關關系一般判斷一、相關關系一般判斷 二、相關系數的測定二、相關系數的測定 判斷現象之間有沒有相關關系，是進行相

6、關分析的前提判斷現象之間有沒有相關關系，是進行相關分析的前提和出發(fā)點。和出發(fā)點。 （一）定性分析（一）定性分析 在研究相關關系時，應根據一定的經濟理論和實踐經在研究相關關系時，應根據一定的經濟理論和實踐經驗的總結，對社會經濟現象進行科學的定性分析，以判斷驗的總結，對社會經濟現象進行科學的定性分析，以判斷它們之間是否具有相關關系以及相關關系的類型。只有在它們之間是否具有相關關系以及相關關系的類型。只有在定性分析的基礎上，才能進一步從數量上來測定現象之間定性分析的基礎上，才能進一步從數量上來測定現象之間的相關關系及相關的密切程度。這是判斷相關關系的一種的相關關系及相關的密切程度。這是判斷相關關系的

7、一種重要方法，也是相關分析的重要前提。重要方法，也是相關分析的重要前提。（二）相關表和相關圖（二）相關表和相關圖 若經過調查已獲得現象的數據資料，可通過編制相關若經過調查已獲得現象的數據資料，可通過編制相關表和繪制相關圖來分析數據變動的規(guī)律，判斷現象之間的表和繪制相關圖來分析數據變動的規(guī)律，判斷現象之間的相關性。具體方法如下：相關性。具體方法如下：一、相關關系一般判斷1 1、簡單相關表、簡單相關表 利用未分組的原始資料，將兩個現象的變量值一一對應地填列在同一張表格上，這種表就叫簡單相關表，簡單相關表適用于資料的項數較少的情況。 銷售額4003002001000流通費用3020100年份 銷售額

8、（萬元）流通費用（萬元）1998199920002001200220032004200520061016324074120197246345 1.83.15.27.710.413.318.821.228.3 表表7-1 銷售額與流通費用相關表銷售額與流通費用相關表圖圖7-2某企業(yè)銷售額與流通費用的散點圖某企業(yè)銷售額與流通費用的散點圖分析： 從表7-1可以直觀地看出，隨著企業(yè)銷售額的增加，流通費用呈現增長的趨勢。顯然，該企業(yè)銷售額與流通費用之間存在著相關關系。 從圖7-2可以看到，圖中各個點雖不完全在一條直線上，但可以認為，該企業(yè)的銷售額和流通費用之間有較強的直線相關關系。2 2、分組相關表、分

9、組相關表 當原始資料較多，不再適合采用簡單相關表時，可以編制分組相關表。分組相關表就是將原始資料進行分組而編制的相關表。它又可分為單變量分組相關表和雙變量分組相關表兩種。（1 1）單變量分組表）單變量分組表 只對自變量進行分組，因變量不分組，只是計算出其次數和平均數，這種表稱為單變量分組表。 家庭月收入（元） 家庭戶數（戶） 家庭月平均支出（元） 8000以上700080006000700050006000400050003000400020003000100020001000以下 336983420116 3025282026522486225519601536976662 表表7-2某市家

10、庭收入與消費支出相關表某市家庭收入與消費支出相關表圖圖7-3家庭收入與家庭消費支出的相關圖家庭收入與家庭消費支出的相關圖分析： 從表7-2和圖7-3可以清楚的看到，家庭收入與家庭消費支出之間存在相關關系，家庭消費支出隨著家庭收入的增加而增加，并且基本呈現出直線相關的形態(tài)。（2 2）雙變量分組表）雙變量分組表 將自變量和因變量都進行分組制成的表稱為雙變量分組表。雙變量分組表適用于對大量復雜數據的處理和分析。如下表： 家庭月收入（元）家庭月支出（元）合計500以下5001000100015001500200020002500250030003000以上8000以上70008000600070005

11、0006000400050003000400020003000100020001000以下23145316942114713551321221111336983420116合 計51320242783100 從表7-3也可以看出，100戶家庭分布在不同的收入和支出區(qū)間內，在表中形成一個大致向右上方傾斜的數據分布帶，可見家庭收入與消費支出之間有較強的正相關關系。 對于單相關情況，相關系數測定方法與相關指標量化級別有關。對于定距變量或定比變量，通常采用皮爾遜線性相關系數公式測量相關密切程度，對于定序變量，通常采用斯皮爾曼等級相關或肯特爾等級相關系數公式測量相關密切程度，對于定類變量，則常常采用列聯(lián)

12、系數等來測量相關密切程度。 本節(jié)主要介紹常用的皮爾遜直線相關系數、斯皮爾曼等級相關系數和肯特爾等級相關系數的具體計算。 通過相關圖表可以了解現象之間是否具有相關關系，但要想更具體地了解現象之間的相關密切程度，必須進一步測定相關系數。相關系數就是描述兩個變量之間線性相關密切程度和相關方向的統(tǒng)計分析指標。二、相關系數的測定（一）直線相關系數的計算（一）直線相關系數的計算 對于定距尺度的連續(xù)變量x和y，測定它們之間的線性相關關系最常用的方法是采用皮爾遜（Pearson）相關系數。根據資料情況不同，有不同的計算形式。其中的積差法是最基本表達式。1 1、積差法、積差法Pearson相關系數的基本公式可定

13、義為：式中， 直線相關系數； 變量數列x的標準差； 變量數列y的標準差； 變量數列x與y的協(xié)方差。 yxxyr2rxyxy2（7-3） nxxx2nyyy2nyyxxxy2據此，式（7-3）可寫成下式：（7-4） 2 2、相關系數、相關系數r r的簡捷計算方法的簡捷計算方法積差法在計算過程中要使用兩個數列的平均數，當平均數的小數位很多或除不盡時，計算會比較繁雜且影響最終結果的精確性。因此，計算相關系數常常采用其簡捷公式：22222222nxyxyrnxxnyyxyx yxxyy（7-5） 22yyxxyyxxr3 3、利用分組資料計算相關系數、利用分組資料計算相關系數（1）根據單變量分組表計算

14、相關系數，可以在簡單相關的基本公式基礎上，以每組的次數為權數進行加權計算，公式如下：（2）根據雙變量分組表，也能計算相關系數，但一般很少采用。計算公式為： 式中， x組的次數； y組的次數； x與y交叉組的次數。 fyyfxxfyyxxr22（7-6） yxxyfyyfxxfyyxxr22（7-7） xfyfxyf4 4、直線相關系數、直線相關系數r r的統(tǒng)計檢驗的統(tǒng)計檢驗 上述相關系數是基于樣本計算的，是對總體相關系數的估計。因此需要對相關系數的顯著性進行統(tǒng)計檢驗。 檢驗的內容包括兩部分：一是總體線性相關的存在性檢驗，即檢驗總體線性相關系數是否為零；二是總體線性相關差異性檢驗，檢驗某一總體線

15、性相關程度是否等于（或者單側檢驗大于或小于）某一指定值，以及檢驗兩個相關系數是否來自同一相關總體。 本節(jié)只討論第一種情況。 設隨機變量（X,Y）服從于正態(tài)分布?？傮w相關系數記為。則對于由樣本資料計算的皮爾遜相關系數r，需要檢驗以下原假設與備擇假設： 在成立情況之下，有以下t 統(tǒng)計量： 在給定顯著性水平之下，當，即表示總體線性相關系數顯著不等于零，即線性相關關系（在一定程度上）是存在的。01:0:0HH22(2)1rntt nr5 5、皮爾遜直線相關系數、皮爾遜直線相關系數r r的取值含義的取值含義(1) r的取值有一定的范圍，在1和1之間。(2) r的正負號只表示相關的方向，不表示相關程度的大

16、小，即表示正相關，表示負相關。(3) 相關程度的大小要看相關系數絕對值的大小。越接近于1，表示相關密切程度越強，越接近于0，表示相關密切程度越弱，當時，就表示變量之間為完全相關。則表示完全不相關。(4) 為了使判斷有一定的標準，一般將相關程度設為以下幾個強弱不同的等級：相關系數在0.3以下為無相關，0.30.5為低度相關，0.50.8為中度相關，0.8以上是高度相關。 (5) 皮爾遜直線相關系數是一種線性（直線）相關程度的度量。 （二）等級相關系數的測定方法（二）等級相關系數的測定方法 皮爾遜相關系數一般適用于連續(xù)變量，且要求總體分布服從或近似服從正態(tài)分布。但在統(tǒng)計實踐中，數據資料可能不能滿足

17、上述的條件，有些數據還是屬性數據（如測定品質的優(yōu)劣、愛好程度、信念、態(tài)度等）。對于這種以等級或次序進行衡量的定序尺度數據，或不滿足正態(tài)分布假設的定距尺度數據，需要采用等級相關（Rank Correlation）的方法來研究變量之間的相關關系。 等級相關法，就是把有關聯(lián)的定序變量按等級次序排列，形成x和y兩個序數數列，再測定這兩個序數數列之間的相關程度，用這種方法計算的相關指標叫做等級相關系數。以下將介紹兩種常用的等級相關系數。1 1、斯皮爾曼（、斯皮爾曼（SpearmanSpearman）相關系數）相關系數 英國統(tǒng)計學家斯皮爾曼在皮爾遜積差法思想的基礎上，推導出計算等級相關系數的方法，稱為“等

18、級差數法”。用這種方法計算出的相關指標，就命名為斯皮爾曼等級相關系數，以表示，其計算步驟可以簡述如下：（1）定等級。將變量x和y的觀測值從小到大（或從大到小）按順序定出等級，形成兩個序數數列。如遇有相等的數值時，則應按原有的等級求其平均數，作為這些觀測值的等級。 （2）計算x和y兩個序數數列的每對觀測值的等級之差，記作D，D=x-y。（3）按下述公式計算：式中，n樣本容量； D每對觀測值的等級差。 必須注意的是，等級相關系數不能解釋為線性相關系數。 16122nnDrs（7-8） 2 2、肯德爾（、肯德爾（KendallKendall）等級相關系數）等級相關系數 統(tǒng)計學家肯德爾曾提出多種等級相

19、關系數，以下只介紹其中的交錯系數，通常稱之為肯德爾系數，記為 肯德爾系數的計算也是以變量x和y的等級數據來進行，根據配對的等級順序排列的位置是否顛倒或者換位，得出等級換位的次數，進而計算得到肯德爾系數。 可以按下述公式計算： 式中，n樣本容量； i換位總次數。 kr141nnirk 最后應該指出，相關分析只能說明兩個變量之間的最后應該指出，相關分析只能說明兩個變量之間的相互依存關系，并不一定代表因果關系。因此，在計相互依存關系，并不一定代表因果關系。因此，在計算相關系數之前，一般要先做定性分析，否則就有可算相關系數之前，一般要先做定性分析，否則就有可能因為數據的偶然巧合，得到較高的相關系數，從

20、而能因為數據的偶然巧合，得到較高的相關系數，從而把虛假相關視為可信的相關。把虛假相關視為可信的相關。第三節(jié) 回歸分析的基本問題 一、回歸分析的概念一、回歸分析的概念 二、回歸分析的主要內容二、回歸分析的主要內容 三、回歸分析的特點三、回歸分析的特點四、回歸分析模型的種類四、回歸分析模型的種類 相關分析可以分析現象之間相關關系的方向和相相關分析可以分析現象之間相關關系的方向和相關的密切程度關的密切程度, ,但不能判斷現象之間具體的數量變但不能判斷現象之間具體的數量變動依存關系，也不能根據相關系數來估計或預測因動依存關系，也不能根據相關系數來估計或預測因變量變量y y可能發(fā)生的數值?？赡馨l(fā)生的數值

21、。 回歸分析就是對具有相關關系的兩個或兩個以上回歸分析就是對具有相關關系的兩個或兩個以上變量之間數量變化的一般關系進行測定，確定因變變量之間數量變化的一般關系進行測定，確定因變量和自變量之間數量變動關系的數學表達式，以便量和自變量之間數量變動關系的數學表達式，以便對因變量進行估計或預測的統(tǒng)計分析方法。對因變量進行估計或預測的統(tǒng)計分析方法。 回歸分析是在相關分析的基礎上，進一步研回歸分析是在相關分析的基礎上，進一步研究現象之間的數量變化規(guī)律。究現象之間的數量變化規(guī)律。一、回歸分析的概念一、回歸分析的概念 （1 1）根據研究目的和現象之間的內在聯(lián)系，確定自變量和）根據研究目的和現象之間的內在聯(lián)系，

22、確定自變量和因變量因變量. .（2 2）確定回歸分析模型的類型及數學表達式）確定回歸分析模型的類型及數學表達式. .（3 3）對回歸分析模型進行評價與診斷）對回歸分析模型進行評價與診斷. . （4 4）根據給定的自變量數值確定因變量的數值。（預測）根據給定的自變量數值確定因變量的數值。（預測）二、回歸分析的主要內容 （1 1）在兩個或兩個以上變量中，必須根據研究目的確定）在兩個或兩個以上變量中，必須根據研究目的確定其中一個為因變量，其余為自變量。其中一個為因變量，其余為自變量。 （2 2）在相關分析中，兩個變量要求都是隨機的；而在回）在相關分析中，兩個變量要求都是隨機的；而在回歸分析中，要求因

23、變量是隨機的，而自變量的值則是歸分析中，要求因變量是隨機的，而自變量的值則是給定的。給定的。（3 3）若變量之間互為因果，或是沒有明顯因果關系，則）若變量之間互為因果，或是沒有明顯因果關系，則可以求出兩個回歸方程?？梢郧蟪鰞蓚€回歸方程。（4 4）回歸方程有較強的應用性。根據回歸方程的參數可）回歸方程有較強的應用性。根據回歸方程的參數可以得出變量之間的具體數量變動關系；回歸方程也可以得出變量之間的具體數量變動關系；回歸方程也可以用于估計推斷。以用于估計推斷。三、回歸分析的特點 按照具有相關關系的變量個數劃分按照具有相關關系的變量個數劃分 按照變量間相互關系的形態(tài)劃分按照變量間相互關系的形態(tài)劃分

24、簡單回歸分析模型簡單回歸分析模型多元回歸分析模型多元回歸分析模型 指只有一個自變量和一個因變量的回歸分析模型 指由多個自變量和一個因變量組成的回歸分析的模型，與簡單回歸分析模型相比，增加了自變量的個數，是對簡單回歸分析模型的拓展 非線性回歸分析模型非線性回歸分析模型 線性回歸分析模型線性回歸分析模型 當變量之間關系的形態(tài)表現為線性當變量之間關系的形態(tài)表現為線性相關時，擬合的模型稱為線性回歸相關時，擬合的模型稱為線性回歸分析模型，其模型表達式為線性回分析模型，其模型表達式為線性回歸方程歸方程 當變量之間相互關系的形態(tài)表現為當變量之間相互關系的形態(tài)表現為某種曲線趨勢時，擬合的模型稱為某種曲線趨勢時

25、，擬合的模型稱為非線性回歸分析模型，其模型表達非線性回歸分析模型，其模型表達式為某種曲線回歸方程式為某種曲線回歸方程 四、回歸分析模型的種類四、回歸分析模型的種類第四節(jié) 回歸分析的模型 一、簡單線性回歸分析一、簡單線性回歸分析 二、多元線性回歸模型二、多元線性回歸模型三、非線性回歸分析三、非線性回歸分析 （一）簡單線性回歸模型（一）簡單線性回歸模型 簡單線性回歸模型在平面坐標圖上表現為一條直簡單線性回歸模型在平面坐標圖上表現為一條直線，所以也稱為簡單直線回歸方程。簡單線性回歸方線，所以也稱為簡單直線回歸方程。簡單線性回歸方程的理論模型與估計模型可分別寫成：程的理論模型與估計模型可分別寫成： 理

26、論模型：理論模型： 估計模型：估計模型： 在數學分析中，上式中的在數學分析中，上式中的 、為回歸參數或待定系數，、為回歸參數或待定系數，a a、b b為相應的估計值。為相應的估計值。a a、b b值確定后，估計的直線方值確定后，估計的直線方程就確定了程就確定了yxbxayc一、簡單線性回歸分析 （二）參數估計（二）參數估計 擬合回歸直線的主要任務是估計待定參數擬合回歸直線的主要任務是估計待定參數a a、b b的值，常用的的值，常用的方法就是最小二乘法，用這種方法求出的回歸直線是原始數據的方法就是最小二乘法，用這種方法求出的回歸直線是原始數據的“最佳最佳”擬合直線。最小二乘法的原理是使實際值擬合

27、直線。最小二乘法的原理是使實際值y y與估計值的與估計值的離差平方和最小。得估計值為：離差平方和最小。得估計值為： 對斜率對斜率b b的公式進行數學形式轉換，可得到的公式進行數學形式轉換，可得到b b的另一些表達形的另一些表達形 式：式： 而而 ，所以，所以 22 xxnyxxynbxbynxbya22222()()()xyxxxyyxyx ybxxxx（7-20） yxxyr2xyrb（三）回歸估計標準誤三）回歸估計標準誤 推斷過程中存在樣本對總體的代表性問題，因此在做回歸分析時需要對擬合的回歸方程的代表性進行衡量?？梢杂秒x差平方和的平均數來反映。我們把離差平方和的平均數稱為剩余方差，記為即

28、： 式中，n-2為自由度，這是因為按最小二乘法求解兩個參數a和b，受到兩個正規(guī)方程的約束，失去了兩個自由度。對剩余方差開方即得回歸估計標準誤，又稱估計標準誤差，它是衡量回歸估計精確度高低或回歸方程代表性大小的統(tǒng)計分析指標。 顯然， 的數值越小，說明估計值的代表性越大，觀測點越靠近回歸直線，其離散程度就越小。當 說明y和 完全一致，反之， 越大，說明觀測點的離散程度越大，回歸直線方程的代表性越差，回歸估計結果就越不精確。公式（7-24）也可以利用以下簡捷公式來計算，2)(22nyyScyx22nxybyaySyxyxS0yxScyyxS（四）回歸方程判定系數（四）回歸方程判定系數 在直線回歸中，

29、實際觀察值y的大小是圍繞其平均值 上下波動的，y的這種波動現象稱為變差。這種變差產生的原因有兩方面：一是受自變量x的影響，x取值不同會引起y取值不同。二是受其他因素（包括隨機因素和觀測誤差）的影響。對每個觀察值來說，變差的大小可以通過離差 來表示，而全部n個觀察值的總變差則可由這些離差的平方和表示。 即：總變差=剩余變差+回歸變差， 稱為判定系數，又稱可決系數，它是相關系數的平方。它表明自變量x的方差對因變量y的方差的解釋程度，換句話說，它表明y的方差中多大程度由x原因所引起的，判定系數一般用來反映回歸方程的擬合程度。 yyy 222yyyyyyccSSTSSRSSE222221yyyyyyyyrcc2r2r（五）回歸方程的統(tǒng)計檢驗（五）回歸方程的統(tǒng)計檢驗1 1、模型整體擬合效果的顯著性檢驗、模型整體擬合效果的顯著性檢驗 回歸方程擬合效果越好，表明方程解釋部分所占比重越大，SSR與SSE相