一元線性回歸結果的顯著性檢驗課件

一、回歸結果的顯著性檢驗1.線性關系的檢驗①檢驗自變量與因變量之間的線性關系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數(shù))殘差均方(MSE)

：殘差平方和SSE除以相應的自由度(n-2).一、回歸結果的顯著性檢驗1.線性關系的檢驗①檢驗自變量與因變線性關系的檢驗的步驟提出假設H0：1=0線性關系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不能拒絕H0線性關系的檢驗的步驟提出假設2.計算檢驗統(tǒng)計量F確定例題分析

(以前面資料)提出假設H0：1=0不良貸款與貸款余額之間的線性關系不顯著計算檢驗統(tǒng)計量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F,拒絕H0，線性關系顯著例題分析(以前面資料)提出假設確定顯著性水平=0.05，方差分析表Excel輸出的方差分析表方差分析表Excel輸出的方差分析表2.回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關系的顯著性檢驗檢驗x與y之間是否具有線性關系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎是回歸系數(shù)

的抽樣分布2.回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關系的顯著性檢樣本統(tǒng)計量的分布

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質分布形式：正態(tài)分布數(shù)學期望：標準差：由于未知，需用其估計量sy來代替得到的估計的標準差樣本統(tǒng)計量的分布是根據(jù)最小二乘法求出的樣本統(tǒng)計量回歸系數(shù)的檢驗檢驗步驟

提出假設H0:b1=0(沒有線性關系)H1:b1

0(有線性關系)計算檢驗的統(tǒng)計量

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0回歸系數(shù)的檢驗檢驗步驟提出假設確定顯著性水平，并進行決例題分析對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)提出假設H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關系例題分析對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)t回歸系數(shù)的檢驗例題分析表P值的應用P=0.000000<=0.05，拒絕原假設，不良貸款與貸款余額之間有線性關系回歸系數(shù)的檢驗例題分析表P值的應用P=0.000000<3、三種檢驗的關系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗、回歸方程顯著性的F檢驗，相關系數(shù)顯著性t檢驗，三者等價的，檢驗結果是完全一致的。對一元線性回歸，只做其中的一種檢驗即可。3、三種檢驗的關系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢二、回歸分析結果的評價建立的模型是否合適？或者說，這個擬合的模型有多“好”？要回答這些問題，可以從以下幾個方面入手所估計的回歸系數(shù)

的符號是否與理論或事先預期相一致在不良貸款與貸款余額的回歸中，可以預期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)為正值如果理論上認為x與y之間的關系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關系，而且，對回歸系數(shù)的t檢驗結果表明二者之間的線性關系是統(tǒng)計上顯著的二、回歸分析結果的評價建立的模型是否合適？或者說，這個擬回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關于誤差項的正態(tài)性假定是否成立。因為我們在對線性關系進行F檢驗和回歸系數(shù)進行t檢驗時，都要求誤差項服從正態(tài)分布，否則，我們所用的檢驗程序將是無效的。正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖計量單位的討論，因果模型的特征回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)Excel輸出的部分回歸結果R2）Excel輸出的部分回歸結果R2）

殘差分析1用殘差證實模型的假定2用殘差檢測異常值和有影響的觀測值殘差分析1用殘差證實模型的假定殘差圖(residualplot)表示殘差的圖形關于x的殘差圖關于y的殘差圖標準化殘差圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差圖(residualplot)表示殘差的圖形殘差圖(形態(tài)及判別)殘差圖(形態(tài)及判別)殘差圖(例題分析)殘差圖(例題分析)標準化殘差(standardizedresidual)殘差除以它的標準差后得到的數(shù)值。計算公式為

sei是第i個殘差的標準差，其計算公式為

標準化殘差(standardizedresidual)標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立若假定成立，標準化殘差的分布也應服從正態(tài)分布在標準化殘差圖中，大約有95%的標準化殘差在-2到+2之間標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否標準化殘差圖

(例題分析)標準化殘差圖

(例題分析)異常值如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點.如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標準化殘差偏大，應該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機因素而造成的異常值，則應該保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應輕易地將其從數(shù)據(jù)集中予以剔除.異常值如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可異常值識別異常值也可以通過標準化殘差來識別如果某一個觀測值所對應的標準化殘差較大，就可以識別為異常值一般情況下，當一個觀測值所對應的標準化殘差小于-2或大于+2時，就可以將其視為異常值異常值識別異常值也可以通過標準化殘差來識別有影響的觀測值如果某一個或某一些觀測值對回歸的結果有強烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值一個有影響的觀測值可能是一個異常值，即有一個值遠遠偏離了散點圖中的趨勢線對應一個遠離自變量平均值的觀測值或者是這二者組合而形成的觀測值

有影響的觀測值如果某一個或某一些觀測值對回歸的結果有強烈的影有影響的觀測值圖示不存在影響值的趨勢有影響的觀測值存在影響值的趨勢有影響的觀測值圖示不存在影響值的趨勢有影響的觀測值存在影響值

小結

一、變量間關系的種類二、相關系數(shù)的計算、評價及檢驗三、回歸模型、回歸方程、估計回歸方程的概念，回歸方程參數(shù)的最小二乘估計四、判定系數(shù)、估計標準誤差的計算，及線性關系檢驗及回歸系數(shù)的檢驗五、回歸分析結果的評價小結一、變量間關26利用回歸方程進行估計和預測根據(jù)自變量x

的取值估計或預測因變量y的取值估計或預測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預測區(qū)間估計26利用回歸方程進行估計和預測根據(jù)自變量x的取值估計或預27利用回歸方程進行估計和預測

（點估計）2.點估計值有y的平均值的點估計y的個別值的點估計3.在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0

，根據(jù)回歸方程得到因變量y的一個估計值27利用回歸方程進行估計和預測

（點估計）2.點估計值有對28

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得28y的平均值的點估計29

y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計值，就是個別值的點估計2.比如，如果我們只是想知道1990年人均國民收入為1250.7元時的人均消費金額是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得29y的個別值的點估計利用估計的回歸方程，對于自變30點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計預測區(qū)間估計30點估計不能給出估計的精度，點估計值與實際值之間是有誤差的31

y的平均值的置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值E(y0)的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間

E(y0)

在1-置信水平下的置信區(qū)間為式中：Sy為估計標準誤差31y的平均值的置信區(qū)間估計式中：Sy為估計標準32【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均消費金額95%的置信區(qū)間

解：根據(jù)前面的計算結果＝712.57，Sy=14.95，

t(13-2)＝2.201，n=13置信區(qū)間為:712.5710.265人均消費金額95%的置信區(qū)間為702.305元~722.835元之間32【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均33

y的個別值的預測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間

y0在1-置信水平下的預測區(qū)間為注意！33y的個別值的預測區(qū)間估計注意！34

【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時，人均消費金額的95%的預測區(qū)間解：根據(jù)前面的計算結果有＝712.57，Sy=14.95，t(13-2)＝2.201，n=13

的置信區(qū)間為712.5734.469人均消費金額95%的預測區(qū)間為678.101元~747.039元之間34【例】根據(jù)前例，求出1990年人均國民收入為135影響區(qū)間寬度的因素1. 置信水平(1-)區(qū)間寬度隨置信水平的增大而增大2. 數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預測的xp與x的差異程度區(qū)間寬度隨xp與x的差異程度的增大而增大35影響區(qū)間寬度的因素1. 置信水平(1-)36置信區(qū)間、預測區(qū)間、回歸方程xpyxx預測上限置信上限預測下限置信下限36置信區(qū)間、預測區(qū)間、回歸方程xpyxx預測上限置信上限37為你的難過而快樂的是敵人，為你的快樂而快樂的是朋友，為你的難過而難過的就是那些該放進心里的人。37為你的難過而快樂的

謝謝！38謝謝！38一、回歸結果的顯著性檢驗1.線性關系的檢驗①檢驗自變量與因變量之間的線性關系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數(shù))殘差均方(MSE)

：殘差平方和SSE除以相應的自由度(n-2).一、回歸結果的顯著性檢驗1.線性關系的檢驗①檢驗自變量與因變線性關系的檢驗的步驟提出假設H0：1=0線性關系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不能拒絕H0線性關系的檢驗的步驟提出假設2.計算檢驗統(tǒng)計量F確定例題分析

(以前面資料)提出假設H0：1=0不良貸款與貸款余額之間的線性關系不顯著計算檢驗統(tǒng)計量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F,拒絕H0，線性關系顯著例題分析(以前面資料)提出假設確定顯著性水平=0.05，方差分析表Excel輸出的方差分析表方差分析表Excel輸出的方差分析表2.回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關系的顯著性檢驗檢驗x與y之間是否具有線性關系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎是回歸系數(shù)

的抽樣分布2.回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關系的顯著性檢樣本統(tǒng)計量的分布

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質分布形式：正態(tài)分布數(shù)學期望：標準差：由于未知，需用其估計量sy來代替得到的估計的標準差樣本統(tǒng)計量的分布是根據(jù)最小二乘法求出的樣本統(tǒng)計量回歸系數(shù)的檢驗檢驗步驟

提出假設H0:b1=0(沒有線性關系)H1:b1

0(有線性關系)計算檢驗的統(tǒng)計量

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H0回歸系數(shù)的檢驗檢驗步驟提出假設確定顯著性水平，并進行決例題分析對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)提出假設H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關系例題分析對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)t回歸系數(shù)的檢驗例題分析表P值的應用P=0.000000<=0.05，拒絕原假設，不良貸款與貸款余額之間有線性關系回歸系數(shù)的檢驗例題分析表P值的應用P=0.000000<3、三種檢驗的關系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗、回歸方程顯著性的F檢驗，相關系數(shù)顯著性t檢驗，三者等價的，檢驗結果是完全一致的。對一元線性回歸，只做其中的一種檢驗即可。3、三種檢驗的關系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢二、回歸分析結果的評價建立的模型是否合適？或者說，這個擬合的模型有多“好”？要回答這些問題，可以從以下幾個方面入手所估計的回歸系數(shù)

的符號是否與理論或事先預期相一致在不良貸款與貸款余額的回歸中，可以預期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)為正值如果理論上認為x與y之間的關系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關系，而且，對回歸系數(shù)的t檢驗結果表明二者之間的線性關系是統(tǒng)計上顯著的二、回歸分析結果的評價建立的模型是否合適？或者說，這個擬回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關于誤差項的正態(tài)性假定是否成立。因為我們在對線性關系進行F檢驗和回歸系數(shù)進行t檢驗時，都要求誤差項服從正態(tài)分布，否則，我們所用的檢驗程序將是無效的。正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖計量單位的討論，因果模型的特征回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)Excel輸出的部分回歸結果R2）Excel輸出的部分回歸結果R2）

殘差分析1用殘差證實模型的假定2用殘差檢測異常值和有影響的觀測值殘差分析1用殘差證實模型的假定殘差圖(residualplot)表示殘差的圖形關于x的殘差圖關于y的殘差圖標準化殘差圖用于判斷誤差的假定是否成立檢測有影響的觀測值殘差圖(residualplot)表示殘差的圖形殘差圖(形態(tài)及判別)殘差圖(形態(tài)及判別)殘差圖(例題分析)殘差圖(例題分析)標準化殘差(standardizedresidual)殘差除以它的標準差后得到的數(shù)值。計算公式為

sei是第i個殘差的標準差，其計算公式為

標準化殘差(standardizedresidual)標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立若假定成立，標準化殘差的分布也應服從正態(tài)分布在標準化殘差圖中，大約有95%的標準化殘差在-2到+2之間標準化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否標準化殘差圖

(例題分析)標準化殘差圖

(例題分析)異常值如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點.如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標準化殘差偏大，應該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機因素而造成的異常值，則應該保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應輕易地將其從數(shù)據(jù)集中予以剔除.異常值如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可異常值識別異常值也可以通過標準化殘差來識別如果某一個觀測值所對應的標準化殘差較大，就可以識別為異常值一般情況下，當一個觀測值所對應的標準化殘差小于-2或大于+2時，就可以將其視為異常值異常值識別異常值也可以通過標準化殘差來識別有影響的觀測值如果某一個或某一些觀測值對回歸的結果有強烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值一個有影響的觀測值可能是一個異常值，即有一個值遠遠偏離了散點圖中的趨勢線對應一個遠離自變量平均值的觀測值或者是這二者組合而形成的觀測值

有影響的觀測值如果某一個或某一些觀測值對回歸的結果有強烈的影有影響的觀測值圖示不存在影響值的趨勢有影響的觀測值存在影響值的趨勢有影響的觀測值圖示不存在影響值的趨勢有影響的觀測值存在影響值

小結

一、變量間關系的種類二、相關系數(shù)的計算、評價及檢驗三、回歸模型、回歸方程、估計回歸方程的概念，回歸方程參數(shù)的最小二乘估計四、判定系數(shù)、估計標準誤差的計算，及線性關系檢驗及回歸系數(shù)的檢驗五、回歸分析結果的評價小結一、變量間關64利用回歸方程進行估計和預測根據(jù)自變量x

的取值估計或預測因變量y的取值估計或預測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預測區(qū)間估計26利用回歸方程進行估計和預測根據(jù)自變量x的取值估計或預65利用回歸方程進行估計和預測

（點估計）2.點估計值有y的平均值的點估計y的個別值的點估計3.在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0

，根據(jù)回歸方程得到因變量y的一個估計值27利用回歸方程進行估計和預測

（點估計）2.點估計值有對66

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得28y的平均值的點估計67

y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計值，就是個別值的點估計2.比如，如果我們只是想知道1990年人均國民收入為1250.7元時的人均消費金額是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得29y的個別值的點估計利用估計的回歸方程，對于自變68點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計預測區(qū)間估計30點估計不能給出估計的精度，點估計值與實際值之間是有誤差的69

y的平均值的置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值E(y0)的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間