中職數(shù)學(xué)基礎(chǔ)模塊下冊《一元線性回歸》課件

線性回歸分析

雙變量模型1線性回歸分析

雙變量模型1回歸分析的含義

回歸分析是研究一個叫做因變量的變量對另一個或多個叫做解釋變量的變量的統(tǒng)計依賴關(guān)系。其用意在于，通過解釋變量的已知值或給定值去估計或預(yù)測因變量的總體均值。

雙變量回歸分析：只考慮一個解釋變量。（一元回歸分析，簡單回歸分析）復(fù)回歸分析：考慮兩個以上解釋變量。（多元回歸分析）2回歸分析的含義回歸分析是研究一個叫做因變量的變量對另術(shù)語與符號自變量(independentvariable)解釋變量(explanatoryvariable)控制變量(controlvariable)預(yù)測變量(predictorvariable)回歸元(regressor)因變量(dependentvariable)被解釋變量(explainedvariable)響應(yīng)變量(responsevariable)被預(yù)測變量(predictedvariable)回歸子(regressand)XY3術(shù)語與符號自變量因變量XY3統(tǒng)計關(guān)系與確定性關(guān)系

統(tǒng)計（依賴）關(guān)系：非確定性的關(guān)系。在統(tǒng)計依賴關(guān)系中，主要處理的是隨機(jī)變量，也就是有著概率分布的變量。特別地，因變量的內(nèi)在隨機(jī)性是注定存在的。例如：農(nóng)作物收成對氣溫、降雨、陽光以及施肥的依賴關(guān)系便是統(tǒng)計性質(zhì)的。

這些解釋變量固然重要，但是并不能使我們準(zhǔn)確地預(yù)測農(nóng)作物的收成。

確定性關(guān)系：函數(shù)關(guān)系。例如物理學(xué)中的各種定律。4統(tǒng)計關(guān)系與確定性關(guān)系統(tǒng)計（依賴）關(guān)系：非確定性的關(guān)系回歸與因果關(guān)系回歸分析研究因變量對于解釋變量的統(tǒng)計依賴關(guān)系，但并不一定意味著因果關(guān)系。一個統(tǒng)計關(guān)系式，不管多強(qiáng)和多么具有啟發(fā)性，都永遠(yuǎn)不能確立因果聯(lián)系。因果關(guān)系的確立必須來自于統(tǒng)計關(guān)系以外，最終來自于這種或那種理論（先驗的或是理論上的）。5回歸與因果關(guān)系回歸分析研究因變量對于解釋變量的統(tǒng)計依賴關(guān)系，回歸分析與相關(guān)分析（一）相關(guān)分析：用相關(guān)系數(shù)測度變量之間的線性關(guān)聯(lián)程度。例如：測度統(tǒng)計學(xué)成績和高等數(shù)學(xué)成績的的相關(guān)系數(shù)。假設(shè)測得0.90，說明兩者存在較強(qiáng)的線性相關(guān)。回歸分析：感興趣的是，如何從給定的解釋變量去預(yù)測因變量的平均取值。例如：給定一個學(xué)生的高數(shù)成績?yōu)?0分，他的統(tǒng)計學(xué)成績平均來說應(yīng)該是多少分。6回歸分析與相關(guān)分析（一）相關(guān)分析：用相關(guān)系數(shù)測度變量之間的線回歸分析與相關(guān)分析（二）在相關(guān)分析中，對稱地對待任何兩個變量，沒有因變量和解釋變量的區(qū)分。而且，兩個變量都被當(dāng)作隨機(jī)變量來處理。在回歸分析中，因變量和解釋變量的處理方法是不對稱的。因變量被當(dāng)作是統(tǒng)計的，隨機(jī)的。而解釋變量被當(dāng)作是（在重復(fù)抽樣中）取固定的數(shù)值，是非隨機(jī)的。

（把解釋變量假定為非隨機(jī)，主要是為了研究的便利，在高級計量經(jīng)濟(jì)學(xué)中，一般不需要這個假定。）7回歸分析與相關(guān)分析（二）在相關(guān)分析中，對稱地對待任何兩個變量雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（最簡單的回歸模型）模型特點因變量（Y）僅依賴于唯一的一個解釋變量(X)?；貧w分析的內(nèi)容與目的1、通過樣本數(shù)據(jù)去估計出因變量與解釋變量的統(tǒng)計依賴關(guān)系式（總體回歸函數(shù)）；2、給定解釋變量的取值，去估計因變量的均值；3、假設(shè)檢驗；4、根據(jù)樣本外解釋變量的取值，預(yù)測因變量的均值。9雙變量回歸模型

（最簡單的回歸模型）模型特點9總體回歸函數(shù)

(Populationregressionfunction,PRF)

以函數(shù)形式（方程、模型）揭示出來的因變量與解釋變量的統(tǒng)計依賴關(guān)系式?；貧w分析的最終目的估計出總體回歸函數(shù)10總體回歸函數(shù)

(Populationregression估計總體回歸函數(shù)的首要任務(wù)設(shè)定總體回歸函數(shù)的合理形式11估計總體回歸函數(shù)的首要任務(wù)設(shè)定總體回歸函數(shù)的合理形式11假想例子對每周博彩支出和每周個人可支配收入作回歸分析。

因變量：每周博彩支出解釋變量：每周個人可支配收入12假想例子對每周博彩支出和每周個人可支配收入作回歸分析

在一個假想的經(jīng)濟(jì)社會中，共有100個人參與博彩。個人可支配收入分為10檔，每檔收入對應(yīng)的博彩支出有10種情況。例子說明13在一個假想的經(jīng)濟(jì)社會中，共有100個人參與博彩。個人可支1414****************************************************************************************************150175200225250275300325350375每周個人可支配收入（X）總體回歸曲線每周個人博彩支出Y條件均值15150175200225250“線性”一詞的含義線性的含義對變量為線性對參數(shù)為線性

從現(xiàn)在起，線性回歸總是指對參數(shù)為線性的一種回歸，也即參數(shù)總是以它的一次方出現(xiàn)。對于解釋變量以什么方式進(jìn)入模型則沒有特別限制。16“線性”一詞的含義線性的含義從現(xiàn)在起，線性回歸總是指對********************（線性）總體回歸函數(shù)（曲線）XY相同的X對應(yīng)著不同的Y。Y的所有條件期望落在一條曲線上。該形式的總體回歸函數(shù)體現(xiàn)了因變量的條件均值與解釋變量的固定取值之間的確定關(guān)系。********************************************************************************17（線性）總體回歸函數(shù)（曲線）XY相同的X對應(yīng)著不同的Y。17總體回歸函數(shù)斜率度量了解釋變量X每變動一個單位，因變量Y的條件均值變化多少個單位。

截距項度量了解釋變量為零時因變量的條件均值。一般來說，不解釋其經(jīng)濟(jì)意義。該形式的總體回歸函數(shù)稱為

確定（非隨機(jī)）總體回歸函數(shù)18總體回歸函數(shù)斜率度量了解釋變量X每變動一個單位，因變量Y的條********************XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對應(yīng)著不同的Y?？傮w回歸函數(shù)的確定形式不能完全體現(xiàn)因變量的個別值與解釋變量的固定值之間的統(tǒng)計依賴關(guān)系。********************************************************************************19XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對應(yīng)每周個人可支配收入（X）總體回歸函數(shù)(PRF)的隨機(jī)設(shè)定每周個人博彩支出收入Y隨機(jī)干擾項

(隨機(jī)誤差項)20每周個人可支配收入（X）總體回歸函數(shù)(PRF)的隨機(jī)設(shè)定每總體回歸模型的隨機(jī)形式隨機(jī)總體回歸函數(shù)21總體回歸模型的隨機(jī)形式隨機(jī)總體回歸函數(shù)21引入隨機(jī)干擾項的意義1、理論的不完全性

與因變量相關(guān)的因素很多，隨機(jī)干擾項替代了未納入模型的全部變量。2、人類行為的內(nèi)在隨機(jī)性

隨機(jī)因素永遠(yuǎn)存在3、節(jié)省原則模型是現(xiàn)實的簡化，若無充分理由，寧簡勿繁。4、度量誤差22引入隨機(jī)干擾項的意義1、理論的不完全性22總體回歸函數(shù)23總體回歸函數(shù)23總體回歸函數(shù)的參數(shù)通常是永遠(yuǎn)不得而知的。

一則，實踐中不能獲得整個總體數(shù)據(jù)；

二則，收集所有總體數(shù)據(jù)會浪費(fèi)大量人力、財力，不經(jīng)濟(jì)。

通常，我們僅有來自總體的一個或少數(shù)幾個樣本。因此，總體回歸函數(shù)必須從已掌握的樣本數(shù)據(jù)去估計。24總體回歸函數(shù)的參數(shù)通常是永遠(yuǎn)不得而知的。

一樣本回歸函數(shù)（曲線）假設(shè)僅從總體中得到兩組樣本，樣本容量均為10，對應(yīng)每個X值均僅隨機(jī)抽取一個Y值。SRF1SRF2樣本1樣本2YX25樣本回歸函數(shù)（曲線）假設(shè)僅從總體中得到兩組樣本，樣本樣本回歸函數(shù)的特點由于抽樣的隨機(jī)性，樣本回歸函數(shù)與總體回歸函數(shù)總是不可避免存在差異。因此，樣本回歸函數(shù)過高或者過低估計總體回歸函數(shù)自然是不可避免的?？梢哉f，任何SRF都僅僅是PRF的近似或者是估計。26樣本回歸函數(shù)的特點由于抽樣的隨機(jī)性，樣本回歸函數(shù)與總體回歸函樣本和總體回歸曲線（函數(shù)）YX27樣本和總體回歸曲線（函數(shù)）YX27

既然樣本回歸函數(shù)只是總體回歸函數(shù)的一個近似，那么能不能設(shè)計一種規(guī)則或方法去構(gòu)造SRF，以使得這種近似是一種盡可能“接近”的近似呢？28既然樣本回歸函數(shù)只是總體回歸函數(shù)的一個近似，那么能不能設(shè)設(shè)定樣本回歸函數(shù)的形式樣本回歸函數(shù)的形式應(yīng)該與總體回歸函數(shù)一致。原因很簡單，構(gòu)造樣本回歸函數(shù)是為了估計總體回歸函數(shù)，所以形式上應(yīng)該一致。對應(yīng)于總體回歸函數(shù)的兩種形式，樣本回歸函數(shù)也應(yīng)該有兩種形式。

1、確定樣本回歸函數(shù)

樣本回歸函數(shù)的非隨機(jī)形式

2、隨機(jī)樣本回歸函數(shù)

樣本回歸函數(shù)的隨機(jī)形式29設(shè)定樣本回歸函數(shù)的形式樣本回歸函數(shù)的形式應(yīng)該與總體回歸函數(shù)一樣本回歸函數(shù)的非隨機(jī)形式30樣本回歸函數(shù)的非隨機(jī)形式30樣本回歸函數(shù)的隨機(jī)形式31樣本回歸函數(shù)的隨機(jī)形式31樣本和總體回歸曲線（函數(shù)）YX32樣本和總體回歸曲線（函數(shù)）YX32樣本回歸函數(shù)形式

也就是說，如何構(gòu)造SRF以使得盡可能接近真實的，盡可能接近真實的？

如何確定樣本回歸函數(shù)的參數(shù)？33樣本回歸函數(shù)形式也就是說，如何構(gòu)造SRF以使得普通最小二乘法

Methodofordinaryleastsquares

(OLS)34普通最小二乘法

Methodofordinarylea樣本YX35樣本YX35樣本YX最小二乘原理：構(gòu)造合適的估計量，使得殘差平方和（residualsumofsquares,RSS）最小。36樣本YX最小二乘原理：構(gòu)造合適的估計量，使得殘差平方和（re樣本YX37樣本YX37最小二乘估計量的推導(dǎo)一階條件38最小二乘估計量的推導(dǎo)一階條件38解方程正規(guī)方程組慣例：小寫字母表示對均值的離差39解方程正規(guī)方程組慣例：小寫字母表示對均值的離差39最小二乘估計量的特點OLS估計量是可觀測樣本值的函數(shù)，因而容易計算。OLS估計量是點估計量。對于給定的樣本，只能獲得總體參數(shù)的一個估計值。一旦計算出OLS估計值，便容易畫出樣本回歸線。40最小二乘估計量的特點OLS估計量是可觀測樣本值的函數(shù)，因而容最小二乘估計量的數(shù)值性質(zhì)1、樣本回歸曲線經(jīng)過Y和X的樣本均值所決定的點。2、估計的Y的均值等于實測的Y的均值。3、殘差均值等于零。4、殘差和樣本X不相關(guān)。5、殘差和預(yù)測的Y值不相關(guān)。41最小二乘估計量的數(shù)值性質(zhì)1、樣本回歸曲線經(jīng)過Y和X的樣本均值單純的最小二乘估計量只能提供總體參數(shù)的一個點估計值，卻不能對總體參數(shù)做出任何統(tǒng)計推斷。要對總體參數(shù)從而對因變量做統(tǒng)計推斷，還需要對回歸模型進(jìn)行一系列詳細(xì)的假定。42單純的最小二乘估計量只能提供總體參數(shù)的一個點估43434444經(jīng)典線性回歸模型基本假定45經(jīng)典線性回歸模型基本假定45經(jīng)典線性回歸模型的基本假定

(又稱“古典、高斯或標(biāo)準(zhǔn)線性回歸模型”)

Classicallinearregressionmodel,CLRM46經(jīng)典線性回歸模型的基本假定

(又稱“古典、高斯或標(biāo)準(zhǔn)線性回歸此假定意味著，我們所進(jìn)行的回歸分析是條件回歸分析！47此假定意味著，我們所進(jìn)行的回歸分析是條件回歸分析！4748484949505051515252535354545555假定的總結(jié)假定的真實性假定的意義假定的檢驗56假定的總結(jié)假定的真實性56經(jīng)典線性回歸模型基本假定之下

最小二乘估計量的統(tǒng)計性質(zhì)57經(jīng)典線性回歸模型基本假定之下

最小二乘估計量的統(tǒng)計性質(zhì)57最小二乘估計量的精度（標(biāo)準(zhǔn)差）58最小二乘估計量的精度（標(biāo)準(zhǔn)差）58影響回歸系數(shù)估計精度的因素（一）59影響回歸系數(shù)估計精度的因素（一）59影響回歸系數(shù)估計精度的因素（二）60影響回歸系數(shù)估計精度的因素（二）60最小二乘估計量的優(yōu)良性質(zhì)高斯—馬爾可夫定理

在經(jīng)典線性回歸模型的假定條件下，最小二乘估計量，在所有無偏線性估計量中，具有最小方差，也就是說，它們是BLUE。最優(yōu)線性無偏估計量Bestlinearunbiasedestimator(BLUE)

同時滿足“線性”、“無偏”、“方差最小”三個優(yōu)良性質(zhì)的估計量

61最小二乘估計量的優(yōu)良性質(zhì)高斯—馬爾可夫定理最優(yōu)線性無偏估計量一、線性62一、線性626363二、無偏性64二、無偏性646565三、最小方差性66三、最小方差性66四、一致性一致性的一個充分條件：估計量無偏，而且隨著樣本容量趨于無窮，其方差趨于零。67四、一致性一致性的一個充分條件：67至此，雖然已經(jīng)在經(jīng)典線性回歸模型的基本假定之下推導(dǎo)出了最小二乘估計量的若干統(tǒng)計性質(zhì)，但疑問仍然存在！68至此，雖然已經(jīng)在經(jīng)典線性回歸模型的基本假定之下推導(dǎo)出了最小二6969經(jīng)典正態(tài)線性回歸模型在經(jīng)典線性回歸模型基本假定的基礎(chǔ)上增補(bǔ)正態(tài)假定隨機(jī)干擾項正態(tài)性假定的依據(jù)？

中心極限定理

獨(dú)立隨機(jī)變量，隨著變量個數(shù)的無限增加，其和的分布一般來說近似服從正態(tài)分布。70經(jīng)典正態(tài)線性回歸模型在經(jīng)典線性回歸模型基本假定的基礎(chǔ)上增正態(tài)性假定下OLS估計量的概率分布71正態(tài)性假定下OLS估計量的概率分布7172727373自由度(df)

degreesoffreedom自由度取值的一般規(guī)律74自由度(df)

degreesoffreedom自由度取75757676知道了統(tǒng)計量的概率分布，從而可以很方便地進(jìn)行區(qū)間估計和假設(shè)檢驗。77知道了統(tǒng)計量的概率分布，從而可以很方便地進(jìn)行區(qū)間估計和假回歸系數(shù)顯著性檢驗（t檢驗）一、設(shè)計檢驗方案78回歸系數(shù)顯著性檢驗（t檢驗）一、設(shè)計檢驗方案787979二、構(gòu)造檢驗統(tǒng)計量（隨機(jī)變量）80二、構(gòu)造檢驗統(tǒng)計量（隨機(jī)變量）80三、計算檢驗統(tǒng)計值81三、計算檢驗統(tǒng)計值81四、選擇一定的顯著性水平，根據(jù)檢驗方案確定拒絕域和非拒絕域。五、察看檢驗統(tǒng)計值落入哪個區(qū)域。如果落入拒絕域，那么表明在該顯著性水平下，檢驗是統(tǒng)計上顯著的，說明總體參數(shù)顯著異于假設(shè)值。六、也可以根據(jù)檢驗方案直接計算出獲得該統(tǒng)計值的單側(cè)或雙側(cè)P值。如果該P(yáng)值小于給定的顯著性水平，那么拒絕原假設(shè)。陳述同上。82四、選擇一定的顯著性水平，根據(jù)檢驗方案確定拒絕域和非拒絕域。例題做鐘表年代對鐘表價格的回歸分析，檢驗鐘表年代對鐘表價格是否存在顯著影響?；貧w結(jié)果如下：83例題做鐘表年代對鐘表價格的回歸分析，檢驗鐘表年代對鐘表價檢驗方案原假設(shè)：鐘表價格的總體回歸系數(shù)等于零（表明鐘表年代不影響鐘表價格）備選假設(shè)：鐘表價格的總體回歸系數(shù)不等于零（表明鐘表年代影響鐘表價格）84檢驗方案84VariableCoefficientStd.Errort-StatisticProb.AGE10.485621.7937295.8457110.0000C-191.6662264.4393-0.7248020.474285VariableCoefficientStd.Errort86860P值檢驗870P值檢驗8788888989統(tǒng)計顯著統(tǒng)計不顯著90統(tǒng)計顯著統(tǒng)計不顯著90檢驗結(jié)果陳述在0.01的顯