線性回歸分析的基本步驟

線性回歸分析的基本步驟線性回歸分析的基本步驟線性回歸分析的基本步驟線性回歸分析的基本步驟編制僅供參考審核批準生效日期地址：電話：傳真:郵編:步驟一、建立模型知識點：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程①總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關系的計量模型。特點：由于隨機誤差項U的存在，使得Y和X不在一條直線/平面上。例1：某鎮(zhèn)共有60個家庭，經普查，60個家庭的每周收入（X）與每周消費（Y）數據如下：每周收入（X）每周消費支出（Y）8055606570751006570748085881207984909498140809395103108113115160102107110116118125180110115120130135140200120136140144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點圖如下：②總體回歸方程（線）：由于假定，因此因變量的均值與自變量總處于一條直線上，這條直線就稱為總體回歸線（方程）。總體回歸方程的求法：以例1的數據為例1）對第一個Xi，求出E(Y|Xi)。每周收入（X）每周消費支出（Y）E(Y|Xi)8055606570756510065707480858877120798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于，因此任意帶入兩個Xi和其對應的E(Y|Xi)值，即可求出，并進而得到總體回歸方程。如將代入可得：以上求出反映了E(Y|Xi)和Xi之間的真實關系，即所求的總體回歸方程為：，其圖形為：③樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數據。如在例1中，通過抽樣考察，我們得到了20個家庭的樣本數據：每周收入（X）每周消費支出（Y）8055100657012079841408093160102107110180110200120136220135137240137145260150152175那么描述樣本數據中因變量Y和自變量X之間非確定依賴關系的模型就稱為樣本回歸模型。④樣本回歸方程（線）：通過樣本數據估計出，得到樣本觀測值的擬合值與解釋變量之間的關系方程稱為樣本回歸方程。如下圖所示：⑤四者之間的關系：ⅰ：總體回歸模型建立在總體數據之上，它描述的是因變量Y和自變量X之間的真實的非確定型依賴關系；樣本回歸模型建立在抽樣數據基礎之上，它描述的是因變量Y和自變量X之間的近似于真實的非確定型依賴關系。這種近似表現在兩個方面：一是結構參數是其真實值的一種近似估計；二是殘差是隨機誤差項U的一個近似估計；ⅱ：總體回歸方程是根據總體數據得到的，它描述的是因變量的條件均值E(Y|X)與自變量X之間的線性關系；樣本回歸方程是根據抽樣數據得到的，它描述的是因變量Y樣本預測值的擬合值與自變量X之間的線性關系。ⅲ：回歸分析的目的是試圖通過樣本數據得到真實結構參數的估計值，并要求估計結果足夠接近真實值。由于抽樣數據有多種可能，每一次抽樣所得到的估計值都不會相同，即的估計量是一個隨機變量。因此必須選擇合適的參數估計方法，使其具有良好的統計性質。2、隨機誤差項U存在的原因：①非重要解釋變量的省略②人的隨機行為③數學模型形式欠妥④歸并誤差（如一國GDP的計算）⑤測量誤差等3、多元回歸模型的基本假定①隨機誤差項的期望值為零②隨機誤差項具有同方差性③隨機誤差項彼此之間不相關④解釋就變量X1,X2,···,Xk為確定型變量，與隨機誤差項彼此不相關。⑤解釋就變量X1,X2,···,Xk之間不存在精確的（完全的）線性關系，即解釋變量的樣本觀測值矩陣X為滿秩矩陣：rank(X)=k+1<n⑥隨機誤差項服從正態(tài)分布，即：ui~N(0,2)，i=1,2,···,n步驟二、參數估計知識點：1、最小二乘估計的基本原理：殘差平方和最小化。2、參數估計量：一元回歸：多元回歸：3、最小二乘估計量的性質（Gauss-Markov定理）：在滿足基本假設的情況下，最小二乘估計量是的最優(yōu)線性無偏估計量（BLUE估計量）步驟三、模型檢驗1、經濟計量檢驗（后三章內容）2、統計檢驗①擬合優(yōu)度檢驗知識點：ⅰ：擬合優(yōu)度檢驗的作用：檢驗回歸方程對樣本點的擬合程度ⅱ：擬合優(yōu)度的檢驗方法：計算（調整的）樣本可決系數，注意掌握離差平方和、回歸平方和、殘差平方和之間的關系以及它們的自由度。計算方法：通過方差分析表計算方差來源符號計算公式自由度.)均方值(MSS)離差平方和TSSn-1/n-1回歸平方和RSSk/k殘差平方和ESSn-k-1/n-k-1例2：下表列出了三變量（二元）模型的回歸結果：方差來源平方和（SS）自由度均方值離差平方和TSS6604214回歸平方和RSS65965殘差平方和ESS樣本容量為多少解：由于TSS的自由度為n-1，由上表知n-1＝14，因此樣本容量n=15。求ESS解：由于TSS＝ESS＋RSS，故ESS＝TSS－RSS＝77ESS和RSS的自由度各為多少解：對三變量模型而言，k=2，故ESS的自由度為n-k-1＝12RSS的自由度為k＝2求解：，②回歸方程的顯著性檢驗（F檢驗）目的：檢驗模型中的因變量與自變量之間是否存在顯著的線性關系步驟：1、提出假設：2、構造統計量：3、給定顯著性水平，確定拒絕域4、計算統計量值，并判斷是否拒絕原假設例3：就例2中的數據，給定顯著性水平，對回歸方程進行顯著性檢驗。解：由于統計量值，又，而故拒絕原假設，即在1%的顯著性水平下可以認為回歸方程存在顯著的線性關系。附：檢驗的關系：由于③解釋變量的顯著性檢驗（t檢驗）目的：檢驗模型中的自變量是否對因變量存在顯著影響。知識點：多元回歸：，其中為中位于第i+1行和i+1列的元素；一元回歸：變量顯著性檢驗的基本步驟：1、提出假設：2、構造統計量：3、給定顯著性水平，確定拒絕域4、計算統計量值，并判斷是否拒絕原假設例4：根據19個樣本數據得到某一回歸方程如下：試在5%的顯著性水平下對變量的顯著性進行檢驗。解：由于，故t檢驗的拒絕域為。對自變量而言，其t統計量值為，落入拒絕域，故拒絕的原假設，即在5%的顯著性水平下，可以認為自變量對因變量有顯著影響；對自變量而言，其t統計量值為，未落入拒絕域，故不能拒絕的原假設，即在5%的顯著性水平下，可以認為自變量對因變量Y的影響并不顯著。④回歸系數的置信區(qū)間目的：給定某一置信水平，構造某一回歸參數的一個置信區(qū)間，使落在該區(qū)間內的概率為基本步驟：1、構造統計量2、給定置信水平，查表求出水平的雙側分位數3、求出的置信度為的置信區(qū)間例5：根據例4的數據，求出的置信度為95%的置信區(qū)間。解：由于，故的置信度為95%的置信區(qū)間為：3、經濟意義檢驗目的：檢驗回歸參數的符號及數值是否與經濟理論的預期相符。例6：根據26個樣本數據建立了以下回歸方程用于解釋美國居民的個人消費支出：其中：Y為個人消費支出（億元）；X1為居民可支配收入（億元）；X2為利率（%）先驗估計的符號；解：由于居民可支配收入越高，其個人消費水平也會越高，因此預期自變量X1回歸系數的符號為正；而利率越高，居民儲蓄意愿越強，消費意愿相應越低，因此個從消費支出與利率應該存在負相關關系，即應為負。解釋兩個自變量回歸系數的經濟含義；解：表示，居民可支配收入每增加1億元，其個人消費支出相應會增加億元，即居民的邊際消費傾向MPC＝；表示，利率提高1個百分點，個人消費支出將減少億元。截距項表示居民可支配收入和利率為零時的個人消費支出為億元，它沒有明確的經濟含義。檢驗是否顯著不為1；（）解：1）提出假設：2）構造統計量：3）給定顯著性水平，查表得，故拒絕域為4）計算統計量值：由于則，落入拒絕域。故拒絕的原假設。即在5%的顯著性水平下，可認為邊際消費傾向MPC顯著不為1。檢驗顯否顯著不為零；（）解：1）提出假設：2）構造統計量：3）給定顯著性水平，查表得，故拒絕域為4）計算統計量值：由于，落入拒絕域，故拒絕原假設。即在5%的顯著性水平下，可以認為顯著異于零。計算值；解：由于計算每個回歸系數的標準差；解：由于給出置信水平為95%的置信區(qū)間；解：由于，故置信水平為95%的置信區(qū)間為對回歸方程進行顯著性檢驗；解：提出假設：構造統計量確定拒絕域：計算統計量并進行判斷：由于故拒絕原假設，即在5%的顯著性水平下認為回歸方程的線性關系顯著成立。步驟四：經濟預測點預測：可以看著是Y的條件均值和個別值的預測值，分別稱為均值預測和個值預測；性質：是和的一個無偏估計量。區(qū)間預測：均值的區(qū)間預測預測步驟：1）確定統計量：其中2）給定置信水平，確定的預測區(qū)間為：個值的區(qū)間預測預測步驟：1）確定統計量：其中2）給定置信水平，確定的預測區(qū)間為：作業(yè)：為解釋某地對酒的消費，根據20年的樣本數據得到了如下回歸方程：其中：：每一成年人每年對酒的消費量（升）