多元線性回歸方法及其應用實例ppt課件

1、第三章第三章多元線性回歸模型多元線性回歸模型主要內容n多元線性回歸模型的普通方式 n參數(shù)估計 OLS估計n假設檢驗n預測一. 多元線性回歸模型n問題的提出n解析方式n矩陣方式問題的提出n現(xiàn)實生活中引起被解釋變量變化的要素并非僅只一個解釋變量，能夠有很多個解釋變量。n例如，產(chǎn)出往往受各種投入要素資本、勞動、技術等的影響；銷售額往往受價錢和公司對廣告費的投入的影響等。n所以在一元線性模型的根底上，提出多元線性模型解釋變量個數(shù) 2多元線性回歸模型的假設n解釋變量 Xi 是確定性變量，不是隨機變量；解釋變量之間互不相關，即無多重共線性。n隨機誤差項具有0均值和同方差n隨機誤差項不存在序列相關關系n隨機

2、誤差項與解釋變量之間不相關n隨機誤差項服從0均值、同方差的正態(tài)分布uXbXbXbbYkk22110多元模型的解析表達式ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY221102122110, 2 , 1),(得：個樣本觀測值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111多元模型的矩陣表達式UXBYuuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY212102122

3、2211121121111矩陣方式二. 參數(shù)估計(OLS)n參數(shù)值估計n參數(shù)估計量的性質n偏回歸系數(shù)的含義n正規(guī)方程n樣本容量問題1.參數(shù)值估計(OLS)nininiiXbXbbYyyQkikiiiie1212121100000210kbQbQbQbQ00001102110211101110XXbXbbxYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到以下方程組求參數(shù)估計值的本質是求一個k+1元方程組正規(guī)方程正規(guī)方程變成矩陣方式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbY

4、XbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXXn121022111221121正規(guī)方程正規(guī)方程矩陣方式YXXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1最小二乘法的矩陣表示1002)()()()(), 0(2112122kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNUUX

5、BYBXYniiiniie？為什么2.1最小二乘估計量的性質n1線性估計量都是被解釋變量觀測值的線性組合n2無偏性估計量的數(shù)學期望=被估計的真值n3有效性估計量的方差是一切線性無偏估計中最小的）無偏估計（是最佳線性估計式結論：在古典假定下，BLUEOLSOLS估計量的性質續(xù)正態(tài)）的線性函數(shù)是正態(tài)，又的線性函數(shù)是正態(tài)（個元素。中對角線上第）是（其中，在古典假定下，jjiijjjjjjjjYuYujccVarkjVarNY, XX,)(,.,2 , 1),(,()4(12線性YXXXB)(1無偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE)()()()()()()()(1111

6、1有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2XXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk回憶：2.2 OLS回歸線的性質n完全同一元情形：不相關與殘差）解釋變量（不相關；與殘差）應變量估計值（的均值為剩余項（殘差）的均值的均值等于實際觀測值估計值）回歸線過樣本均值（iiiiiiikikiieXeYeYYXXXY540)3()2(.1332212.3 隨機擾動項方差的估計個），待估參數(shù)有（比

7、較：一元情形：為待估參數(shù)個數(shù)。為樣本容量，其中估計：擾動項的方差2222222neknkneii注解：k與k+1n凡是按解釋變量的個數(shù)為k的，那么共有k+1個參數(shù)要估計。而按參數(shù)個數(shù)為k的，那么實踐有k-1個解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！n所以假設本來是用解釋變量個數(shù)的k表示的要轉換成參數(shù)個數(shù)的k那么用k-1代換原來的k就可以了！3.偏回歸系數(shù)的意義n多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)n某解釋變量前回歸系數(shù)的含義是，在其他解釋變量堅持不變的條件下，該變量變化一個單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動4.正規(guī)方程n由最小二乘法得到的用以估計回歸系數(shù)的線性方程

8、組，稱為正規(guī)方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX正規(guī)方程的構造nY 被解釋變量觀測值 n x 1nX 解釋變量觀測值含虛擬變量n x (k+1) nXX 設計矩陣實對稱(k+1) x (k+1)矩陣 nXY 正規(guī)方程右端 n x 1n 回歸系數(shù)矩陣 (k+1) x 1 n 高斯乘數(shù)矩陣， 設計矩陣的逆n 殘差向量 n x 1 n 被解釋變量的擬合預測向量 n x 1B1)(XXUY5.多元回歸模型參數(shù)估計中的樣本容量問題n樣本是一個重要的實踐問題，模

9、型依賴于實踐樣本。n獲取樣本需求本錢，企圖經(jīng)過樣本容量確實定減輕搜集數(shù)據(jù)的困難。n最小樣本容量：滿足根本要求的樣本容量最小樣本容量 n k+1n(XX)-1存在| XX | 0 XX 為k+1階的滿秩陣nR(AB) min(R(A),R(B)nR(X) k+1n因此，必需有nk+1YXXXB1)(滿足根本要求的樣本容量n普通閱歷以為：nn 30或者n 3(k+1)才干滿足模型估計的根本要求。nn 3(k+1)時，t分布才穩(wěn)定，檢驗才較為有效第三節(jié) 多元線性回歸模型的檢驗n本節(jié)主要引見：n3.1 擬合優(yōu)度檢驗斷定系數(shù)及其校正n3.2 回歸參數(shù)的顯著性檢驗t檢驗n3.3 回歸方程的顯著性檢驗F檢驗

10、n3.4 擬合優(yōu)度、t檢驗、F檢驗的關系3.1.1 擬合優(yōu)度檢驗 總平方和、自在度的分解n目的：構造一個不含單位，可以相互比較，而且能直觀判別擬合優(yōu)劣的目的。n類似于一元情形，先將多元線性回歸作如下平方和分解：1-k k -n 1-n )()( )(222自由度：回歸平方和殘差平方和總離差平方和ESSRSSTSSYYYYYYiiii對以上自在度的分解的闡明1)() 1(,0,.,0,.,2211,12121222).(kknnRSSTSSESSknnkeekikiRSSnYnYTSSdfdfYXXYYYdfYYERikiikiiTii知再由：所以，約束個對個方程方程求出，共有由而所以一個方程的

11、約束受3.1.2 斷定系數(shù)n斷定系數(shù)的定義：n意義：斷定系數(shù)越大，自變量對因變量的解釋程度越高，自變量引起的變動占總變動的百分比高。察看點在回歸直線附近越密集。n取值范圍：0-1TSSRSSTSSESSTSSESSTSSRSSESSRSSTSSR1122R3.1.3 校正斷定系數(shù)n為什么要校正？n斷定系數(shù)隨解釋變量個數(shù)的添加而增大。易呵斥錯覺：要模型擬合得越好，就應添加解釋變量。然而添加解釋變量會降低自在度，減少可用的樣本數(shù)。并且有時添加解釋變量是不用要的。n導致解釋變量個數(shù)不同模型之間對比困難。n斷定系數(shù)只涉及平方和，沒有思索自在度。n校正思緒：n 引進自在度校正所計算的平方和。2R校正斷定

12、系數(shù) 續(xù)0; 1 , 0 )3(.,1k )2(111 ) 1 () 1/()/(122222222定取值可能為負，這時規(guī)但是，）非負（取值在判定系數(shù)得慢些！未校正的判定系數(shù)增加也就是說校正的比兩者的差距將越來越大且隨著解釋變量的增加時，）（的判定系數(shù)的關系：校正判定系數(shù)和未校正RRRRRknnRRnTSSknRSSR2R3.2 回歸參數(shù)的顯著性檢驗 t檢驗的假設檢驗。統(tǒng)計量來進行回歸系數(shù)以下可用得統(tǒng)計量代替，未知。用標準化。一般有將列的元素。行第的第）為（其中布，由前面知道：先要找出回歸系數(shù)的分tkntcccNjjjjjjjjjjj)( tjjXX ),( 2212以下給出t-檢驗的詳細過程

13、備擇假設。反之則反。拒絕原假設，接受判斷：若，查表，得臨界值給出顯著水平根據(jù)樣本計算提出假設：),(| t | )4()( )3(0t )2(,.,2 , 1j 0 :H 0 :H ) 1 (2/2/jjjjj1j0kntkntccckjjjjjj3.3 回歸方程的顯著性檢驗 F檢驗n 回歸系數(shù)的t檢驗，檢驗了各個解釋變量Xj單獨對應變量Y能否顯著；我們還需求檢驗：一切解釋變量結合在一同，能否對應變量Y也顯著？n這即是下面所要進展的F-檢驗。3.3.1 方差分析表以下用表格的方式列出平方和、自在度、方差平方和來源平方和自由度均方和源于回歸K-1源于殘差n-k總平方和n-12)(YYTSSi2)

14、(iiYYRSS2)(YYESSi) 1/( kESS) 1/( nTSS)/(knRSS3.3.2 F檢驗單側檢驗。反之則反。接受備擇假設拒絕原假設，判斷：若，查表，得給出顯著性水平計算統(tǒng)計量）選擇、（根據(jù)樣本）（不全為,), 1()4();, 1() 3(), 1()/() 1/( 20,.,:H 0.: ) 1 (321320knkFFknkFknkFknRSSkESSFHkk3.4 各種檢驗之間的關系n3.4.1 經(jīng)濟意義檢驗和其他檢驗的關系聯(lián)絡：n 判別一個回歸模型能否正確，首先要看模型能否具有合理的經(jīng)濟意義，其次才是統(tǒng)計檢驗。3.4.2 擬合優(yōu)度和F檢驗的關系1都是對回歸方程的顯著

15、性檢驗；2都是把總平方和分解，以構成統(tǒng)計量進展檢驗；3兩者同增同減，具有一致性。FkknnRRkknF) 1(11R ,11222關系在數(shù)量上，它們有如下擬合優(yōu)度和F檢驗的關系續(xù)n區(qū)別：n1F檢驗中運用的統(tǒng)計量有準確的分布，而擬合優(yōu)度檢驗沒有；n2對能否經(jīng)過檢驗，斷定系數(shù)校正斷定系數(shù)只能給出一個模糊的推測；而F檢驗可以在給定顯著程度下，給出統(tǒng)計上的嚴厲結論；3.4.2 F檢驗和t檢驗的關系n在一元的情形，兩者是一致的，等價的。對單個解釋變量顯著性進展t檢驗，也就檢驗了解釋變量的整體顯著性F檢驗；并且可以證明：Ft2 n所以在一元情形，只需求進展一種檢驗n多元中，不存在以上關系。回歸模型假設檢驗的步驟n查看擬合