(整理)多元回歸模型new.

1、精品文檔多元回歸模型一、模型的設(shè)定和求解廠b。 Ex, b?X2 . bkXk u u為擾動項Y與X之間存在著線性關(guān)系，有關(guān)擾動項 u的假設(shè)和一元回歸類 似。若樣本容量為n則模型可以寫為：y廠bo鳥旳 b?X2iq模型可以用矩陣表示如下：Y二XB+Uybo b= bB :1 1 y2丫 ：*11 X-X11X12IIIIIIXk1Xk2*1 1+ * f*1ynXmIIIXkn_bkUiI IIIU2U二Unn 1n (k 1)(k i) i利用最小二乘法求系數(shù)的解：最小二乘的意思就是殘差的平方和達(dá)到最小，也就是 Ui2 =、(y - yj2最小寧 2 匚殘差平方和Ui _ Ui Ui曰 u

2、b = (丫- XB)-(Y - XB)二 丫 Y XB- B X Y B X XB 于疋=丫丫 -2B X* + B X-XB注意根據(jù)矩陣的基本定理（AB）L=BA，則丫XB二（B-X訐）-，而BXY與Yxb都是1 1矩陣，故兩者同值。對殘差平方和求偏導(dǎo)，并令其為J | A零。du2X 2X XB 二 0精品文檔dBX = X、XBB= (XLX)_1X Y回歸方程的顯著性檢驗：回歸系數(shù)的顯著性檢驗：t檢驗的分布為:可以證明，在回歸方程中自變量Xj的系數(shù)bjDe； 2Cjj)cjj是矩陣（Xx廠1主對角線上的元素，由于二2無法直接得到，故2 送（ - yJ2以樣本殘差來代替：二,因此可以t統(tǒng)

3、計量來檢驗假n - k -1設(shè)Ho: br 0已：bj = 0統(tǒng)計量Ij1)回歸方程的顯著性檢驗:H o: bi = b 11 = bk = 0運用F統(tǒng)計量二、多重共線性定義：回歸模型中有兩個或兩個以上的自變量相關(guān)。問題：當(dāng)變量相關(guān)時，回歸系數(shù)的解會存在問題，一是完全無解，二是系數(shù)不穩(wěn)定。而且可能對參數(shù)估計的正負(fù)號產(chǎn)生影響。（參數(shù)估計的正負(fù)號與預(yù)期相反）多重共線性的判別：見書 P363頁多重共線性的處理：變量選擇法三、虛擬自變量的回歸解釋變量的分類：定量變量：反映數(shù)量大小的變量；如收入，產(chǎn)量，價格，成本等。 一般用X表示。定性變量：又稱屬性變量，很難直接度量其大小，如性別，種族，職業(yè)，受教育水

4、平，季節(jié)，戰(zhàn)爭，地震，罷工等。一般用D表示。2.由于定性變量常指某一 “性質(zhì)”或“屬性”出現(xiàn)或不出現(xiàn)，因此 “量化”這些變量的一個方法是構(gòu)造一個取值為1或0的人為變量，即：1：具備某一屬性；D 二.0：不具備某一屬性取這樣的1或0值的變量叫做虛擬變量(Dummy Variables)。例：1：男1：大學(xué)畢業(yè)D 二 ，； D 二10：女10：非大學(xué)畢業(yè)方差分析模型(ANOVA)當(dāng)模型中的解釋變量只有虛擬變量時，稱為方差分析模型(analysis of variance mode)例：分析大學(xué)畢業(yè)生和非大學(xué)畢業(yè)生的初職年薪是否存在差異。假設(shè)設(shè)定以下回歸模型：丫廠 bb2Di ui其中，Y表示初職年

5、薪；f 1 :大學(xué)畢業(yè)D 二.0：非大學(xué)畢業(yè)也應(yīng)是說，對于大學(xué)畢業(yè)生而言，其D = 1,代入模型中可得：丫廠bb Ui，其期望值為：E(YJ二bi b2對于非大學(xué)畢業(yè)生而言，其 D = 0,代入模型可得：丫廠bi Ui,其期望值為：E()二bi也就是說，原模型是假設(shè)大學(xué)畢業(yè)生的初值年薪與非大學(xué)生的初職年薪顯著不同，其平均差距為虛擬變量D的系數(shù)b2。被賦予零值的那個類別被稱為是基底或基準(zhǔn) (base benchmark), 也就是說，它被用于和其它類別比較的基礎(chǔ)。共同的截距項4就是基底類的截距項。虛擬變量D的系數(shù)b2被稱為級差截距系數(shù)(differential intercept coeffic

6、ien),它告訴我們?nèi)≈禐?的類別的截距值和基底類的截距值 相比有多少差別。虛擬變量顯著性檢驗：t檢驗顯著表明虛擬變量被賦予 1值的分類與基底類的差異是顯著的 包含一個定量變量，一個虛擬變量的回歸模型在實際分析中，很少使用前面提到的方差分析模型，更多的是用 到既有定量變量，又有虛擬變量作為解釋變量的回歸模型， 這樣的回 歸模型稱為協(xié)方差分析模型（ANCOVA ）。例：分析大學(xué)教師的工資的主要影響因素。設(shè)定以下回歸模型：丫廠 bbzDj bsXj a其中，Y為大學(xué)教師的年薪；X為教齡;1：男教師；Di -i .0：女教師這個模型認(rèn)為，大學(xué)教師的年薪主要受兩個因素的影響，一個是 教齡，另一個是性別

7、。 并且假設(shè)性別只對大學(xué)教師年薪的截距產(chǎn)生 影響，年薪對教齡的變化率不受性別影響（即男女教師具有相同的斜 率）?？梢詫⒁陨夏Ｐ头纸鉃椋航鼐酁椋篵1 （基底類的截距）截距為：bi+b2級差截距為：b2女教師的年薪模型：D = 0 丫廠 bbsXj a男教師的年薪模型：D = 1丫廠 bb2 b3Xi Ui虛擬變量的顯著性檢驗的意義：D的t統(tǒng)計量顯著表明男女教師的年薪的差異是顯著的，平均而言，男教師的年薪比女教師高b2個單位。虛擬變量的設(shè)置規(guī)則對于有截距項的回歸模型，其虛擬變量的設(shè)置規(guī)則為：某一屬性 變量如果有m種互斥的分類，則針對這一屬性應(yīng)在模型中引入 m-1 個虛擬變量。例如：假設(shè)旅游支出主要

8、受收入和教育因素的影響。其中，收入是定量變量，教育是定性變量。假設(shè)教育水平可以分為三類：大學(xué)以上 水平，中學(xué)水平，和未達(dá)到中學(xué)水平。因此模型中應(yīng)引入的虛擬變量 的個數(shù)為3 1 = 2個。模型可設(shè)定如下：丫廠 bbzDii 匕3。2bqXj 5其中，Y表示旅游支出，X表示收入水平，Dii1:大學(xué)以上0：其它D2i1:中學(xué)0：其它所以模型中三類教育水平的截距分別為:未達(dá)到中學(xué)水平：biD1 = 0; D2= 0中學(xué)水平：bi+b3Di=0 ; D2 = 1大學(xué)以上水平：bi+b2Di = 1 ; D2=0這樣設(shè)置的目的是為了防止虛擬變量陷阱，即完全的多重共線性問題。例如，假設(shè)分析大學(xué)教師的工資的主

9、要影響因素設(shè)定以下回歸模型：Yi = bbzDii bsDzi bqXi a其中，Y為大學(xué)教師的年薪；X為教齡；ri：男教師；1：女教師;DDDli0：女教師 D2i0男教師即按性別的二種分類設(shè)置了兩個虛擬變量，則解釋變量序列為:截距 DiD2X110Xi101X2101X3 Ji A A A110Xn即 截距（Di + D2）= 0,也就是說，解釋變量之間出現(xiàn)了完全的多重共線性，它將導(dǎo)致無法估計模型的參數(shù)。包含一個定量變量，兩個定性變量的回歸模型 例：設(shè)大學(xué)教師的年薪 Y除了受定量變量教齡X影響外，還受性別 和膚色兩個定性變量的影響。為了簡便，假設(shè)膚色有兩種分類：白種 和非白種。所以模型中共

10、應(yīng)引入兩個虛擬變量，一個反映男女的差別， 一個反映膚色的差別。設(shè)定的回歸模型如下：Yi = bbzDiibsDzibqXi Ui其中，Y年薪；X教齡；:男教師；:白種Dli10：女教師 D2i 10：非白種以上模型可以分解為四種不同的對象的模型：（假設(shè)斜率都相同）白種男教師的年薪模型：丫廠 Q b2 b3 b4Xi ui非白種男教師的年薪模型：Yi = b b2 bqXi Ui白種女教師的年薪模型：Yi 二 4 b3 bqXi Ui非白種女教師的年薪模型：丫廠 bb4Xi ui虛擬變量的其它引入方式前面的模型中都假設(shè)虛擬變量的引入只改變了原模型 （未加入虛 擬變量的模型）的截距，但不改變原模型

11、的斜率。但實際中，有可能 會改變斜率，或同時改變斜率和截距。1.改變斜率的模型（乘法模型）的設(shè)定：例：分析大學(xué)教師的工資的主要影響因素。 假定除教齡外，性別還會 對模型的斜率產(chǎn)生影響，所以可以設(shè)定以下回歸模型：丫廠 bi bzDiXi b3Xi Ui其中，Y為大學(xué)教師的年薪；X為教齡;(1：男教師；Di 二i O女教師女教師的年薪模型：D = 0斜率為：b3(基底類的斜率)丫廠 bbsXj 7男教師的年薪模型：D = 1丫廠 b(b2 b3)Xi ui斜率為：b2+b3級差斜率為：b2虛擬變量顯著性檢驗的意義：表明性別差異是否對年薪對教齡的變化率會產(chǎn)生顯著的影響。2.同時影響截距和斜率：設(shè)定以下回歸模型：丫廠 bbzDi aiXi azDX 5其中，Y為大學(xué)教師的年薪；X為教齡；1:男教師；D廠i 0:女教師女教師的年薪模型：D = 0截距斜率丫廠 biaXubiai男教師的年薪模型：D 1Yi 二(bi b2)佝 a2)Xi 5bb?a a?虛擬變量在季節(jié)分析中的應(yīng)用：Yi