多元回歸分析MultipleRegression課件

1、多元迴歸分析Multiple Regression羅惠瓊淡江大學(xué)企管系2005/04/28多元迴歸分析【研究問(wèn)題】： 學(xué)生性別、數(shù)學(xué)焦慮、數(shù)學(xué)態(tài)度、數(shù)學(xué)投入動(dòng)機(jī)是否可有效預(yù)測(cè)學(xué)生的數(shù)學(xué)成就？其預(yù)測(cè)力如何？【方法分析】 研究問(wèn)題中，由於預(yù)測(cè)變項(xiàng)包括學(xué)生性別、壓力懼怕、情緒擔(dān)憂、考試焦慮、課堂焦慮、學(xué)習(xí)信心、有用性、成功態(tài)度、探究動(dòng)機(jī)、數(shù)學(xué)工作投入、數(shù)學(xué)自我投入等十一個(gè)； 而依變項(xiàng)為數(shù)學(xué)成就變項(xiàng)一個(gè)，因而可採(cǎi)用多元迴歸分析法（multiple regression）或稱(chēng)複迴歸法。多元迴歸分析圖示學(xué)生性別壓力懼怕情緒擔(dān)憂.自我投入數(shù)學(xué)成就 依變項(xiàng)為連續(xù)變數(shù)預(yù)測(cè)變項(xiàng)為N個(gè)連續(xù)變數(shù)依變數(shù)若是類(lèi)別變數(shù)進(jìn)行

2、多元迴歸時(shí)，如果依變數(shù)（效標(biāo)變數(shù)）不是連續(xù)變數(shù)，而是二分類(lèi)別變數(shù)，應(yīng)以區(qū)別分析或二元logistic迴歸分析。如果依變數(shù)是多分類(lèi)別變數(shù)，則須進(jìn)行區(qū)別分析。變數(shù)選擇邏輯基礎(chǔ)： 理論基礎(chǔ)、實(shí)證基礎(chǔ)、邏輯推理、專(zhuān)家共識(shí)統(tǒng)計(jì)量基礎(chǔ)： 利用每一解釋變數(shù)對(duì)應(yīng)之偏F統(tǒng)計(jì)量值之大小決定刪去或留在模式中，其方法有(a)所有可能迴歸法(All-Possible-Regression Procedure )(b)後退淘汰法(Backward Elimination Procedure)(c)前進(jìn)選擇法(Forward Selection Procedure)(d)逐步迴歸法(Stepwise Regression

3、Procedure)迴歸分析 (一)迴歸估計(jì)方程式(最小平方法)(二)變異數(shù)分析表 邊際檢定：若總檢定顯著，即應(yīng)進(jìn)行邊際檢定(Marginal Tests)，探討個(gè)別迴歸係數(shù)(j, j=1,2,K)是否顯著異於某一特定數(shù)值，共包括K個(gè)檢定。邊際檢定可分為雙尾檢定與單尾檢定，且大多數(shù)屬於對(duì)0檢定。對(duì)立假說(shuō)設(shè)定為H1: j j0，屬於雙尾檢定 。對(duì)立假說(shuō)設(shè)定為H1: j j0 或H1: j j0 ，屬於單尾檢定。檢定統(tǒng)計(jì)量: 模式檢定(2)判定係數(shù)R2R2 稱(chēng)為多元判定係數(shù)（multiple determination coefficient） ： 0 R2 1R2 相當(dāng)於總變異中可被解釋之百分比

4、例R2 亦是模式配適度(Goodness of Fit)之指標(biāo)。Adjusted R2在迴歸分析中，如果自變項(xiàng)的個(gè)數(shù)很多，有時(shí)候就要用調(diào)整後的判定係數(shù)代替原先的判定係數(shù)，因?yàn)樵黾有碌淖宰冺?xiàng)後，均會(huì)使R2變大。 Adjusted R2為調(diào)整後的判定係數(shù)： 殘差分析(1)基本概念：在探討誤差項(xiàng)(i)是否符合常態(tài)性、恆常性、獨(dú)立性等三項(xiàng)假定。 迴歸分析乃以殘差值(ei, Residual)為誤差項(xiàng)(i )之估計(jì)，等於樣本觀察值與預(yù)測(cè)值之差，即：殘差分析(2)常態(tài)性：假說(shuō)如下所示： H0: 誤差項(xiàng)遵循常態(tài)分配 H1: 誤差項(xiàng)未遵循常態(tài)分配 常態(tài)性檢定方法 常態(tài)機(jī)率圖(Normal Probabilit

5、y Plot) 當(dāng)H0成立，則常態(tài)機(jī)率圖應(yīng)呈現(xiàn)近似450直線 K-S檢定(Kolmogorov-Smirnov goodness-of-fit test)W統(tǒng)計(jì)量(W, Wilk-Shapiro Statistic)檢定。殘差分析恆常性：共線性問(wèn)題在多元迴歸分析中要留意共線性（collinarity）問(wèn)題。所謂共線性指的是由於自變項(xiàng)間的相關(guān)太高，造成迴歸分析之情境困擾。如果變項(xiàng)間有共線性問(wèn)題，表示一個(gè)自變數(shù)是其它自變項(xiàng)的線性組合。以二個(gè)自變項(xiàng)X1，X2為例： 完全共線性 X1 = a + bX2如果一變項(xiàng)與其它自變項(xiàng)間有共線性問(wèn)題，則這個(gè)變項(xiàng)迴歸係數(shù)的估計(jì)值不夠穩(wěn)定，而迴歸係數(shù)的計(jì)算值也會(huì)有很

6、大誤差。共線性的診斷共線性問(wèn)題，可由下面的數(shù)據(jù)加以判別： 2.變異數(shù)膨脹因素（variance inflation factor；VIF） 變異數(shù)膨脹因素為容忍度的倒數(shù)，VIF的值愈大，表示自 變項(xiàng)的容忍度愈小，愈有共線性問(wèn)題。1.容忍度（ tolerance ） 容忍度 1-R2，容忍度的值介於0至1間。 R2是此自變項(xiàng)與其它自變項(xiàng)間的多元相關(guān)係數(shù)的平方， 即模式中其它自變項(xiàng)對(duì)這個(gè)變項(xiàng)的有效解釋能力。 一自變項(xiàng)的R2值太大，即容忍度太小，表示此變項(xiàng)與其它 自變項(xiàng)間有共線性問(wèn)題。虛擬變數(shù)轉(zhuǎn)換(1)間斷變數(shù)在投入迴歸分析時(shí)，必須轉(zhuǎn)換為虛擬變數(shù)。在虛擬變項(xiàng)的轉(zhuǎn)換方面，要以0、1的方式表示，虛擬變項(xiàng)

7、個(gè)數(shù)等於水準(zhǔn)個(gè)數(shù)減一。原變項(xiàng)虛擬變項(xiàng)說(shuō)明: 1表示是學(xué)生性別sexd 0表是否男性 10不是女生，是男生女性 21是女生如果是二分變項(xiàng)，便以一個(gè)虛擬變項(xiàng)表示，此虛擬變項(xiàng)的 二個(gè)水準(zhǔn)數(shù)值直接以0、1表示即可。以學(xué)生性別變項(xiàng)為例：虛擬變數(shù)轉(zhuǎn)換(2)如果是三分變項(xiàng)，表示此間斷變項(xiàng)有三個(gè)水準(zhǔn)，則應(yīng)以二個(gè)虛擬變項(xiàng)表示。以家庭狀況變項(xiàng)為例：原變項(xiàng)虛擬變項(xiàng)說(shuō)明:1表示是 ，0表是否家庭狀況homd1homd2單親家庭組 110是單親家庭組，不是他人照顧組他人照顧組 201不是單親家庭組，是他人照顧組雙親家庭組 300不是單親家庭組，也不是他人照顧組，即為雙親家庭組虛擬變數(shù)轉(zhuǎn)換(3)如果是四分變項(xiàng)，表此間斷變

8、數(shù)有四個(gè)水準(zhǔn)，則投入迴歸分析時(shí)，會(huì)有三個(gè)虛擬變項(xiàng)。例如地理位置變項(xiàng)中，1表示北部、2表示中部、3表示南部、4表示東部，三個(gè)虛擬變項(xiàng)的值如下： 原變項(xiàng)虛擬變項(xiàng)說(shuō)明:1表示是，0表是否地理位置locd1locd2locd3北部 1100是北部，而非中部，也非南部中部 2010是中部，而非北部，也非南部南部 3001是南部，而非北部，也非中部東部4000非北部，非中部，也非南部，因而是東部虛擬變數(shù)轉(zhuǎn)換操作說(shuō)明 轉(zhuǎn)換為虛擬變數(shù)已轉(zhuǎn)換為虛擬變數(shù)問(wèn)題：學(xué)生性別、數(shù)學(xué)焦慮、數(shù)學(xué)態(tài)度、數(shù)學(xué)投入動(dòng)機(jī)是否可有效預(yù)測(cè)學(xué)生的數(shù)學(xué)成就？其預(yù)測(cè)力如何？效標(biāo)變項(xiàng)預(yù)測(cè)變項(xiàng)迴歸分析方法模式適合度會(huì)列出已進(jìn)入模式或刪除之變數(shù)，並顯示迴歸分析相關(guān)的統(tǒng)計(jì)量：多元相關(guān)係數(shù)R、R平方、調(diào)整後的R平方、估計(jì)值的標(biāo)準(zhǔn)誤與變數(shù)數(shù)分析摘要表。選取變項(xiàng)的順序，最右邊一欄進(jìn)入與移除的標(biāo)準(zhǔn)。進(jìn)入模式的標(biāo)準(zhǔn)是 F 的顯著性機(jī)率要小於或等於.050，而移除的標(biāo)準(zhǔn)是 F 的顯著性機(jī)率大於或等於.100者。 迴歸模式的解釋量P值小於0.01，此迴歸