簡(jiǎn)單線性回歸模型E課件

1、第 14 章簡(jiǎn)單線性迴歸本章內(nèi)容14.1 簡(jiǎn)單線性迴歸模型 14.2 最小平方法 14.3 判定係數(shù) 14.4 模型假設(shè) 14.5 顯著性檢定 14.6 利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測(cè) 14.7 殘差分析：驗(yàn)證模型假設(shè) 14.8 殘差分析：離群值及具影響力的觀察值214.1 簡(jiǎn)單線性迴歸模型迴歸模型與迴歸方程式 估計(jì)迴歸方程式3第14章 簡(jiǎn)單線性迴歸 第501-502頁(yè) 簡(jiǎn)單線性迴歸模型迴歸術(shù)語(yǔ)應(yīng)變數(shù) (dependent variable)：想預(yù)測(cè)的變數(shù)。自變數(shù) (independent variable)：用來預(yù)測(cè)應(yīng)變數(shù)數(shù)值的變數(shù)。例如在分析廣告費(fèi)用對(duì)銷售額的影響時(shí)，行銷經(jīng)理要預(yù)測(cè)的是銷

2、售額，所以銷售額為應(yīng)變數(shù)；廣告費(fèi)用則是用來預(yù)測(cè)銷售額之自變數(shù)。以統(tǒng)計(jì)符號(hào)而言，y 表示應(yīng)變數(shù)，而 x 表示自變數(shù)。4第14章 簡(jiǎn)單線性迴歸 第501頁(yè) 簡(jiǎn)單線性迴歸模型簡(jiǎn)單線性迴歸：僅牽涉到單一自變數(shù)與單一應(yīng)變數(shù)，而且兩變數(shù)間的關(guān)係近似直線。這種類型稱為簡(jiǎn)單線性迴歸 (simple linear regression)。複迴歸分析：牽涉兩個(gè)或以上自變數(shù)的迴歸分析稱為複迴歸分析 (multiple regression analysis) 。5第14章 簡(jiǎn)單線性迴歸 第501頁(yè) 描述 y 與 x 及誤差項(xiàng)之關(guān)係的方程式，稱為迴歸模型(regression model) 。簡(jiǎn)單線性迴歸模型b0 及

3、 b1為迴歸模型的參數(shù) (parameter)。 則為一隨機(jī)變數(shù)，稱為誤差項(xiàng)。簡(jiǎn)單線性迴歸模型y = b0 + b1x + 6第14章 簡(jiǎn)單線性迴歸 第501頁(yè) 簡(jiǎn)單線性迴歸方程式簡(jiǎn)單線性迴歸方程式的圖形是一條直線B0 為迴歸線的 y 截距b1 為斜率E(y)為對(duì)應(yīng)特定 x 值之 y 的期望值或平均數(shù)。簡(jiǎn)單線性迴歸模型E(y) = 0 + 1x7第14章 簡(jiǎn)單線性迴歸 第502頁(yè) 簡(jiǎn)單線性迴歸模型E(y)x斜率 b1為正迴歸線截距 b0正線性關(guān)係8第14章 簡(jiǎn)單線性迴歸 第502頁(yè) 簡(jiǎn)單線性迴歸模型負(fù)線性關(guān)係9E(y)x斜率 b1為負(fù)迴歸線截距 b0第14章 簡(jiǎn)單線性迴歸 第502頁(yè) 無關(guān)係E

4、(y)x斜率 b1為 0迴歸線截距 b0簡(jiǎn)單線性迴歸模型10第14章 簡(jiǎn)單線性迴歸 第502頁(yè) 估計(jì)簡(jiǎn)單線性迴歸方程式估計(jì)迴歸方程式的圖形被稱為估計(jì)迴歸線(estimated regression line)b0 為 y 截距b1 為斜率 是 E(y) 的點(diǎn)估計(jì)量11估計(jì)的簡(jiǎn)單線性迴歸方程式第14章 簡(jiǎn)單線性迴歸 第503頁(yè) 估計(jì)迴歸方程式12第14章 簡(jiǎn)單線性迴歸 第503頁(yè) 評(píng)註不能將迴歸分析解釋為建立變數(shù)間因果關(guān)係的程序，它僅能指出變數(shù)間如何相關(guān)及其相關(guān)的程度。任何關(guān)於因果關(guān)係的結(jié)論，都必須根據(jù)最瞭解該相關(guān)應(yīng)用的人士的判斷而定。簡(jiǎn)單線性迴歸的迴歸方程式是 E(y) = 0 1x 。進(jìn)階的

5、教科書在討論迴歸分析時(shí)常將迴歸方程式寫成 E(yx) = 0 1x，以強(qiáng)調(diào)迴歸方程式是在已知特定 x 值下得到 y 的平均值。13第14章 簡(jiǎn)單線性迴歸 第503頁(yè) 最小平方法 (least squares method) 是利用樣本資料算出估計(jì)迴歸方程式的方法。最小平方法準(zhǔn)則 其中 yi =應(yīng)變數(shù)之第 i 個(gè)觀察值的實(shí)際值 =應(yīng)變數(shù)之第 i 個(gè)觀察值的估計(jì)值 14.2最小平方法 14第14章 簡(jiǎn)單線性迴歸 第504-505頁(yè) 估計(jì)迴歸方程式的斜率與 y 截距其中xi = 自變數(shù)的第 i 個(gè)觀察值yi = 應(yīng)變數(shù)的第 i 個(gè)觀察值 = 自變數(shù)的平均數(shù) = 應(yīng)變數(shù)的平均數(shù) n = 觀察值的個(gè)數(shù)最

6、小平方法15第14章 簡(jiǎn)單線性迴歸 第506頁(yè) 最小平方法實(shí)例以亞曼披薩屋為例，說明最小平方法。假定資料來自 10 間鄰近大學(xué)校園的分店。對(duì)於樣本中第 i 個(gè)觀察值或第 i 間餐廳而言，xi 為學(xué)生人數(shù) (單位：千人)；yi 為每季銷售額 (單位：$1000)。10 間餐廳之 xi 與 yi 值彙整於表 14.1。我們可看到餐廳 1 之 x12 且 y158；即其鄰近學(xué)生人數(shù)為 2000 人之校園且每季銷售額為 $58,000。餐廳 2 之 x26 且 y2105，表示它鄰近學(xué)生人數(shù)為 6000 人之校園且每季銷售額為 $105,000。銷售額最大的是餐廳 10，其鄰近學(xué)生人數(shù)為 26,000

7、 人之校園，每季銷售額為 $202,000。16第14章 簡(jiǎn)單線性迴歸 第504頁(yè) 最小平方法實(shí)例17第14章 簡(jiǎn)單線性迴歸 第504頁(yè) 最小平方法實(shí)例圖 14.3 為表 14.1 之資料的散布圖，學(xué)生人數(shù)為橫軸，每季銷售額為縱軸。迴歸分析的散布圖 (scatter diagrams) 係將自變數(shù) x 之值置於橫軸，應(yīng)變數(shù) y 之值置於縱軸繪製而成。散布圖讓我們能由圖形來觀察資料，並得到變數(shù)間可能關(guān)係的初步結(jié)論?？拷鼘W(xué)生人數(shù)愈多之校園餐廳，每季銷售額似乎愈高。再者，由這些資料可發(fā)現(xiàn)學(xué)生人數(shù)與每季銷售額的關(guān)係近似直線；的確，x 與 y 間似乎存在正向的直線關(guān)係。因此，我們選擇簡(jiǎn)單線性迴歸模型來表

8、示學(xué)生人數(shù)與每季銷售額的關(guān)係。這個(gè)選擇的接下來的任務(wù)即是利用表 14.1 的樣本資料來決定估計(jì)簡(jiǎn)單線性迴歸方程式中 b0 和 b1 的值。18第14章 簡(jiǎn)單線性迴歸 第504頁(yè) 最小平方法實(shí)例19第14章 簡(jiǎn)單線性迴歸 第505頁(yè) 最小平方法實(shí)例對(duì)第 i 間餐廳而言，估計(jì)迴歸方程式為其中 第 i 間餐廳每季銷售額的估計(jì)值 ($1000) b0 估計(jì)迴歸線之 y 截距 b1 估計(jì)迴歸線之斜率 xi 第 i 間餐廳鄰近校園的學(xué)生人數(shù) (千人)以 yi 表示餐廳 i 每季銷售額的觀察 (實(shí)際) 值，而以式 (14.4) 中之 表示餐廳 i 銷售額的預(yù)測(cè)值，樣本中每間餐廳均有銷售額的實(shí)際觀察值 yi

9、與估計(jì)值 。為了使估計(jì)迴歸線能非常配適這些資料，我們希望銷售額的實(shí)際觀察值與預(yù)測(cè)值的差距是小的。20第14章 簡(jiǎn)單線性迴歸 第504-505頁(yè) 最小平方法實(shí)例求算亞曼披薩屋的最小平方估計(jì)迴歸方程式時(shí)所需之部分計(jì)算列於表 14.2。在此例子中，因有10 間餐廳 (觀察值)，故 n = 10。我們先計(jì)算 與 。計(jì)算亞曼披薩屋之估計(jì)迴歸方程式中的斜率與截距21第14章 簡(jiǎn)單線性迴歸 第506-507頁(yè) 最小平方法實(shí)例22第14章 簡(jiǎn)單線性迴歸 第506頁(yè) 最小平方法實(shí)例利用最小平方法得到的估計(jì)迴歸方程式為圖14.4為此方程式的散布圖。估計(jì)迴歸方程式的斜率 (b15) 為正，表示當(dāng)學(xué)生人數(shù)增加時(shí)，銷售

10、額亦會(huì)增加。事實(shí)上，我們可得到結(jié)論是(銷售額單位為 $1000，學(xué)生人數(shù)單位為千人)：學(xué)生人數(shù)每增加 1000 人，每季期望銷售額可提高 $5000；換言之，我們預(yù)期每名學(xué)生可增加 $5 的銷售額。23第14章 簡(jiǎn)單線性迴歸 第507頁(yè) 最小平方法實(shí)例24第14章 簡(jiǎn)單線性迴歸 第507頁(yè) 最小平方法實(shí)例如果我們相信最小平方估計(jì)迴歸方程式能適當(dāng)?shù)孛枋?x 與 y 的關(guān)係，則利用估計(jì)迴歸方程式預(yù)估已知的 x 值所對(duì)應(yīng)的 y 值似乎是很合理的。例如，如果我們要預(yù)測(cè)鄰近學(xué)生人數(shù)為 16,000 人校園的餐廳的每季銷售額，可計(jì)算如下因此，我們將預(yù)期此餐廳每季的銷售額為 $140,000。25第14章

11、簡(jiǎn)單線性迴歸 第507-508頁(yè) 評(píng)註最小平方法提供可使應(yīng)變數(shù)之實(shí)際觀測(cè)值 yi 與其估計(jì)值 的差距平方和為最小之估計(jì)迴歸方程式，此最小平方準(zhǔn)則即是選擇可提供最佳配適(the best fit) 之方程式。若使用其他不同準(zhǔn)則，例如，使 yi 與 之絕對(duì)差距的總和為最小，將得到不同方程式。實(shí)務(wù)上，最小平方法是最廣為使用的方法。26第14章 簡(jiǎn)單線性迴歸 第508頁(yè) 14.3 判定係數(shù)相關(guān)係數(shù)27第14章 簡(jiǎn)單線性迴歸 第514頁(yè) SST、SSR 與 SSE 間的關(guān)係 其中SST = 總平方和SSR = 迴歸平方和SSE = 誤差平方和14.3 判定係數(shù)SST = SSR + SSE28第14章

12、簡(jiǎn)單線性迴歸 第514.515.516頁(yè) 我們?yōu)閬喡_屋的例子建立估計(jì)迴歸方程式 605x 以近似學(xué)生人數(shù) x 與每季銷售額 y 之間的線性關(guān)係。接下來的問題是：此估計(jì)迴歸方程式與這些資料到底有多配適？表 14.3 是亞曼披薩屋的誤差平方和計(jì)算過程。例如，對(duì)餐廳 1 而言，自變數(shù)與應(yīng)變數(shù)之值各為 x1 = 2 和 y1 = 58，利用估計(jì)迴歸方程式，我們發(fā)現(xiàn)餐廳 1 的估計(jì)銷售額是 = 60 + 5(2) = 70。因此，對(duì)餐廳 1 而言，使用 估計(jì) y1 而產(chǎn)生的誤差是 y1 = 5870 = 12 。誤差項(xiàng)的平方 (12)2 = 144 列於表 14.3 的最後一欄。計(jì)算樣本中每一餐廳的

13、殘差項(xiàng)並取平方後，加總得到 SSE = 1530。因此，SSE = 1530 可以用來衡量估計(jì)迴歸方程式 = 60 + 5x 預(yù)測(cè)銷售額時(shí)會(huì)發(fā)生的誤差。判定係數(shù)實(shí)例29第14章 簡(jiǎn)單線性迴歸 第514頁(yè) 判定係數(shù)實(shí)例30第14章 簡(jiǎn)單線性迴歸 第515頁(yè) 判定係數(shù)實(shí)例31第14章 簡(jiǎn)單線性迴歸 第515頁(yè) 判定係數(shù)實(shí)例32第14章 簡(jiǎn)單線性迴歸 第516頁(yè) 判定係數(shù)實(shí)例若已知其中兩個(gè)平方和，就可輕易求得第三個(gè)平方和。以亞曼披薩屋為例，已知 SSE1530 且 SST15,730，因此求出式 (14.11) 中之 SSR，可得迴歸平方和為SSRSSTSSE15,730153014,200完美的配

14、適 (a perfect fit)：SSE = 0最差的配適：SSR0 且 SSESST 時(shí)33第14章 簡(jiǎn)單線性迴歸 第516頁(yè) 判定係數(shù)其中 SSR = 迴歸平方和 SST = 總平方和r2 = SSR/SST判定係數(shù)34第14章 簡(jiǎn)單線性迴歸 第517頁(yè) 判定係數(shù)實(shí)例亞曼披薩屋之例子的判定係數(shù)為我們將判定係數(shù)以百分比表示時(shí)，r2 可被解釋為總平方和中可由估計(jì)迴歸方程式解釋的百分比。就亞曼披薩屋的例子而言，我們可得到的結(jié)論是：以估計(jì)迴歸方程式605x 來預(yù)估銷售額時(shí)，可解釋總平方和的 90.27%。換言之，每季銷售額之變異的 90.27% ，可由學(xué)生人數(shù)與銷售額間的線性關(guān)係來解釋。我們應(yīng)該

15、很高興發(fā)現(xiàn)，估計(jì)迴歸方程式能有如此好的配適度。35第14章 簡(jiǎn)單線性迴歸 第517頁(yè) 樣本相關(guān)係數(shù)其中 b1 = 估計(jì)迴歸方程式 之斜率若估計(jì)迴歸方程式為正斜率 (b10)，則樣本相關(guān)係數(shù)之符號(hào)亦為正；但當(dāng)估計(jì)迴歸方程式為負(fù)斜率時(shí) (b10)，那麼樣本相關(guān)係數(shù)之符號(hào)則為負(fù)。36第14章 簡(jiǎn)單線性迴歸 第517頁(yè) 樣本相關(guān)係數(shù)實(shí)例以亞曼披薩屋為例，估計(jì)迴歸方程式 605x 的判定係數(shù)值為 0.9027。既然估計(jì)迴歸方程式是正斜率，由式 (14.13) 可知樣本相關(guān)係數(shù)為 0.9501。由於樣本相關(guān)係數(shù) rxy 0.9501，所以我們可得到的結(jié)論是 x 與 y 間存在高度線性正相關(guān)。37第14章

16、簡(jiǎn)單線性迴歸 第517頁(yè) 評(píng)註在建立最小平方估計(jì)迴歸方程式與計(jì)算判定係數(shù)時(shí)，我們並未做任何對(duì)誤差項(xiàng) 的機(jī)率假設(shè)，也沒有對(duì) x 與 y 間關(guān)係的顯著性進(jìn)行統(tǒng)計(jì)檢定。r2 較大，只表示最小平方線與資料間的配適程度較高；也就是說觀察值較接近最小平方線。然而，僅使用 r2，我們無法得到 x 與 y 間的關(guān)係是否具統(tǒng)計(jì)顯著性的結(jié)論。只能在考量樣本大小與最小平方估計(jì)量之近似抽樣分配的特性後，方可獲得上述結(jié)論。38第14章 簡(jiǎn)單線性迴歸 第518頁(yè) 評(píng)註從實(shí)務(wù)的觀點(diǎn)而言，社會(huì)科學(xué)的典型資料，判定係數(shù)只要達(dá) 0.25 即被認(rèn)為是相當(dāng)有用的。但物理與生命科學(xué)之資料，?？砂l(fā)現(xiàn) 0.60 甚至更大的判定係數(shù)；事實(shí)上

17、，有些案例的判定係數(shù)可能在 0.90 以上。在商業(yè)的運(yùn)用上，r2 差異甚大，端視每個(gè)應(yīng)用的特性而定。39第14章 簡(jiǎn)單線性迴歸 第518頁(yè) y = 0 + 1x + 14.4 模型假設(shè)40第14章 簡(jiǎn)單線性迴歸 第521頁(yè) 誤差項(xiàng) 為隨機(jī)變數(shù)，平均數(shù)或期望值為 0；即 E() = 0。對(duì)所有 x 值而言， 之變異數(shù) (表示為 2) 均相同。 值是互相獨(dú)立的。誤差項(xiàng) 為常態(tài)分配的隨機(jī)變數(shù)。關(guān)於迴歸模型中誤差項(xiàng) 的相關(guān)假設(shè)第14章 簡(jiǎn)單線性迴歸 第521頁(yè) 關(guān)於迴歸模型中誤差項(xiàng) 的相關(guān)假設(shè)涵義既然 0 與 1 為常數(shù)，E(0) = 0 且 E(1) =1 ；因此，對(duì)已知的 x 值，y 之期望值為E

18、(y) = 0 + 1x回歸線 y 的變異數(shù)變異數(shù)等於 2。而且對(duì)所有 x 值此值均相同。特定 x 值之 與其他 x 值不相關(guān)的，因此特定 x 值對(duì)應(yīng)之 y 值亦與任何其他 x 值對(duì)應(yīng)之 y 值無關(guān)。因 y 為 之線性函數(shù)，故對(duì)所有 x 值而言，y 亦為來自常態(tài)分配的隨機(jī)變數(shù)。42第14章 簡(jiǎn)單線性迴歸 第521頁(yè) 模型假設(shè)43第14章 簡(jiǎn)單線性迴歸 第522頁(yè) 14.5 顯著性檢定 2 的估計(jì)值 t 檢定 1 的信賴區(qū)間 F 檢定 解釋顯著性檢定時(shí)的注意事項(xiàng)44第14章 簡(jiǎn)單線性迴歸 第521-528頁(yè) 顯著性檢定為檢定是否存在顯著的迴歸關(guān)係，我們必須進(jìn)行 1是否為 0 的假設(shè)檢定。兩種普遍

19、被使用的檢定： t 檢定與F 檢定有兩種常用的檢定方法，都必須先估計(jì)迴歸模型中的變異數(shù) 2。45第14章 簡(jiǎn)單線性迴歸 第521頁(yè) 2 的估計(jì)值MSE 之值可做為 2 的估計(jì)值，所以亦記作符號(hào) s2。誤差均方 ( 2 的估計(jì)值)其中46第14章 簡(jiǎn)單線性迴歸 第522頁(yè) 為了估計(jì) ，我們?nèi)?s2 的平方根所算出之 s 值稱為估計(jì)值的標(biāo)準(zhǔn)誤 (standard error of the estimate)。估計(jì)值的標(biāo)準(zhǔn)誤 2 的估計(jì)值47第14章 簡(jiǎn)單線性迴歸 第523頁(yè) b1 的抽樣分配14.3 節(jié)已算出亞曼披薩屋的 SSE1530，因此這是 2 的不偏估計(jì)值。48第14章 簡(jiǎn)單線性迴歸 第5

20、22-523頁(yè) 期望值標(biāo)準(zhǔn)差分配形式：常態(tài) b1 的抽樣分配49第14章 簡(jiǎn)單線性迴歸 第523頁(yè) b1 的估計(jì)標(biāo)準(zhǔn)差 b1 的抽樣分配50第14章 簡(jiǎn)單線性迴歸 第524頁(yè) 假設(shè)檢定 檢定統(tǒng)計(jì)量t 檢定51第14章 簡(jiǎn)單線性迴歸 第524頁(yè) 拒絕法則其中，t/2係依自由度 n 2 之 t 分配求得。若 t t/2 或若 t t/2，則拒絕 H0t 檢定p 值法：臨界值法：若 p 值 ，則拒絕 H052第14章 簡(jiǎn)單線性迴歸 第524頁(yè) t 檢定實(shí)例假設(shè)亞曼披薩屋使用另 外 10 家不同餐廳組成之樣本的銷售資料，此新樣本的迴歸分析得到新的估計(jì)迴歸方程式，類似先前的估計(jì)迴歸方程式 605x。然而

21、，我們是否可得到完全相同的方程式 (截距恰為 60，斜率恰為 5) 則非常值得懷疑。事實(shí)上，最小平方估計(jì)量 b0 與 b1 是有自己抽樣分配的樣本統(tǒng)計(jì)量。以亞曼披薩屋為例，s13.829，因此利用表 14.2 的結(jié)果，可得：做為 b1 的估計(jì)標(biāo)準(zhǔn)差。53第14章 簡(jiǎn)單線性迴歸 第523-524頁(yè) 1. 建立假設(shè)檢定2. 界定顯著水準(zhǔn)3. 選擇統(tǒng)計(jì)檢定量 = 0.014. 宣告拒絕法則拒絕 H0 若 p 值 0.01或 | t | 3.355 (自由度為 10 2 = 8)t 檢定實(shí)例54第14章 簡(jiǎn)單線性迴歸 第523-524頁(yè) 5. 計(jì)算統(tǒng)計(jì)檢定量的值6. 決定是否拒絕 H0t 檢定實(shí)例t

22、值為 3.355 的右尾面積是 0.005。因此，對(duì)應(yīng)於檢定統(tǒng)計(jì)量 t8.62 的右尾面積必小於 0.005。由於此檢定為雙尾檢定，我們將此值加倍後，可得到結(jié)論為與 t8.62 相對(duì)應(yīng)的 p 值必小於 2(0.005)0.01。Excel 顯示 p 值是 0.000。由於 p 值 0.01，所以拒絕 H0，結(jié)論是 1 不等於 0。統(tǒng)計(jì)證據(jù)已足夠讓我們得到以下的結(jié)論：學(xué)生人數(shù)與每季銷售額存在顯著的關(guān)係。55第14章 簡(jiǎn)單線性迴歸 第524頁(yè) 1 的信賴區(qū)間我們可以以 t 分配利用 1 的 95% 信賴區(qū)間來檢定 假設(shè)檢定如果 1 的檢定值並不在 1的信賴區(qū)間內(nèi)，則拒絕H056第14章 簡(jiǎn)單線性迴

23、歸 第525頁(yè) 1 的信賴區(qū)間1 的信賴區(qū)間的形式如下：信賴係數(shù)是1 ， t/2 是右尾面積為 /2的 t 值，t 分配的自由度是 n 2。b1是點(diǎn)估計(jì)量 是邊際誤差57第14章 簡(jiǎn)單線性迴歸 第525頁(yè) 1 的信賴區(qū)間實(shí)例例如，我們?nèi)粢獙?duì)亞曼披薩屋的 1 的 99% 信賴區(qū)間。由附錄 B 的表 2 可知，對(duì)應(yīng)於 0.01及 n 210 28 的自由度，t0.0053.355。因此，1的 99% 信賴區(qū)間估計(jì)值是 或者是 3.05 到 6.95。58第14章 簡(jiǎn)單線性迴歸 第525頁(yè) 1 的信賴區(qū)間實(shí)例在 0.01 的顯著水準(zhǔn)下，我們也可以用 99% 信賴區(qū)間對(duì)亞曼披薩屋的假設(shè)檢定提出結(jié)論。由

24、於 1 的假設(shè)值為 0，並不在信賴區(qū)間 3.05 到 6.95 之間，我們可以拒絕虛無假設(shè) H0，得到的結(jié)論是：學(xué)生人數(shù)與每季銷售額間的確有統(tǒng)計(jì)上的顯著關(guān)係。一般而言，信賴區(qū)間可以用來檢定任何有關(guān)1 的雙尾檢定。如果 1 的假設(shè)值落在信賴區(qū)間，就不拒絕 H0，否則就拒絕 H0。59第14章 簡(jiǎn)單線性迴歸 第525頁(yè) 假設(shè)檢定統(tǒng)計(jì)檢定量F = MSR/MSEF 檢定60第14章 簡(jiǎn)單線性迴歸 第526頁(yè) 拒絕法則其中，F(xiàn)係依分子自由度為 1，分母自由度為 n2的 F 分配求得。F 檢定若 F F，則拒絕 H0p 值法：臨界值法：若 p 值 ，則拒絕 H061第14章 簡(jiǎn)單線性迴歸 第526頁(yè) F

25、 = MSR/MSE1. 建立假設(shè)檢定2. 界定顯著水準(zhǔn)3. 選擇統(tǒng)計(jì)檢定量 = 0.014. 宣告拒絕法則拒絕 H0 若 p 值 0.01或 F 74.25 (自由度為 10 2 = 8)F 檢定實(shí)例62第14章 簡(jiǎn)單線性迴歸 第525-526頁(yè) F = MSR/MSE = 14,200/191.25=74.25F 檢定實(shí)例5. 計(jì)算統(tǒng)計(jì)檢定量的值6. 決定是否拒絕 H0F74.25 的右尾面積必然小於 0.01。因此，我們亦可得到p 值必小於 0.01 的結(jié)論。Excel 軟體顯示 p 值0.000。因 p 值小於 0.01，故拒絕 H0 且可得到以下結(jié)論：學(xué)生人數(shù)與每季銷售額間存在顯著關(guān)

26、係。63第14章 簡(jiǎn)單線性迴歸 第525-526頁(yè) F 檢定實(shí)例64第14章 簡(jiǎn)單線性迴歸 第527頁(yè) F 檢定實(shí)例65第14章 簡(jiǎn)單線性迴歸 第527頁(yè) 拒絕虛無假設(shè) H0：10 而得到 x 和 y 之間存在顯著關(guān)係的結(jié)論，並不等於認(rèn)定 x 與 y 間有因果關(guān)係。只有分析人員可以根據(jù)某些理論上的證據(jù)來認(rèn)定關(guān)係具因果性時(shí)，才可確保因果關(guān)係的成立。僅因可拒絕 H0：10 並證明存在統(tǒng)計(jì)顯著性，並不能認(rèn)定 x 與 y 有線性關(guān)係。我們僅能說 x 與 y 有相互關(guān)係，且在樣本中所觀察到的 x 範(fàn)圍內(nèi)，線性關(guān)係解釋了大部分 y 的變異。解釋顯著性檢定時(shí)的注意事項(xiàng)66第14章 簡(jiǎn)單線性迴歸 第527頁(yè)

27、解釋顯著性檢定時(shí)的注意事項(xiàng)67第14章 簡(jiǎn)單線性迴歸 第528頁(yè) 誤差項(xiàng)的相關(guān)假設(shè) (14.4 節(jié)) 是本節(jié)進(jìn)行顯著性檢定的必要假設(shè)。根據(jù)這些假設(shè)，我們才能得到 b1之抽樣分配的特性與之後的 t 檢定與 F 檢定。不要將統(tǒng)計(jì)上的顯著性與實(shí)務(wù)上的顯著性混為一談。當(dāng)樣本數(shù)很大時(shí)，即使對(duì)很小的 b1 值亦可能得到統(tǒng)計(jì)顯著的結(jié)果；我們?cè)诖饲樾蜗?，必須小心判斷此關(guān)係是否具實(shí)務(wù)的顯著性。評(píng)註68第14章 簡(jiǎn)單線性迴歸 第528頁(yè) 我們也可以利用樣本相關(guān)係數(shù) rxy 來進(jìn)行 x 與 y 間線性關(guān)係的顯著性檢定。令 xy 表示母體相關(guān)係數(shù)，則檢定的假設(shè)如下：H0：xy = 0Ha：xy 0若拒絕 H0，則結(jié)論

28、是存在顯著關(guān)係。然而，本節(jié)介紹的 t 檢定和 F 檢定的結(jié)果，與利用相關(guān)係數(shù)進(jìn)行顯著性檢定的結(jié)果相同。因此，已進(jìn)行 t 檢定或 F 檢定時(shí)，就不需再利用相關(guān)係數(shù)進(jìn)行顯著性檢定。評(píng)註69第14章 簡(jiǎn)單線性迴歸 第528頁(yè) 區(qū)間估計(jì) y 的平均數(shù)之信賴區(qū)間 個(gè)別 y 值的預(yù)測(cè)區(qū)間14.6 利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測(cè)70第14章 簡(jiǎn)單線性迴歸 第531-535頁(yè) E(y*) 的信賴區(qū)間yp 的預(yù)測(cè)區(qū)間其中，信賴係數(shù)為1 ，且 t/2 係由自由度 n 2 的 t 分配查表而得。利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測(cè)71第14章 簡(jiǎn)單線性迴歸 第532.534頁(yè) 在亞曼披薩屋的例子中，對(duì) x10 (即

29、10,000 個(gè)學(xué)生) 預(yù)測(cè)此間餐廳的每季銷售額為即 $110,000。點(diǎn)估計(jì)實(shí)例72第14章 簡(jiǎn)單線性迴歸 第531頁(yè) x* 自變數(shù) x 的已知值y* 表示依變數(shù) y 的可能值的隨機(jī)變數(shù)，當(dāng) x = x* 時(shí)E(y*) 依變數(shù) y 的平均數(shù)或期望值，當(dāng) x = x* 時(shí) b0 + b1x* E(y*)的點(diǎn)估計(jì)值，以及當(dāng) x = x* 時(shí) y* 的個(gè)別值之預(yù)測(cè)量E(yp) 的信賴區(qū)間實(shí)例73第14章 簡(jiǎn)單線性迴歸 第531頁(yè) 估計(jì) 之變異數(shù)時(shí)的公式，記作 標(biāo)準(zhǔn)差的估計(jì)值，公式如下 E(yp) 的信賴區(qū)間實(shí)例74第14章 簡(jiǎn)單線性迴歸 第532頁(yè) 求算學(xué)生人數(shù) 10,000 人之校園的所有亞曼披

30、薩屋平均每季銷售額的 95% 信賴區(qū)間時(shí)，需要知道對(duì)應(yīng)於/20.025 與自由度為 n21028 之值。查附錄 B 的表 2，可得 t/2 2.306。以美元來表示為 $110,000 $11,415。因此，當(dāng)學(xué)生人數(shù)是 10,000人時(shí)，每季平均銷售額的信賴區(qū)間估計(jì)值為 $98,585 至 $121,415。110 11.415 = $98.585 至 $121.415E(y*) 的信賴區(qū)間實(shí)例75第14章 簡(jiǎn)單線性迴歸 第532頁(yè) E(y*) 的信賴區(qū)間實(shí)例76第14章 簡(jiǎn)單線性迴歸 第533頁(yè) 個(gè)別 y 值的預(yù)測(cè)區(qū)間估計(jì)實(shí)例77第14章 簡(jiǎn)單線性迴歸 第534頁(yè) 利用 t0.0252.3

31、06 與 spred14.69，可求得鄰近 Talbot 學(xué)院之亞曼披薩屋的季銷售額的 95%預(yù)測(cè)區(qū)間以美元來表示，預(yù)測(cè)區(qū)間為 $110,000 $33,875或 $76,125 至 $143,875。注意：相較於鄰近學(xué)生人數(shù) 10,000 人之校園的所有餐廳平均季銷售額的信賴區(qū)間，鄰近 Talbot 學(xué)院的新餐廳的預(yù)測(cè)區(qū)間較寬。此差異反映的是，比起預(yù)測(cè) y 的個(gè)別值，預(yù)測(cè) y 之平均數(shù)會(huì)比較準(zhǔn)確。110 33.875 = 76.125 至 143.875個(gè)別 y 值的預(yù)測(cè)區(qū)間估計(jì)實(shí)例78第14章 簡(jiǎn)單線性迴歸 第534頁(yè) 預(yù)測(cè)區(qū)間用來預(yù)測(cè)對(duì)應(yīng)新的觀察值的應(yīng)變數(shù) y 的值。如前述說明如何為鄰近

32、有 10,000 名學(xué)生校園的亞曼新餐廳之季銷售額建立預(yù)測(cè)區(qū)間。x = 10 不在表 14.1 的亞曼餐廳樣本資料中，這並不意味著不能為樣本資料中的 x 值建立預(yù)測(cè)區(qū)間。但是，為表 14.1 的 10 間餐廳的任何一間建立季銷售額的預(yù)測(cè)區(qū)間是沒有意義的，因?yàn)槲覀円呀?jīng)知道這 10 家餐廳的真正銷售額。換言之，對(duì)某些新的，或以此例而言是對(duì)於不一定在樣本資料中的某特定 x 值的新觀察值而言，預(yù)測(cè)區(qū)間才有意義。評(píng)註79第14章 簡(jiǎn)單線性迴歸 第535頁(yè) x 的殘差圖 的殘差圖 標(biāo)準(zhǔn)化殘差 常態(tài)機(jī)率圖14.7 殘差分析：驗(yàn)證模型假設(shè)80第14章 簡(jiǎn)單線性迴歸 第538-544頁(yè) 殘差分析 (residu

33、al analysis) 是判定假設(shè)之迴歸模型是否適當(dāng)?shù)闹饕ぞ摺Ｋ绻@些關(guān)於誤差項(xiàng) 的假設(shè)有問題的話，有關(guān)迴歸關(guān)係顯著性的假設(shè)檢定與區(qū)間估計(jì)的結(jié)果就可能是無效的。殘差值提供有關(guān) 的最佳訊息，因此殘差分析是決定的假設(shè)是否恰當(dāng)?shù)闹匾襟E。第 i 個(gè)觀察值的殘差殘差分析大多以圖形檢查為基礎(chǔ)。殘差分析：驗(yàn)證模型假設(shè)81第14章 簡(jiǎn)單線性迴歸 第538頁(yè) 殘差分析：驗(yàn)證模型假設(shè)關(guān)於誤差項(xiàng) 的假設(shè) E()0。 之變異數(shù)，表示為 2，對(duì)所有 x 值均相同。 值互相獨(dú)立。誤差項(xiàng) 服從常態(tài)分配。82第14章 簡(jiǎn)單線性迴歸 第538頁(yè) 殘差分析：驗(yàn)證模型假設(shè)83第14章 簡(jiǎn)單線性迴歸 第538頁(yè) 殘差分析：驗(yàn)

34、證模型假設(shè)84第14章 簡(jiǎn)單線性迴歸 第539頁(yè) 對(duì)應(yīng) x 值的殘差圖幾種殘差圖的形式，若對(duì)所有的 x 值85 之變異數(shù)均相等的假設(shè)成立且此一迴歸模型可充分表達(dá)兩變數(shù)間的關(guān)係，則殘差圖應(yīng)呈現(xiàn)類似水平帶狀的圖形，如圖 14.12 中之圖 A。 的變異數(shù)並不完全相同，例如，當(dāng) x 值較大時(shí)，對(duì)迴歸線的變異亦較大的話，將會(huì)看到類似圖 14.12 的圖 B，此時(shí)， 的變異數(shù)固定的假設(shè)並不成立。另一種可能的殘差圖如圖 C 所示，此時(shí)，可得結(jié)論為：所假設(shè)的模型並不適合表示變數(shù)間的關(guān)係。我們應(yīng)考慮曲線 (curvilinear) 迴歸模型或複迴歸模型。第14章 簡(jiǎn)單線性迴歸 第539頁(yè) x0良好模式殘差對(duì)應(yīng)

35、 x 值的殘差圖 (圖14.11(A)86第14章 簡(jiǎn)單線性迴歸 第540頁(yè) x0殘差變異數(shù)不為常數(shù)對(duì)應(yīng) x 值的殘差圖 (圖14.11(B)87第14章 簡(jiǎn)單線性迴歸 第540頁(yè) x0殘差迴歸模式不適當(dāng)對(duì)應(yīng) x 值的殘差圖 (圖14.11(C)88第14章 簡(jiǎn)單線性迴歸 第540頁(yè) 對(duì)應(yīng) x 值的殘差圖實(shí)例回到圖 14.10 亞曼披薩屋的殘差圖。這些殘差近似圖 14.11 中圖 A 之水平形式，因此我們可以得到的結(jié)論是：此殘差圖並未提供足以對(duì)亞曼披薩屋迴歸模型所做之假設(shè)產(chǎn)生質(zhì)疑的證據(jù)。因而，我們對(duì)於結(jié)論可以有信心，結(jié)論是：亞曼披薩屋的簡(jiǎn)單線性迴歸模型是有效的。89第14章 簡(jiǎn)單線性迴歸 第5

36、39-540頁(yè) 另一種殘差圖的橫軸是應(yīng)變數(shù) 的預(yù)測(cè)值，縱軸是殘差值。每個(gè)殘差值在圖形上以一個(gè)點(diǎn)來表示。圖 14.12 是殘差圖。圖 14.12 的形式與對(duì)應(yīng) x 的殘差圖相同。此形式讓我們不必質(zhì)疑模型假設(shè)的有效性。對(duì)簡(jiǎn)單線性迴歸而言，對(duì)應(yīng) 的殘差圖與對(duì)應(yīng) x 的殘差圖提供相同訊息。對(duì)複迴歸分析而言，由於出現(xiàn)一個(gè)以上的自變數(shù)，所以我們較常使用對(duì)應(yīng) 的殘差圖。對(duì)應(yīng) 值的殘差圖90第14章 簡(jiǎn)單線性迴歸 第541頁(yè) 對(duì)應(yīng) 值的殘差圖91第14章 簡(jiǎn)單線性迴歸 第541頁(yè) 標(biāo)準(zhǔn)化殘差大部分電腦軟體提供的殘差圖是使用標(biāo)準(zhǔn)化殘差。我們?cè)谇皫渍抡勥^，可以將隨機(jī)變數(shù)減去平均數(shù)再除以其標(biāo)準(zhǔn)差，即將隨機(jī)變數(shù)標(biāo)準(zhǔn)化

37、。運(yùn)用最小平方法，殘差的平均值是 0 。因此，只要將每個(gè)殘差除以其標(biāo)準(zhǔn)差就可得到標(biāo)準(zhǔn)化殘差 (standardized residual) 。92第14章 簡(jiǎn)單線性迴歸 第541頁(yè) 第 i 個(gè)殘差的標(biāo)準(zhǔn)差其中第 i 個(gè)觀察值的標(biāo)準(zhǔn)化殘差標(biāo)準(zhǔn)化殘差 s = 估計(jì)值的標(biāo)準(zhǔn)誤93第14章 簡(jiǎn)單線性迴歸 第541-542頁(yè) 標(biāo)準(zhǔn)化殘差94第14章 簡(jiǎn)單線性迴歸 第542頁(yè) 標(biāo)準(zhǔn)化殘差95第14章 簡(jiǎn)單線性迴歸 第543頁(yè) 常態(tài)機(jī)率圖另一個(gè)決定誤差項(xiàng)是常態(tài)分配的假設(shè)是否有效的方法為常態(tài)機(jī)率圖(normal probability plot) 。為了說明如何繪製常態(tài)機(jī)率圖，我們先介紹常態(tài)分?jǐn)?shù)(normal

38、 scores) 的概念。假定我們由平均數(shù) 0、標(biāo)準(zhǔn)差 1 的常態(tài)機(jī)率分配中隨機(jī)抽取 10 個(gè)值，並將 10 個(gè)數(shù)由小到大排列，而且抽樣過程不斷重複。我們現(xiàn)在只考慮每組樣本中的最小值。表示重複抽樣過程中每組樣本的最小值的隨機(jī)變數(shù)稱一階統(tǒng)計(jì)量 (first-order statistic)。96第14章 簡(jiǎn)單線性迴歸 第543頁(yè) 常態(tài)機(jī)率圖統(tǒng)計(jì)學(xué)家已證明，對(duì)於來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配，樣本大小為 10 的隨機(jī)樣本而言，一階統(tǒng)計(jì)量的期望值是1.55。這個(gè)期望值稱為常態(tài)分?jǐn)?shù)。如果樣本大小為 10，就有 10 階的統(tǒng)計(jì)量，以及 10 個(gè)常態(tài)分?jǐn)?shù) (見表 14.9)。一般而言，如果資料集有 n 個(gè)觀察值，就

39、有 n 階統(tǒng)計(jì)量及 n 個(gè)常態(tài)分?jǐn)?shù)。97第14章 簡(jiǎn)單線性迴歸 第543頁(yè) 常態(tài)機(jī)率圖實(shí)例我們現(xiàn)在要說明，如何用 10 個(gè)常態(tài)分?jǐn)?shù)來決定亞曼披薩屋的標(biāo)準(zhǔn)化殘差是否來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配。先將表 14.8 的 10 個(gè)標(biāo)準(zhǔn)化殘差排序，並將排序後的標(biāo)準(zhǔn)化殘差及常態(tài)分?jǐn)?shù)都列於表 14.10。若常態(tài)分配的假設(shè)成立，最小的標(biāo)準(zhǔn)化殘差應(yīng)該很接近最小的常態(tài)分?jǐn)?shù)，次小的標(biāo)準(zhǔn)化殘差應(yīng)該很接近次小的常態(tài)分?jǐn)?shù)，依此類推。若以常態(tài)分?jǐn)?shù)為橫軸，對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差為縱軸，在圖上以點(diǎn)表示，如果標(biāo)準(zhǔn)的亞曼披薩屋之常態(tài)分?jǐn)?shù)及排序後標(biāo)準(zhǔn)化殘差趨近常態(tài)分配時(shí)，資料點(diǎn)應(yīng)聚集在通過原點(diǎn)呈 45 度的直線附近。此圖形排序後稱為常態(tài)機(jī)率圖 (

40、normal probability plot) 。98第14章 簡(jiǎn)單線性迴歸 第543頁(yè) 常態(tài)機(jī)率圖實(shí)例99第14章 簡(jiǎn)單線性迴歸 第543頁(yè) 常態(tài)機(jī)率圖實(shí)例圖 14.14 是亞曼披薩屋的常態(tài)機(jī)率圖。我們要判斷圖形與 45 度線的偏差，是否足以讓我們認(rèn)為標(biāo)準(zhǔn)化殘差不是來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配。圖 14.14 的點(diǎn)十分靠近 45 度線，因此我們的結(jié)論是誤差項(xiàng)呈常態(tài)分配的假設(shè)是合理的。通常，點(diǎn)愈靠近 45 度線，支持常態(tài)分配假設(shè)的證據(jù)就愈強(qiáng)。任何常態(tài)機(jī)率圖若呈現(xiàn)相當(dāng)程度的彎曲，即為殘差項(xiàng)不是常態(tài)分配的證據(jù)。利用 Minitab 之類的統(tǒng)計(jì)軟體可以輕易得到常態(tài)分?jǐn)?shù)與對(duì)應(yīng)的常態(tài)機(jī)率圖。 100第14章 簡(jiǎn)單線性迴歸 第543-544頁(yè) 常態(tài)機(jī)率圖實(shí)例101第14章 簡(jiǎn)單線性迴歸 第544頁(yè) 評(píng)註我們用殘差及常態(tài)機(jī)率圖來驗(yàn)證迴歸模型的假設(shè)是否成立。如果檢驗(yàn)的結(jié)果顯示，有一個(gè)或更多的假設(shè)是有問題的，就應(yīng)該考慮使用另一個(gè)迴歸模型或者將資料的形式進(jìn)行轉(zhuǎn)換。迴歸模型的假設(shè)不成立時(shí)，該採(cǎi)取何種修正行動(dòng)，需要分析人員的良好判斷，經(jīng)驗(yàn)豐富的統(tǒng)計(jì)人員的建議是很有價(jià)值的。殘差分析係統(tǒng)計(jì)學(xué)者用以驗(yàn)證迴歸模型之假設(shè)是否成立的最主要方法。即使在不違反任何假設(shè)之情