線性回歸模型的矩陣方法演示文稿

線性回歸模型的矩陣方法演示文稿當(dāng)前第1頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)優(yōu)選線性回歸模型的矩陣方法當(dāng)前第2頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)本章介紹用矩陣代數(shù)符號(hào)來(lái)表示經(jīng)典線性回歸模型。本章除矩陣模型之外，不涉及新概念。矩陣代數(shù)最大的優(yōu)越性在于，它為處理任意多個(gè)變量的回歸模型提供了一種簡(jiǎn)潔的方法。本章需要具有行列式和矩陣代數(shù)的數(shù)學(xué)基礎(chǔ)，請(qǐng)各位同學(xué)自行復(fù)習(xí)相關(guān)知識(shí)。在本章的講授過(guò)程中所遇到的有關(guān)矩陣計(jì)算的定理和結(jié)論，不再一一證明，請(qǐng)自行參考有關(guān)書(shū)籍。當(dāng)前第3頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.1k變量的線性回歸模型如果我們把雙變量和三變量的回歸模型進(jìn)行推廣，則包含應(yīng)變量Y和k-1個(gè)解釋變量X2，X3，…，Xk的總體回歸函數(shù)（PRF）表達(dá)為：其中，β1截距，β2

到βk是偏斜率（回歸）系數(shù)，u是隨機(jī)干擾項(xiàng)，i是第i次觀測(cè)，n為總體大小?？傮w回歸函數(shù)如同以前那樣解釋：給定了X2，X3，…，Xk的固定值（在重復(fù)抽樣中）為條件的Y的均值或期望值。PRF還可以表達(dá)為：當(dāng)前第4頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)上述表達(dá)式，如果寫(xiě)出矩陣的形式：這樣，我們把下述方程表達(dá)稱之為：一般（k變量）線性模型的矩陣表現(xiàn)：如果矩陣和向量的各個(gè)維數(shù)或階不會(huì)引起誤解，則可以簡(jiǎn)單寫(xiě)作：y：對(duì)應(yīng)變量Y觀測(cè)值的n×1列向量。X：給出對(duì)k-1個(gè)變量X2至Xk的那次觀測(cè)值的n×k矩陣，其全為1的列表示截距項(xiàng)。此陣又稱為數(shù)據(jù)矩陣。β：未知參數(shù)β1

到βk的k×1列向量。u：n個(gè)干擾ui的n×1列向量。當(dāng)前第5頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.2經(jīng)典回歸模型的假定的矩陣表達(dá)1.殘差期望為零2.同方差性和無(wú)序列相關(guān)性u(píng)’是列向量u的轉(zhuǎn)置或者一個(gè)行向量。做向量乘法：當(dāng)前第6頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)由于同方差性和無(wú)序列相關(guān)性，我們得到干擾項(xiàng)ui的方差-協(xié)方差矩陣。此陣的主對(duì)角線（由左上角到右下角）上的元素給出方差，其他元素給出協(xié)方差。注意方差-協(xié)方差矩陣的對(duì)稱性。其中I是一個(gè)恒等矩陣。當(dāng)前第7頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)3.X是非隨機(jī)的。我們的分析是條件回歸分析，是以各個(gè)X變量的固定值作為條件的。4.無(wú)多重共線性無(wú)多重共線性是指矩陣X是列滿秩的，即其矩陣的秩等于矩陣的列數(shù)，意思是，X矩陣的列是線性獨(dú)立的。存在一組不全為零的數(shù)λ1λ2…λk，使得：用矩陣來(lái)表示：5.向量u有一多維正態(tài)分布，即：當(dāng)前第8頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.3OLS估計(jì)我們先寫(xiě)出k變量樣本回歸函數(shù)：如同前面的分析，我們也是從殘差平方和的最小化來(lái)進(jìn)行的：當(dāng)前第9頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)為了使得殘差平方和盡可能的小，我們?nèi)匀皇菍?duì)參數(shù)β1到βk微分，并令微分的結(jié)果表達(dá)式為零，同樣得到最小二乘理論的正則方程：k個(gè)未知數(shù)的k個(gè)聯(lián)立方程。當(dāng)前第10頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)整理后：注意(X’X)矩陣的特點(diǎn)：1.主對(duì)角線是元素的平方和；2.因?yàn)閄2i與X3i之間的交叉乘積就是之間X3i與X2i的交叉乘積，因此矩陣的對(duì)稱的；3.它的階數(shù)是（k×k），就是k行與k列。當(dāng)前第11頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)上述方程是用矩陣符號(hào)來(lái)表示的OLS理論的一個(gè)基本結(jié)果。上述方程也能夠通過(guò)u’u對(duì)β的微分直接求得，請(qǐng)大家自行參考相關(guān)文獻(xiàn)。當(dāng)前第12頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)一個(gè)例子：收入-消費(fèi)Y1X7080651009012095140110160115180120200140220155240150260當(dāng)前第13頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)

的方差-協(xié)方差矩陣矩陣方法不僅能使我們導(dǎo)出的任意元素的方差公式，還求出的任意兩元素和的協(xié)方差。我們需要用這些方差和協(xié)方差來(lái)做統(tǒng)計(jì)推斷。定義：參考相關(guān)資料，上述方差-協(xié)方差矩陣可以從下述公式計(jì)算：當(dāng)前第14頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)其中是ui的共同方差，而就是出現(xiàn)在OLS估計(jì)量方程中的逆矩陣。和前面一樣，用其無(wú)偏估計(jì)量來(lái)替代：的計(jì)算原理上可以從估計(jì)的殘差中算出，但實(shí)踐中更愿意按照下述方法直接得到。回顧：當(dāng)前第15頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)

一項(xiàng)被稱為均值校正值。因此：一旦得到則就容易計(jì)算。回到我們的例子中：當(dāng)前第16頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.4用矩陣來(lái)表示判定系數(shù)R2當(dāng)前第17頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.5關(guān)于個(gè)別回歸系數(shù)的假設(shè)檢驗(yàn)的矩陣表達(dá)我們?cè)?jīng)假設(shè)每一個(gè)ui都服從均值為0和不變方差的正態(tài)分布。用矩陣符號(hào)來(lái)表示，為：其中，u和0都是n×1列向量，I是n×n恒定矩陣，0是零向量。在k階回歸模型中，我們可以證明：由于實(shí)際的未知，我們使用估計(jì)量，就要用到從正態(tài)分布到t分布的的轉(zhuǎn)換，這樣每一個(gè)元素都遵循n-k個(gè)自由度的t分布。利用t分布來(lái)檢驗(yàn)關(guān)于真值的假設(shè)，并建立它的置信區(qū)間，具體的方法我們?cè)谇懊嬉呀?jīng)討論過(guò)，這里不再重復(fù)。當(dāng)前第18頁(yè)\共有19頁(yè)\編于星期四\6點(diǎn)4.6檢驗(yàn)總體回歸的總顯著性：用矩陣表示的方差分析方差分析（ANOVA）用以（1）檢驗(yàn)回歸估計(jì)的總顯著性，即檢驗(yàn)全部（