線性回歸模型的矩陣方法演示文稿

線性回歸模型的矩陣方法演示文稿本文檔共19頁；當前第1頁；編輯于星期日\21點54分優(yōu)選線性回歸模型的矩陣方法本文檔共19頁；當前第2頁；編輯于星期日\21點54分本章介紹用矩陣代數(shù)符號來表示經(jīng)典線性回歸模型。本章除矩陣模型之外，不涉及新概念。矩陣代數(shù)最大的優(yōu)越性在于，它為處理任意多個變量的回歸模型提供了一種簡潔的方法。本章需要具有行列式和矩陣代數(shù)的數(shù)學基礎，請各位同學自行復習相關知識。在本章的講授過程中所遇到的有關矩陣計算的定理和結論，不再一一證明，請自行參考有關書籍。本文檔共19頁；當前第3頁；編輯于星期日\21點54分4.1k變量的線性回歸模型如果我們把雙變量和三變量的回歸模型進行推廣，則包含應變量Y和k-1個解釋變量X2，X3，…，Xk的總體回歸函數(shù)（PRF）表達為：其中，β1截距，β2

到βk是偏斜率（回歸）系數(shù)，u是隨機干擾項，i是第i次觀測，n為總體大小?？傮w回歸函數(shù)如同以前那樣解釋：給定了X2，X3，…，Xk的固定值（在重復抽樣中）為條件的Y的均值或期望值。PRF還可以表達為：本文檔共19頁；當前第4頁；編輯于星期日\21點54分上述表達式，如果寫出矩陣的形式：這樣，我們把下述方程表達稱之為：一般（k變量）線性模型的矩陣表現(xiàn)：如果矩陣和向量的各個維數(shù)或階不會引起誤解，則可以簡單寫作：y：對應變量Y觀測值的n×1列向量。X：給出對k-1個變量X2至Xk的那次觀測值的n×k矩陣，其全為1的列表示截距項。此陣又稱為數(shù)據(jù)矩陣。β：未知參數(shù)β1

到βk的k×1列向量。u：n個干擾ui的n×1列向量。本文檔共19頁；當前第5頁；編輯于星期日\21點54分4.2經(jīng)典回歸模型的假定的矩陣表達1.殘差期望為零2.同方差性和無序列相關性u’是列向量u的轉(zhuǎn)置或者一個行向量。做向量乘法：本文檔共19頁；當前第6頁；編輯于星期日\21點54分由于同方差性和無序列相關性，我們得到干擾項ui的方差-協(xié)方差矩陣。此陣的主對角線（由左上角到右下角）上的元素給出方差，其他元素給出協(xié)方差。注意方差-協(xié)方差矩陣的對稱性。其中I是一個恒等矩陣。本文檔共19頁；當前第7頁；編輯于星期日\21點54分3.X是非隨機的。我們的分析是條件回歸分析，是以各個X變量的固定值作為條件的。4.無多重共線性無多重共線性是指矩陣X是列滿秩的，即其矩陣的秩等于矩陣的列數(shù)，意思是，X矩陣的列是線性獨立的。存在一組不全為零的數(shù)λ1λ2…λk，使得：用矩陣來表示：5.向量u有一多維正態(tài)分布，即：本文檔共19頁；當前第8頁；編輯于星期日\21點54分4.3OLS估計我們先寫出k變量樣本回歸函數(shù)：如同前面的分析，我們也是從殘差平方和的最小化來進行的：本文檔共19頁；當前第9頁；編輯于星期日\21點54分為了使得殘差平方和盡可能的小，我們?nèi)匀皇菍?shù)β1到βk微分，并令微分的結果表達式為零，同樣得到最小二乘理論的正則方程：k個未知數(shù)的k個聯(lián)立方程。本文檔共19頁；當前第10頁；編輯于星期日\21點54分整理后：注意(X’X)矩陣的特點：1.主對角線是元素的平方和；2.因為X2i與X3i之間的交叉乘積就是之間X3i與X2i的交叉乘積，因此矩陣的對稱的；3.它的階數(shù)是（k×k），就是k行與k列。本文檔共19頁；當前第11頁；編輯于星期日\21點54分上述方程是用矩陣符號來表示的OLS理論的一個基本結果。上述方程也能夠通過u’u對β的微分直接求得，請大家自行參考相關文獻。本文檔共19頁；當前第12頁；編輯于星期日\21點54分一個例子：收入-消費Y1X7080651009012095140110160115180120200140220155240150260本文檔共19頁；當前第13頁；編輯于星期日\21點54分

的方差-協(xié)方差矩陣矩陣方法不僅能使我們導出的任意元素的方差公式，還求出的任意兩元素和的協(xié)方差。我們需要用這些方差和協(xié)方差來做統(tǒng)計推斷。定義：參考相關資料，上述方差-協(xié)方差矩陣可以從下述公式計算：本文檔共19頁；當前第14頁；編輯于星期日\21點54分其中是ui的共同方差，而就是出現(xiàn)在OLS估計量方程中的逆矩陣。和前面一樣，用其無偏估計量來替代：的計算原理上可以從估計的殘差中算出，但實踐中更愿意按照下述方法直接得到?；仡櫍罕疚臋n共19頁；當前第15頁；編輯于星期日\21點54分

一項被稱為均值校正值。因此：一旦得到則就容易計算?；氐轿覀兊睦又校罕疚臋n共19頁；當前第16頁；編輯于星期日\21點54分4.4用矩陣來表示判定系數(shù)R2本文檔共19頁；當前第17頁；編輯于星期日\21點54分4.5關于個別回歸系數(shù)的假設檢驗的矩陣表達我們曾經(jīng)假設每一個ui都服從均值為0和不變方差的正態(tài)分布。用矩陣符號來表示，為：其中，u和0都是n×1列向量，I是n×n恒定矩陣，0是零向量。在k階回歸模型中，我們可以證明：由于實際的未知，我們使用估計量，就要用到從正態(tài)分布到t分布的的轉(zhuǎn)換，這樣每一個元素都遵循n-k個自由度的t分布。利用t分布來檢驗關于真值的假設，并建立它的置信區(qū)間，具體的方法我們在前面已經(jīng)討論過，這里不再重復。本文檔共19頁；當前第18頁；編輯于星期日\21點54分4.6檢驗總體回歸的總顯著性：用矩陣表示的方差分析方差分析（ANOVA）用以（1）檢驗回歸估計的總顯著性，即檢驗全部（