數據挖掘基礎知識-回歸分析

回歸分析第1頁，共28頁。本章內容回歸分析的基本原理一元線性回歸分析多元線性回歸分析非線性回歸分析第2頁，共28頁?；貧w分析的基本原理

所謂回歸分析法，利用數理統(tǒng)計方法建立因變量與自變量之間的回歸關系函數表達式。對于下表中的數據：利用回歸分析方法，得到如下的函數關系式：

第3頁，共28頁。一元線性回歸分析一元線性回歸模型模型參數估計和平均誤差估計一元線性回歸模型的檢驗第4頁，共28頁。一元線性回歸模型滿足一元線性回歸的基本條件：所有的的分布的均值都正好在一條直線上，稱之為總體的（真實的）回歸直線；所有的分布都有同樣的形狀；隨機變量是相互獨立的；給定X時分布的形狀是正態(tài)的，即服從正態(tài)分布。滿足這些條件的回歸模型稱為一元線性回歸模型。根據樣本觀測值，采用最小二乘法，得到了一條估計的樣本回歸直線。第5頁，共28頁。模型參數估計和平均誤差估計參數估計：經過最小二乘法計算可得：求出參數a,b以后，就可以得到回歸模型:第6頁，共28頁。(1)(2)(3)SSE實際值與預測估計值之間的離差平方和。第7頁，共28頁。標準誤差：估計值與應變量值之間的平均平方誤差。（4-8）第8頁，共28頁。模型參數估計和平均誤差估計平均誤差估計：第9頁，共28頁。一元線性回歸模型的檢驗線性方程的顯著性檢驗關于回歸系數b的統(tǒng)計推斷第10頁，共28頁。一元線性回歸模型的檢驗線性方程的顯著性檢驗的方法有：方差分解法相關分析法F檢驗t檢驗D-W檢驗

第11頁，共28頁。一元線性回歸模型的檢驗-方差分解法第12頁，共28頁。一元線性回歸模型的檢驗-相關分析法第13頁，共28頁。一元線性回歸模型的檢驗-F檢驗第14頁，共28頁。一元線性回歸模型的檢驗-t檢驗第15頁，共28頁。一元線性回歸模型的檢驗-D-W檢驗第16頁，共28頁。多元線性回歸分析多元線性回歸模型參數估計多元回歸方差分析和顯著性檢驗多元回歸模型的殘差分析第17頁，共28頁。多元線性回歸模型第18頁，共28頁。參數估計第19頁，共28頁。多元回歸方差分析和顯著性檢驗總離差平方和的分解和多元相關系數回歸離差平方和與偏相關系數第20頁，共28頁。總離差平方和的分解和多元相關系數第21頁，共28頁。回歸離差平方和與偏相關系數第22頁，共28頁。多元回歸模型的殘差分析在這里我們主要考慮以下幾種情形：線性與非線性共方差與異方差獨立與非獨立正態(tài)與非正態(tài)多重共線性第23頁，共28頁。非線性回歸分析非線性模型非線性模型的線性化第24頁，共28頁。非線性模型主要的非線性模型有：拋物線模型雙曲線模型冪函數模型指數函數模型對數函數模型邏輯曲線模型多項式模型第25頁，共28頁。非線性模型拋物線模型

雙曲線模型

冪函數模型

指數函數模型

對數函數模型

邏輯曲線模型

多項式模型第26頁，共28頁。非線性模型的線性化倒數變換

倒數變換是用新的變量來替換原模型中變量的倒數，從而使原模型變成線性模型的一種方法。

半對數變換

這種方法主要應用于對數函數模型的線性變換。

雙對數變換這種方法通過用新變量替換原模型中變量的對數，從而使原模型變換為線性模型。

多項式變換這種方法適用于多項式方程的變換。

第27頁，共28頁。內容梗概回歸分析。所謂回歸分析法，利用數理統(tǒng)計方法建立因變量與自變量之間的回歸關系函數表達式。所有的分布都有同樣的形狀。給定X時分布的形狀是正態(tài)的，即服從正態(tài)分布。滿足這些條件的回歸模型稱為一元線性回歸模型。根據樣本觀測值，采用最小二乘法，得到了一條估。線性方程的顯著性檢驗的方法有：。一元線性回歸模型的檢驗-t檢驗。一元線性回歸模型的檢驗-D-W檢驗。共方差與異方差。獨立與非獨立。正態(tài)與非正