數(shù)據(jù)挖掘基礎(chǔ)知識(shí)回歸分析

數(shù)據(jù)挖掘原理與SPSSClementine應(yīng)用寶典元昌安主編鄧松李文敬劉海濤編著電子工業(yè)出版社第1頁(yè)，共27頁(yè)。第六章回歸分析第2頁(yè)，共27頁(yè)。本章內(nèi)容回歸分析的基本原理一元線性回歸分析多元線性回歸分析非線性回歸分析第3頁(yè)，共27頁(yè)?；貧w分析的基本原理

所謂回歸分析法，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式。對(duì)于下表中的數(shù)據(jù)：利用回歸分析方法，得到如下的函數(shù)關(guān)系式：

第4頁(yè)，共27頁(yè)。一元線性回歸分析一元線性回歸模型模型參數(shù)估計(jì)和平均誤差估計(jì)一元線性回歸模型的檢驗(yàn)第5頁(yè)，共27頁(yè)。一元線性回歸模型滿足一元線性回歸的基本條件：所有的的分布的均值都正好在一條直線上，稱之為總體的（真實(shí)的）回歸直線；所有的分布都有同樣的形狀；隨機(jī)變量是相互獨(dú)立的；給定X時(shí)分布的形狀是正態(tài)的，即服從正態(tài)分布。滿足這些條件的回歸模型稱為一元線性回歸模型。根據(jù)樣本觀測(cè)值，采用最小二乘法，得到了一條估計(jì)的樣本回歸直線。第6頁(yè)，共27頁(yè)。模型參數(shù)估計(jì)和平均誤差估計(jì)參數(shù)估計(jì)：經(jīng)過(guò)最小二乘法計(jì)算可得：求出參數(shù)a,b以后，就可以得到回歸模型:第7頁(yè)，共27頁(yè)。模型參數(shù)估計(jì)和平均誤差估計(jì)平均誤差估計(jì)：第8頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)線性方程的顯著性檢驗(yàn)關(guān)于回歸系數(shù)b的統(tǒng)計(jì)推斷第9頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)線性方程的顯著性檢驗(yàn)的方法有：方差分解法相關(guān)分析法F檢驗(yàn)t檢驗(yàn)D-W檢驗(yàn)

第10頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)-方差分解法第11頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)-相關(guān)分析法第12頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)-F檢驗(yàn)第13頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)-t檢驗(yàn)第14頁(yè)，共27頁(yè)。一元線性回歸模型的檢驗(yàn)-D-W檢驗(yàn)第15頁(yè)，共27頁(yè)。多元線性回歸分析多元線性回歸模型參數(shù)估計(jì)多元回歸方差分析和顯著性檢驗(yàn)多元回歸模型的殘差分析第16頁(yè)，共27頁(yè)。多元線性回歸模型第17頁(yè)，共27頁(yè)。參數(shù)估計(jì)第18頁(yè)，共27頁(yè)。多元回歸方差分析和顯著性檢驗(yàn)總離差平方和的分解和多元相關(guān)系數(shù)回歸離差平方和與偏相關(guān)系數(shù)第19頁(yè)，共27頁(yè)。總離差平方和的分解和多元相關(guān)系數(shù)第20頁(yè)，共27頁(yè)。回歸離差平方和與偏相關(guān)系數(shù)第21頁(yè)，共27頁(yè)。多元回歸模型的殘差分析在這里我們主要考慮以下幾種情形：線性與非線性共方差與異方差獨(dú)立與非獨(dú)立正態(tài)與非正態(tài)多重共線性第22頁(yè)，共27頁(yè)。非線性回歸分析非線性模型非線性模型的線性化第23頁(yè)，共27頁(yè)。非線性模型主要的非線性模型有：拋物線模型雙曲線模型冪函數(shù)模型指數(shù)函數(shù)模型對(duì)數(shù)函數(shù)模型邏輯曲線模型多項(xiàng)式模型第24頁(yè)，共27頁(yè)。非線性模型拋物線模型

雙曲線模型

冪函數(shù)模型

指數(shù)函數(shù)模型

對(duì)數(shù)函數(shù)模型

邏輯曲線模型

多項(xiàng)式模型第25頁(yè)，共27頁(yè)。非線性模型的線性化倒數(shù)變換

倒數(shù)變換是用新的變量來(lái)替換原模型中變量的倒數(shù)，從而使原模型變成線性模型的一種方法。

半對(duì)數(shù)變換

這種方法主要應(yīng)用于對(duì)數(shù)函數(shù)模型的線性變換。

雙對(duì)數(shù)變換這種方法通過(guò)用新變量替換原模型中變量的對(duì)數(shù)，從而使原模型變換為線性模型。

多項(xiàng)式變換這種方法適用于多項(xiàng)式方程的變換。

第26頁(yè)，共27頁(yè)。內(nèi)容梗概數(shù)據(jù)挖掘原理與SPSSClementine應(yīng)用寶典。元昌安主編。所謂回歸分析法，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式。所有的的分布的均值都正好在一條直線上，稱之為總體的（真實(shí)的）回歸直線。所有的分布都有同樣的形狀。滿足這些條件的回歸模型稱為一元線性回歸模型。根據(jù)樣本觀測(cè)值，采用最小二乘法，得到了一條估。線性方程的顯著性檢驗(yàn)的方法有：。一元線性回歸模型的檢驗(yàn)-t檢驗(yàn)。一元線性回歸模型的檢驗(yàn)-D-W檢驗(yàn)。共方差與異方差。獨(dú)立與非獨(dú)立。正