線性回歸模型

1、線性回歸模型1. 回歸分析 回歸分析研究的主要對(duì)象是客觀事物變量之間的統(tǒng)計(jì)關(guān)系， 它是建立在對(duì)客觀事物進(jìn)行大量 試驗(yàn)和觀察的基礎(chǔ)上，用來尋找隱藏在那些看上去是不確定的現(xiàn)象中的統(tǒng)計(jì)規(guī)律性的方法。 回歸分析方法是通過建立模型研究變量間相互關(guān)系的密切程度、 結(jié)構(gòu)狀態(tài)及進(jìn)行模型預(yù)測(cè)的 一種有效工具。2. 回歸模型的一般形式如果變量 x_1,x_2,x_p 與隨 機(jī)變量 y 之間存在 著相關(guān)關(guān) 系，通常就意 味著每當(dāng) x_1,x_2, ,x_p 取定值后， y 便有相應(yīng)的概率分布與之對(duì)應(yīng)。隨機(jī)變量 y 與相關(guān)變量 x_1,x_2, ,x_p 之間的概率模型為y = f(x_1, x_2,x_p) + (

2、1)f(x_1, x_2,x_p)為變量 x_1,x_2,x_p 的確定性關(guān)系， 為隨機(jī)誤差項(xiàng)。由于客觀經(jīng)濟(jì)現(xiàn) 象是錯(cuò)綜復(fù)雜的， 一種經(jīng)濟(jì)現(xiàn)象很難用有限個(gè)因素來準(zhǔn)確說明， 隨機(jī)誤差項(xiàng)可以概括表示由 于人們的認(rèn)識(shí)以及其他客觀原因的局限而沒有考慮的種種偶然因素。當(dāng)概率模型( 1)式中回歸函數(shù)為線性函數(shù)時(shí)，即有y = beta_0 + beta_1*x_1 + beta_2*x_2 + + beta_p*x_p + (2)其中， beta_0， ,beta_p為未知參數(shù)，常稱它們?yōu)榛貧w系數(shù)。當(dāng)變量x個(gè)數(shù)為 1 時(shí)，為簡(jiǎn)單線性回歸模型，當(dāng)變量 x 個(gè)數(shù)大于 1 時(shí)，為多元線性回歸模型。3. 回歸建模的

3、過程 在實(shí)際問題的回歸分析中，模型的建立和分析有幾個(gè)重要的階段，以經(jīng)濟(jì)模型的建立為例：（1）根據(jù)研究的目的設(shè)置指標(biāo)變量 回歸分析模型主要是揭示事物間相關(guān)變量的數(shù)量關(guān)系。 首先要根據(jù)所研究問題的目的設(shè)置因 變量 y，然后再選取與 y 有關(guān)的一些變量作為自變量。通常情況下，我們希望因變量與自變 量之間具有因果關(guān)系。 尤其是在研究某種經(jīng)濟(jì)活動(dòng)或經(jīng)濟(jì)現(xiàn)象時(shí)， 必須根據(jù)具體的經(jīng)濟(jì)現(xiàn)象 的研究目的，利用經(jīng)濟(jì)學(xué)理論，從定性角度來確定某種經(jīng)濟(jì)問題中各因素之間的因果關(guān)系。（2）收集、整理統(tǒng)計(jì)數(shù)據(jù) 回歸模型的建立是基于回歸變量的樣本統(tǒng)計(jì)數(shù)據(jù)。 當(dāng)確定好回歸模型的變量之后， 就要對(duì)這 些變量收集、 整理統(tǒng)計(jì)數(shù)據(jù)。

4、數(shù)據(jù)的收集是建立經(jīng)濟(jì)問題回歸模型的重要一環(huán)， 是一項(xiàng)基礎(chǔ) 性工作，樣本數(shù)據(jù)的質(zhì)量如何，對(duì)回歸模型的水平有至關(guān)重要的影響。（3）確定理論回歸模型的數(shù)學(xué)形式 當(dāng)收集到所設(shè)置的變量的數(shù)據(jù)之后，就要確定適當(dāng)?shù)臄?shù)學(xué)形式來描述這些變量之間的關(guān)系。 繪制變量 y_i 與 x_i （i = 1,2, ,n ）的樣本散點(diǎn)圖是選擇數(shù)學(xué)模型形式的重要手段。一般 我們把（ x_i,y_i ）所對(duì)應(yīng)的點(diǎn)在坐標(biāo)系上畫出來，觀察散點(diǎn)圖的分布狀況。如果 n 個(gè)樣本 點(diǎn)大致分布在一條直線的周圍，可考慮用線性回歸模型去擬合這條直線。（4）模型參數(shù)的估計(jì) 回歸理論模型確定之后， 利用收集、 整理的樣本數(shù)據(jù)對(duì)模型的未知參數(shù)給出估計(jì)是

5、回歸分析 的重要內(nèi)容。 未知參數(shù)的估計(jì)方法最常用的是普通最小二乘法。 普通最小二乘法通過最小化 模型的殘差平方和而得到參數(shù)的估計(jì)值。即Min RSS = （ y_i hat（y_i ）2其中， hat（y_i） 為因變量估計(jì)值， hat（beta_i） 為參數(shù)估計(jì)值。（5）模型的檢驗(yàn)與修改 當(dāng)模型的未知參數(shù)估計(jì)出來后， 就初步建立了一個(gè)回歸模型。 建立回歸模型的目的是應(yīng)用它 來研究經(jīng)濟(jì)問題，但如果直接用這個(gè)模型去做預(yù)測(cè)、控制和分析， 是不夠慎重的。 因?yàn)檫@個(gè) 模型是否真正揭示了被解釋變量與解釋變量之間的關(guān)系，必須通過對(duì)模型的檢驗(yàn)才能決定。 統(tǒng)計(jì)檢驗(yàn)通常是對(duì)回歸方程的顯著性檢驗(yàn)， 以及回歸系數(shù)的

6、顯著性檢驗(yàn)， 還有擬合優(yōu)度的檢 驗(yàn)，隨機(jī)誤差項(xiàng)的序列相關(guān)檢驗(yàn)，異方差性檢驗(yàn)，解釋變量的多重共線性檢驗(yàn)等。如果一個(gè)回歸模型沒有通過某種統(tǒng)計(jì)檢驗(yàn)， 或者通過了統(tǒng)計(jì)檢驗(yàn)而沒有合理的經(jīng)濟(jì)意義， 就 需要對(duì)回歸模型進(jìn)行修改。（6）回歸模型的運(yùn)用 當(dāng)一個(gè)經(jīng)濟(jì)問題的回歸模型通過了各種統(tǒng)計(jì)檢驗(yàn)， 且具有合理的經(jīng)濟(jì)意義時(shí)， 就可以運(yùn)用這 個(gè)模型來進(jìn)一步研究經(jīng)濟(jì)問題。 例如， 經(jīng)濟(jì)變量的因素分析。 應(yīng)用回歸模型對(duì)經(jīng)濟(jì)變量之間 的關(guān)系作出了度量， 從模型的回歸系數(shù)可發(fā)現(xiàn)經(jīng)濟(jì)變量的結(jié)構(gòu)性關(guān)系， 給出相關(guān)評(píng)價(jià)的一些 量化依據(jù)。在回歸模型的運(yùn)用中， 應(yīng)將定性分析和定量分析有機(jī)結(jié)合。 這是因?yàn)閿?shù)理統(tǒng)計(jì)方法只是從事 物的數(shù)量

7、表面去研究問題， 不涉及事物的規(guī)定性。 單純的表面上的數(shù)量關(guān)系是否反映事物的 本質(zhì)？這本質(zhì)究竟如何？必須依靠專門學(xué)科的研究才能下定論。Lasso在多元線性回歸中，當(dāng)變量 x_1,x_2, ,x_3 之間有較強(qiáng)的線性相關(guān)性，即解釋變量間出現(xiàn) 嚴(yán)重的多重共線性。 這種情況下， 用普通最小二乘法估計(jì)模型參數(shù)， 往往參數(shù)估計(jì)方差太大， 使普通最小二乘的效果變得很不理想。 為了解決這一問題， 可以采用子集選擇、 壓縮估計(jì)或 降維法， Lasso 即為壓縮估計(jì)的一種。 Lasso 可以將一些增加了模型復(fù)雜性但與模型無關(guān)的 變量的系數(shù)壓縮為 0，從而將這些變量從模型中剔除，僅保留與被解釋變量有較強(qiáng)相關(guān)性的 解釋變量，使模型更有解釋力。Lasso 的未知參數(shù)通過求解下式的最小值得到：其中， 為壓縮懲罰項(xiàng)， 當(dāng) beta_1, ,beta_p 接近于 0 時(shí)比較小，因此懲罰項(xiàng)具有將 beta_i 估計(jì)值向 0 的方向進(jìn)行壓縮的作用。 Lambda>=0稱為調(diào)節(jié)參數(shù)，其作用是控制殘差平方和項(xiàng) 與懲罰項(xiàng)對(duì)回歸系數(shù)估計(jì)的相對(duì)影響程度。當(dāng)lambda = 0 時(shí)，懲罰項(xiàng)不產(chǎn)生作用， lasso的結(jié)果與最小二乘結(jié)