R語(yǔ)言與回歸分析

1、R 語(yǔ)言與回歸分析回歸模型是計(jì)量里最基礎(chǔ)也最常見的模型之一。究其原因，我想是因?yàn)樵趯?shí)際問(wèn)題中我們并不知道總體分布如何，而且只有一組數(shù)據(jù)，那么試著對(duì)數(shù)據(jù)作回歸分析將會(huì)是一個(gè)不錯(cuò)的選擇。一、簡(jiǎn)單線性回歸簡(jiǎn)單的線性回歸涉及到兩個(gè)變量：一個(gè)是解釋變量，通常稱為X；另一個(gè)是被解釋變量，通常稱為y?；貧w會(huì)用常見的最小二乘算法擬合線性模型：yi=B0+B1xi+si其中BO和Bl是回歸系數(shù)，表示誤差。在R中，你可以通過(guò)函數(shù)lm()去計(jì)算他。Lm()用法如下：lm(formula,data,subset,weights,na.action,method=qr,model=TRUE,x=FALSE,y=FALS

2、E,qr=TRUE,singular.ok=TRUE,contrasts=NULL,offset,.)參數(shù)是formula模型公式，例如yx。公式中波浪號(hào)()左側(cè)的是響應(yīng)變量，右側(cè)是預(yù)測(cè)變量。函數(shù)會(huì)估計(jì)回歸系數(shù)B0和B1,分別以截距(intercept)和x的系數(shù)表示。有三種方式可以實(shí)現(xiàn)最小二乘法的簡(jiǎn)單線性回歸，假設(shè)數(shù)據(jù)wagel(可以通過(guò)names函數(shù)查看數(shù)據(jù)框各項(xiàng)名稱)(1)lm(wage1$wagewage1$educ+wage1$exper)lm(wageeduc+exper,data=wage1)(3)attach(wage1)lm(wageeduc+exper)#不要忘記處理完后用

3、detach()解出關(guān)聯(lián)我們以數(shù)據(jù)wagel為例，可以看到工資與教育水平的線性關(guān)系：運(yùn)行下列代碼：library(foreign)Alm(wageeduc,data=A)Call:lm(formula=wageeduc,data=A)Coefficients:(Intercept)educ-0.90490.5414當(dāng)然得到這些數(shù)據(jù)是不夠的，我們必須要有足夠的證據(jù)去證明我們所做的回歸的合理性。那么如何獲取回歸的信息呢？嘗試運(yùn)行以下代碼：result|t|)(Intercept)-0.904850.68497-1.3210.187educ0.541360.0532510.1672e-16*Sign

4、if.codes:0*0.001*0.010.05.0.11Residualstandarderror:3.378on524degreesoffreedomMultipleR-squared:0.1648,AdjustedR-squared:0.1632F-statistic:103.4on1and524DF,p-value:2.2e-16解讀上述結(jié)果，我們不難看出，單從判決系數(shù)R-squared上看，回歸結(jié)果是不理想的， 但是， 從p值來(lái)看， 我們還是可以得到回歸系數(shù)是很顯著地 （注意， 這里的P0.05就可以認(rèn)為拒絕回歸系數(shù)為0,即回歸變量與被解釋變量無(wú)關(guān)的原擇假設(shè)，選擇備擇假設(shè)）所以說(shuō)我

5、們的回歸的效果不好但還是可以接受的。當(dāng)然，這一點(diǎn)也可以通過(guò)做散點(diǎn)圖給我們直觀的印象：2gCDOJ4Dg8ooczS3-8Omws0IHi80HB00Omws0IHi80HB0000o800o8Q20O8BQ20O8BQ1012141618educ但是影響薪酬的因素不只是education,可能還有其他的,比如工作經(jīng)驗(yàn)，工作任期。為了更好地解釋影響薪酬的因素，我們就必須用到多元線性回歸二、多元線性回歸還是使用lm函數(shù)。在公式的右側(cè)指定多個(gè)預(yù)測(cè)變量，用加號(hào)(+)連接：lm(yu+v+w)顯然，多元線性回歸是簡(jiǎn)單的線性回歸的擴(kuò)展?？梢杂卸鄠€(gè)預(yù)測(cè)變量，還是用OLS計(jì)算多項(xiàng)式的系數(shù)。三變量的回歸等同于這

6、個(gè)線性模型：yi=B0+B1ui+B2vi+B3wi+si在R中，簡(jiǎn)單線性回歸和多元線性回歸都是用lm函數(shù)。只要在模型公式的右側(cè)增加變量即可。輸出中會(huì)有擬合的模型的系數(shù):result1summary(result1)Call:lm(formula=wageeduc+exper+tenure,data=A)Residuals:Min1QMedian3QMax-866.29-249.23-51.07189.622190.01Coefficients:EstimateStd.ErrortvaluePr(|t|)(Intercept)-276.240106.702-2.5890.009778*Sign

7、if.codes:0*0.001*0.01*0.05Residualstandarderror:374.3on931degreesoffreedomMultipleR-squared:0.1459,AdjustedR-squared:0.1431F-statistic:53on3and931DF,p-value:2.2e-16educ74.415exper14.892tenure8.2576.28711.8363.2534.5782.4983.306plot(wageeduc,data=A)A$logwageresult1summary(result1)Call:lm(formula=logw

8、ageeduc+exper+tenure,data=A)Residuals:Min1QMedian3QMax-2.05802-0.29645-0.032650.287881.42809Coefficients:EstimateStd.ErrortvaluePr(|t|)(Intercept)0.2843600.1041902.7290.00656*educ0.0920290.00733012.5552e-16*exper0.0041210.0017232.3910.01714*tenure0.0220670.0030947.1333.29e-12*Signif.codes:0*0.001*0.

9、010.05.0.11Residualstandarderror:0.4409on522degreesoffreedomMultipleR-squared:0.316,AdjustedR-squared:0.3121F-statistic:80.39on3and522DF,p-value:2.2e-16看得出，平穩(wěn)化后的數(shù)據(jù)線性性是更加好的。下面我們來(lái)提取回歸分析的各項(xiàng)統(tǒng)計(jì)數(shù)據(jù)：一些統(tǒng)計(jì)量和參數(shù)都被存儲(chǔ)在lm或者summary中outputv-summary(result1)SSR-deviance(result1)#殘差平方和；(另一種方法：RSquared-output$r.squared

10、)LL-logLik(result1)#對(duì)數(shù)似然統(tǒng)計(jì)量DegreesOfFreedom-result1$df#自由度Yhat-result1$fitted.values#擬合值向量Resid-result1$residualss-output$sigma#誤差標(biāo)準(zhǔn)差的估計(jì)值(假設(shè)同方差)CovMatrix-sA2*output$cov#系數(shù)的方差一協(xié)方差矩陣(與vcov(resultl)同)ANOVA-anova(result1)confidentinterval-confint(result1)#回歸系數(shù)的置信區(qū)間,level=0.95effects(result1)#計(jì)算正交效應(yīng)向量(Vectoroforthogonaleffects)三、檢查結(jié)果通過(guò)圖形我們可以以一種十分直觀的辦法檢測(cè)我們的擬合效果：plot(result1)NormalCVQ通過(guò)擴(kuò)展包c(diǎn)ar中的函數(shù)來(lái)檢測(cè)異常