R語(yǔ)言數(shù)據(jù)分析與挖掘 課件 第1-3章 初識(shí)數(shù)據(jù)分析與R語(yǔ)言、回歸分析、關(guān)聯(lián)分析

第1章初識(shí)數(shù)據(jù)分析與R語(yǔ)言“文獻(xiàn)篩選”的故事

在一項(xiàng)關(guān)于嬰兒和兒童殘疾的研 究中，美國(guó)Tufts醫(yī)學(xué)中心篩選 了約33,000篇摘要 盡管Tufts醫(yī)學(xué)中心的專家效率 很高，對(duì)每篇摘要只需30秒鐘，但該工作仍花費(fèi)了250小時(shí)每項(xiàng)新的研究都要重復(fù)

這個(gè)麻煩的過(guò)程！需篩選的文章數(shù)在不斷顯著增長(zhǎng)！為什么學(xué)數(shù)據(jù)分析“文獻(xiàn)篩選”的故事為了降低昂貴的成本,Tufts醫(yī)學(xué)中心引入了機(jī)器學(xué)習(xí)技術(shù)邀請(qǐng)專家閱讀少量摘要，標(biāo)記為“有關(guān)”或“無(wú)關(guān)”分類模型對(duì)是否“有關(guān)”進(jìn)行預(yù)測(cè)人類專家只需閱讀50篇摘要，系統(tǒng)的自動(dòng)篩選精度就達(dá)到93%人類專家閱讀1,000篇摘要，則系統(tǒng)的自動(dòng)篩選敏感度達(dá)到95%(人類專家以前需閱讀33,000篇摘要才能獲得此效果)為什么學(xué)數(shù)據(jù)分析色澤根蒂敲聲好瓜青綠蜷縮濁響是烏黑蜷縮濁響是青綠硬挺清脆否烏黑稍蜷沉悶否決策樹(shù)，神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)，

Boosting，貝葉斯網(wǎng)，……模型訓(xùn)練數(shù)據(jù)（label）訓(xùn)練

新數(shù)據(jù)樣本(淺白,蜷縮,濁響,?)

?=是類別標(biāo)記 未知典型的數(shù)據(jù)挖掘過(guò)程

使用學(xué)習(xí)算法（learningalgorithm）

類別標(biāo)記為什么學(xué)數(shù)據(jù)分析R是什么R是什么2014年數(shù)據(jù)分析常用語(yǔ)言排行榜1.1為什么學(xué)習(xí)R語(yǔ)言第一章緒論R語(yǔ)言主要優(yōu)勢(shì)（1）作圖美觀，完全免費(fèi)為什么要學(xué)R（2）算法覆蓋廣，軟件擴(kuò)展易

作為統(tǒng)計(jì)分析工具，R語(yǔ)言幾乎覆蓋整個(gè)統(tǒng)計(jì)領(lǐng)域的前沿算法。

截止2017年2月25日，CRAN（ComprehensiveRArchiveNetwork）上已經(jīng)有10162個(gè)可以獲取的R擴(kuò)展包，并且以每個(gè)月200多個(gè)包的速度發(fā)布，內(nèi)容涉及各行各業(yè)，可以適用于各種復(fù)雜的統(tǒng)計(jì)，如：貝葉斯推斷、分類方法、計(jì)量經(jīng)濟(jì)學(xué)、生態(tài)學(xué)、金融學(xué)、遺傳學(xué)、機(jī)器學(xué)習(xí)、穩(wěn)健統(tǒng)計(jì)、空間統(tǒng)計(jì)、生存分析、時(shí)間序列等多個(gè)方面。數(shù)千個(gè)R包，上萬(wàn)種算法，開(kāi)發(fā)者都能找到可直接調(diào)用的函數(shù)實(shí)現(xiàn)。為什么要學(xué)R（3）算法覆蓋廣，軟件擴(kuò)展易為什么要學(xué)R

作為一個(gè)開(kāi)源軟件，R背后有一個(gè)強(qiáng)大的社區(qū)和大量的開(kāi)放源碼支持，獲取幫助非常容易。

比如國(guó)外比較活躍的社區(qū)有GitHub和StackOverflow等，通常R包的開(kāi)發(fā)者會(huì)先將代碼放到GitHub，接受世界各地的使用者提出問(wèn)題，然后修改代碼，等代碼成熟后再放到CRAN上發(fā)布。

國(guó)內(nèi)最活躍的R社區(qū)就屬統(tǒng)計(jì)之都以及統(tǒng)計(jì)之都旗下的COS論壇了。為什么要學(xué)R（4）強(qiáng)大的社區(qū)支持

Python雖然也支持命令模式，但是相對(duì)來(lái)說(shuō)，更偏向于流程控制語(yǔ)句，也就是可以寫(xiě)一堆語(yǔ)句，然后執(zhí)行。R本身基本上不需要用到流程控制（當(dāng)然，它也支持流程控制）。（5）非過(guò)程模式Part/

01軟件下載與安裝1.1.1下載與安裝進(jìn)入R官方下載網(wǎng)址/。2.選擇相應(yīng)的操作系統(tǒng)，如果使用Windows系統(tǒng)，可以點(diǎn)擊“DownloadRforWindows”。3.選擇安裝風(fēng)格，建議選擇基本安裝。

4.點(diǎn)擊“Download”下載安裝程序。5.下載好后雙擊exe文件進(jìn)行安裝，安裝好后在“開(kāi)始”菜單里可以找到R程序，點(diǎn)擊即可運(yùn)行。2.RGUI在Windows的“程序”選項(xiàng)中找到相應(yīng)的R程序，例如“Rx643.4.3”，點(diǎn)擊執(zhí)行1.命令行方式同時(shí)按下鍵盤(pán)上的

和R，在Windows的命令終端的提示符后上敲入R并且回車(chē)Rversion3.4.3(2017-11-30)--"Kite-EatingTree"Copyright(C)2017TheRFoundationforStatisticalComputingPlatform:x86_64-w64-mingw32/x64(64-bit)

R

'license()''licence()'

R.'contributors()''citation()'RR

1.1.2下載與安裝Part/

02包的安裝與加載包是R函數(shù)、數(shù)據(jù)、預(yù)編譯代碼以一種定義完善的格式組成的集合。R中的包存儲(chǔ)在計(jì)算機(jī)上名為library的目錄下，使用函數(shù).libPaths()可以查看該文件夾在計(jì)算機(jī)中的具體路徑，函數(shù)library()和search()則可分別顯示已安裝和加載的包列表。R已經(jīng)預(yù)裝了一組標(biāo)準(zhǔn)的包，其他包則可以通過(guò)下載安裝來(lái)使用。目前CRAN上提供了上萬(wàn)個(gè)可使用的包。包的安裝最受歡迎的5個(gè)包分別是：dplyr：一種數(shù)據(jù)操作的語(yǔ)法devtools：一組用于包開(kāi)發(fā)的工具foreign：讀取用其他軟件如Minitab、S、SAS、SPSS和Stata等存儲(chǔ)的數(shù)據(jù)cluster：聚類分析方法ggplot2：R語(yǔ)言圖形工具包的安裝不添加參數(shù)執(zhí)行install.packages()將顯示一個(gè)CRAN的鏡像站點(diǎn)列表，選擇相應(yīng)的鏡像（通常選擇離自己最近的節(jié)點(diǎn)）后再選擇要安裝的包名即可可直接將包名作為參數(shù)傳遞給函數(shù)install.packages()進(jìn)行下載安裝>install.packages("stringr") #安裝一個(gè)用于字符串處理的包

包的安裝>str_length("HelloR!")>[1]8載入之后就可以直接調(diào)用包中定義的函數(shù)包安裝后還需要載入到內(nèi)存才能使用。以stringr包為例，執(zhí)行l(wèi)ibrary("stringr")可將對(duì)應(yīng)的包載入>library("stringr")#載入字符串處理包stringr

包的加載與使用>str_length("HelloR!")>[1]8載入之后就可以直接調(diào)用包中定義的函數(shù)包安裝后還需要載入到內(nèi)存才能使用。以stringr包為例，執(zhí)行l(wèi)ibrary("stringr")可將對(duì)應(yīng)的包載入>library("stringr")#載入字符串處理包stringr

包的加載與使用如果希望使用包中的函數(shù)，則需要明確指定該函數(shù)，調(diào)用“包名：：函數(shù)名”自定義一個(gè)同名函數(shù)，就會(huì)觀察到命名沖突的現(xiàn)象>str_length<-function(x)return+("Givemeasecond.Letmecounthowlong+thissentenceis!")>#自定義函數(shù)str_length與包中函數(shù)同名>str_length("HelloR!")[1]"Givemeasecond.Letmecounthowlongthissentenceis!">stringr::str_length("HelloR!")#現(xiàn)在使用的是得到字符串長(zhǎng)度的函數(shù)[1]8命名沖突與解決Part/

03應(yīng)用R實(shí)現(xiàn)數(shù)據(jù)操作最基本的圖形：散點(diǎn)圖x<-1:20#x坐標(biāo)y<-x^2#y坐標(biāo)plot(x,y,main="y=x^2")使用type參數(shù)，改變繪圖類型。例如：繪制點(diǎn)線圖plot(x,y,main="y=x^2",type="b")

每次調(diào)用plot()，現(xiàn)有的圖形窗口都會(huì)被新的圖形替代。使用下面的命令可以打開(kāi)新的圖形窗口進(jìn)行繪圖。在Linux系統(tǒng)下，執(zhí)行x11()；在Mac系統(tǒng)下，執(zhí)行macintosh()；在Windows下，執(zhí)行windows()。創(chuàng)建基礎(chǔ)圖形可以通過(guò)修改一些圖形參數(shù)選項(xiàng)來(lái)自定義一幅圖形的多個(gè)特征，如字體、顏色、坐標(biāo)軸、和標(biāo)題等。opar<-par(no.readonly=T)par(lty=2,pch=15) x<-1:20y<-x^2plot(x,y,type="b")par(opar)直接給plot函數(shù)設(shè)置繪圖參數(shù)也能實(shí)現(xiàn)同樣的效果，但只是對(duì)單幅圖片生效。

plot(x,y,type="b",lty=2,pch=15)符號(hào)和線條參數(shù)說(shuō)明pch指定繪制點(diǎn)時(shí)使用的符號(hào)，參數(shù)數(shù)值及含義詳見(jiàn)右圖cex指定符號(hào)的大小。cex是一個(gè)數(shù)值，表示繪圖符號(hào)相對(duì)于默認(rèn)大小的縮放倍數(shù)。默認(rèn)大小為1，1.5表示放大為默認(rèn)值的1.5倍，0.5表示縮小為默認(rèn)值的50%，等等lty指定線條類型，參數(shù)數(shù)值詳見(jiàn)右圖lwd指定線條寬度。lwd是以默認(rèn)值的相對(duì)大小來(lái)表示的（默認(rèn)值為1）。例如，lwd=2將生成一條兩倍于默認(rèn)寬度的線條符號(hào)和線條使用不同的顏色參數(shù)個(gè)性化圖形各部位的色彩?？梢赃x擇通過(guò)顏色名稱、十六進(jìn)制的顏色值、RGB值或HSV值來(lái)指定顏色。col="white"、col="#FFFFFF"、col=rgb(1,1,1)和col=hsv(0,0,1)都是表示白色的等價(jià)方式。使用調(diào)色板中的顏色索引給col參數(shù)賦值也可以使用相應(yīng)的色彩。默認(rèn)調(diào)色板中的顏色向量為：>palette()[1]"black""red""green3""blue""cyan""magenta""yellow""gray"右邊是常見(jiàn)的繪圖函數(shù)顏色參數(shù)參數(shù)說(shuō)明col繪圖顏色col.axis坐標(biāo)軸刻度顏色col.lab坐標(biāo)軸名稱顏色col.main圖形標(biāo)題顏色col.sub副標(biāo)題顏色fg圖形前景色bf圖形背景色色彩使用調(diào)色板中顏色索引即可使用相應(yīng)的顏色，例如：>pie(rep(1,length(pal)),labels=sprintf("%d(%s)",seq_along(pal),pal),col=pal)rainbow(n)函數(shù)可以從光譜色中均勻地選取n種顏色組成向量。>palette(rainbow(7))>pal<-palette()>pie(rep(1,length(pal)),labels=sprintf("%d(%s)",seq_along(pal),pal),col=pal)調(diào)色板恢復(fù)為默認(rèn)>palette("default")色彩x<-1:20y<-x^2plot(x,y,ann=FALSE,col="tomato")title(main="標(biāo)題",col.main="red",sub="副標(biāo)題",col.sub="brown",xlab="x坐標(biāo)軸",ylab="y坐標(biāo)軸",col.lab="navy",cex.main=2,cex.sub=1.25,font.sub=3)標(biāo)簽與標(biāo)題文字設(shè)置外觀與字體。

參數(shù)說(shuō)明cex基礎(chǔ)縮放倍數(shù)cex.axis坐標(biāo)軸刻度的縮放倍數(shù)cex.lab坐標(biāo)軸標(biāo)題的縮放倍數(shù)cex.main圖形標(biāo)題的縮放倍數(shù)cex.sub圖形副標(biāo)題的縮放倍數(shù)font字體樣式。1常規(guī)，2加粗，3加斜，4加粗加斜，5符號(hào)字體font.axis坐標(biāo)軸刻度的字體樣式font.lab/main/sub坐標(biāo)軸名稱/標(biāo)題/副標(biāo)題名稱字體樣式ps字體磅值。文字的最終大小為cex*psfamily字族。例如serif襯線,sans無(wú)襯線,mono等寬在表達(dá)式中?？梢允褂妙愃朴赥ex的句法來(lái)生成數(shù)學(xué)符號(hào)、運(yùn)算、公式和希臘字母。標(biāo)簽與標(biāo)題文字>data(Titanic)>mat<-apply(Titanic,4,sum);mat

NoYes1490711>barplot(mat,main="存活情況",names=c("遇難","存活"))barplot(height,width=1,space=NULL,names.arg=NULL,beside=FALSE,horiz=FALSE,density=NULL,angle=45,...)Titanic是R自帶的一個(gè)數(shù)據(jù)集。變量名取值說(shuō)明Class1st,2nd,3rd,CrewSexMale,FemaleAgeChild,AdultSurvivedNo,Yes柱狀圖pie()函數(shù)用來(lái)創(chuàng)建餅狀圖，基本用法為pie(x,labels=names(x),radius=0.8,clockwise=FALSE,...)用餅圖來(lái)查看泰坦尼克號(hào)上不同艙位的乘客和船員的比例>pie(apply(Titanic,1,sum),c("一等艙","二等艙","三等艙","船員"))餅圖直方圖使用離散化的方法對(duì)變量分組統(tǒng)計(jì)。hist(x,freq=TRUE,breaks=, right=TRUE,...)

>x<-rnorm(1000,mean=0,sd=1)>par(mfrow=c(1,2)) >hist(x)>hist(x,freq=F) >lines(density(x),lwd=2)直方圖箱形圖（box-plot）又稱為盒須圖、盒式圖或箱線圖，是一種用作顯示一組數(shù)據(jù)分散情況的統(tǒng)計(jì)圖，因其形狀如同箱子而得名。箱形圖通過(guò)繪制連續(xù)型變量的五數(shù)總括，即最小值、下四分位數(shù)（第25百分位數(shù)）、中位數(shù)（第50百分位數(shù)）、上四分位數(shù)（第75百分位數(shù)）以及最大值，描述了連續(xù)型變量的分布信息。boxplot()函數(shù)的一般形式：boxplot(x,...,range=1.5,width=NULL,outline=TRUE)對(duì)1000個(gè)正態(tài)分布的隨機(jī)變量繪制箱形圖>fig<-boxplot(x,main="箱形圖")>paras<-c("最小值","下四分位數(shù)","中位數(shù)", "上四分位數(shù)","最大值")>text(1.25,fig$stats,paras,pos=4)用圓圈標(biāo)出的點(diǎn)為離群點(diǎn)的值。把第一四分位數(shù)記為Q1，第三四分位數(shù)記為Q3，如果一個(gè)數(shù)值x滿足x<Q1–1.5(Q3–Q1)，或x>Q3+1.5（Q3–Q1），那么就被認(rèn)為是離群點(diǎn)。箱型圖謝謝觀看第2章回歸分析Part/

01簡(jiǎn)單線性回歸分析

簡(jiǎn)單線性回歸>eruption.lm<-lm(eruptions~waiting,data=faithful)>coeffs<-coefficients(eruption.lm)>coeffs#一元線性回歸的參數(shù)：截距、斜率(Intercept)waiting-1.874015990.07562795>plot(eruptions~waiting,faithful,#繪圖變量 col="blue",#繪圖參數(shù) main="老忠實(shí)線性回歸結(jié)果",#標(biāo)題 xlab="等待時(shí)間",#x軸標(biāo)簽 ylab="持續(xù)噴發(fā)時(shí)間") #y軸標(biāo)簽>fit<-lm(eruptions~waiting,data=faithful)>abline(fit,col="red")#畫(huà)出回歸模型lm參數(shù)：因變量eruptions，自變量waiting，數(shù)據(jù)集faithful。使用coefficients()來(lái)顯示所得到的回歸方程中的系數(shù)。簡(jiǎn)單線性回歸>waiting<-80#等待時(shí)間>duration<-coeffs[1]+coeffs[2]*waiting>duration(Intercept)4.1762>newdata<-data.frame(waiting=c(80,50))#封裝參數(shù)>predict(eruption.lm,newdata) 124.1762201.907381使用模型進(jìn)行預(yù)測(cè)。簡(jiǎn)單線性回歸

簡(jiǎn)單線性回歸

簡(jiǎn)單線性回歸

簡(jiǎn)單線性回歸qq圖可用于直觀驗(yàn)證一組數(shù)據(jù)是否來(lái)自于某個(gè)給定的分布，或者驗(yàn)證兩組數(shù)據(jù)是否來(lái)自同一分布。根據(jù)所討論的分布計(jì)算出每個(gè)數(shù)據(jù)點(diǎn)的理論預(yù)期值，如果數(shù)據(jù)確實(shí)遵循假定的分布，那么在qq圖上的點(diǎn)將大致散落在一條直線上。正態(tài)概率圖就是一種把數(shù)據(jù)集與正態(tài)分布進(jìn)行比較的圖形化工具。例如，可以比較線性回歸模型的標(biāo)準(zhǔn)化殘差來(lái)檢驗(yàn)殘差是否真正地符合正態(tài)分布規(guī)律。>qqnorm(eruption.stdres,ylab="標(biāo)準(zhǔn)化殘差",xlab="正態(tài)得分",main="老忠實(shí)噴發(fā)持續(xù)時(shí)間")>qqline(eruption.stdres)

簡(jiǎn)單線性回歸Part/

02多項(xiàng)式回歸分析

指標(biāo)名說(shuō)明crim按鎮(zhèn)分布的人均犯罪率zn居住區(qū)域地塊超過(guò)25,000平方英尺的比例indus每個(gè)鎮(zhèn)中非零售商業(yè)用地的比例chas與查爾斯河有關(guān)的啞數(shù)據(jù)（1表示河流范圍，0為其他）nox一氧化氮濃度(partsper10million)rm每戶平均房間數(shù)age1940年前修建的戶主居住的單位數(shù)dis到5個(gè)波士頓就業(yè)中心的加權(quán)距離rad到達(dá)放射狀高速公路方便程度的指數(shù)tax每萬(wàn)美元的全額房產(chǎn)稅率ptratio每個(gè)鎮(zhèn)的小學(xué)生師比

b1000(B-0.63)^2其中B是每個(gè)鎮(zhèn)的黑人比例lstat低收入人口比例medv一千美元為單位的戶主居住房屋的價(jià)格中位值多項(xiàng)式回歸分析把medv當(dāng)作因變量，而把其余的指標(biāo)作為自變量，可以建立起一個(gè)多元線性回歸模型如下:使用lm()函數(shù)計(jì)算得出模型并保存在變量Boston.lm中>Boston.lm<-lm(medv~.,data=BostonHousing)多元線性回歸的判定系數(shù)>summary(Boston.lm)$r.squared[1]0.7406427

多項(xiàng)式回歸分析

多項(xiàng)式回歸分析Part/

03在SLID數(shù)據(jù)集上研究線性回歸案例操作見(jiàn)課本謝謝觀看第3章關(guān)聯(lián)分析Part/

01關(guān)聯(lián)分析的準(zhǔn)備工作以對(duì)消費(fèi)者的建模為例，舉一些場(chǎng)景下的常用算法對(duì)應(yīng)：劃分消費(fèi)者群體：聚類，分類；購(gòu)物籃分析：相關(guān)，聚類；購(gòu)買(mǎi)額預(yù)測(cè)：回歸，時(shí)間序列；滿意度調(diào)查：回歸，聚類，分類；什么是關(guān)聯(lián)分析數(shù)據(jù)挖掘主要模型：分類、聚類、預(yù)測(cè)及關(guān)聯(lián)什么是關(guān)聯(lián)分析什么是關(guān)聯(lián)分析什么是關(guān)聯(lián)分析

關(guān)聯(lián)規(guī)則算法常用來(lái)描述數(shù)據(jù)之間的相關(guān)關(guān)系，關(guān)聯(lián)規(guī)則模式屬于描述型模式，挖掘關(guān)聯(lián)規(guī)則的算法和聚類算法類似，屬于無(wú)監(jiān)督學(xué)習(xí)的方法。什么是關(guān)聯(lián)分析

關(guān)聯(lián)規(guī)則就是由關(guān)聯(lián)的規(guī)則，它的定義是：兩個(gè)不相交的非空集合X、Y，如果由X->Y，就說(shuō)X->Y是一條關(guān)聯(lián)規(guī)則。其中X表示的是兩個(gè)互斥事件，X稱為前因(antecedent)，Y稱為后果(consequent)，上述關(guān)聯(lián)規(guī)則表示X會(huì)導(dǎo)致Y。關(guān)聯(lián)規(guī)則的強(qiáng)度用支持度（support）和置信度（confidence）來(lái)描述。在實(shí)際應(yīng)用中，商品在銷(xiāo)售中存在一定的關(guān)聯(lián)性。如果大量的數(shù)據(jù)表明，消費(fèi)者購(gòu)買(mǎi)A產(chǎn)品的同時(shí)也會(huì)同時(shí)購(gòu)買(mǎi)B產(chǎn)品，那么A和B之間存在關(guān)聯(lián)性，記為A->B。例如，在超市中，常常會(huì)看到兩個(gè)商品的捆綁銷(xiāo)售，很有可能就是關(guān)聯(lián)分析的結(jié)果。什么是關(guān)聯(lián)分析什么是關(guān)聯(lián)分析時(shí)間（Time）商品（Items）T1｛牛奶,面包｝T2｛面包,尿布,啤酒,雞蛋｝T3｛牛奶,尿布,啤酒,可樂(lè)｝T4｛面包,牛奶,尿布,啤酒｝T5｛面包,牛奶,尿布,可樂(lè)｝Part/

02Apriori規(guī)則1使用Apriori規(guī)則完成關(guān)聯(lián)挖掘Apriori是廣為人知的關(guān)聯(lián)規(guī)則挖掘算法，它依靠逐層的廣度優(yōu)先策略生成候選項(xiàng)集，首先逐層找到所有的頻繁項(xiàng)集(項(xiàng)集支持度大于給定值)，例如先找到1-頻繁項(xiàng)集，然后基于1-頻繁項(xiàng)集找到2-頻繁項(xiàng)集，依次遞歸，基于k-頻繁項(xiàng)集生成新的k+1頻繁項(xiàng)集，直至找不到新的頻繁項(xiàng)集為止。Apriori原理（1）尋找所有不低于最小支持度的項(xiàng)集（頻繁項(xiàng)集）；（2）使用頻繁項(xiàng)集生成規(guī)則。PS：

支持度：數(shù)據(jù)集中包含該項(xiàng)集的記錄所占的比例；

頻繁項(xiàng)集：支持度大于最小支持度的項(xiàng)集。對(duì)數(shù)