教你用R進(jìn)行數(shù)據(jù)挖掘

1、教你用R進(jìn)行數(shù)據(jù)挖掘R是一種廣泛用于數(shù)據(jù)分析和統(tǒng)計(jì)計(jì)算的強(qiáng)大語言，于上世紀(jì)90年代開始發(fā)展起來。得益于全世界眾多 愛好者的無盡努力，大家繼而開發(fā)出了一種基于R但優(yōu)于R基本文本編輯器的R Studio(用戶的界面體驗(yàn)更好)。也正是由于全世界越來越多的數(shù)據(jù)科學(xué)社區(qū)和用戶對(duì)R包的慷慨貢獻(xiàn)，讓R語言在全球范圍內(nèi)越來越流行。其中一些R包，例如MASS，SparkR， ggplot2，使數(shù)據(jù)操作,可視化和計(jì)算功能越來越強(qiáng)大。我們所說的機(jī)器學(xué)習(xí)和R有什么關(guān)系呢?我對(duì)R的第一印象是,它只是一個(gè)統(tǒng)計(jì)計(jì)算的一個(gè)軟件。但是后來我發(fā)現(xiàn)R有足夠的能力以一個(gè)快速和簡(jiǎn)單的方式來實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。這是用R來學(xué)習(xí)數(shù)據(jù)科學(xué)和機(jī)器

2、學(xué)習(xí)的完整教程，讀完本文,你將有使用機(jī)器學(xué)習(xí)的方法來構(gòu)建預(yù)測(cè)模型的基本能力。注：這篇文章對(duì)于之前沒有很多數(shù)據(jù)科學(xué)知識(shí)的同學(xué)們是特別值得一看的，同時(shí)掌握一定的代數(shù)和統(tǒng)計(jì)知識(shí)將會(huì)更有益于您的學(xué)習(xí)。一、初識(shí)R語言1、為什么學(xué)R ?事實(shí)上，我沒有編程經(jīng)驗(yàn)，也沒有學(xué)過計(jì)算機(jī)。但是我知道如果要學(xué)習(xí)數(shù)據(jù)科學(xué),一個(gè)人必須學(xué)習(xí)R或Python作為開始學(xué)習(xí)的工具。我選擇了前者，同時(shí)在學(xué)習(xí)過程中我發(fā)現(xiàn)了一些使用R的好處： 用R語言編碼非常的簡(jiǎn)單; R是一個(gè)免費(fèi)的開源軟件，同時(shí)它可以直接在官網(wǎng)上下載; R語言中有來自于全世界愛好者貢獻(xiàn)的即時(shí)訪問超過7800個(gè)用于不同計(jì)算的R包。 R語言還有遍布全世界的學(xué)習(xí)社區(qū)及論壇，

3、你能很輕松的獲取幫助; 我們憑借R包能夠獲得高性能的計(jì)算體驗(yàn); 它是,數(shù)據(jù)分析公司高度尋求技能之一。2、如何安裝R / Rstudio?你可以/官網(wǎng)下載并安裝R，需要注意的是R的更新速度很快，下載新版本的體驗(yàn)會(huì)更好一些。另外,我建議你從RStudio開始，因?yàn)镽Studio的界面編程體驗(yàn)更好一些。你可以通過/products/rstudio/download/ 在“支持的平臺(tái)上安裝”部分中, 根據(jù)您的操作系統(tǒng)選擇您需要的安裝程序。點(diǎn)擊桌面圖標(biāo)RStudio,就開始你的編程體驗(yàn)，如下圖所示：讓我們快速的了

4、解一下R界面 R script:：在這個(gè)空間里可以寫代碼，要運(yùn)行這些代碼,只需選擇的代碼行和按下Ctrl + R即可或者,你可以點(diǎn)擊“運(yùn)行”按鈕位置在右上角R的腳本。 R console：這個(gè)區(qū)域顯示的輸出代碼運(yùn)行:，同時(shí)你可以在控制臺(tái)直接寫代碼。但是代碼直接進(jìn)入R控制臺(tái)無法追蹤。 R環(huán)境：這個(gè)空間是顯示設(shè)置的外部元素補(bǔ)充道。這里面包括數(shù)據(jù)集、變量向量,還可以檢查R數(shù)據(jù)是否被正確加載。 圖形輸出窗口：這個(gè)空間顯示圖表中創(chuàng)建的探索性數(shù)據(jù)分析。不僅僅輸出圖形,您可以選擇包,尋求幫助和嵌入式R的官方文檔。3、如何安裝包?R的計(jì)算能力在于它擁有強(qiáng)大的R包。在R中,大多數(shù)數(shù)據(jù)處理任務(wù)可以從兩方面進(jìn)行，使

5、用R包和基本功能。在本教程中,我們將介紹最方便的和強(qiáng)大的R包。特別的，一般不太建議直接在R軟件的中直接安裝加載包，因?yàn)檫@樣可能會(huì)影響你的計(jì)算速度。我們建議你直接在R的官網(wǎng)上下載好您所需要的R包，通過本地安裝的形式進(jìn)行安裝，如下：在軟件中安裝：install.packages(“package name”)本地安裝： install.packages(“E:/r/ggplot2_2.1.0.zip”)4、用R進(jìn)行基本的統(tǒng)計(jì)計(jì)算讓我們開始熟悉R的編程環(huán)境及一些基本的計(jì)算，在R編程腳本窗口中輸入程序，如下：安裝腳本類似地,您也可以自己嘗試各種組合的計(jì)算形式并得到結(jié)果。但是,如果你做了太多的計(jì)算，這樣

6、的編程未免過于麻煩，在這種情況下,創(chuàng)建變量是一個(gè)有用的方法。在R中,您可以創(chuàng)建變量的形式來簡(jiǎn)化。創(chuàng)建變量時(shí)使用 -或=符號(hào)，例如我想創(chuàng)建一個(gè)變量x計(jì)算7和8的總和,如下：變量總和特別的，一旦我們創(chuàng)建一個(gè)變量,你不再直接得到的輸出，此時(shí)我們需要輸入對(duì)應(yīng)的變量然后再運(yùn)行結(jié)果。注意，變量可以是字母,字母數(shù)字而不是數(shù)字，數(shù)字是不能創(chuàng)建數(shù)值變量的、二、編程基礎(chǔ)慨念及R包1、R中的數(shù)據(jù)類型和對(duì)象 數(shù)據(jù)類型R中數(shù)據(jù)類型包括數(shù)值型，字符型，邏輯型，日期型及缺省值，這個(gè)數(shù)據(jù)類型我們?cè)谶\(yùn)用數(shù)據(jù)的過程中，大家很容易可以自行了解，在此不做詳細(xì)解釋。數(shù)據(jù)概念 數(shù)據(jù)對(duì)象R中的數(shù)據(jù)對(duì)象主要包括向量(數(shù)字、整數(shù)等)、列表、數(shù)

7、據(jù)框和矩陣。讓具體的進(jìn)行了解：1向量正如上面提到的,一個(gè)向量包含同一個(gè)類的對(duì)象。但是,你也可以混合不同的類的對(duì)象。當(dāng)對(duì)象的不同的類混合在一個(gè)列表中，這種效應(yīng)會(huì)導(dǎo)致不同類型的對(duì)象轉(zhuǎn)換成一個(gè)類。例如：數(shù)據(jù)對(duì)象注：1、檢查任何對(duì)象的類,使用class()函數(shù)的功能。2、轉(zhuǎn)換一個(gè)數(shù)據(jù)的類，使用as.()函數(shù)使用函數(shù)類似地,您可以自己嘗試改變其他任何的類向量2列表一個(gè)列表是一種包含不同的數(shù)據(jù)類型的元素特殊類型的向量。例如02列表可以看出，,列表的輸出不同于一個(gè)向量。這是因?yàn)椴煌愋偷乃袑?duì)象。第一個(gè)雙括號(hào)1顯示了第一個(gè)元素包括的索引內(nèi)容，依次類推。另外的，您自己還可以嘗試：嘗試3矩陣當(dāng)一個(gè)向量與行和列即

8、維度屬性,它變成了一個(gè)矩陣。一個(gè)矩陣是由行和列組成的，讓我們?cè)囍鴦?chuàng)建一個(gè)3行2列的矩陣:矩陣正如你所看到的,一個(gè)矩陣的維度你可以通過dim()或attributes()命令獲得，從一個(gè)矩陣中提取一個(gè)特定元素,只需使用上面矩陣的形式。例如矩陣形式同樣的，,您還可以從個(gè)一個(gè)向量開始創(chuàng)建所需要的矩陣，我們,需要做的是利用dim()分配好維度。如下所示：分配維度另外，你也可以加入兩個(gè)向量使用cbind()和rbind()函數(shù)。但是,需要確保兩向量相同數(shù)量的元素。如果沒有的話,它將返回NA值。數(shù)量元素4數(shù)據(jù)框這是最常用的一種數(shù)據(jù)類型，它是用來存儲(chǔ)列表數(shù)據(jù)的。它不同于矩陣，在一個(gè)矩陣中,每一個(gè)元素必須有相

9、同的類。但是,在一個(gè)數(shù)據(jù)框里你可以把向量包含不同類別的列表。這意味著,每一列的數(shù)據(jù)就像一個(gè)列表,每次你在R中讀取數(shù)據(jù)將被存儲(chǔ)在一個(gè)數(shù)據(jù)框中。例如：數(shù)據(jù)框讓我們解釋一下上面的代碼。df是數(shù)據(jù)框的名字。dim()返回?cái)?shù)據(jù)框的規(guī)格是4行2列，str()返回的是一個(gè)數(shù)據(jù)框的結(jié)構(gòu)，nrow()和ncol()返回是數(shù)據(jù)框的行數(shù)和列數(shù)。特別的，我們需要理解一下R中缺失值的概念，NA代表缺失值，這也是預(yù)測(cè)建模的關(guān)鍵部分?，F(xiàn)在,我們示例檢查是否一個(gè)數(shù)據(jù)集有缺失值。缺失值2 jane NA缺失值的存在嚴(yán)重阻礙了我們正常計(jì)算數(shù)據(jù)集。例如,因?yàn)橛袃蓚€(gè)缺失值,它不能直接做均值得分。例如：janena.rm = TRUE

10、告訴R計(jì)算時(shí)忽略缺失值，只是計(jì)算選定的列中剩余值的均值(得分)。刪除在數(shù)據(jù)中的行和NA，您可以使用na.omit忽略缺失值2、R中的控制語句正如它的名字一樣,這樣的語句在編碼中起控制函數(shù)的作用，寫一個(gè)函數(shù)也是一組多個(gè)命令自動(dòng)重復(fù)編碼的過程。例如:你有10個(gè)數(shù)據(jù)集，你想找到存在于每一個(gè)數(shù)據(jù)集中的“年齡”列。這可以通過兩種方法，一種需要我們運(yùn)行一個(gè)特定的程序運(yùn)行10次，另外一種就需要通過編寫一個(gè)控制語句來完成。我們先了解下R中的控制結(jié)構(gòu)簡(jiǎn)單的例子：If.else，這個(gè)結(jié)構(gòu)是用來測(cè)試一個(gè)條件的，下面是語法：控制語句例子：例子For語句，這個(gè)結(jié)構(gòu)是當(dāng)一個(gè)循環(huán)執(zhí)行固定的次數(shù)時(shí)使用。下面是語法:forwh

11、ile,語句它首先測(cè)試條件,并只有在條件是正確的時(shí)才執(zhí)行，一旦執(zhí)行循環(huán),條件是再次測(cè)試，直到滿足指定的條件然后輸出。下面是語法while當(dāng)然，還有其他的控制結(jié)構(gòu),但不太常用的比上面的解釋。例如： Repeat 它執(zhí)行一個(gè)無限循環(huán) break它打破循環(huán)的執(zhí)行 next它允許跳過一個(gè)迭代循環(huán) return它幫助退出函數(shù)注意:如果你發(fā)現(xiàn)這部分的控制結(jié)構(gòu)難以理解,不用擔(dān)心。R語言中來自于眾多人貢獻(xiàn)的包，會(huì)幫助你很多。3、常用的R包在R的鏡像(CRAN)中，有超過7800個(gè)包可供大家調(diào)用，其中很多包可以用來預(yù)測(cè)建模在本文中，我們?cè)谙旅鏁?huì)簡(jiǎn)單的介紹其中幾個(gè)。之前，我們已經(jīng)解釋了安裝包的方法,大家可以根據(jù)自

12、己的需要去下載安裝。導(dǎo)入數(shù)據(jù)R為數(shù)據(jù)的導(dǎo)入進(jìn)口提供了廣泛的包，并且可以接入任何格式的數(shù)據(jù)。如txt,csv,sql等均可快速導(dǎo)入大文件的數(shù)據(jù),。數(shù)據(jù)可視化R同樣可以用來構(gòu)建繪圖命令并且是創(chuàng)建簡(jiǎn)單的圖表非常好用。但是,當(dāng)創(chuàng)建的圖形變得較為復(fù)雜時(shí)，你應(yīng)該安裝ggplot2。數(shù)據(jù)操作R中有很多關(guān)于數(shù)據(jù)操作集合的包，他們可以做基本的和先進(jìn)的快速計(jì)算、例如dplyr，plyr ，tidyr，lubricate，stringr等。建模學(xué)習(xí)/機(jī)器學(xué)習(xí)對(duì)于模型學(xué)習(xí)，caret包是強(qiáng)大到足以滿足大多創(chuàng)建機(jī)器學(xué)習(xí)模型的必要。當(dāng)然,您也可以安裝算法包，例如對(duì)于隨機(jī)森林，決策樹等等。到這里為止，你會(huì)覺得對(duì)于R的相關(guān)組

13、件都相對(duì)熟悉啦，從現(xiàn)在開始我們開始介紹一些關(guān)于模型預(yù)測(cè)的知識(shí)。三、用R進(jìn)行數(shù)據(jù)預(yù)處理從這一節(jié)開始,我們將深入閱讀預(yù)測(cè)建模的不同階段。對(duì)于數(shù)據(jù)的預(yù)處理是非常重要的，這一階段學(xué)習(xí)將強(qiáng)化我們的對(duì)數(shù)據(jù)操作的應(yīng)用，讓我們?cè)诮酉聛淼腞中去學(xué)習(xí)和應(yīng)用一下。在本教程中,我們以這個(gè)大市場(chǎng)銷售預(yù)測(cè)數(shù)據(jù)集為例。首先，我們先理解一下數(shù)據(jù)結(jié)構(gòu)，如下圖：數(shù)據(jù)處理1、數(shù)據(jù)集中基礎(chǔ)概念1最后一列ItemOutlet_Sales為響應(yīng)變量(因變量y)，是我們需要做出預(yù)測(cè)的。前面的變量是自變量xi，是用來預(yù)測(cè)因變量的。2數(shù)據(jù)集預(yù)測(cè)模型一般是通過訓(xùn)練數(shù)據(jù)集建立，訓(xùn)練數(shù)據(jù)總是包括反變量;測(cè)試數(shù)據(jù):一旦模型構(gòu)建,它在測(cè)試數(shù)據(jù)集中的測(cè)試

14、是較為準(zhǔn)確的，這個(gè)數(shù)據(jù)總是比訓(xùn)練數(shù)據(jù)集包含更少數(shù)量的觀察值，而且是它不包括反應(yīng)變量的。數(shù)據(jù)的導(dǎo)入和基本探索1在使用R語言時(shí)一個(gè)重要設(shè)置是定義工作目錄，即設(shè)置當(dāng)前運(yùn)行路徑(這樣你的全部數(shù)據(jù)和程序都將保存在該目錄下)數(shù)據(jù)導(dǎo)入一旦設(shè)置了目錄,我們可以很容易地導(dǎo)入數(shù)據(jù)，使用下面的命令導(dǎo)入csv文件：導(dǎo)入文件通過R環(huán)境檢查數(shù)據(jù)是否已成功加載,然后讓我們來探討數(shù)據(jù)探討數(shù)據(jù)從結(jié)果我們可以看到訓(xùn)練集有8523行12列數(shù)據(jù)，測(cè)試集有5681行和11列訓(xùn)練數(shù)據(jù),并且這也是正確的。測(cè)試數(shù)據(jù)應(yīng)該總是少一列的?，F(xiàn)在讓我們深入探索訓(xùn)練數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集2、圖形表示當(dāng)使用圖表來表示時(shí)，我想大家會(huì)更好的了解這些變量。一般來講,

15、我們可以從兩個(gè)方面分析數(shù)據(jù):單變量分析和雙變量分析。對(duì)于單變量分析來講較為簡(jiǎn)單，在此不做解釋。我們本文以雙變量分析為例：(對(duì)于可視化,我們將使用ggplot2包。這些圖可以幫助我們更好理解變量的分布和頻率的數(shù)據(jù)集)首先做出Item_Visibility和Item_Outlet_Sales兩個(gè)變量的散點(diǎn)圖1ggplot(train, aes(x= Item_Visibility, y = Item_Outlet_Sales) + geom_point(size = 2.5, color=”navy”) + xlab(“Item Visibility”) + ylab(“Item Outlet S

16、ales”) + ggtitle(“Item Visibility vs Item Outlet Sales”)散點(diǎn)圖從圖中，我們可以看到大多數(shù)銷售已從產(chǎn)品能見度小于0.2。這表明item_visibility summary(train)推論從圖中，我們可以看到每列的最小值，最大值，中位數(shù)，平均值，缺失值的信息等等。我們看到變量Item_Weight中有缺失值，而且Item_Weight是一個(gè)連續(xù)變量。因此,在這種情況下,我們一般用樣本中變量的均值或中位數(shù)賦值給缺失值。計(jì)算變量item_weight的均值和中位數(shù)，這是最常用處理缺失值的的方法，其他的方法在此不贅述。我們可以先把兩個(gè)數(shù)據(jù)集合并

17、，這樣就不需要編寫?yīng)毩⒕幋a訓(xùn)練和測(cè)試數(shù)據(jù)集，這也會(huì)節(jié)省我們的計(jì)算時(shí)間。但是合并結(jié)合兩個(gè)數(shù)據(jù)框，我們必須確保他們相同的列，如下：合并我們知道，測(cè)試數(shù)據(jù)集有個(gè)少一列因變量。首先來添加列，我們可以給這個(gè)列賦任何值。一個(gè)直觀的方法是我們可以從訓(xùn)練數(shù)據(jù)集中提取銷售的平均值，并使用$Item_Outlet_Sales作為測(cè)試變量的銷售列。不過，在此,我們讓它簡(jiǎn)單化給最后一列賦值為1。簡(jiǎn)化接下來我們先來計(jì)算中位數(shù)，選用中位數(shù)是因?yàn)樗陔x散值中很有代表性。代表性4、連續(xù)變量和分類變量的處理在數(shù)據(jù)處理中，對(duì)連續(xù)數(shù)據(jù)集和分類變量的非別處理是非常重要的。在這個(gè)數(shù)據(jù)集,我們只有3個(gè)連續(xù)變量，其他的是分類變量。如果你仍

18、然感到困惑，建議你再次使用str()查看數(shù)據(jù)集。對(duì)于變量Item_Visibility，在上面的圖中可以看到該項(xiàng)中有的能見度為零值,這幾乎是不可行的。因此,我們考慮將它看成缺失值，用中位數(shù)來處理。連續(xù)變量現(xiàn)在讓我們繼續(xù)處理一下分類變量。在初步的數(shù)據(jù)探索中,我們看到有錯(cuò)誤的水平變量需要糾正。糾正使用上面的命令,我們指定的名稱“others”為其他未命名的變量，簡(jiǎn)要?jiǎng)澐至薎tem_Fat_Content的等級(jí)。5、特征值變量計(jì)算現(xiàn)在我們已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，很多時(shí)候需要大量的數(shù)據(jù)算法計(jì)算，但是之前所選出的變量不一定會(huì)和模型擬合的效果很好。,所以我們需要提取新的變量，提供盡可能多的“新”的信息來幫助

19、模型做出更準(zhǔn)確的預(yù)測(cè)。以合并后的數(shù)據(jù)集為例，你覺得哪些因素)可能會(huì)影響Item_Outlet_Sales?關(guān)于商店種類變量計(jì)算在源數(shù)據(jù)中有10個(gè)不同的門店，門店的數(shù)目越多，說明某種商品更容易在這個(gè)商店中售出。變量計(jì)算注：管道函數(shù)的思路，將左邊的值管道輸出為右邊調(diào)用的函數(shù)的第一個(gè)參數(shù)。商品種類計(jì)算同樣的,我們也可以計(jì)算商品種類的信息，這樣我們可以通過結(jié)果看到商品在各家商店出現(xiàn)的頻率。商品種類計(jì)算商店的成立時(shí)間的變量探索我們假設(shè)商店的成立時(shí)間越久，該商店的客流量和產(chǎn)品銷量越會(huì)越多。商店的成立時(shí)間的變量探索以第一個(gè)年份為例，這表明機(jī)構(gòu)成立于1999年，已有14年的歷史(以2013年為截止年份)。注：

20、mutate函數(shù)，是對(duì)已有列進(jìn)行數(shù)據(jù)運(yùn)算并添加為新列。商品所屬類型的相關(guān)計(jì)算通過對(duì)商品所屬類型的計(jì)算，我們可以從其中發(fā)現(xiàn)人們的消費(fèi)趨勢(shì)。從數(shù)據(jù)中們可以看出仔細(xì)看商品標(biāo)注DR的，大多是可以吃的食物。對(duì)于FD，大多是屬于飲品類的。同樣的我們注意到到NC類，可能是生活用品(非消耗品)，但是NC類中的所標(biāo)注較為復(fù)雜。于是，我們將把這些變量提取出來，并放到一個(gè)新變量中。在這里我將使用substr()和gsub()函數(shù)來實(shí)現(xiàn)提取和重命名變量。商品所屬類型的相關(guān)計(jì)算當(dāng)然，你也可以試著去增加一些新變量幫助構(gòu)建更好的模型，但是，增加新變量時(shí)必須使它與其他的變量之間是不相關(guān)的。如果你不確定與其他變量之間是否存在相

21、關(guān)關(guān)系，可以通過函數(shù)cor()來進(jìn)行判斷。對(duì)字符變量進(jìn)行編碼1標(biāo)簽編碼這一部分的任務(wù)是將字符型的標(biāo)簽進(jìn)行編碼，例如在在我們的數(shù)據(jù)集中,變量Item_Fat_Content有2個(gè)級(jí)別低脂肪和常規(guī)，我們將低脂編碼為0和常規(guī)型的編碼為1 。因?yàn)檫@樣能夠幫助我們進(jìn)行定量的分析。 我們可以通過ifelse語句來實(shí)現(xiàn)。1 combi$Item_Fat_Content library(dummies)combi combi str(combi)在本節(jié)中,我將介紹回歸、決策樹和隨機(jī)森林等算法。這些算法的詳細(xì)解釋已經(jīng)超出了本文的范圍，如果你想詳細(xì)的了解，推薦大家看機(jī)器學(xué)習(xí)的相關(guān)書籍?，F(xiàn)在我們要將兩個(gè)數(shù)據(jù)集分開，

22、以便我們來進(jìn)行預(yù)測(cè)建模。如下：預(yù)測(cè)建模1、多元線性回歸使用多元回歸建模時(shí)，一般用于響應(yīng)變量(因變量)是連續(xù)型和可供預(yù)測(cè)變量有很多時(shí)。如果它因變量被分類,我們一般會(huì)使用邏輯回歸。在我們做回歸前，我們先來了解一些回歸的基本假設(shè)： 在響應(yīng)變量和自變量之間存在某種線性關(guān)系; 各個(gè)自變量之間是不相關(guān)的，如果存在相關(guān)關(guān)系，我們稱這個(gè)模型出現(xiàn)了多重共線性。 誤差項(xiàng)也是要求不相關(guān)的。否則,它將導(dǎo)致模型出現(xiàn)自相關(guān)。 誤差項(xiàng)必須有恒定方差。否則,它將導(dǎo)致模型出現(xiàn)異方差性。在R中我們使用lm()函數(shù)來做回歸，如下：機(jī)器學(xué)習(xí)回歸調(diào)整后的R可以很好的衡量一個(gè)回歸模型的擬合優(yōu)度。R越高說明模型擬合的越好從上圖可以看出ad

23、justed R= 0.2084。這意味著我們擬合的這個(gè)模型很不理想。而且可以p值看出這些新變量例如Item count, Outlet Count 和 Item_Type_New.對(duì)于我們的模型構(gòu)造而言并沒有什么幫助，因?yàn)樗鼈兊膕ign.遠(yuǎn)小于0.05的顯著性水平。對(duì)模型重要的變量是p值小于0.05的變量，也就是上圖中后面帶有*的變量。另外，我們知道變量之間存在相關(guān)性，會(huì)影響模型的準(zhǔn)確性，我們可以利用cor()函數(shù)來看一下各變量之間的相關(guān)關(guān)系。如下：cor(new_train)另外,您還可以使用corrplot包來做相關(guān)系數(shù)，如下的程序就幫助我們找到一個(gè)共線性很強(qiáng)的兩個(gè)變量相關(guān)系數(shù)可以看出變

24、量Outlet_Count與變量Outlet_Type_Grocery Store成高度負(fù)相關(guān)關(guān)系。另外，我們通過剛才的分析發(fā)現(xiàn)了模型中的一些問題： 模型中有相關(guān)關(guān)系的變量存在; 我們做了獨(dú)熱編碼編碼和標(biāo)簽編碼，但從結(jié)果來看，通過創(chuàng)建虛擬變量對(duì)于這個(gè)線性回歸模型的創(chuàng)建意義不大。 創(chuàng)建的新變量對(duì)于回歸模型的擬合也沒有很大影響。接下來，我們嘗試創(chuàng)建不含編碼和新變量的較大的回歸模型。如下：回歸模型模型上圖中可以看到，調(diào)整后的R= 0.5623。這告訴我們,有時(shí)只需你的計(jì)算過程簡(jiǎn)單一些可能會(huì)得到更精確的結(jié)果。讓我們從一些回歸圖中去發(fā)現(xiàn)一些能夠提高模型精度的辦法。提高精度結(jié)果從左上的第一個(gè)殘差擬合圖中我

25、們可以看出實(shí)際值與預(yù)測(cè)值之間殘差不是恒定的，這說明該模型中存在著異方差。解決異方差性的一個(gè)常見的做法就是對(duì)響應(yīng)變量取對(duì)數(shù)(減少誤差)。方差一方差可以看出調(diào)整后的R= 0.72，說明模型的構(gòu)建有了顯著的改善，我們可以再做一次擬合回歸圖擬合回歸上圖中，殘差值與擬合值之間已經(jīng)沒有了長(zhǎng)期趨勢(shì)，說明該模型的擬合效果理想。我們也經(jīng)常用RMSE來衡量模型的好壞，并且我們可以通過這個(gè)值與其他算法相比較。如下所示殘差值接下來讓我們進(jìn)行決策樹算法來改善我們的RMSE得分2、決策樹決策樹算法一般優(yōu)于線性回歸模型，我們簡(jiǎn)單介紹一下 ，在機(jī)器學(xué)習(xí)中決策樹是一個(gè)預(yù)測(cè)模型。他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。樹中

26、每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象，而每個(gè)分叉路徑則代表的某個(gè)可能的屬性值，而每個(gè)葉結(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對(duì)象的值。在R中,決策樹算法的實(shí)現(xiàn)可以使用rpart包。此外,我們將使用caret包做交叉驗(yàn)證。通過交叉驗(yàn)證技術(shù)來構(gòu)建較復(fù)雜的模型時(shí)可以使模型不容易出現(xiàn)過度擬合的情況。(關(guān)于交叉驗(yàn)證讀者可自行查閱)另外，,決策樹使用參數(shù)CP來衡量訓(xùn)練集的復(fù)雜性和準(zhǔn)確性。參數(shù)較小的CP值可能將導(dǎo)致更大的決策樹,這也可能會(huì)出現(xiàn)過度擬合的模型。相反,參數(shù)大的CP值也導(dǎo)致擬合不充分的模型，也就是我們不能準(zhǔn)確的把握所需變量的信息。以下我們選用五折交叉驗(yàn)證法來找出具有最優(yōu)CP的模型。決策樹決策樹的從上圖可以看出，參數(shù)cp = 0.01所對(duì)應(yīng)的RMSE最小，在此我們只提供了部分的數(shù)據(jù)，你可以在R consle中查詢到更多信息。1main_tree - rpart(Item_Outlet_Sales ., data = new_train, control = rpart.control(cp=0.01)#在cp=0.01下構(gòu)造決策樹prp(main