教你用R進(jìn)行數(shù)據(jù)挖掘

1、教你用R進(jìn)行數(shù)據(jù)挖掘R是一種廣泛用于數(shù)據(jù)分析和統(tǒng)計計算的強(qiáng)大語言，于上世紀(jì)90年代開始發(fā)展起來。得益于全世界眾多 愛好者的無盡努力，大家繼而開發(fā)出了一種基于R但優(yōu)于R基本文本編輯器的R Studio(用戶的界面體驗更好)。也正是由于全世界越來越多的數(shù)據(jù)科學(xué)社區(qū)和用戶對R包的慷慨貢獻(xiàn)，讓R語言在全球范圍內(nèi)越來越流行。其中一些R包，例如MASS，SparkR， ggplot2，使數(shù)據(jù)操作,可視化和計算功能越來越強(qiáng)大。我們所說的機(jī)器學(xué)習(xí)和R有什么關(guān)系呢?我對R的第一印象是,它只是一個統(tǒng)計計算的一個軟件。但是后來我發(fā)現(xiàn)R有足夠的能力以一個快速和簡單的方式來實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。這是用R來學(xué)習(xí)數(shù)據(jù)科學(xué)和機(jī)器

2、學(xué)習(xí)的完整教程，讀完本文,你將有使用機(jī)器學(xué)習(xí)的方法來構(gòu)建預(yù)測模型的基本能力。注：這篇文章對于之前沒有很多數(shù)據(jù)科學(xué)知識的同學(xué)們是特別值得一看的，同時掌握一定的代數(shù)和統(tǒng)計知識將會更有益于您的學(xué)習(xí)。一、初識R語言1、為什么學(xué)R ?事實(shí)上，我沒有編程經(jīng)驗，也沒有學(xué)過計算機(jī)。但是我知道如果要學(xué)習(xí)數(shù)據(jù)科學(xué),一個人必須學(xué)習(xí)R或Python作為開始學(xué)習(xí)的工具。我選擇了前者，同時在學(xué)習(xí)過程中我發(fā)現(xiàn)了一些使用R的好處：·  用R語言編碼非常的簡單;· R是一個免費(fèi)的開源軟件，同時它可以直接在官網(wǎng)上下載;· R語言中有來自于全世界愛好者貢獻(xiàn)的即時訪問超過7800個用于不同計算

3、的R包。· R語言還有遍布全世界的學(xué)習(xí)社區(qū)及論壇，你能很輕松的獲取幫助;· 我們憑借R包能夠獲得高性能的計算體驗;· 它是,數(shù)據(jù)分析公司高度尋求技能之一。2、如何安裝R / Rstudio?你可以/官網(wǎng)下載并安裝R，需要注意的是R的更新速度很快，下載新版本的體驗會更好一些。另外,我建議你從RStudio開始，因為RStudio的界面編程體驗更好一些。你可以通過 在“支持的平臺上安裝”部分中, 根據(jù)您的操作系統(tǒng)選擇您需要的安裝程序。點(diǎn)擊桌面圖標(biāo)RStudio,就開始你的編程體驗，如下圖所示：讓我們快速的了解一下R界面&

4、#183; R script:：在這個空間里可以寫代碼，要運(yùn)行這些代碼,只需選擇的代碼行和按下Ctrl + R即可或者,你可以點(diǎn)擊“運(yùn)行”按鈕位置在右上角R的腳本。·  R console：這個區(qū)域顯示的輸出代碼運(yùn)行:，同時你可以在控制臺直接寫代碼。但是代碼直接進(jìn)入R控制臺無法追蹤。·  R環(huán)境：這個空間是顯示設(shè)置的外部元素補(bǔ)充道。這里面包括數(shù)據(jù)集、變量向量,還可以檢查R數(shù)據(jù)是否被正確加載。· 圖形輸出窗口：這個空間顯示圖表中創(chuàng)建的探索性數(shù)據(jù)分析。不僅僅輸出圖形,您可以選擇包,尋求幫助和嵌入式R的官方文檔。3、如何安裝包?R的計算能力在于它擁有

5、強(qiáng)大的R包。在R中,大多數(shù)數(shù)據(jù)處理任務(wù)可以從兩方面進(jìn)行，使用R包和基本功能。在本教程中,我們將介紹最方便的和強(qiáng)大的R包。特別的，一般不太建議直接在R軟件的中直接安裝加載包，因為這樣可能會影響你的計算速度。我們建議你直接在R的官網(wǎng)上下載好您所需要的R包，通過本地安裝的形式進(jìn)行安裝，如下：在軟件中安裝：install.packages(“package name”)本地安裝： install.packages(“E:/r/ggplot2_2.1.0.zip”)4、用R進(jìn)行基本的統(tǒng)計計算讓我們開始熟悉R的編程環(huán)境及一些基本的計算，在R編程腳本窗口中輸入程序，如下：安裝腳本類似地,您也可以自己嘗試各種

6、組合的計算形式并得到結(jié)果。但是,如果你做了太多的計算，這樣的編程未免過于麻煩，在這種情況下,創(chuàng)建變量是一個有用的方法。在R中,您可以創(chuàng)建變量的形式來簡化。創(chuàng)建變量時使用< -或=符號，例如我想創(chuàng)建一個變量x計算7和8的總和,如下：變量總和特別的，一旦我們創(chuàng)建一個變量,你不再直接得到的輸出，此時我們需要輸入對應(yīng)的變量然后再運(yùn)行結(jié)果。注意，變量可以是字母,字母數(shù)字而不是數(shù)字，數(shù)字是不能創(chuàng)建數(shù)值變量的、二、編程基礎(chǔ)慨念及R包1、R中的數(shù)據(jù)類型和對象·  數(shù)據(jù)類型R中數(shù)據(jù)類型包括數(shù)值型，字符型，邏輯型，日期型及缺省值，這個數(shù)據(jù)類型我們在運(yùn)用數(shù)據(jù)的過程中，大家很容易可以自行了解

7、，在此不做詳細(xì)解釋。數(shù)據(jù)概念· 數(shù)據(jù)對象R中的數(shù)據(jù)對象主要包括向量(數(shù)字、整數(shù)等)、列表、數(shù)據(jù)框和矩陣。讓具體的進(jìn)行了解：1向量正如上面提到的,一個向量包含同一個類的對象。但是,你也可以混合不同的類的對象。當(dāng)對象的不同的類混合在一個列表中，這種效應(yīng)會導(dǎo)致不同類型的對象轉(zhuǎn)換成一個類。例如：數(shù)據(jù)對象注：1、檢查任何對象的類,使用class()函數(shù)的功能。2、轉(zhuǎn)換一個數(shù)據(jù)的類，使用as.()函數(shù)使用函數(shù)類似地,您可以自己嘗試改變其他任何的類向量2列表一個列表是一種包含不同的數(shù)據(jù)類型的元素特殊類型的向量。例如02列表可以看出，,列表的輸出不同于一個向量。這是因為不同類型的所有對象。第一個雙括

8、號1顯示了第一個元素包括的索引內(nèi)容，依次類推。另外的，您自己還可以嘗試：嘗試3矩陣當(dāng)一個向量與行和列即維度屬性,它變成了一個矩陣。一個矩陣是由行和列組成的，讓我們試著創(chuàng)建一個3行2列的矩陣:矩陣正如你所看到的,一個矩陣的維度你可以通過dim()或attributes()命令獲得，從一個矩陣中提取一個特定元素,只需使用上面矩陣的形式。例如矩陣形式同樣的，,您還可以從個一個向量開始創(chuàng)建所需要的矩陣，我們,需要做的是利用dim()分配好維度。如下所示：分配維度另外，你也可以加入兩個向量使用cbind()和rbind()函數(shù)。但是,需要確保兩向量相同數(shù)量的元素。如果沒有的話,它將返回NA值。數(shù)量元素4

9、數(shù)據(jù)框這是最常用的一種數(shù)據(jù)類型，它是用來存儲列表數(shù)據(jù)的。它不同于矩陣，在一個矩陣中,每一個元素必須有相同的類。但是,在一個數(shù)據(jù)框里你可以把向量包含不同類別的列表。這意味著,每一列的數(shù)據(jù)就像一個列表,每次你在R中讀取數(shù)據(jù)將被存儲在一個數(shù)據(jù)框中。例如：數(shù)據(jù)框讓我們解釋一下上面的代碼。df是數(shù)據(jù)框的名字。dim()返回數(shù)據(jù)框的規(guī)格是4行2列，str()返回的是一個數(shù)據(jù)框的結(jié)構(gòu)，nrow()和ncol()返回是數(shù)據(jù)框的行數(shù)和列數(shù)。特別的，我們需要理解一下R中缺失值的概念，NA代表缺失值，這也是預(yù)測建模的關(guān)鍵部分?，F(xiàn)在,我們示例檢查是否一個數(shù)據(jù)集有缺失值。缺失值2 jane NA缺失值的存在嚴(yán)重阻礙了我

10、們正常計算數(shù)據(jù)集。例如,因為有兩個缺失值,它不能直接做均值得分。例如：janena.rm = TRUE告訴R計算時忽略缺失值，只是計算選定的列中剩余值的均值(得分)。刪除在數(shù)據(jù)中的行和NA，您可以使用na.omit忽略缺失值2、R中的控制語句正如它的名字一樣,這樣的語句在編碼中起控制函數(shù)的作用，寫一個函數(shù)也是一組多個命令自動重復(fù)編碼的過程。例如:你有10個數(shù)據(jù)集，你想找到存在于每一個數(shù)據(jù)集中的“年齡”列。這可以通過兩種方法，一種需要我們運(yùn)行一個特定的程序運(yùn)行10次，另外一種就需要通過編寫一個控制語句來完成。我們先了解下R中的控制結(jié)構(gòu)簡單的例子：If.else，這個結(jié)構(gòu)是用來測試一個條件的，下面

11、是語法：控制語句例子：例子For語句，這個結(jié)構(gòu)是當(dāng)一個循環(huán)執(zhí)行固定的次數(shù)時使用。下面是語法:for while,語句它首先測試條件,并只有在條件是正確的時才執(zhí)行，一旦執(zhí)行循環(huán),條件是再次測試，直到滿足指定的條件然后輸出。下面是語法while當(dāng)然，還有其他的控制結(jié)構(gòu),但不太常用的比上面的解釋。例如：· Repeat 它執(zhí)行一個無限循環(huán)· break它打破循環(huán)的執(zhí)行· next它允許跳過一個迭代循環(huán)· return它幫助退出函數(shù)注意:如果你發(fā)現(xiàn)這部分的控制結(jié)構(gòu)難以理解,不用擔(dān)心。R語言中來自于眾多人貢獻(xiàn)的包，會幫助你很多。3、常用的R包在R的鏡像(

12、CRAN)中，有超過7800個包可供大家調(diào)用，其中很多包可以用來預(yù)測建模在本文中，我們在下面會簡單的介紹其中幾個。之前，我們已經(jīng)解釋了安裝包的方法,大家可以根據(jù)自己的需要去下載安裝。導(dǎo)入數(shù)據(jù)R為數(shù)據(jù)的導(dǎo)入進(jìn)口提供了廣泛的包，并且可以接入任何格式的數(shù)據(jù)。如txt,csv,sql等均可快速導(dǎo)入大文件的數(shù)據(jù),。數(shù)據(jù)可視化R同樣可以用來構(gòu)建繪圖命令并且是創(chuàng)建簡單的圖表非常好用。但是,當(dāng)創(chuàng)建的圖形變得較為復(fù)雜時，你應(yīng)該安裝ggplot2。數(shù)據(jù)操作R中有很多關(guān)于數(shù)據(jù)操作集合的包，他們可以做基本的和先進(jìn)的快速計算、例如dplyr，plyr ，tidyr，lubricate，stringr等。建模學(xué)習(xí)/機(jī)器學(xué)

13、習(xí)對于模型學(xué)習(xí)，caret包是強(qiáng)大到足以滿足大多創(chuàng)建機(jī)器學(xué)習(xí)模型的必要。當(dāng)然,您也可以安裝算法包，例如對于隨機(jī)森林，決策樹等等。到這里為止，你會覺得對于R的相關(guān)組件都相對熟悉啦，從現(xiàn)在開始我們開始介紹一些關(guān)于模型預(yù)測的知識。三、用R進(jìn)行數(shù)據(jù)預(yù)處理從這一節(jié)開始,我們將深入閱讀預(yù)測建模的不同階段。對于數(shù)據(jù)的預(yù)處理是非常重要的，這一階段學(xué)習(xí)將強(qiáng)化我們的對數(shù)據(jù)操作的應(yīng)用，讓我們在接下來的R中去學(xué)習(xí)和應(yīng)用一下。在本教程中,我們以這個大市場銷售預(yù)測數(shù)據(jù)集為例。首先，我們先理解一下數(shù)據(jù)結(jié)構(gòu)，如下圖：數(shù)據(jù)處理1、數(shù)據(jù)集中基礎(chǔ)概念1最后一列ItemOutlet_Sales為響應(yīng)變量(因變量y)，是我們需要做出預(yù)

14、測的。前面的變量是自變量xi，是用來預(yù)測因變量的。2數(shù)據(jù)集預(yù)測模型一般是通過訓(xùn)練數(shù)據(jù)集建立，訓(xùn)練數(shù)據(jù)總是包括反變量;測試數(shù)據(jù):一旦模型構(gòu)建,它在測試數(shù)據(jù)集中的測試是較為準(zhǔn)確的，這個數(shù)據(jù)總是比訓(xùn)練數(shù)據(jù)集包含更少數(shù)量的觀察值，而且是它不包括反應(yīng)變量的。數(shù)據(jù)的導(dǎo)入和基本探索1在使用R語言時一個重要設(shè)置是定義工作目錄，即設(shè)置當(dāng)前運(yùn)行路徑(這樣你的全部數(shù)據(jù)和程序都將保存在該目錄下)數(shù)據(jù)導(dǎo)入一旦設(shè)置了目錄,我們可以很容易地導(dǎo)入數(shù)據(jù)，使用下面的命令導(dǎo)入csv文件：導(dǎo)入文件通過R環(huán)境檢查數(shù)據(jù)是否已成功加載,然后讓我們來探討數(shù)據(jù)探討數(shù)據(jù)從結(jié)果我們可以看到訓(xùn)練集有8523行12列數(shù)據(jù)，測試集有5681行和11列訓(xùn)

15、練數(shù)據(jù),并且這也是正確的。測試數(shù)據(jù)應(yīng)該總是少一列的?，F(xiàn)在讓我們深入探索訓(xùn)練數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集2、圖形表示當(dāng)使用圖表來表示時，我想大家會更好的了解這些變量。一般來講,我們可以從兩個方面分析數(shù)據(jù):單變量分析和雙變量分析。對于單變量分析來講較為簡單，在此不做解釋。我們本文以雙變量分析為例：(對于可視化,我們將使用ggplot2包。這些圖可以幫助我們更好理解變量的分布和頻率的數(shù)據(jù)集)首先做出Item_Visibility和Item_Outlet_Sales兩個變量的散點(diǎn)圖1ggplot(train, aes(x= Item_Visibility, y = Item_Outlet_Sales) + geo

16、m_point(size = 2.5, color=”navy”) + xlab(“Item Visibility”) + ylab(“Item Outlet Sales”) + ggtitle(“Item Visibility vs Item Outlet Sales”)散點(diǎn)圖從圖中，我們可以看到大多數(shù)銷售已從產(chǎn)品能見度小于0.2。這表明item_visibility < 0.2，則該變量必須是確定銷售的一個重要因素。做出Outlet_Identifier和Item_Outlet_Sales兩個變量的柱狀關(guān)系圖1ggplot(train, aes(Outlet_Identifier,

17、Item_Outlet_Sales) + geom_bar(stat = “identity”, color = “purple”) +theme(axis.text.x = element_text(angle = 70, vjust = 0.5, color = “black”) + ggtitle(“Outlets vs Total Sales”) + theme_bw()柱狀圖在這里,我們推斷可能是OUT027的銷量影響啦OUT35的銷量緊隨其后。OUT10和OUT19可能是由于最少的客流量,從而導(dǎo)致最少的出口銷售。做出Outlet_type和Item_Outlet_Sales兩個變量

18、的箱體圖1ggplot(train, aes(Item_Type, Item_Outlet_Sales) + geom_bar( stat = “identity”) +theme(axis.text.x = element_text(angle = 70, vjust = 0.5, color = “navy”)箱體圖從這個圖表,我們可以推斷出水果和蔬菜最有利于銷售零食數(shù)量的出口，其次是家用產(chǎn)品。做出Item_Type和Item_MRP兩個變量的箱線圖這次我們使用箱線圖來表示，箱線圖的好處在于我們可以看到相應(yīng)變量的異常值和平均偏差水平。1ggplot(train, aes(Item_Type

19、, Item_MRP) +geom_boxplot() +ggtitle(“Box Plot”) + theme(axis.text.x = element_text(angle = 70, vjust = 0.5, color = “red”) + xlab(“Item Type”) + ylab(“Item MRP”) + ggtitle(“Item Type vs Item MRP”)在圖中，,黑色的點(diǎn)就是一個異常值，盒子里黑色的線是每個項目類型的平均值。3、缺失值處理缺失值對于自變量和因變量之間的關(guān)系有很大的影響。現(xiàn)在,讓我們理解一下缺失值的處理的知識。讓我們來做一些快速的數(shù)據(jù)探索，首

20、先,我們將檢查數(shù)據(jù)是否有缺失值。缺失值處理我們可以看出在訓(xùn)練數(shù)據(jù)集中有1463個缺失值。讓我們檢查這些缺失值的變量在哪里，其實(shí)很多數(shù)據(jù)科學(xué)家一再建議初學(xué)者在在數(shù)據(jù)探索階段應(yīng)密切關(guān)注缺失值。訓(xùn)練缺失值因此,我們看到列Item_Weight 有1463個缺失的數(shù)據(jù)。從這個數(shù)據(jù)我們還可以得到更多的推論：1> summary(train)推論從圖中，我們可以看到每列的最小值，最大值，中位數(shù)，平均值，缺失值的信息等等。我們看到變量Item_Weight中有缺失值，而且Item_Weight是一個連續(xù)變量。因此,在這種情況下,我們一般用樣本中變量的均值或中位數(shù)賦值給缺失值。計算變量item_weig

21、ht的均值和中位數(shù)，這是最常用處理缺失值的的方法，其他的方法在此不贅述。我們可以先把兩個數(shù)據(jù)集合并，這樣就不需要編寫?yīng)毩⒕幋a訓(xùn)練和測試數(shù)據(jù)集，這也會節(jié)省我們的計算時間。但是合并結(jié)合兩個數(shù)據(jù)框，我們必須確保他們相同的列，如下：合并我們知道，測試數(shù)據(jù)集有個少一列因變量。首先來添加列，我們可以給這個列賦任何值。一個直觀的方法是我們可以從訓(xùn)練數(shù)據(jù)集中提取銷售的平均值，并使用$Item_Outlet_Sales作為測試變量的銷售列。不過，在此,我們讓它簡單化給最后一列賦值為1。簡化接下來我們先來計算中位數(shù)，選用中位數(shù)是因為它在離散值中很有代表性。代表性4、連續(xù)變量和分類變量的處理在數(shù)據(jù)處理中，對連續(xù)數(shù)據(jù)

22、集和分類變量的非別處理是非常重要的。在這個數(shù)據(jù)集,我們只有3個連續(xù)變量，其他的是分類變量。如果你仍然感到困惑，建議你再次使用str()查看數(shù)據(jù)集。對于變量Item_Visibility，在上面的圖中可以看到該項中有的能見度為零值,這幾乎是不可行的。因此,我們考慮將它看成缺失值，用中位數(shù)來處理。連續(xù)變量現(xiàn)在讓我們繼續(xù)處理一下分類變量。在初步的數(shù)據(jù)探索中,我們看到有錯誤的水平變量需要糾正。糾正使用上面的命令,我們指定的名稱“others”為其他未命名的變量，簡要劃分了Item_Fat_Content的等級。5、特征值變量計算現(xiàn)在我們已經(jīng)進(jìn)入了大數(shù)據(jù)時代，很多時候需要大量的數(shù)據(jù)算法計算，但是之前所選

23、出的變量不一定會和模型擬合的效果很好。,所以我們需要提取新的變量，提供盡可能多的“新”的信息來幫助模型做出更準(zhǔn)確的預(yù)測。以合并后的數(shù)據(jù)集為例，你覺得哪些因素)可能會影響Item_Outlet_Sales?關(guān)于商店種類變量計算在源數(shù)據(jù)中有10個不同的門店，門店的數(shù)目越多，說明某種商品更容易在這個商店中售出。變量計算注：管道函數(shù)的思路，將左邊的值管道輸出為右邊調(diào)用的函數(shù)的第一個參數(shù)。 商品種類計算同樣的,我們也可以計算商品種類的信息，這樣我們可以通過結(jié)果看到商品在各家商店出現(xiàn)的頻率。商品種類計算 商店的成立時間的變量探索我們假設(shè)商店的成立時間越久，該商店的客流量和產(chǎn)品銷量越會越

24、多。商店的成立時間的變量探索以第一個年份為例，這表明機(jī)構(gòu)成立于1999年，已有14年的歷史(以2013年為截止年份)。注：mutate函數(shù)，是對已有列進(jìn)行數(shù)據(jù)運(yùn)算并添加為新列。商品所屬類型的相關(guān)計算通過對商品所屬類型的計算，我們可以從其中發(fā)現(xiàn)人們的消費(fèi)趨勢。從數(shù)據(jù)中們可以看出仔細(xì)看商品標(biāo)注DR的，大多是可以吃的食物。對于FD，大多是屬于飲品類的。同樣的我們注意到到NC類，可能是生活用品(非消耗品)，但是NC類中的所標(biāo)注較為復(fù)雜。于是，我們將把這些變量提取出來，并放到一個新變量中。在這里我將使用substr()和gsub()函數(shù)來實(shí)現(xiàn)提取和重命名變量。商品所屬類型的相關(guān)計算當(dāng)然，你也可以試著去增

25、加一些新變量幫助構(gòu)建更好的模型，但是，增加新變量時必須使它與其他的變量之間是不相關(guān)的。如果你不確定與其他變量之間是否存在相關(guān)關(guān)系，可以通過函數(shù)cor()來進(jìn)行判斷。對字符變量進(jìn)行編碼1標(biāo)簽編碼這一部分的任務(wù)是將字符型的標(biāo)簽進(jìn)行編碼，例如在在我們的數(shù)據(jù)集中,變量Item_Fat_Content有2個級別低脂肪和常規(guī)，我們將低脂編碼為0和常規(guī)型的編碼為1 。因為這樣能夠幫助我們進(jìn)行定量的分析。 我們可以通過ifelse語句來實(shí)現(xiàn)。1> combi$Item_Fat_Content <- ifelse(combi$Item_Fat_Content = “Regular”,1,0) # 將

26、低脂編碼為0和常規(guī)型的編碼為12獨(dú)熱編碼獨(dú)熱編碼即 One-Hot 編碼，又稱一位有效編碼，其方法是使用N位狀態(tài)寄存器來對N個狀態(tài)進(jìn)行編碼，每個狀態(tài)都由有獨(dú)立的寄存器位，并且在任意時候，其中只有一位有效。例如：變量Outlet_ Location_Type。它有三個層次在獨(dú)熱編碼中，,將創(chuàng)建三個不同變量1和0組成。1將代表變量存在，,0代表變量不存在。如下：對字符變量進(jìn)行編碼這是一個獨(dú)熱編碼的示范。希望你現(xiàn)在已經(jīng)理解這個概念?，F(xiàn)在這們將這種技術(shù)也適用于我們的數(shù)據(jù)集分類變量中(不含ID變量)。>library(dummies)>combi <- dummy.data.frame

27、(combi, names = c(Outlet_Size,Outlet_Location_Type,Outlet_Type, Item_Type_New), sep=_)以上，我們介紹了兩種不同方法在R中去做獨(dú)熱編碼，我們可以檢查一下編碼是否已經(jīng)完成讀熱編碼我們可以看出獨(dú)熱編碼之后，之前的變量是已經(jīng)自動被移除了數(shù)據(jù)集。四、用機(jī)器學(xué)習(xí)方法進(jìn)行預(yù)測建模在進(jìn)行構(gòu)造數(shù)據(jù)模型前，我們將刪除之前已經(jīng)被轉(zhuǎn)過的原始變量，可以通過使用dplyr包中的select()實(shí)現(xiàn)，如下：> combi <- select(combi, -c(Item_Identifier, Item_Fat_Content

28、 ，Outlet_Identifier, Outlet_Establishment_Year,Item_Type)> str(combi)在本節(jié)中,我將介紹回歸、決策樹和隨機(jī)森林等算法。這些算法的詳細(xì)解釋已經(jīng)超出了本文的范圍，如果你想詳細(xì)的了解，推薦大家看機(jī)器學(xué)習(xí)的相關(guān)書籍?，F(xiàn)在我們要將兩個數(shù)據(jù)集分開，以便我們來進(jìn)行預(yù)測建模。如下：預(yù)測建模1、多元線性回歸使用多元回歸建模時，一般用于響應(yīng)變量(因變量)是連續(xù)型和可供預(yù)測變量有很多時。如果它因變量被分類,我們一般會使用邏輯回歸。在我們做回歸前，我們先來了解一些回歸的基本假設(shè)：·  在響應(yīng)變量和自變量之間存在某種線性關(guān)系;

29、·  各個自變量之間是不相關(guān)的，如果存在相關(guān)關(guān)系，我們稱這個模型出現(xiàn)了多重共線性。· 誤差項也是要求不相關(guān)的。否則,它將導(dǎo)致模型出現(xiàn)自相關(guān)。·  誤差項必須有恒定方差。否則,它將導(dǎo)致模型出現(xiàn)異方差性。在R中我們使用lm()函數(shù)來做回歸，如下：機(jī)器學(xué)習(xí)回歸調(diào)整后的R²可以很好的衡量一個回歸模型的擬合優(yōu)度。R²越高說明模型擬合的越好從上圖可以看出adjusted R²= 0.2084。這意味著我們擬合的這個模型很不理想。而且可以p值看出這些新變量例如Item count, Outlet Count 和 Item_Typ

30、e_New.對于我們的模型構(gòu)造而言并沒有什么幫助，因為它們的sign.遠(yuǎn)小于0.05的顯著性水平。對模型重要的變量是p值小于0.05的變量，也就是上圖中后面帶有*的變量。另外，我們知道變量之間存在相關(guān)性，會影響模型的準(zhǔn)確性，我們可以利用cor()函數(shù)來看一下各變量之間的相關(guān)關(guān)系。如下：cor(new_train)另外,您還可以使用corrplot包來做相關(guān)系數(shù)，如下的程序就幫助我們找到一個共線性很強(qiáng)的兩個變量相關(guān)系數(shù)可以看出變量Outlet_Count與變量Outlet_Type_Grocery Store成高度負(fù)相關(guān)關(guān)系。另外，我們通過剛才的分析發(fā)現(xiàn)了模型中的一些問題：· 模型中有

31、相關(guān)關(guān)系的變量存在;·  我們做了獨(dú)熱編碼編碼和標(biāo)簽編碼，但從結(jié)果來看，通過創(chuàng)建虛擬變量對于這個線性回歸模型的創(chuàng)建意義不大。·  創(chuàng)建的新變量對于回歸模型的擬合也沒有很大影響。接下來，我們嘗試創(chuàng)建不含編碼和新變量的較大的回歸模型。如下：回歸模型模型上圖中可以看到，調(diào)整后的R²= 0.5623。這告訴我們,有時只需你的計算過程簡單一些可能會得到更精確的結(jié)果。讓我們從一些回歸圖中去發(fā)現(xiàn)一些能夠提高模型精度的辦法。提高精度結(jié)果從左上的第一個殘差擬合圖中我們可以看出實(shí)際值與預(yù)測值之間殘差不是恒定的，這說明該模型中存在著異方差。解決異方差性的一個常見的做

32、法就是對響應(yīng)變量取對數(shù)(減少誤差)。方差一方差可以看出調(diào)整后的R²= 0.72，說明模型的構(gòu)建有了顯著的改善，我們可以再做一次擬合回歸圖擬合回歸上圖中，殘差值與擬合值之間已經(jīng)沒有了長期趨勢，說明該模型的擬合效果理想。我們也經(jīng)常用RMSE來衡量模型的好壞，并且我們可以通過這個值與其他算法相比較。如下所示殘差值接下來讓我們進(jìn)行決策樹算法來改善我們的RMSE得分2、決策樹決策樹算法一般優(yōu)于線性回歸模型，我們簡單介紹一下 ，在機(jī)器學(xué)習(xí)中決策樹是一個預(yù)測模型。他代表的是對象屬性與對象值之間的一種映射關(guān)系。樹中每個節(jié)點(diǎn)表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結(jié)點(diǎn)則對應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對象的值。在R中,決策樹算法的實(shí)現(xiàn)可以使用rpart包。此外,我們將使用caret包做交叉驗證。通過交叉驗證技術(shù)來構(gòu)建較復(fù)雜的模型時可以使模型不容易出現(xiàn)過度擬合的情況。(關(guān)于交叉驗證讀者可自行查閱)另外，,決策樹使用參數(shù)CP來衡量訓(xùn)練集的復(fù)雜性和準(zhǔn)確性。參數(shù)較小的CP值可能將導(dǎo)致更大的決策樹,這也可能會出現(xiàn)過度擬合的模型。相反,參數(shù)大的CP值也導(dǎo)致擬合不充分的模型，也就是我們不能準(zhǔn)確的把握所需變量的信息。以下我們選用五折交叉驗證法來找出具有最優(yōu)CP的模型。決策樹決策樹的從上圖可以看出，參數(shù)cp =