R語言大數(shù)據(jù)分析教與學（課程教學大綱）

R語言大數(shù)據(jù)分析教與學（課程教學大綱）01課程基本信息02課程內(nèi)容概述與教學目的簡介（一）內(nèi)容概述大數(shù)據(jù)分析包括查詢型分析、描述性分析、探索性分析、挖掘型分析等。本書介紹基于R途徑的大數(shù)據(jù)分析解決方案。第一篇R語言，介紹以交互方式和腳本方式使用R的方法，R的基本數(shù)據(jù)類型以及向量、矩陣、數(shù)據(jù)框、列表等類，還包括面向向量的程序設計方法。第二篇可視化，介紹R基本的繪圖API，并重點解釋如何應用ggplot2包繪制更為復雜的圖形來展示大數(shù)據(jù)。從第三篇開始介紹三種類型的分析：查詢型分析、統(tǒng)計分析和挖掘型分析。第三篇查詢型分析講述如何應用data.table查詢“大表”。表是關(guān)系數(shù)據(jù)庫中的概念，data.table在R中實現(xiàn)了這個概念，使得用戶能夠像增刪查改數(shù)據(jù)庫表一樣操作R中的表。第四篇統(tǒng)計分析，主要介紹描述性統(tǒng)計和探索性分析。第五篇挖掘型分析介紹如何在R中實現(xiàn)分類、聚類、關(guān)聯(lián)規(guī)則、序列模式等數(shù)據(jù)挖掘任務，并重點介紹如何檢測離群值，另外還介紹了在文本挖掘中的應用。本課程不僅能夠使學生掌握R語言基本技術(shù)和程序設計方法，而且能夠使學生體驗數(shù)據(jù)可視化以及大數(shù)據(jù)分析基本技術(shù)等。（二）教學目的通過本課程的學習，引導學生認識專注、敬業(yè)、責任、擔當?shù)穆殬I(yè)道德，理解工匠精神；能夠以社會主義核心價值觀指導職業(yè)行為。使學生掌握R語言“面向向量”的程序設計范式、掌握R語言向量、矩陣、數(shù)據(jù)框、列表、數(shù)據(jù)表等基本數(shù)據(jù)對象的用法，能夠針對不同的數(shù)據(jù)分析問題設計R的數(shù)據(jù)可視化方案，能夠應用R語言完成大數(shù)據(jù)查詢，能夠?qū)崿F(xiàn)描述性統(tǒng)計，通過實現(xiàn)探索性分析和挖掘型分析。03授課教師（教學團隊）基本情況（序號1為課程負責人）04教材及參考書目05課程教案大綱第1篇R語言第1章R概覽【目的要求】能夠安裝和更新R軟件，能夠安裝和加載R包，能夠設計工作文件夾，能夠列出工作空間中的數(shù)據(jù)對象，能夠保存工作空間。能夠解釋R包提供的常見數(shù)據(jù)集?！菊n時安排】2【講授內(nèi)容與方式】下載和安裝R；安裝和加載R程序包；R的基本使用；工作文件夾與工作空間；數(shù)據(jù)集?！酒渌繜o第2章表達式【目的要求】能夠解釋R字面量、運算符和表達式，能夠區(qū)分POSIXct、POSIXlt和Date類型日期，能夠在不同尺度上計算日期類型的數(shù)據(jù)?！菊n時安排】2【講授內(nèi)容與方式】字面量；運算符和表達式；日期時間；保留字；空白符；程序設計風格?！酒渌繜o第3章字符串與正規(guī)表達式【目的要求】能夠使用基本的字符串操作函數(shù)對字符串查詢和編輯，能夠應用正規(guī)表達式實現(xiàn)查找和替換?！菊n時安排】2【講授內(nèi)容與方式】字符串處理，正規(guī)表達式?！酒渌恐攸c：字符串處理；難點：正規(guī)表達式第4章函數(shù)【目的要求】能夠定義和調(diào)用函數(shù)，能夠解釋環(huán)境，能夠應用分支、循環(huán)控制結(jié)構(gòu)?！菊n時安排】2【講授內(nèi)容與方式】函數(shù)聲明和調(diào)用；環(huán)境；控制結(jié)構(gòu)【其他】重點：函數(shù)；難點：環(huán)境第5章向量【目的要求】能夠通過枚舉、數(shù)列和描述等方法創(chuàng)建向量，能夠解釋以向量為操作數(shù)的各類運算，能夠設計條件查詢和聚合查詢完成特定需求，能夠完成對向量集合運算，能夠應用面向向量的程序設計范式設計R腳本?！菊n時安排】2【講授內(nèi)容與方式】創(chuàng)建向量；訪問向量；算術(shù)運算；邏輯運算和關(guān)系運算；查詢；面向集合的查詢；面向向量的程序設計，能夠定義和使用無序因子類型和有序因子類型。【其他】重點：創(chuàng)建和訪問向量；難點：面向向量的程序設計范式第6章矩陣【目的要求】能夠基于向量創(chuàng)建矩陣，能夠通過行列的索引或者名字訪問矩陣元素，能夠完成對矩陣的加、減、數(shù)乘、轉(zhuǎn)置等基本運算?！菊n時安排】2【講授內(nèi)容與方式】創(chuàng)建矩陣；訪問矩陣；矩陣運算?！酒渌康?章

數(shù)據(jù)框【目的要求】能夠創(chuàng)建數(shù)據(jù)框，能夠通過行列索引號或者名字訪問數(shù)據(jù)框，能夠解釋tibble對象?！菊n時安排】2【講授內(nèi)容與方式】創(chuàng)建數(shù)據(jù)框；訪問數(shù)據(jù)框；tibble數(shù)據(jù)對象?！酒渌康?章

列表【目的要求】能夠基于不同類型的分量創(chuàng)建列表，能夠訪問列表中的分量，能夠遍歷列表?！菊n時安排】2【講授內(nèi)容與方式】創(chuàng)建列表；訪問列表；泛函數(shù)?！酒渌康?章

面向?qū)ο蟪绦蛟O計【目的要求】能夠定義類，能夠解釋保留字self和super的用法，能夠解釋繼承現(xiàn)象，能夠區(qū)分不同的私有、公共等不同的可訪問性，能夠區(qū)分靜態(tài)成員和非靜態(tài)成員。能夠解釋面向?qū)ο箫L格的R腳本程序構(gòu)成與運行時刻行為。【課時安排】2【講授內(nèi)容與方式】類的定義；靜態(tài)屬性；面向?qū)ο蟮腞腳本設計?！酒渌康?0章

數(shù)據(jù)存儲【目的要求】能夠通過文本文件、CSV文件、EXCEL文件導入數(shù)據(jù)，能夠從R數(shù)據(jù)對象導出數(shù)據(jù)到各類文件，能夠從ODBC數(shù)據(jù)源導入數(shù)據(jù)，能夠直接保存R數(shù)據(jù)對象，能夠通過formatC格式化輸出；能夠使用虛擬內(nèi)存；能夠在腳本中操作文件和文件夾?！菊n時安排】2【講授內(nèi)容與方式】導入導出；函數(shù)read.table和write.table；函數(shù)read.csv和write.csv；

函數(shù)readLines和writeLines；讀取Excel工作表；ODBC數(shù)據(jù)源；持久化R數(shù)據(jù)對象；

格式化輸出；虛擬內(nèi)存；操作文件和文件夾?！酒渌康?1章

統(tǒng)計繪圖【目的要求】能夠列舉不同的繪圖設備；能夠解釋圖的布局；能夠解釋基本繪圖函數(shù)的功能，能夠使用常用繪圖函數(shù)繪制散點圖、核密度圖、箱線圖、柱狀圖、條形圖、餅圖、直方圖、折線圖。能夠識別不同類型的圖適合的場景?！菊n時安排】2【講授內(nèi)容與方式】繪圖設備；布局；繪圖函數(shù)；常用繪圖參數(shù)；散點圖；核密度圖；箱線圖；柱狀圖與條形圖；餅圖；直方圖；折線圖。【其他】重點：圖的布局；難點：圖的應用場景第12章

圖形文法ggplot2【目的要求】能夠應用ggplot2繪制各類圖形，能夠設置統(tǒng)計變換，能夠變換尺度，能夠調(diào)整位置，能夠應用切面，能夠應用主題，能夠針對離散數(shù)據(jù)和連續(xù)數(shù)據(jù)手工設置色彩，能夠應用調(diào)色板設置色彩。【課時安排】2【講授內(nèi)容與方式】散點圖、直方圖、箱線圖、柱狀圖、折線圖的繪制；標注圖形；統(tǒng)計變換；位置調(diào)整；尺度變換；切面；主題；色彩與構(gòu)成；顏色與顏色的屬性；色彩搭配；調(diào)色板；案例研究。【其他】重點：應用ggplot2繪制各類圖形。難點：統(tǒng)計變換，尺度變換。第13章

數(shù)據(jù)分析【目的要求】能夠解釋對數(shù)據(jù)質(zhì)量的度量，能夠通過處理缺失值、重復值、有效性等技術(shù)對數(shù)據(jù)清洗變換，能夠可視化不同類型數(shù)據(jù)的分布；能夠解釋查詢型大數(shù)據(jù)分析、探索型大數(shù)據(jù)分析、挖掘型大數(shù)據(jù)分析的關(guān)鍵特征?！菊n時安排】2【講授內(nèi)容與方式】數(shù)據(jù)質(zhì)量的度量；數(shù)據(jù)清洗變換，缺失值，重復，有效性，統(tǒng)計量；可視化分布；查詢型大數(shù)據(jù)分析；探索型大數(shù)據(jù)分析；挖掘型大數(shù)據(jù)分析。【其他】第14章

查詢型分析與數(shù)據(jù)表【目的要求】能夠創(chuàng)建數(shù)據(jù)表；能夠引用數(shù)據(jù)表；能夠在數(shù)據(jù)表上完成各類查詢；按行號查詢、條件查詢、分組匯總等。能夠設置、應用鍵和索引，能夠應用只讀變量查詢，能夠按行或者按列連接數(shù)據(jù)表；能夠完成基于數(shù)據(jù)表的集合運算；能夠更新數(shù)據(jù)表中的元素；能夠?qū)崿F(xiàn)行列變換?！菊n時安排】2【講授內(nèi)容與方式】創(chuàng)建數(shù)據(jù)表；數(shù)據(jù)表引用；查詢數(shù)據(jù)表；按行號查詢；條件查詢；查詢結(jié)果的類型；分組匯總；鍵和索引；應用只讀變量查詢；去重；上卷；連接；集合運算；更新；行列變換?！酒渌康?5章

描述性統(tǒng)計與探索性分析【目的要求】能夠報告描述性統(tǒng)計的過程和結(jié)果，能夠報告探索性分析的過程與結(jié)果?！菊n時安排】2【講授內(nèi)容與方式】總體與樣本；概率分布；聯(lián)合分布；可視化分布；樣本平均數(shù)的分布；描述性統(tǒng)計；集中趨勢；變異性；探索性數(shù)據(jù)分析；Pearson相關(guān)；斯皮爾曼等級相關(guān)；Kendall相關(guān)；z分數(shù)；假設檢驗；卡方檢驗；抽樣?！酒渌康?6章

挖掘型分析【目的要求】能夠識別不同類型的數(shù)據(jù)挖掘任務，能夠應用基本的算法解決挖掘任務，能夠遍歷列表。能夠解釋查準率、查全率、正確率、ROC曲線。能夠區(qū)分標準化和歸一化。【課時安排】2【講授內(nèi)容與方式】數(shù)據(jù)挖掘任務；決策樹分類；樸素貝葉斯分類；K最近鄰分類；一元線性回歸；Logistic回歸；分類算法的性能評估；查準率和查全率；ROC曲線；K均值聚類；標準化和歸一化；EM聚類；Apriori關(guān)聯(lián)規(guī)則；序列模式挖掘?！酒渌康?7章

離群點檢測【目的要求】能夠解釋不同類型的離群點檢測方法，能夠在不同的場景下應用離群的檢測算法?！菊n時安排】2【講授內(nèi)容與方式】基于統(tǒng)計的檢測；基于近鄰的方法；基于劃分的算法；隔離森林算法；

擴展的隔離森林算法；基于聚類的方法；多變量離群點檢測；單變量離群點檢測；貢獻分析?！酒渌恐攸c：隔離森林算法第18章

文本挖掘【目的要求】能夠演示影評分類的挖掘過程與結(jié)果?！菊n時安排】2【講授內(nèi)容與方式】語篇分析；詞嵌入；影評分類案例；基于詞匯表的向量化；特征哈希。【其他】參考書籍《R語言大數(shù)據(jù)分析》ISBN：9787302677017作者：董東，高峰定價：79元內(nèi)容簡介大數(shù)據(jù)分析包括查詢型分析、描述性分析、探索性分析、挖掘型分析等。本書介紹基于R語言的大數(shù)據(jù)分析解決方案。全書分3篇共18章。第1篇R語言，包括第1～10章，分別為R語言概覽、表達式、字符串與正規(guī)表達式、函數(shù)、向量、矩陣、數(shù)據(jù)框、列表、面向?qū)ο蟪绦蛟O計、數(shù)據(jù)存儲；第2篇可視化，包括第11、12章，分別為統(tǒng)計繪圖、圖形文法ggplot2；第3篇數(shù)據(jù)分析，包括第13～18章，分別為數(shù)據(jù)分析基礎(chǔ)、查詢型分析與數(shù)據(jù)表、描述性統(tǒng)計與探索性分析、挖掘型分析、離群點檢測、文本挖掘。本書力求通俗易懂、簡單實用，示例豐富，可供大數(shù)據(jù)領(lǐng)域工程技術(shù)人員、計算機類專業(yè)高年級本科學生和碩士研究生使用。目錄向上滑動閱覽第1篇R語言第1章R語言概覽/31.1下載和安裝R41.2安裝和加載R程序包61.3R的基本使用71.4工作文件夾與工作空間101.5數(shù)據(jù)集12第2章表達式/182.1字面量182.2運算符和表達式202.3日期時間23第3章字符串與正規(guī)表達式/273.1字符串處理273.1.1字符個數(shù)273.1.2子串283.1.3拆分293.1.4連接303.1.5查找313.1.6替換313.1.7大小寫轉(zhuǎn)換323.1.8格式化323.2正規(guī)表達式33第4章函數(shù)/374.1函數(shù)聲明和調(diào)用374.2環(huán)境404.2.1環(huán)境的嵌套404.2.2訪問環(huán)境424.2.3與函數(shù)相關(guān)的環(huán)境444.3控制結(jié)構(gòu)46第5章向量/515.1創(chuàng)建向量515.1.1枚舉法515.1.2描述法525.1.3數(shù)列法535.1.4向量元素的命名545.1.5類型判斷與類型轉(zhuǎn)換545.2訪問向量555.3算術(shù)運算575.4邏輯運算和關(guān)系運算605.5查詢625.5.1條件查詢625.5.2聚合查詢635.6面向集合的查詢665.7面向向量的程序設計675.8因子69第6章矩陣/726.1創(chuàng)建矩陣726.2訪問矩陣756.3矩陣運算77第7章數(shù)據(jù)框/817.1創(chuàng)建數(shù)據(jù)框817.2訪問數(shù)據(jù)框827.3tibble對象87第8章列表/908.1創(chuàng)建列表908.2訪問列表918.3泛函數(shù)93第9章面向?qū)ο蟪绦蛟O計/1029.1類的定義1029.2靜態(tài)屬性1049.3面向?qū)ο蟮腞腳本設計107第10章數(shù)據(jù)存儲/11310.1導入導出11310.1.1函數(shù)read.table和write.table11310.1.2函數(shù)read.csv和write.csv11410.1.3函數(shù)readLines和writeLines11610.1.4讀取Excel工作表11610.1.5ODBC數(shù)據(jù)源11710.2持久化R數(shù)據(jù)對象11910.3格式化輸出12010.4虛擬內(nèi)存12110.5操作文件和文件夾125第2篇可視化第11章統(tǒng)計繪圖/13111.1繪圖設備13111.2布局13311.3繪圖函數(shù)13511.4常用繪圖參數(shù)14511.5散點圖14811.6核密度圖15011.7箱線圖15111.8柱形圖15211.9餅圖15511.10直方圖15611.11折線圖157第12章圖形文法ggplot2/15812.1ggplot2簡介15812.2散點圖17012.3直方圖17512.4箱線圖18012.5柱形圖18212.6折線圖18712.7標注19212.8統(tǒng)計變換19712.9位置調(diào)整20012.10尺度變換20212.11切面21212.12主題21612.13色彩與構(gòu)成21712.13.1顏色與顏色的屬性21712.13.2色彩搭配21812.14調(diào)色板21812.15案例研究221第3篇數(shù)

據(jù)

分

析第13章數(shù)據(jù)分析基礎(chǔ)/22913.1數(shù)據(jù)質(zhì)量的度量22913.2數(shù)據(jù)清洗變換23013.2.1缺失值23013.2.2重復23213.2.3有效性23313.2.4統(tǒng)計量23313.3可視化23413.4查詢型大數(shù)據(jù)分析24113.5探索性大數(shù)據(jù)分析24213.6挖掘型大數(shù)據(jù)分析245第14章查詢型分析與數(shù)據(jù)表/24714.1數(shù)據(jù)表24714.2創(chuàng)建和引用數(shù)據(jù)表24814.2.1創(chuàng)建數(shù)據(jù)表24814.2.2引用數(shù)據(jù)表25014.3查詢數(shù)據(jù)表25014.3.1按行號查詢25014.3.2條件查詢25114.3.3查詢結(jié)果的類型25214.3.4分組匯總25414.3.5鍵和索引25614.3.6應用只讀變量查詢25814.3.7其他26014.4去重26314.5上卷26614.6連接26814.7集合運算27114.8更新27214.9行列變換276第15章描述性統(tǒng)計與探索性分析/27815.1總體與樣本27815.2概率分布28015.3聯(lián)合分布28115.4可視化分布28315.5樣本