電工與電子技術(shù)電子商務(wù)電子課件數(shù)據(jù)與計(jì)算（第4版）Ch8 大數(shù)據(jù)ppt

1、電子課件數(shù)據(jù)與計(jì)算（第4版）Ch8 大數(shù)據(jù)Chapter 8大數(shù)據(jù) Big DataCS，ZJU2022年8月Review概述R簡(jiǎn)介大數(shù)據(jù)預(yù)處理數(shù)據(jù)分析方法數(shù)據(jù)挖掘大數(shù)據(jù)處理工具習(xí)題Introduction熱詞： 大數(shù)據(jù)，and 與互聯(lián)網(wǎng)相提并論大數(shù)據(jù)的4V特性大數(shù)據(jù)Volume數(shù)據(jù)規(guī)模：存量巨大，增加更大Value價(jià)值巨大，密度很低，需要挖掘Velocity數(shù)據(jù)生成快速，要求處理速度快Variety數(shù)據(jù)類型多，如表，文件，多媒體等大數(shù)據(jù)概述相關(guān)的理論、技術(shù)、應(yīng)用大數(shù)據(jù)決策大數(shù)據(jù)分析大數(shù)據(jù)框架大數(shù)據(jù)環(huán)境數(shù)據(jù)科學(xué)大數(shù)據(jù)為特征麥肯錫：大數(shù)據(jù)真正重要的是新用途和新見解，而非數(shù)據(jù)本身大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的影

2、響海量數(shù)據(jù)（全樣本數(shù)據(jù)）超強(qiáng)的計(jì)算能力新的計(jì)算方法結(jié)果更為準(zhǔn)確從模糊到精確新用途，新見解大數(shù)據(jù)和小數(shù)據(jù)有大數(shù)據(jù)，當(dāng)然就有小數(shù)據(jù)（Small Data）大數(shù)據(jù)：數(shù)據(jù)量巨大，但不那么精確，如市場(chǎng)整體性的趨勢(shì)預(yù)測(cè)小數(shù)據(jù)：數(shù)據(jù)量小，且精確特定個(gè)體的分析處理 如針對(duì)特殊客戶群的產(chǎn)品設(shè)計(jì)And，Example：大數(shù)據(jù)：改變的是當(dāng)代醫(yī)學(xué)小數(shù)據(jù)：為個(gè)人健康和醫(yī)療提供方案And，采用大數(shù)據(jù)方法去處理、計(jì)算、分析，那么即使數(shù)據(jù)量不是很大，也是屬于大數(shù)據(jù)范疇的R 語言/軟件S語言，解釋性語言AT & T 貝爾實(shí)驗(yàn)室開放，用于數(shù)據(jù)探索、統(tǒng)計(jì)分析和作圖的軟件R，源于S （ Version 3.4.0, new Vers

3、ion 4.2.1)有編程語言的一般功能有數(shù)據(jù)存儲(chǔ)和處理的能力，完整的數(shù)據(jù)分析工具，強(qiáng)大的圖形功能 直接使用處理和統(tǒng)計(jì)方法可編程，可擴(kuò)展比商業(yè)統(tǒng)計(jì)軟件SPSS、SAS等更受歡迎Hadoop-R可以處理海量的大數(shù)據(jù)R 特點(diǎn)R version 4.2.1 (2022-06-23 ucrt) Rgui + Console 輸入命令完成操作命令輸入使用R Help需要加載“程序包”和導(dǎo)入控制臺(tái)環(huán)境支持多種數(shù)據(jù)格式，常用的是 .csv文件退出R時(shí)，要保存當(dāng)前工作空間使用 R 的一個(gè)例子打開R控制臺(tái)下載程序包ggplot2和加載到當(dāng)前控制臺(tái)輸入數(shù)據(jù)文件myDemo.csvdata1 = read.csv(

4、E:/myDemo.csv)使用head()函數(shù)檢查數(shù)據(jù)導(dǎo)入是否成功將數(shù)據(jù)文件中的分別將兩列數(shù)據(jù)賦值給變量x、y x=data1$X和y=data1$Y執(zhí)行輸出操作 plot(x, y, main=The Demo) 生成散點(diǎn)（scatter diagram）圖 輸出 x+y 的柱圖 hist(x+y, breaks=10)大數(shù)據(jù)預(yù)處理大數(shù)據(jù)不是所有數(shù)據(jù)，而是某一類數(shù)據(jù)數(shù)據(jù)源：網(wǎng)絡(luò)、傳感器、醫(yī)療、監(jiān)控、經(jīng)濟(jì)活動(dòng)First: 評(píng)估數(shù)據(jù)質(zhì)量分析數(shù)據(jù)源 高質(zhì)量的數(shù)據(jù)才能有好的處理結(jié)果：審計(jì)、清洗、變換、標(biāo)注 使數(shù)據(jù)符合算法要求，減低數(shù)據(jù)的復(fù)雜度，實(shí)現(xiàn)預(yù)期的計(jì)算效果數(shù)據(jù)審計(jì)和清洗審計(jì) 找臟數(shù)據(jù)(Dir

5、ty Read)可視化方法和工具 Whats dirty read？數(shù)據(jù)清洗（Data Cleaning）將審計(jì)到的臟數(shù)據(jù)清洗出去 實(shí)際工作中，審計(jì)/清洗要反復(fù)多次數(shù)據(jù)變換、規(guī)約和脫敏數(shù)據(jù)變換 - 符合算法要求平滑處理濾除數(shù)據(jù)中的噪聲屬性替換粒度變換從精細(xì)到較粗?jǐn)?shù)據(jù)規(guī)約減小數(shù)據(jù)規(guī)模數(shù)據(jù)脫敏對(duì)敏感信息進(jìn)行替換、過濾或刪除And more成功的關(guān)鍵 順利的開局預(yù)處理還包括更多的工作排序、合并、重新格式等對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行評(píng)價(jià)：確保數(shù)據(jù)干凈：數(shù)據(jù)的正確性，完整性，一致性時(shí)效性，精確度，以數(shù)據(jù)倉(cāng)庫(kù)的形式存儲(chǔ), 數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse，DWH）是單一類型的數(shù)據(jù)存儲(chǔ)為進(jìn)行數(shù)據(jù)分析和決策支

6、持所建數(shù)據(jù)庫(kù)技術(shù)中的分析功能的基礎(chǔ)數(shù)據(jù)庫(kù)中許多技術(shù)也是大數(shù)據(jù)處理使用的技術(shù)，如ETLETLExtract-Transform-Load，抽取、轉(zhuǎn)換、加載數(shù)據(jù)分析傳統(tǒng)的數(shù)據(jù)分析數(shù)學(xué)，統(tǒng)計(jì)，尋找規(guī)律大數(shù)據(jù)源于傳統(tǒng)數(shù)據(jù)分析聚類，分類，回歸，時(shí)間序列也有新方法數(shù)據(jù)挖掘平臺(tái)和工具百度：大數(shù)據(jù)基礎(chǔ)套件(百度魯班) http:/m/solution/luban騰訊大數(shù)據(jù)處理套件(Tencent Big Data Suite)，https:/product/tbds華為FusionInsight 智能數(shù)據(jù)湖，https:/cn/solutions/cloud-computing/big-data/數(shù)據(jù)分析方法

7、聚類分析聚類分析， Cluster Analysis根據(jù)數(shù)據(jù)屬性尋找數(shù)據(jù)間的相似性，它將某些屬性一致的數(shù)據(jù)歸為一類，Such as：我國(guó)市場(chǎng)按區(qū)域進(jìn)行劃分特點(diǎn)發(fā)現(xiàn)數(shù)據(jù)中的隱含的特性，作為進(jìn)一步深入分析的基礎(chǔ)沒有訓(xùn)練數(shù)據(jù)的無監(jiān)督式（no supervised）學(xué)習(xí)運(yùn)用在市場(chǎng)營(yíng)銷分析、經(jīng)濟(jì)分析和自然學(xué)科多種技術(shù)合并、分解、劃分聚類、譜聚類等K均值聚類 - DemoK均值聚類對(duì)一組數(shù)據(jù)尋找數(shù)據(jù)的“質(zhì)心” - 理論上，每個(gè)數(shù)據(jù)距離所在的“簇”的質(zhì)心的距離最短Cluster問題：究竟應(yīng)該有幾個(gè)簇？假設(shè)為K個(gè)，經(jīng)過多次迭代，得到聚類結(jié)果Example：某計(jì)算機(jī)課程成績(jī)的K聚類分析K 均值聚類分析數(shù)據(jù)文件：

8、 computerGrades.csv讀入數(shù)據(jù) data = read.csv(e:/computerGrades.csv)檢查導(dǎo)入數(shù)據(jù) head(data)源數(shù)據(jù)中挑出第2列數(shù)據(jù) kmdata = data,2K均值的變量，取值15 ：wss =15畫出k=1到15的計(jì)算得到的k均值的(b類)圖形（迭代25次）for(k in 1:15) wssk-sum(kmeans(kmdata,centers=k,nstart=25)$withinss)尋找WSS的“肘” 3: 大于3的迭代結(jié)果，曲線變化不大對(duì)K=3（K即為簇?cái)?shù)）進(jìn)行再次計(jì)算：km=kmeans(kmdata,3,nstart=25)

9、km#輸出km值（）K均值聚類分析簡(jiǎn)單且直接一旦簇的數(shù)據(jù)確定，就可以進(jìn)一步分析一個(gè)新數(shù)據(jù)加起來，很容易將其歸入某個(gè)簇（與簇的質(zhì)心距離最短）， ，如：銀行開戶帳戶注意：聚類分析不是精確計(jì)算數(shù)據(jù)屬性要少有多種函數(shù)計(jì)算數(shù)據(jù)點(diǎn)到簇心的距離，如 Euclid函數(shù) K均值聚類不是單一方法R還提供了K模式函數(shù)和PAM函數(shù)關(guān)聯(lián)分析關(guān)聯(lián)分析（Correlation Analysis）,相關(guān)分析也是描述性而非預(yù)測(cè)性的方法用于發(fā)現(xiàn)大量數(shù)據(jù)中隱藏的關(guān)聯(lián)性或者相關(guān)性Apriori算法生成關(guān)聯(lián)規(guī)則最基本的算法自底向上，確定關(guān)聯(lián)項(xiàng)，再確定頻繁關(guān)聯(lián)項(xiàng)支持度：出現(xiàn)的概率（可能性多大？）置信度：同時(shí)出現(xiàn)概率的比值Example什

10、么樣的貨物可以捆綁銷售？關(guān)聯(lián)分析 ExampleR提供的食品店交易數(shù)據(jù)集 Groceries, 使用Apriori關(guān)聯(lián)分析R代碼如下： library(Matrix)#裝載Matrix程序包 library(arules)#裝載arules程序包 data(Groceries)#使用data()函數(shù)裝載交易數(shù)據(jù)集 Groceries#通過數(shù)據(jù)集名檢查數(shù)據(jù)集transactions in sparse format with 9835 transactions (rows) and #數(shù)據(jù)集中的記錄（交易）總數(shù) 169 items (columns) #有169列（屬性，產(chǎn)品種類）summary

11、(Groceries)#數(shù)據(jù)匯總Groceries商品有兩個(gè)層次：level12、level11，level12是level11的子集itemInfo(Groceries,1:6)#顯示前6個(gè)商品(標(biāo)簽)和層次關(guān)聯(lián)分析 Example使用inspect()函數(shù)可以查看交易記錄，下列語句查看前5次交易記錄： inspect(Groceries1:5) #不使用,則顯示全部的交易記錄在R中，apriori()函數(shù)計(jì)算頻繁集。默認(rèn)是執(zhí)行全部的迭代，其中最重要的兩個(gè)參數(shù)Support=0.1, confidence=0.8命令：apriori(Groceries)結(jié)果分析：推理結(jié)果無意義，因?yàn)榈玫降氖?/p>

12、 0 頻繁關(guān)聯(lián)（set of 0 rules），因?yàn)椋核惴刂埔箨P(guān)聯(lián)商品的銷售次數(shù)太高，因?yàn)閿?shù)據(jù)集之中：商品總數(shù)9835，交易密度（density）是0.02609146，也就是說有98351690.02609146=43367件商品銷售出去，支持度0.1就意味著某一個(gè)商品被銷售過983501=983次關(guān)聯(lián)分析 Example可以改變支持度、置信度、最小（minlen）和最大（maxlen）關(guān)聯(lián)數(shù)，并分析其影響So在進(jìn)行Apriori分析之前，可以先通過頻率圖的可視化了解支持度命令： itemFrequencyPlot(Groceries,support=0.1) # support = 0

13、.1圖示的意義？只有8個(gè)商品支持度在0.1換一種算法（改變參數(shù)）：rules1 - apriori(data = Groceries,parameter = list(support = 0.005,confidence = 0.25,minlen = 2)請(qǐng)?jiān)囍庾x？回歸分析回歸分析（Regression Analysis）是應(yīng)用很廣的方法一組輸入變量去解釋另一組變量，這種因變關(guān)系在數(shù)學(xué)中就是函數(shù)回歸分析是一種解釋問題的工具識(shí)別對(duì)結(jié)果影響最大的因素（輸入變量）期望通過改變輸入變量來來改進(jìn)結(jié)果線性回歸一元回歸和多元回歸回歸有很多算法回歸的結(jié)果是得到一個(gè)回歸計(jì)算的公式使用這個(gè)公式去進(jìn)行預(yù)估回歸分

14、析 Example設(shè)收入是其所受的教育程度和年齡和性別的線性函數(shù)申明：本例不具有實(shí)際意義income = a0+a1E+a2A+ a3F +已知數(shù)據(jù)： income：收入，E：上學(xué)的年數(shù) A：年齡， F：性別未知數(shù)據(jù) 系數(shù) a、殘差項(xiàng) 回歸計(jì)算才能得到上述公式的參數(shù)數(shù)據(jù)文件： pay.csvpay - read.csv(“E:/pay.csv”)pay #顯示數(shù)據(jù)回歸分析示例對(duì)pay數(shù)據(jù)的散點(diǎn)圖觀察變量間的相互（定性）關(guān)系R函數(shù)aplom()畫出pay數(shù)據(jù)的散點(diǎn)圖矩陣回歸分析需要裝載Lattice繪圖包library(lattice)畫出散點(diǎn)圖splom(payc(2:5)性別年齡 教育收入如

15、何觀察？ 為何能得出性別、年齡與收入無明顯的線性關(guān)系？回歸分析示例散點(diǎn)圖-定性分析定量分析：收入、年齡、上學(xué)年數(shù)、性別的作為回歸模型的公式用R的線性模型函數(shù)lm()進(jìn)行相關(guān)分析result -lm(incomeeducation+age+gender,pay)result#直接輸入result，查看計(jì)算結(jié)果。Coefficients:(Intercept) education age gender -33614.9 6631.5 31.5 1357.4截?fù)?jù)（Intercept，公式中的a0）-33614.9其后為教育、年齡和性別的系數(shù)回歸分析示例使用summary得到result的分析數(shù)據(jù)lm

16、(formula = income education + age + gender, data = pay)結(jié)果顯示：收入與教育相關(guān) P值小，意味著變量之間存在明顯的線性關(guān)系回歸分析示例運(yùn)用相關(guān)分析得到新的回歸計(jì)算：result -lm(incomeeducation,pay)結(jié)果是與原計(jì)算的結(jié)果一直對(duì)預(yù)期結(jié)果的置信分析，R提供了predic()函數(shù)，獲取預(yù)期結(jié)果的置信區(qū)間假設(shè)一個(gè)年齡35歲，受過16年教育的人使用predic()函數(shù)得到的輸出收入為： fit lwr upr1 74387.64 71812.32 76962.96預(yù)期值是7萬4千多元，90%的置信區(qū)間是lwr到upr數(shù)據(jù)挖掘

17、 Data Ming數(shù)據(jù) - 礦挖掘 -軟黃金與大數(shù)據(jù)同樣熱度的詞：數(shù)據(jù)挖掘本質(zhì)：數(shù)據(jù)分析理論，方法；工具；AI.分類注意：這里的分類是數(shù)據(jù)挖掘中的一種基礎(chǔ)性的方法，和一般意義上的分類不同監(jiān)督給數(shù)據(jù)貼標(biāo)簽，說明數(shù)據(jù)是什么性質(zhì)的聚類分析，無監(jiān)督，即不貼標(biāo)簽，而分類方法，有監(jiān)督，貼上標(biāo)簽作為訓(xùn)練數(shù)據(jù)集雖然不那么但很貼切的比喻分類分類方法有很多，僅以決策樹為例樹重要的數(shù)據(jù)類型Exampl：個(gè)人信息樹一個(gè)樹可能有很多內(nèi)部節(jié)點(diǎn)根節(jié)點(diǎn)到內(nèi)部節(jié)點(diǎn)的最長(zhǎng)距離稱為深度訪問所有的節(jié)點(diǎn)稱為遍歷（Traverse）樹的遍歷有沿著深度進(jìn)行的，叫深度搜索如果是在用一個(gè)級(jí)別的內(nèi)部節(jié)點(diǎn)上，叫做廣度有兩個(gè)很有名的搜索樹算法：深

18、度優(yōu)先和廣度優(yōu)先分類示例樹型結(jié)構(gòu)常用于決策，這種樹叫做決策樹用模擬數(shù)據(jù)創(chuàng)建一個(gè)訓(xùn)練數(shù)據(jù)集，介紹R中決策樹算法R中，rpart程序包用來對(duì)決策樹建模、繪制樹library(rpart)library(rpart.plot) #下載程序包rpart.plottree1 = read.csv(TrainingData.csv) #導(dǎo)入數(shù)據(jù)集文件tree1#訓(xùn)練集數(shù)據(jù)集訓(xùn)練集數(shù)據(jù)集很小，只有10組數(shù)據(jù)模擬某運(yùn)動(dòng)隊(duì)是否可以進(jìn)行戶外訓(xùn)練通過summary函數(shù)概覽數(shù)據(jù)集分類示例R中rpart函數(shù)為分類創(chuàng)建了一個(gè)遞歸分區(qū)和回歸樹模型rpart( Play Outlook + Temp. + Humidity

19、+ Wind, method=class, data=tree1, control=rpart.control(minsplit=1), parms=list(split=information)Outlook、Temp、Humidity Wind是play的訓(xùn)練參數(shù)，使用的方法是class，data是數(shù)據(jù)源control控制數(shù)的成長(zhǎng)( minsplit=1對(duì)小數(shù)據(jù)有意義)可選參數(shù)paras知道了split功能決策樹可以預(yù)測(cè)新數(shù)據(jù)的結(jié)果，例如在獲取了新的環(huán)境數(shù)據(jù)之后，就可以決定是否到戶外去訓(xùn)練時(shí)間序列分析時(shí)間序列：y=a+bx時(shí)間上具有相同間隔的有限序列，如車站、機(jī)場(chǎng)、商場(chǎng)的月客流量，或者不同

20、的假日高速車流量等時(shí)間序列分析的目標(biāo)是（1）識(shí)別時(shí)間序列的結(jié)構(gòu)并建模（2）預(yù)測(cè)時(shí)間序列中未來的值運(yùn)用金融、經(jīng)濟(jì)、生物、工程、商業(yè)客流、物流、制造業(yè)等領(lǐng)域方法多種模型時(shí)間序列分析示例某火車站2016年國(guó)慶長(zhǎng)假的客流數(shù)據(jù)安裝/加載forecast程序包library(forecast)g1 = read.csv(“passagers.csv”) #數(shù)據(jù)文件使用plot畫出數(shù)據(jù)圖如圖8-10 a說明：由于獲取樣本數(shù)據(jù)較小，僅以此介紹分析過程時(shí)間序列分析示例ARMA模型方法Autoregressive Integrated Moving Average自回歸求和移動(dòng)平均模式要求：數(shù)據(jù)集是需要一個(gè)平穩(wěn)的

21、時(shí)間序列,因此需要進(jìn)行差分運(yùn)算diff(SampleData) SampleData為待處理的數(shù)據(jù)集繪圖（圖8-10 b）：plot(diff(gp1)abline(a=0,b=0)時(shí)間序列分析示例acf函數(shù)：描述序列的自相關(guān)性如果隨機(jī)誤差項(xiàng)的各期望值之間存在著相關(guān)關(guān)系,這時(shí),稱隨機(jī)誤差項(xiàng)之間存在自相關(guān)性(autocorrelation)或序列相關(guān)pacf函數(shù)：偏自相關(guān)暫時(shí)不考慮其他參數(shù)影響，單獨(dú)研究?jī)蓚€(gè)參數(shù)之間的相互關(guān)系的密切程度，所得數(shù)值結(jié)果為偏相關(guān)系數(shù)使用acf函數(shù)和pacf函數(shù)acf、pacf圖文本分析以上數(shù)據(jù)分析 結(jié)構(gòu)化數(shù)據(jù)文本分析非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行表示、處理和建模，并獲取其內(nèi)在的有用信息文本挖掘（Text Mining），在大量的文本數(shù)據(jù)集中發(fā)現(xiàn)內(nèi)在關(guān)系和模式，即獲取知識(shí)文本維度簡(jiǎn)單地說：文本中的單詞數(shù)量特點(diǎn)：高維度，非結(jié)構(gòu)化，多種格式，語義歧義文本分析步驟句法分析嘗試將文本結(jié)構(gòu)化？搜索和檢索方法：類似于搜索引擎文本挖掘在句法分析、搜索和檢索的基礎(chǔ)上只要文本數(shù)據(jù)符合算法要求，聚類、分類都可以使用Case：IBM的ROSS其影響極為深遠(yuǎn)！大數(shù)據(jù)處理工具數(shù)據(jù)類型結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化，and準(zhǔn)結(jié)構(gòu)化（