商務(wù)大數(shù)據(jù)分析導(dǎo)論 課件 項目一 數(shù)據(jù)分析算法基礎(chǔ)

商務(wù)大數(shù)據(jù)分析

導(dǎo)論目錄項目一

數(shù)據(jù)分析基礎(chǔ)項目二

大數(shù)據(jù)分析算法項目三

創(chuàng)業(yè)實踐：數(shù)據(jù)采集與整理

項目四

創(chuàng)業(yè)實踐：構(gòu)建數(shù)據(jù)模型項目五

創(chuàng)業(yè)實踐：認(rèn)識客戶價值項目六

創(chuàng)業(yè)實踐：數(shù)據(jù)可視化項目七

數(shù)字化創(chuàng)新創(chuàng)業(yè)實踐項目一數(shù)據(jù)分析基礎(chǔ)項目一數(shù)據(jù)分析基礎(chǔ)任務(wù)一大數(shù)據(jù)分析基礎(chǔ)知識

1.大數(shù)據(jù)分析的幾對概念

1.1機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

1.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)

1.3訓(xùn)練集、驗證集和測試集

2.大數(shù)據(jù)分析流程

2.1.數(shù)據(jù)分析標(biāo)準(zhǔn)流程

2.2.數(shù)據(jù)分析標(biāo)準(zhǔn)流程的案例解析3.大數(shù)據(jù)分析方法概覽

4.本書主要使用的大數(shù)據(jù)分析工具

4.1.PowerBI簡介

4.2.Python簡介

4.3.Orange3.0主要功能1.大數(shù)據(jù)分析的幾對概念1.1機(jī)器學(xué)習(xí)與深度學(xué)習(xí)1.機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是人工智能在近期最重要的發(fā)展之一。機(jī)器學(xué)習(xí)的理念是，不將智能看作是給機(jī)器傳授東西，而是機(jī)器會自己學(xué)習(xí)東西。2.深度學(xué)習(xí)深度學(xué)習(xí)是目前關(guān)注度很高的一類算法，深度學(xué)習(xí)（DeepLearning，DL）屬于機(jī)器學(xué)習(xí)的子類。它的靈感來源于人類大腦的工作方式，是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達(dá)的一種學(xué)習(xí)過程。人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)關(guān)系如圖所示。1.大數(shù)據(jù)分析的幾對概念1.2監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)通過建立模型進(jìn)行自我學(xué)習(xí)，那么學(xué)習(xí)方法有哪些呢？（1）監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)就是訓(xùn)練機(jī)器學(xué)習(xí)的模型的訓(xùn)練樣本數(shù)據(jù)有對應(yīng)的目標(biāo)值，監(jiān)督學(xué)習(xí)就是通過對數(shù)據(jù)樣本因子和已知的結(jié)果建立聯(lián)系，提取特征值和映射關(guān)系，通過已知的結(jié)果，已知數(shù)據(jù)樣本不斷的學(xué)習(xí)和訓(xùn)練，對新的數(shù)據(jù)進(jìn)行結(jié)果的預(yù)測。（2）無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)跟監(jiān)督學(xué)習(xí)的區(qū)別就是選取的樣本數(shù)據(jù)無需有目標(biāo)值，我們無需分析這些數(shù)據(jù)對某些結(jié)果的影響，只是分析這些數(shù)據(jù)內(nèi)在的規(guī)律。（3）半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)是監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相互結(jié)合的一種學(xué)習(xí)方法，通過半監(jiān)督學(xué)習(xí)的方法可以實現(xiàn)分類、回歸、聚類的結(jié)合使用。（4）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)是一種比較復(fù)雜的機(jī)器學(xué)習(xí)方法，強(qiáng)調(diào)系統(tǒng)與外界不斷的交互反饋，它主要是針對流程中不斷需要推理的場景，比如無人汽車駕駛，它更多關(guān)注性能。它是機(jī)器學(xué)習(xí)中的熱點學(xué)習(xí)方法。1.大數(shù)據(jù)分析的幾對概念1.3訓(xùn)練集、驗證集和測試集1.訓(xùn)練集(trainset)用于訓(xùn)練有監(jiān)督模型，擬合模型，調(diào)整參數(shù)，選擇入模變量，以及對算法做出其他抉擇；2.測試集(testset)用于評估訓(xùn)練出的模型效果，但不會改變模型的參數(shù)及效果，一般驗證模型是否過擬合或者欠擬合，決定是否重新訓(xùn)練模型或者選擇其他的算法；3.驗證集(validationset)因為訓(xùn)練集和測試集均源自同一分布中，隨著時間的流逝，近期樣本的分布與訓(xùn)練模型的樣本分布會有變化，需要校驗訓(xùn)練好的模型在近期樣本(驗證集)是否有同樣的效果，即模型的穩(wěn)定性、魯棒性、泛化誤差。2.大數(shù)據(jù)分析流程大數(shù)據(jù)特點5個V：數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價值（Value）、真實性（Veracity）。數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷地實現(xiàn)數(shù)學(xué)建模，快速響應(yīng)分析需求。傳統(tǒng)分析在數(shù)據(jù)量較少時，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛。常規(guī)分析揭示數(shù)據(jù)之間的靜態(tài)關(guān)系；分析過程滯后；對數(shù)據(jù)質(zhì)量要求高。隨著計算機(jī)科學(xué)的進(jìn)步，數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和方法更加豐富。數(shù)據(jù)挖掘就是充分利用了統(tǒng)計學(xué)和人工智能技術(shù)的應(yīng)用程序，并把這些高深復(fù)雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題。同時將統(tǒng)計學(xué)和計算機(jī)技術(shù)等多學(xué)科進(jìn)行結(jié)合，揭示數(shù)據(jù)之間隱藏的關(guān)系將數(shù)據(jù)分析的范圍從“已知”擴(kuò)展到“未知”，從“過去”推向“將來”。商務(wù)智能一系列以事實為支持，輔助商業(yè)決策的技術(shù)和方法，曾用名包括專家系統(tǒng)、智能決策等，一般由數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成對數(shù)據(jù)分析的體系化管理，數(shù)據(jù)分析的主體依然是數(shù)據(jù)挖掘。大數(shù)據(jù)技術(shù)從多種類型的數(shù)據(jù)中，快速獲取知識的能力及數(shù)據(jù)挖掘技術(shù)的衍生。數(shù)據(jù)可視化大數(shù)據(jù)時代，展示數(shù)據(jù)可以更好輔助理解數(shù)據(jù)、演繹數(shù)據(jù)。2.1數(shù)據(jù)分析標(biāo)準(zhǔn)流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務(wù)理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準(zhǔn)備（4）建立模型（5）評估模型（6）部署2.1數(shù)據(jù)分析標(biāo)準(zhǔn)流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務(wù)理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準(zhǔn)備（4）建立模型（5）評估模型（6）部署2.2數(shù)據(jù)分析標(biāo)準(zhǔn)流程的案例解析案例：農(nóng)夫山泉用大數(shù)據(jù)賣礦泉水2.大數(shù)據(jù)分析流程在大數(shù)據(jù)時代，數(shù)據(jù)挖掘算法是最關(guān)鍵的工作。大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機(jī)的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基于人工智能，機(jī)器學(xué)習(xí)，模式學(xué)習(xí)，統(tǒng)計學(xué)等。一般來說，大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、人工神經(jīng)網(wǎng)絡(luò)等，如圖所示。這些方法從不同的角度對數(shù)據(jù)進(jìn)行挖掘，從而生產(chǎn)數(shù)據(jù)產(chǎn)品，產(chǎn)生數(shù)據(jù)價值。3.大數(shù)據(jù)分析方法概覽（2）回歸分析。（3）聚類。3.大數(shù)據(jù)分析方法概覽分類算法示意圖

回歸算法示意圖

聚類算法示意圖回歸分析反映了數(shù)據(jù)庫數(shù)據(jù)的屬性值的特性，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系?；貧w分析聚類類似于分類，但與分類的目的不同，是針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。聚類分類是找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到摸個給定的類別中。分類3.大數(shù)據(jù)分析方法概覽關(guān)聯(lián)規(guī)則算法示意圖

神經(jīng)網(wǎng)絡(luò)算法示意圖關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián)規(guī)則神經(jīng)網(wǎng)絡(luò)作為一種先進(jìn)的人工智能技術(shù)，因其自身自行處理、分布存儲和高度容錯等特性，非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識或數(shù)據(jù)為特征的處理問題，它的這一特點十分適合解決數(shù)據(jù)挖掘的問題。神經(jīng)網(wǎng)絡(luò)方法（1）Python概要Python是一個高層次的結(jié)合了解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言。Python的設(shè)計具有很強(qiáng)的可讀性。1）Python是一種解釋型語言：這意味著開發(fā)過程中沒有了編譯這個環(huán)節(jié)。類似于PHP和Perl語言。2）Python是交互式語言：這意味著，您可以在一個Python提示符，直接互動執(zhí)行寫你的程序。3）Python是面向?qū)ο笳Z言:這意味著Python支持面向?qū)ο蟮娘L(fēng)格或代碼封裝在對象的編程技術(shù)。4）Python是初學(xué)者的語言：Python對初級程序員而言，是一種偉大的語言，它支持廣泛的應(yīng)用程序開發(fā)，從簡單的文字處理到WWW瀏覽器再到游戲。（2）Python發(fā)展歷史（3）Python特點1）易于學(xué)習(xí)。Python有相對較少的關(guān)鍵字，結(jié)構(gòu)簡單，和一個明確定義的語法，學(xué)習(xí)起來更加簡單。2）易于閱讀。Python代碼定義的更清晰。3）易于維護(hù)。Python的成功在于它的源代碼是相當(dāng)容易維護(hù)的。4）一個廣泛的標(biāo)準(zhǔn)庫。Python的最大的優(yōu)勢之一是豐富的庫，跨平臺的，在UNIX，Windows和Macintosh兼容很好。5）互動模式?；幽Ｊ降闹С?，您可以從終端輸入執(zhí)行代碼并獲得結(jié)果的語言，互動的測試和調(diào)試代碼片斷。6）可移植?；谄溟_放源代碼的特性，Python已經(jīng)被移植（也就是使其工作）到許多平臺。7）可擴(kuò)展。如果你需要一段運行很快的關(guān)鍵代碼，或者是想要編寫一些不愿開放的算法，你可以使用C或C++完成那部分程序，然后從你的Python程序中調(diào)用。8）數(shù)據(jù)庫。Python提供所有主要的商業(yè)數(shù)據(jù)庫的接口。9）GUI編程。Python支持GUI可以創(chuàng)建和移植到許多系統(tǒng)調(diào)用。10）可嵌入。你可以將Python嵌入到C/C++程序，讓你的程序的用戶獲得“腳本化”的能力。4.本書主要使用的大數(shù)據(jù)分析工具PowerBI是一種商業(yè)分析解決方案，可幫助對數(shù)據(jù)進(jìn)行可視化、在組織中共享見解、或?qū)⒁娊馇度霊?yīng)用或網(wǎng)站中。連接到數(shù)百個數(shù)據(jù)源，并使用實時儀表板和報表對讓數(shù)據(jù)變得生動。PowerBI簡介01Python是一種解釋型、面向?qū)ο?、動態(tài)數(shù)據(jù)類型的高級程序設(shè)計語言。由荷蘭人GuidovanRossum于1989年底發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。像Perl語言一樣,Python源代碼同樣遵循GPL(GNUGeneralPublicLicense)協(xié)議。Python核心團(tuán)隊計劃在2020年停止支持Python2；從2019年1月1日開始，任何新的功能版本都只支持Python3。Python簡介02Orange的組件包括：數(shù)據(jù)（Data）：包含數(shù)據(jù)輸入、數(shù)據(jù)保存、數(shù)據(jù)過濾、抽樣、插補、特征操作以及特征選擇等組件，同時還支持嵌入Python腳本?？梢暬╒isualize）：包含通用可視化（箱形圖、直方圖、散點圖）和多變量可視化（馬賽克圖、篩分曲線圖）組件。模型（Model）：包含一組用于分類和回歸的有監(jiān)督機(jī)器學(xué)習(xí)算法組件。評估（Evaluate）：交叉驗證、抽樣程序、可靠性評估以及預(yù)測方法評估。無監(jiān)督算法（Unsupervised）：用于聚類（k-means、層次聚類）和數(shù)據(jù)降維（多維尺度變換、主成分分析、相關(guān)分析）的無監(jiān)督學(xué)習(xí)算法。另外，還可以通過插件（add-ons）的方式為Orange增加其他的功能（生物信息學(xué)、數(shù)據(jù)融合與文本挖掘。添加的方法是點擊“Options”菜單下的“Add-ons”按鈕，打開插件管理器。4.本書主要使用的大數(shù)據(jù)分析工具Orange是一個開源的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)軟件。Orange基于Python和C/C++開發(fā)，提供了一系列的數(shù)據(jù)探索、可視化、預(yù)處理以及建模組件。Orange3.0主要功能03項目一數(shù)據(jù)分析基礎(chǔ)任務(wù)二準(zhǔn)備你的數(shù)據(jù)分析能力

1.基本概念辨析

2.常見的離散型隨機(jī)變量的分布

2.1 等概率分布

2.2 伯努利分布

2.3 二項分布

2.4 幾何分布

2.5 超幾何分布

2.6 泊松分布

3.常見的連續(xù)型隨機(jī)變量的分布

3.1 正態(tài)分布

3.2 指數(shù)分布

1.1離散型隨機(jī)變量可以逐個列舉出來的變量。如能夠用我們?nèi)粘Ｊ褂玫牧吭~可以度量的取值，比如次數(shù)，個數(shù)，塊數(shù)等都是離散型隨機(jī)變量。比如拋硬幣、擲骰子、買彩票等。1.2連續(xù)型隨機(jī)變量無法逐個列舉的變量。無法用量詞度量，且取值可以取到小數(shù)2位，3位甚至無限多位的時候，那么這個變量就是連續(xù)型隨機(jī)變量。比如正態(tài)分布（也稱為高斯分布）、指數(shù)分布等。1.3概率函數(shù)其實，無論是離散型還是連續(xù)型隨機(jī)變量，基礎(chǔ)性的概率函數(shù)概念只有兩個，根據(jù)國內(nèi)教材的普遍性稱謂，在此我們可以統(tǒng)一稱為概率分布函數(shù)和概率密度函數(shù)。1.基本概念辨析2.1等概率分布顧名思義，等概率分布是指每一個可能出現(xiàn)情況的概率取值都是相等的。比如拋硬幣、拋骰子等，一般將等概率分布稱為“古典概型”。2.常見的離散型隨機(jī)變量的分布2.2伯努利分布伯努利分布，也叫0-1分布或兩點分布。凡是隨機(jī)試驗只有兩個可能的結(jié)果，常用伯努利分布描述，如產(chǎn)品是否格、人口性別統(tǒng)計、系統(tǒng)是否正常、電力消耗是否超負(fù)荷等等。2.3二項分布二項分布，也叫n重伯努利分布，是指反復(fù)多次重復(fù)伯努利實驗，比如重復(fù)拋骰子計算某個點出現(xiàn)幾次的概率問題，射擊的命中次數(shù)和命中率問題，一批種子的發(fā)芽率問題，藥物治療病人是否有效的問題，產(chǎn)品的不合格率問題等都要用到二項分布。2.常見的離散型隨機(jī)變量的分布四個二項分布圖2.常見的離散型隨機(jī)變量的分布2.4幾何分布幾何分布也是以伯努利分布為基礎(chǔ)