企業(yè)大數(shù)據(jù)分析框架概述

1、企業(yè)大數(shù)據(jù)分析框架概述技術(shù)創(chuàng)新，變革未來目錄概述大數(shù)據(jù)分析框架大數(shù)據(jù)分析支撐工具數(shù)據(jù)分析即從數(shù)據(jù)、信息到知識的過程，數(shù)據(jù)分析需要數(shù)學(xué)理論、行業(yè)經(jīng)驗以及計算機工具三者結(jié)合分析誤區(qū)數(shù)據(jù)挖掘工具支撐數(shù)學(xué)&統(tǒng)計學(xué)知識行業(yè)經(jīng)驗傳統(tǒng)分析機器學(xué)習(xí)數(shù)學(xué)&統(tǒng)計學(xué)知識數(shù)據(jù)分析的基礎(chǔ)，將整理、描述、預(yù)測數(shù)據(jù)的手段、過程抽象為數(shù)學(xué)模型的理論知識工具支撐各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷的實現(xiàn)數(shù)學(xué)建模，快速響應(yīng)分析需求。行業(yè)經(jīng)驗行業(yè)經(jīng)驗可在數(shù)據(jù)分析前確定分析需求，分析中檢驗方法是否合理，以及分析后指導(dǎo)應(yīng)用，但行業(yè)特征不同，其應(yīng)用也不同，因此本文不展開介紹傳統(tǒng)分析在數(shù)據(jù)量較少時

2、，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛，本文不展開介紹分析誤區(qū)不了解分析模型的數(shù)學(xué)原理，會導(dǎo)致錯誤的使用模型，而得出錯誤的分析結(jié)論，影響業(yè)務(wù)決策，因此在選用分析模型時，要深入了解該模型的原理和使用限制機器學(xué)習(xí)不需要人過多干預(yù)，通過計算機自動學(xué)習(xí)，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，但結(jié)論不易控制。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是挖掘數(shù)據(jù)背后隱藏的知識的重要手段隨著計算機技術(shù)發(fā)展和數(shù)據(jù)分析理論的更新，當前的數(shù)據(jù)分析逐步成為機器語言、統(tǒng)計知識兩個學(xué)科的交集（備選）數(shù)據(jù)挖掘計算機技術(shù)統(tǒng)計學(xué)、人工智能業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)挖掘就是充分利用了統(tǒng)計學(xué)和人工智能技術(shù)的應(yīng)用程序，并把這些高深復(fù)雜的技術(shù)

3、封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題。信息處理信息處理信息處理基于查詢，可以發(fā)現(xiàn)有用的信息。但是這種查詢的回答反映的是直接存放在數(shù)據(jù)庫中的信息。它們不反映復(fù)雜的模式，或隱藏在數(shù)據(jù)庫中的規(guī)律。傳統(tǒng)分析數(shù)據(jù)分析工具傳統(tǒng)分析在數(shù)據(jù)量較少時，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應(yīng)用廣泛，本文不展開介紹數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷的實現(xiàn)數(shù)學(xué)建模，快速響應(yīng)分析需求。隨著計算機科學(xué)的進步，數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和方法更加

4、豐富一系列以事實為支持，輔助商業(yè)決策的技術(shù)和方法，曾用名包括專家系統(tǒng)、智能決策等一般由數(shù)據(jù)倉庫、聯(lián)機分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成對數(shù)據(jù)分析的體系化管理，數(shù)據(jù)分析的主體依然是數(shù)據(jù)挖掘結(jié)構(gòu)分析分組分析杜邦分析預(yù)警分析常規(guī)分析揭示數(shù)據(jù)之間的靜態(tài)關(guān)系分析過程滯后對數(shù)據(jù)質(zhì)量要求高商務(wù)智能數(shù)據(jù)挖掘大數(shù)據(jù)技術(shù)數(shù)據(jù)可視化統(tǒng)計學(xué)和計算機技術(shù)等多學(xué)科的結(jié)合揭示數(shù)據(jù)之間隱藏的關(guān)系將數(shù)據(jù)分析的范圍從“已知”擴展到“未知”，從“過去”推向“將來”從多種類型的數(shù)據(jù)中，快速獲取知識的能力數(shù)據(jù)挖掘技術(shù)的衍生大數(shù)據(jù)時代，展示數(shù)據(jù)可以更好輔助理解數(shù)據(jù)、演繹數(shù)據(jù)本文在描述數(shù)據(jù)分析的流程后，重點介紹通用的數(shù)據(jù)分析方法

5、和主流的應(yīng)用工具、軟件。隨著數(shù)據(jù)量的不斷擴大，數(shù)據(jù)分析理論正處于飛速發(fā)展期，因此本文的方法側(cè)重于基礎(chǔ)原理介紹。數(shù)據(jù)分析目錄概述大數(shù)據(jù)分析支撐工具大數(shù)據(jù)分析框架1.業(yè)務(wù)理解(business understanding） 確定目標、明確分析需求2.數(shù)據(jù)理解（data understanding） 收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)、檢驗數(shù)據(jù)質(zhì)量3.數(shù)據(jù)準備(data preparation) 選擇數(shù)據(jù)、清洗數(shù)據(jù)、構(gòu)造數(shù)據(jù)、整合數(shù)據(jù)、格式化數(shù)據(jù)4.建立模型(modeling） 選擇建模技術(shù)、參數(shù)調(diào)優(yōu)、生成測試計劃、構(gòu)建模型5.評估模型(evaluation) 對模型進行較為全面的評價，評價結(jié)果、重審

6、過程6.部署(deployment) 分析結(jié)果應(yīng)用數(shù)據(jù)分析標準流程CRISP-DM為90年代由SIG組織（當時）提出，已被業(yè)界廣泛認可的數(shù)據(jù)分析流程。數(shù)據(jù)分析框架業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準備建立模型理解業(yè)務(wù)背景，評估分析需求模型評估應(yīng)用理解業(yè)務(wù)背景：數(shù)據(jù)分析的本質(zhì)是服務(wù)于業(yè)務(wù)需求，如果沒有業(yè)務(wù)理解，缺乏業(yè)務(wù)指導(dǎo)，會導(dǎo)致分析無法落地。評估業(yè)務(wù)需求：判斷分析需求是否可以轉(zhuǎn)換為數(shù)據(jù)分析項目，某些需求是不能有效轉(zhuǎn)換為數(shù)據(jù)分析項目的，比如不符合商業(yè)邏輯、數(shù)據(jù)不足、數(shù)據(jù)質(zhì)量極差等。數(shù)據(jù)收集數(shù)據(jù)清洗數(shù)據(jù)收集：抽取的數(shù)據(jù)必須能夠正確反映業(yè)務(wù)需求，否則分析結(jié)論會對業(yè)務(wù)將造成誤導(dǎo)。數(shù)據(jù)清洗：原始數(shù)據(jù)中存在數(shù)據(jù)缺失和壞

7、數(shù)據(jù)，如果不處理會導(dǎo)致模型失效，因此對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)數(shù)據(jù)探索數(shù)據(jù)轉(zhuǎn)換選擇方法、工具，建立模型建模過程評估模型結(jié)果評估分析結(jié)果應(yīng)用分析模型改進探索數(shù)據(jù)：運用統(tǒng)計方法對數(shù)據(jù)進行探索，發(fā)現(xiàn)數(shù)據(jù)內(nèi)部規(guī)律。數(shù)據(jù)轉(zhuǎn)換：為了達到模型的輸入數(shù)據(jù)要求，需要對數(shù)據(jù)進行轉(zhuǎn)換，包括生成衍生變量、一致化、標準化等。建立模型：綜合考慮業(yè)務(wù)需求精度、數(shù)據(jù)情況、花費成本等因素，選擇最合適的模型。在實踐中對于一個分析目的，往往運用多個模型，然后通過后續(xù)的模型評估，進行優(yōu)化、調(diào)整，以尋求最合適的模型。建模過程評估：對模型的精度、準確性、效率和通用性進行評估。，模型結(jié)果評估：評估是否有遺漏的業(yè)務(wù)，模型結(jié)果是

8、否回答了當初的業(yè)務(wù)問題，需要結(jié)合業(yè)務(wù)專家進行評估。結(jié)果應(yīng)用：將模型應(yīng)用于業(yè)務(wù)實踐，才能實現(xiàn)數(shù)據(jù)分析的真正價值：產(chǎn)生商業(yè)價值和解決業(yè)務(wù)問題。模型改進：對模型應(yīng)用效果的及時跟蹤和反饋，以便后期的模型調(diào)整和優(yōu)化。 業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準備建立模型模型評估開始是否明確需求否否數(shù)據(jù)探索結(jié)構(gòu)分析分布特性特征描述分類與回歸聚類分析時序模型關(guān)聯(lián)分析結(jié)構(gòu)優(yōu)化分析結(jié)果應(yīng)用數(shù)據(jù)分析框架圖例流程概要方法分類處理方法模型檢驗理解業(yè)務(wù)背景，評估分析需求是是否滿足要求收集數(shù)據(jù)否是是建立模型貝葉斯神經(jīng)網(wǎng)絡(luò)C4.5決策樹指數(shù)平滑支持向量機灰色理論K均值算法FP-growth算法Apriori算法均方根誤差均方誤差正概率統(tǒng)計群間

9、差異度群內(nèi)相似度業(yè)務(wù)符合度支持度置信度均方根誤差均方誤差正概率統(tǒng)計灰色理論遺傳算法數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換SVM算法KNN算法目錄概述大數(shù)據(jù)分析框架大數(shù)據(jù)分析支撐工具操作編程EviewsSPSSSASStataMatlabR主導(dǎo)優(yōu)勢時間序列分析多元橫截面數(shù)據(jù)數(shù)據(jù)管理及挖掘面板數(shù)據(jù)處理數(shù)值分析，復(fù)雜模型算法及繪圖應(yīng)用領(lǐng)域經(jīng)濟通信，政府，金融，制造，醫(yī)藥，教育等市場調(diào)研，醫(yī)藥研發(fā)，能源公共事業(yè)，金融管理等經(jīng)濟建筑工程學(xué)術(shù)研究，醫(yī)藥研發(fā)，IT處理功能推斷統(tǒng)計推斷及多元統(tǒng)計批量數(shù)據(jù)集統(tǒng)計預(yù)測，優(yōu)化建模統(tǒng)計分析，數(shù)據(jù)挖掘界面設(shè)計直觀，可視化簡易，可視化語言機械規(guī)范化可視，代碼靈活偏向底層語言豐富靈活數(shù)據(jù)安全軟件

10、穩(wěn)定大數(shù)據(jù)易丟失軟件穩(wěn)定軟件穩(wěn)定軟件穩(wěn)定軟件穩(wěn)定處理效率高，穩(wěn)定低，不適宜大數(shù)據(jù)高，穩(wěn)定高，穩(wěn)定高，穩(wěn)定極適合大量數(shù)據(jù)結(jié)合形式Excel,SAS,SPSSExcelExcel,txt,txtAllAll常用的數(shù)據(jù)分析工具可選組件必選數(shù)據(jù)挖掘工具-SAS12 SAS 系統(tǒng)全稱為Statistics Analysis System，最早由北卡羅來納大學(xué)的兩位生物統(tǒng)計學(xué)研究生編制，并于1976年成立了SAS軟件研究所，正式推出了SAS軟件。SAS是用于決策支持的大型集成信息系統(tǒng)，SAS 是由大型機系統(tǒng)發(fā)展而來，其核心操作方式就是程序驅(qū)動，經(jīng)過多年的發(fā)展，現(xiàn)在已成為一套完整的計算機語言，其用戶界面也充

11、分體現(xiàn)了這一特點：它采用MDI （多文檔界面），用戶在PGM視窗中輸入程序，分析結(jié)果以文本的形式在OUTPUT視窗中輸出。使用程序方式，用戶可以完成所有需要做的工作，包括統(tǒng)計分析、預(yù)測、建模和模擬抽樣等。但是，這使得初學(xué)者在使用SAS時必須要學(xué)習(xí)SAS語言，入門比較困難。BASE SAS模塊SAS/STAT（統(tǒng)計分析模塊）SAS/GRAPH（繪圖模塊）SAS/QC（質(zhì)量控制模塊）SAS/ETS（經(jīng)濟計量學(xué)和時間序列分析模塊）SAS/OR（運籌學(xué)模塊）SAS/IML（交互式矩陣程序設(shè)計語言模塊）SAS/AF（交互式全屏幕軟件應(yīng)用系統(tǒng)模塊）SAS/FSP（快速數(shù)據(jù)處理的交互式菜單系統(tǒng)模塊） 目前S

12、AS已在全球100多個國家和地區(qū)擁有29000多個客戶群，直接用戶超過300萬人。在我國，國家信息中心，國家統(tǒng)計局，衛(wèi)生部，中國科學(xué)院等都是SAS系統(tǒng)的大用戶。SAS以被廣泛應(yīng)用于政府行政管理，科研，教育，生產(chǎn)和金融等不同領(lǐng)域，并且發(fā)揮著愈來愈重要的作用。數(shù)據(jù)挖掘工具- SPSS Clementine（現(xiàn)已更名為：PASW Modeler ）13 Clementine是ISL(Integral Solutions Limited)公司開發(fā)的數(shù)據(jù)挖掘工具平臺。1999年SPSS公司收購了ISL公司，對Clementine產(chǎn)品進行重新整合和開發(fā)，現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮

13、點。 Clementine的圖形化操作界面，使得分析人員能夠可視化數(shù)據(jù)挖掘過程的每一步。通過與數(shù)據(jù)流的交互，分析人員和業(yè)務(wù)人員可以合作，將業(yè)務(wù)知識融入到數(shù)據(jù)挖掘過程中。這樣數(shù)據(jù)挖掘人員就可以把注意力集中于知識發(fā)現(xiàn)，而不是陷入技術(shù)任務(wù)，例如寫代碼，所以他們可以嘗試更多的分析思路，更深入地探索數(shù)據(jù)，揭示更多的隱含關(guān)系。 使用全面整合到Clementine的Text Mining，您可以從任何類型的文本 例如內(nèi)部報告、呼叫中心記錄、客戶的郵件、媒體或者雜志文章、博客等中抽取內(nèi)容和評論。使用WebMining for Clementine，您可以發(fā)現(xiàn)訪問者網(wǎng)上行為模式。直接獲取Dimension產(chǎn)品的

14、調(diào)查數(shù)據(jù)，您可以把人口統(tǒng)計信息、態(tài)度和行為信息用于模型更深入地理解您的客戶。Clementine還提供大量的應(yīng)用模板：CRM CAT-針對客戶的獲取和增長，提高反饋率并減少客戶流失；Web CAT-點擊順序分析和訪問行為分析；cTelco CAT-客戶保持和增加交叉銷售；Crime CAT-犯罪分析及其特征描述，確定事故高發(fā)區(qū)，聯(lián)合研究相關(guān)犯罪行為；Fraud CAT-發(fā)現(xiàn)金融交易和索賠中的欺詐和異常行為；Microarray CAT-研究和疾病相關(guān)的基因序列并找到治愈手段數(shù)據(jù)挖掘工具- R14 R語言，一種自由軟件編程語言與操作環(huán)境，主要用于統(tǒng)計分析、繪圖、數(shù)據(jù)挖掘。R本來是由來自新西蘭奧克

15、蘭大學(xué)的Ross Ihaka和Robert Gentleman。R主要是以命令行操作，同時有人開發(fā)了幾種圖形用戶界面。開發(fā)（也因此稱為R），現(xiàn)在由“R開發(fā)核心團隊”負責(zé)開發(fā)。R內(nèi)置多種統(tǒng)計學(xué)及數(shù)字分析功能。R的功能也可以通過安裝包（Packages，用戶撰寫的功能）增強。因為S的血緣，R比其他統(tǒng)計學(xué)或數(shù)學(xué)專用的編程語言有更強的面向?qū)ο螅嫦驅(qū)ο蟪绦蛟O(shè)計）功能。R的另一強項是繪圖功能，制圖具有印刷的素質(zhì)，也可加入數(shù)學(xué)符號。雖然R主要用于統(tǒng)計分析或者開發(fā)統(tǒng)計相關(guān)的軟件，但也有人用作矩陣計算。其分析速度可媲美專用于矩陣計算的自由軟件GNU Octave和商業(yè)軟件MATLAB。數(shù)據(jù)挖掘工具- Stat

16、a15 Stata是Statacorp于1985年開發(fā)出來的統(tǒng)計程序，在全球范圍內(nèi)被廣泛應(yīng)用于企業(yè)和學(xué)術(shù)機構(gòu)中。許多使用者工作在研究領(lǐng)域，特別是在經(jīng)濟學(xué)、社會學(xué)、政治學(xué)及流行病學(xué)領(lǐng)域。 作為一個小型的統(tǒng)計軟件，其統(tǒng)計分析能力遠遠超過了SPSS，在許多方面也超過了SAS！由于Stata在分析時是將數(shù)據(jù)全部讀入內(nèi)存，在計算全部完成后 才和磁盤交換數(shù)據(jù)，因此計算速度極快（一般來說，SAS的運算速度要比SPSS至少快一個數(shù)量級，而Stata的某些模塊和執(zhí)行同樣功能的SAS模塊比， 其速度又比SAS快將近一個數(shù)量級?。㏒tata也是采用命令行方式來操作，但使用上遠比SAS簡單。其生存數(shù)據(jù)分析、縱向數(shù)據(jù)（

17、重復(fù)測量數(shù)據(jù)）分析等模 塊的功能甚至超過了SAS。用Stata繪制的統(tǒng)計圖形相當精美，很有特色。在長遠趨勢上，Stata有超越SAS的可能（據(jù)消息靈通人士透露：在SAS 的老家北卡，真正搞生物統(tǒng)計的人青睞的反而是Stata?。?Stata最大的缺點應(yīng)該是數(shù)據(jù)接口太簡單，實際上只能讀入文本格式的數(shù)據(jù)文件；其數(shù)據(jù)管理界面也過于單調(diào)數(shù)據(jù)挖掘工具- MATLAB16 MATLAB（矩陣實驗室）是MATrix LABoratory的縮寫，是一款由美國The MathWorks公司出品的商業(yè)數(shù)學(xué)軟件。MATLAB是一種用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境。除了矩陣運

18、算、繪制函數(shù)/數(shù)據(jù)圖像等常用功能外，MATLAB還可以用來創(chuàng)建用戶界面及與調(diào)用其它語言（包括C，C+和FORTRAN）編寫的程序。 MATLAB和Mathematica、Maple并稱為三大數(shù)學(xué)軟件。它在數(shù)學(xué)類科技應(yīng)用軟件中在數(shù)值計算方面首屈一指。MATLAB可以進行矩陣運算、繪制函數(shù)和數(shù)據(jù)、實現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應(yīng)用于工程計算、控制設(shè)計、信號處理與通訊、圖像處理、信號檢測、金融建模設(shè)計與分析等領(lǐng)域。軟件特點： 1) 高效的數(shù)值計算及符號計算功能，能使用戶從繁雜的數(shù)學(xué)運算分析中解脫出來；2) 具有完備的圖形處理功能,實現(xiàn)計算結(jié)果和編程的可視化;3) 友好的用戶界

19、面及接近數(shù)學(xué)表達式的自然化語言，使學(xué)者易于學(xué)習(xí)和掌握；4) 功能豐富的應(yīng)用工具箱(如信號處理工具箱、通信工具箱等) ,為用戶提供了大量方便實用的處理工具數(shù)據(jù)挖掘工具- 其他17 EViews 是美國GMS公司1981年發(fā)行第1版的Micro TSP的Windows版本，通常稱為計量經(jīng)濟學(xué)軟件包。EViews是Econometrics Views的縮寫，它的本意是對社會經(jīng)濟關(guān)系與經(jīng)濟活動的數(shù)量規(guī)律，采用計量經(jīng)濟學(xué)方法與技術(shù)進行“觀察”。計量經(jīng)濟學(xué)研究的核心是設(shè)計模型、收集資料、 估計模型、檢驗?zāi)Ｐ汀⑦\用模型進行預(yù)測、求解模型和運用模型。正是由于EViews等計量經(jīng)濟學(xué)軟件包 的出現(xiàn)，使計量經(jīng)濟學(xué)取得了長足的進步，發(fā)展成為實用與嚴謹?shù)慕?jīng)濟學(xué)科。使用 EViews軟件包可以對時間序列和非時間序列的數(shù)據(jù)進行分析，建立序列（變量）間的統(tǒng)計關(guān)系式，并用該關(guān)系式進行預(yù)測、模擬等等。 Minitab 同樣是國際上流行的一個統(tǒng)計軟件包，其特點是簡單易懂，在國外大學(xué)統(tǒng)計學(xué)系開設(shè)的統(tǒng)計軟件課程中，Minitab與SAS、BMDP并列，根本沒有 SPSS的份，甚至有的學(xué)術(shù)研究機構(gòu)專門教授Minitab之概念及其使用。MiniTab for Windows統(tǒng)計軟件比SAS、SPSS等小得多，但其功能并不弱，特別是它的試驗設(shè)