大數(shù)據(jù)處理技術(shù)與思維詳解課件

1、7/26/2022大數(shù)據(jù)處理技術(shù)與思維數(shù)據(jù)挖掘技術(shù)商業(yè)智能7/26/2022數(shù)據(jù)挖掘技術(shù)的由來(lái)大量信息在給人們帶來(lái)方便的同時(shí)也帶來(lái)了一大堆問(wèn)題：第一：是信息過(guò)量，難以消化；第二：是信息真假難以辨識(shí)；第三：是信息安全難以保證；第四：是信息形式不一致，難以統(tǒng)一處理。 網(wǎng)絡(luò)之后的下一個(gè)技術(shù)熱點(diǎn) 7/26/2022數(shù)據(jù)挖掘技術(shù)的由來(lái)從商業(yè)數(shù)據(jù)到商業(yè)信息的進(jìn)化 進(jìn)化階段 商業(yè)問(wèn)題 支持技術(shù) 產(chǎn)品廠家 產(chǎn)品特點(diǎn) 數(shù)據(jù)搜集(60年代) “過(guò)去五年中我的總收入是多少？”計(jì)算機(jī),磁帶和磁盤(pán) IBM,CDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問(wèn)(80年代)“在新英格蘭的分部去年三月的銷(xiāo)售額是多少？”關(guān)系數(shù)據(jù)庫(kù)（RD

2、BMS）,結(jié)構(gòu)化查詢語(yǔ)言（SQL）,ODBC, Oracle,Sybase,Informix,IBM,MicrosoftOracle,Sybase,Informix,IBM,Microsoft在記錄級(jí)提供歷史性的、動(dòng)態(tài)數(shù)據(jù)信息數(shù)據(jù)倉(cāng)庫(kù)；決策支持(90年代)“在新英格蘭的分部去年三月的銷(xiāo)售額是多少？波士頓據(jù)此可得出什么結(jié)論？”聯(lián)機(jī)分析處理（OLAP）,多維數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù)Pilot,Comshare,Arbor,Cognos,Microstrategy在各種層次上提供回溯的、動(dòng)態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘（正在流行）“下個(gè)月波士頓的銷(xiāo)售會(huì)怎么樣？為什么？”高級(jí)算法,多處理器計(jì)算機(jī),海量數(shù)據(jù)庫(kù)Pilot,

3、Lockheed,IBM,SGI,其他初創(chuàng)公司提供預(yù)測(cè)性的信息7/26/2022數(shù)據(jù)挖掘技術(shù)的由來(lái)數(shù)據(jù)挖掘逐漸演變的過(guò)程 算法學(xué)習(xí) 專(zhuān)家系統(tǒng) 機(jī)器學(xué)習(xí) 7/26/2022數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。 技術(shù)上的定義及含義 7/26/2022數(shù)據(jù)挖掘的定義 數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。 按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探

4、索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。 商業(yè)角度的定義 7/26/2022數(shù)據(jù)挖掘的定義 數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析(如查詢、報(bào)表、聯(lián)機(jī)應(yīng)用分析)的本質(zhì)區(qū)別是數(shù)據(jù)挖掘是在沒(méi)有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí). 數(shù)據(jù)挖掘所得到的信息應(yīng)具有先未知,有效和可實(shí)用三個(gè)特征. 數(shù)據(jù)挖掘與傳統(tǒng)分析方法的區(qū)別 7/26/2022數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)各分公司數(shù)據(jù)集分析數(shù)據(jù)集數(shù)據(jù)挖掘數(shù)據(jù)集7/26/2022數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析 數(shù)據(jù)挖掘統(tǒng)計(jì)分析預(yù)測(cè)簡(jiǎn)單的方法復(fù)雜的方法7/26/2022數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘，機(jī)器學(xué)

5、習(xí)和統(tǒng)計(jì)分析 數(shù)據(jù)挖掘統(tǒng)計(jì)方法模式識(shí)別人工智能封裝預(yù)測(cè)7/26/2022數(shù)據(jù)挖掘的基本技術(shù)關(guān)聯(lián)規(guī)則挖掘技術(shù) 關(guān)聯(lián)規(guī)則（association rule）挖掘技術(shù)用于發(fā)現(xiàn)數(shù)據(jù)庫(kù)中屬性之間的有趣聯(lián)系。和傳統(tǒng)的產(chǎn)生式規(guī)則不同，關(guān)聯(lián)規(guī)則可以有一個(gè)或多個(gè)輸出屬性。同時(shí)，一個(gè)規(guī)則的輸出屬性可以是另一規(guī)則的輸入屬性。 關(guān)聯(lián)規(guī)則分析有時(shí)也叫購(gòu)物籃分析，是因?yàn)樗梢哉覍こ鰸撛诘牧钊烁信d趣的所有的產(chǎn)品組合。由此，有限數(shù)目的屬性可能生成上百條關(guān)聯(lián)規(guī)則。 7/26/2022數(shù)據(jù)挖掘的基本算法其它數(shù)據(jù)挖掘算法 K-平均值算法（一種無(wú)指導(dǎo)聚類(lèi)算法）遺傳算法（可用于有指導(dǎo)學(xué)習(xí)的算法）神經(jīng)網(wǎng)絡(luò)算法（可用于有指導(dǎo)學(xué)習(xí)的算法）

6、7/26/2022BI理解數(shù)據(jù)商務(wù)智能是通過(guò)對(duì)來(lái)自不同的數(shù)據(jù)源進(jìn)行統(tǒng)一處理及管理，通過(guò)靈活的展現(xiàn)方法來(lái)幫助企業(yè)進(jìn)行決策支持。數(shù)據(jù)信息知識(shí)決策獲取管理使用7/26/2022BI概念商業(yè)智能（Business Intelligence，簡(jiǎn)稱(chēng)BI）的概念最早是Gartner Group于1996年提出來(lái)的。當(dāng)時(shí)將商業(yè)智能定義為一類(lèi)由數(shù)據(jù)倉(cāng)庫(kù)（或數(shù)據(jù)集市）、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的、以幫助企業(yè)決策為目的技術(shù)及其應(yīng)用。 目前，商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識(shí)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策的工具。從技術(shù)層面上講，商業(yè)智能不是什么新技術(shù)，它只是數(shù)據(jù)倉(cāng)庫(kù)、OL

7、AP和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用。 7/26/2022商業(yè)智能是一種解決方案，關(guān)鍵是從許多來(lái)自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中，提取出有用的數(shù)據(jù)，進(jìn)行清理以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽取（Extraction）、轉(zhuǎn)換（Transformation）和裝載（Load），即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖，在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識(shí)），最后將知識(shí)呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持。7/26/2022外 部 數(shù) 據(jù) 庫(kù)MSSQLORACAL外部文件ETL工具大數(shù)據(jù)平臺(tái)，數(shù)據(jù)倉(cāng)庫(kù)元

8、數(shù)據(jù)數(shù)據(jù)挖掘OLAP分析信息表現(xiàn)查詢報(bào)表數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型BI系統(tǒng)用戶元數(shù)據(jù)庫(kù)元數(shù)據(jù)數(shù)據(jù)描述用法結(jié)構(gòu)安全設(shè)置數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)查詢請(qǐng)求 商業(yè)智能基本過(guò)程圖 7/26/2022信息孤島各自為政，互相獨(dú)立財(cái)務(wù)分析運(yùn)營(yíng)分析客戶分析財(cái)務(wù)系統(tǒng)營(yíng)銷(xiāo)系統(tǒng)服務(wù)系統(tǒng)7/26/2022幫助企業(yè)提高戰(zhàn)略決策建立業(yè)務(wù)單一視圖、消除信息孤島、多角度審視業(yè)務(wù)數(shù)據(jù)提高服務(wù)水平和客戶滿意度敏銳洞悉市場(chǎng)機(jī)會(huì)加強(qiáng)企業(yè)監(jiān)管、防范欺詐內(nèi)部效益考核優(yōu)化資源科學(xué)決策數(shù)據(jù)倉(cāng)庫(kù)7/26/2022商務(wù)智能對(duì)企業(yè)的作用和價(jià)值理解業(yè)務(wù)：網(wǎng)絡(luò)資源分析產(chǎn)品結(jié)構(gòu)及組合分析服務(wù)質(zhì)量分析業(yè)務(wù)發(fā)展分析理解客戶：客戶貢獻(xiàn)度分析客戶群體劃分客戶行為分析制訂市場(chǎng)營(yíng)銷(xiāo)策略風(fēng)

9、險(xiǎn)分析：客戶流失的測(cè)算信用分析欺詐分析內(nèi)部績(jī)效考核：產(chǎn)品、部門(mén)利潤(rùn)分析資源分配資源成本分析誰(shuí)是最好的客戶?如何擴(kuò)大利潤(rùn)?如何避免風(fēng)險(xiǎn)?收入/成本如何分配?大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)7/26/2022數(shù)據(jù)質(zhì)量控制數(shù)據(jù)重新組織EII解決方案數(shù)據(jù)展現(xiàn)數(shù)據(jù)管理數(shù)據(jù)獲取數(shù)據(jù)遷移作業(yè)分配數(shù)據(jù)清洗數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理數(shù)據(jù)集市管理安全性、分析管理企業(yè)商務(wù)智能體系架構(gòu)規(guī)劃最終用戶數(shù)據(jù)質(zhì)量控制數(shù)據(jù)重新組織ETL/DQ解決方案數(shù)據(jù)抽取、遷移、加載周數(shù)據(jù)加載日常數(shù)據(jù)增加日周期數(shù)據(jù)源ETL/EII數(shù)據(jù)存儲(chǔ)管理業(yè)務(wù)模型數(shù)據(jù)展現(xiàn)利潤(rùn)成本分析資產(chǎn)分析營(yíng)銷(xiāo)分析投資組合分析平衡計(jì)分卡/KPI解決的業(yè)務(wù)問(wèn)題數(shù)據(jù)分析采購(gòu)系統(tǒng)生產(chǎn)系統(tǒng)銷(xiāo)售系統(tǒng)

10、財(cái)務(wù)系統(tǒng)即席查詢Intranet/Internet產(chǎn)品報(bào)告數(shù)據(jù)挖掘例外分析隨即查詢報(bào)表例外分析數(shù)據(jù)挖掘決策人員管理人員分析人員業(yè)務(wù)人員實(shí)時(shí)增量虛擬數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理（運(yùn)營(yíng)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、分析元數(shù)據(jù)）IWAYWEBFOCUS數(shù)據(jù)倉(cāng)庫(kù)企業(yè)數(shù)據(jù)模型MDMBWDW7/26/2022決策支持系統(tǒng)解決五個(gè)層次的問(wèn)題以前發(fā)生了什么為什么發(fā)生了現(xiàn)在發(fā)生了什么將來(lái)會(huì)發(fā)生什么業(yè)務(wù)活動(dòng)管理7/26/2022商務(wù)智能5類(lèi)前端展現(xiàn)的工具固定報(bào)表KPI指標(biāo)即席查詢例外分析數(shù)據(jù)挖掘7/26/2022Copyright 2005 Business Objects Greater China. All rights res

11、erved.商業(yè)智能應(yīng)用的三個(gè)階段階段一: 報(bào)表固定報(bào)表靈活報(bào)表復(fù)雜報(bào)表報(bào)表共享報(bào)表分發(fā)階段二: 查詢分析交互查詢切片鉆取旋轉(zhuǎn)OLAP階段三: 高層次分析AA/DMDSS7/26/2022商務(wù)智能的5個(gè)后臺(tái)數(shù)據(jù)處理工具ETL工具 實(shí)時(shí)數(shù)據(jù)抽取 數(shù)據(jù)質(zhì)量防火墻 元數(shù)據(jù)管理主數(shù)據(jù)管理7/26/2022經(jīng)營(yíng)分析的關(guān)鍵主題經(jīng)營(yíng)操作分析決策業(yè)務(wù)發(fā)展的趨勢(shì)客戶行為分析風(fēng)險(xiǎn)分析競(jìng)爭(zhēng)優(yōu)勢(shì)分析客戶服務(wù)分析營(yíng)業(yè)收入分析績(jī)效考核管理入庫(kù)率分析產(chǎn)品組合分析異常預(yù)警分析7/26/2022分析型客戶關(guān)系管理收入分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年度業(yè)務(wù)部門(mén)爭(zhēng)取客戶能力分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年份客戶成本分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年度

12、業(yè)務(wù)部門(mén)客戶活動(dòng)周期分析保留客戶能力分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年份客戶忠誠(chéng)度分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年份業(yè)務(wù)部門(mén)客戶產(chǎn)品毛利分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年度業(yè)務(wù)部門(mén)市場(chǎng)細(xì)分表現(xiàn)分析市場(chǎng)活動(dòng)營(yíng)銷(xiāo)媒體銷(xiāo)售渠道時(shí)段目標(biāo)市場(chǎng)表現(xiàn)分析市場(chǎng)活動(dòng)營(yíng)銷(xiāo)媒體銷(xiāo)售渠道時(shí)段客戶滿意度分析市場(chǎng)細(xì)分客戶類(lèi)型地區(qū)年份業(yè)務(wù)部門(mén)活動(dòng)最佳/最差客戶分析歷史收入預(yù)測(cè)收入平均定單銷(xiāo)售額重復(fù)購(gòu)買(mǎi)率加權(quán)評(píng)分潛在流失客戶分析歷史收入預(yù)測(cè)收入客戶滿意度服務(wù)請(qǐng)求加權(quán)評(píng)分等等7/26/2022客戶分析的關(guān)鍵主題經(jīng)營(yíng)操作分析決策客戶獲取能力客戶保留能力風(fēng)險(xiǎn)分析交叉銷(xiāo)售能力向上銷(xiāo)售能力客戶管理能力客戶輪廓分析客戶行為分析產(chǎn)品組合分析客戶細(xì)分分析7/26/2022數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)以應(yīng)用主題驅(qū)動(dòng)主題客戶關(guān)系管理問(wèn)題客戶流失分析 客戶消費(fèi)行為統(tǒng)計(jì) 客戶群體的細(xì)分 存運(yùn)票價(jià)的確定和客戶的趨勢(shì)分析 客戶的滿意程度 客戶流失分析 獲取新的客戶