客戶關系管理4[003]

1 第四章數(shù)據(jù)挖掘 數(shù)據(jù)倉庫與CRM 數(shù)據(jù)挖掘與數(shù)據(jù)倉庫CRM中的數(shù)據(jù)挖掘與數(shù)據(jù)倉庫數(shù)據(jù)挖掘 數(shù)據(jù)倉庫的行業(yè)應用實例演示 2 4 1數(shù)據(jù)挖掘與數(shù)據(jù)倉庫 3 數(shù)據(jù)挖掘 數(shù)據(jù)倉庫的產(chǎn)生背景 數(shù)據(jù)爆炸但知識匱乏 4 數(shù)據(jù) 一般的業(yè)務操作 通常都會產(chǎn)生大量的數(shù)據(jù) 如訂單 庫存 交易帳目 通話記錄 及客戶資料等 信息 如何利用企業(yè)的歷史數(shù)據(jù)增進對業(yè)務情況的了解 幫助我們在業(yè)務管理及發(fā)展上作出及時 正確的判斷 需要從數(shù)據(jù)成為信息 5 數(shù)據(jù)庫技術應用發(fā)展迅速積累了大量的數(shù)據(jù)提高效率的同時 也帶來了一些問題 數(shù)據(jù)過量 難以消化 真假難辨 數(shù)據(jù)形式不一 難以統(tǒng)一處理 6 如何拋棄不必要的數(shù)據(jù) 從大量數(shù)據(jù)中及時提取有用的知識 數(shù)據(jù)挖掘 從大量的數(shù)據(jù)中挖掘出有用的知識 7 1 Walmart and 2 NASDAQ 3 NBA AdvancedScout 8 數(shù)據(jù)倉庫的定義 數(shù)據(jù)倉庫 DataWarehouse數(shù)據(jù)倉庫是支持管理決策過程的 面向主題的 集成的 隨時間而變的 持久的數(shù)據(jù)集合 W H Inmon 數(shù)據(jù)倉庫是一個環(huán)境 而不是一件產(chǎn)品 提供用戶用于決策支持的當前和歷史數(shù)據(jù) 這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到 數(shù)據(jù)倉庫技術是為了有效的把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問的各種技術和模塊的總稱 9 傳統(tǒng)數(shù)據(jù)庫分析方法 數(shù)據(jù)庫系統(tǒng) 由數(shù)據(jù)庫 數(shù)據(jù)庫管理系統(tǒng) 應用開發(fā)工具 應用系統(tǒng) 數(shù)據(jù)庫用戶組成OLTP On LineTransactionProcessing 聯(lián)機事務處理系統(tǒng)基本任務 及時 安全的將當前事務所產(chǎn)生的記錄保存下來 外部接口 實現(xiàn)標準的SQL語言內(nèi)部 實現(xiàn)事務管理 支持事務的并發(fā)和恢復 10 數(shù)據(jù)倉庫的基本特征 數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的 數(shù)據(jù)倉庫的數(shù)據(jù)是集成的 數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新 穩(wěn)定 的 數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的 11 數(shù)據(jù)倉庫的體系結構 外部數(shù)據(jù) 數(shù)據(jù)倉庫服務器 抽取 清洗轉(zhuǎn)換 載入 服務 查詢 報表 管理 數(shù)據(jù)挖掘 數(shù)據(jù)源 數(shù)據(jù)倉庫數(shù)據(jù)集市 元數(shù)據(jù) OLAP服務 前端工具 數(shù)據(jù)集市 數(shù)據(jù)準備 OLAP服務器 12 數(shù)據(jù)倉庫體系結構 數(shù)據(jù)抽取工具 把數(shù)據(jù)從各種各樣的存儲方式中拿出來 進行必要的轉(zhuǎn)化 整理 再存放到數(shù)據(jù)倉庫內(nèi) 數(shù)據(jù)倉庫數(shù)據(jù)庫 是整個數(shù)據(jù)倉庫環(huán)境的核心 是數(shù)據(jù)存放的地方和提供對數(shù)據(jù)檢索的支持 相對于操作型數(shù)據(jù)庫來說其突出的特點是對海量數(shù)據(jù)的支持和快速的檢索技術 13 元數(shù)據(jù) Metadata 描述了數(shù)據(jù)的結構 內(nèi)容 編碼 索引等 傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)字典是一種元數(shù)據(jù) 但在數(shù)據(jù)倉庫中 元數(shù)據(jù)的內(nèi)容比數(shù)據(jù)庫中的數(shù)據(jù)字典更加豐富和復雜 可將其按用途的不同分為兩類 技術元數(shù)據(jù)和商業(yè)元數(shù)據(jù) 技術元數(shù)據(jù)是數(shù)據(jù)倉庫的設計和管理人員用于開發(fā)和日常管理數(shù)據(jù)倉庫使用的數(shù)據(jù) 包括 數(shù)據(jù)源信息 數(shù)據(jù)轉(zhuǎn)換的描述 數(shù)據(jù)倉庫內(nèi)對象和數(shù)據(jù)結構的定義 數(shù)據(jù)粒度 數(shù)據(jù)清理和數(shù)據(jù)更新時用的規(guī)則 源數(shù)據(jù)到目的數(shù)據(jù)的映射 用戶訪問權限 數(shù)據(jù)備份歷史記錄 數(shù)據(jù)導入歷史記錄 信息發(fā)布歷史記錄等 商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務的角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù) 包括 業(yè)務主題的描述 包含的數(shù)據(jù) 查詢 報表 14 數(shù)據(jù)集市 DataMarts 為了特定的應用目的或應用范圍 而從數(shù)據(jù)倉庫中獨立出來的一部分數(shù)據(jù) 也可稱為部門數(shù)據(jù)或主題數(shù)據(jù) subjectarea 在數(shù)據(jù)倉庫的實施過程中往往可以從一個部門的數(shù)據(jù)集市著手 以后再用幾個數(shù)據(jù)集市組成一個完整的數(shù)據(jù)倉庫 數(shù)據(jù)倉庫服務器 相當于數(shù)據(jù)庫系統(tǒng)中的DBMS 負責管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲管理和數(shù)據(jù)存取 并給OLAP服務器和前臺工具提供存取接口 如SQL查詢接口 OLAP服務器 透明地為前臺工具和用戶提供多維數(shù)據(jù)視圖 OLAP服務器則必須考慮物理上這些分析數(shù)據(jù)的存儲問題 15 OLAP 聯(lián)機分析處理技術 OLAP On LineAnalyticalProcessing 即聯(lián)機分析處理 是以海量數(shù)據(jù)為基礎的復雜分析技術一 多維數(shù)據(jù)模型數(shù)據(jù)分析時用戶的數(shù)據(jù)視圖 是面向分析的數(shù)據(jù)模型 用于給分析人員提供多種觀察的視角和面向分析的操作可用這樣來一個多維數(shù)組來表示 維1 維2 維n 度量值 16 聯(lián)機分析處理技術 續(xù) 一 多維數(shù)據(jù)模型 續(xù) 例如 地區(qū) 時間 電器商品種類 銷售額 三維數(shù)組可以用一個立方體來直觀地表示一般地多維數(shù)組用多維立方體CUBE 超立方體 來表示 17 聯(lián)機分析處理技術 續(xù) 二 多維分析操作常用的OLAP多維分析操作切片 slice 在兩維空間上的分布切塊 dice 在多維空間上的分布旋轉(zhuǎn) pivot 變換維的方向 即在表格中重新安排維的放置 例如行列互換 鉆取 鉆取是改變維的層次 變換分析的粒度 向上鉆取 roll up 在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)向下鉆取 drill down 從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察 18 聯(lián)機分析處理技術 續(xù) 三 OLAP的實現(xiàn)方式按照多維數(shù)據(jù)模型的不同實現(xiàn)方式MOLAP MultidimensionalOLAP 多維ROLAP RelationalOLAP 關系HOLAP HybridOLAP 混合 19 MOLAP MOLAP結構以多維立方體CUBE來組織數(shù)據(jù) 以多維數(shù)組來存儲數(shù)據(jù) 支持直接對多維數(shù)據(jù)的各種操作 多維數(shù)據(jù)庫 Multi DimensionDataBase 簡記為MDDB 20 ROLAP ROLAP結構用RDBMS或擴展的RDBMS來管理多維數(shù)據(jù) 用關系的表來組織和存儲多維數(shù)據(jù)兩類表 一類是事實 fact 表 另一類是維表事實表用來描述和存儲多維立方體的度量值及各個維的碼值 維表用來描述維信息 ROLAP用 星形模式 和 雪片模式 來表示多維數(shù)據(jù)模型 21 ROLAP 續(xù) 星形模式 StarSchema 通常由一個中心表 事實表 和一組維表組成 星形模式的中心是銷售事實表維表有時間維表 顧客維表 銷售員維表 制造商維表和產(chǎn)品維表 22 ROLAP 續(xù) 雪片模式就是對維表按層次進一步細化后形成的 23 HOLAP 續(xù) HOLAP基于混合數(shù)據(jù)組織的OLAP實現(xiàn) HybridOLAP 具有更好的靈活性 低層是關系型的高層是多維矩陣型的 24 前臺工具 包括查詢報表工具 多維分析工具 數(shù)據(jù)挖掘工具和分析結果可視化工具等數(shù)據(jù)倉庫管理 安全和特權管理 跟蹤數(shù)據(jù)的更新 數(shù)據(jù)質(zhì)量檢查 管理和更新元數(shù)據(jù) 審計和報告數(shù)據(jù)倉庫的使用和狀態(tài) 刪除數(shù)據(jù) 復制 分割和分發(fā)數(shù)據(jù) 備份和恢復 存儲管理 25 數(shù)據(jù)倉庫的實施步驟 DW項目計劃業(yè)務需求分析數(shù)據(jù)線實施數(shù)據(jù)倉庫設計數(shù)據(jù)預處理 ETL數(shù)據(jù)維護技術線技術選擇產(chǎn)品選擇應用線系統(tǒng)運行維護 26 演示 AnalysisManager MicrosoftSQLServer的多維數(shù)據(jù)模型 以FoodMartCorporation為例 建立三個多維數(shù)據(jù)集 即Marketing 市場營銷 HR 人力資源 和ExpenseBudget 開支預算 設置系統(tǒng)數(shù)據(jù)源名稱 DSN 建立數(shù)據(jù)庫和數(shù)據(jù)源建立事實數(shù)據(jù)表和維度表設計多維數(shù)據(jù)的存儲模式 多維OLAP MOLAP 關系OLAP ROLAP 或混合OLAP HOLAP 27 數(shù)據(jù)挖掘的定義 數(shù)據(jù)挖掘 DataMining技術角度的定義數(shù)據(jù)挖掘就是從大量的 不完全的 有噪聲的 模糊的 隨機的實際應用數(shù)據(jù)中 提取隱含在其中的 人們事先不知道的但又是潛在有用的信息和知識的過程 商業(yè)角度的定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術 其主要特點是對商業(yè)數(shù)據(jù)庫中的海量業(yè)務數(shù)據(jù)進行抽取 轉(zhuǎn)換 分析和其他模型化處理 從中提取輔助商業(yè)決策的關鍵性數(shù)據(jù) 28 為什么要數(shù)據(jù)挖掘 潛在的應用 數(shù)據(jù)分析和決策支持市場分析和管理目標市場定位 客戶關系管理 CRM 購物籃分析 交叉銷售風險分析和管理預測 客戶保持 質(zhì)量控制 競爭分析欺詐檢測和不尋常模式的檢測 離群點 其他的應用文本挖掘 新聞組 email 文檔 和Web挖掘流數(shù)據(jù)挖掘生物信息學和生物數(shù)據(jù)分析 29 Ex 1 市場分析和管理 數(shù)據(jù)從哪來 信用卡交易事務 會員卡 優(yōu)惠券 客戶投訴電話 公眾生活方式研究目標市場尋找 榜樣 客戶的聚類 他們共享相同的特征 興趣 收入水平 消費習慣等確定客戶在一段時間的購買模式交叉市場分析 尋找產(chǎn)品銷售之間的關聯(lián) 相關性 以及基于這些關聯(lián)進行預測客戶輪廓 profile 什么類型的客戶買什么產(chǎn)品 聚類或分類 客戶需求分析為不同的用戶識別最好的產(chǎn)品預測什么因素將吸引新的客戶摘要信息提供多維摘要信息報告統(tǒng)計學總結信息 數(shù)據(jù)中心的趨勢和變化 30 Ex 2 公司分析和風險管理 財經(jīng)計劃和資產(chǎn)評估現(xiàn)金流分析和預測資源計劃總結比較資源和開銷競爭監(jiān)控競爭對手和市場方向細分客戶類別 制定基于類別的定價過程在激烈競爭市場中建立價格策略 31 Ex 3 欺詐檢測和挖掘異常模式 方法 為欺詐和離群點分析進行聚類和模型構建應用 醫(yī)療保健 零售業(yè) 信用卡服務 電信業(yè) 汽車保險 檢測出那些故意制造車禍而索取保險的人洗錢 可疑的資金流向醫(yī)療保險檢測出職業(yè)病人不必要 不相關的醫(yī)學檢驗電信業(yè) 電話欺詐電話模式 呼叫目的地 持續(xù)時間 每天或每周的次數(shù) 分析與預期標準相背離的模式零售業(yè)分析師評估認為38 的零售業(yè)萎縮是因為不誠實的雇員反恐怖主義 32 知識發(fā)現(xiàn) KDD 過程 數(shù)據(jù)挖掘 知識發(fā)現(xiàn)過程的核心 數(shù)據(jù)清理 數(shù)據(jù)集成 數(shù)據(jù)庫 數(shù)據(jù)倉庫 知識 任務相關的數(shù)據(jù) 選擇 數(shù)據(jù)挖掘 模式評估 33 數(shù)據(jù)挖掘 多種技術的融合 34 為什么不是傳統(tǒng)的數(shù)據(jù)分析 龐大的數(shù)據(jù)算法必須能夠高度可伸縮以便處理TB數(shù)量級的數(shù)據(jù)高維度的數(shù)據(jù)如Microarray 微陣列 可能有成千上萬個維度數(shù)據(jù)的高復雜性數(shù)據(jù)流和傳感器數(shù)據(jù)時間序列數(shù)據(jù) 時間數(shù)據(jù) 序列數(shù)據(jù)結構數(shù)據(jù) 圖 社會網(wǎng)絡和多鏈接數(shù)據(jù)異構數(shù)據(jù)庫和遺產(chǎn)數(shù)據(jù)庫空間 時空 多媒體 文本和Web數(shù)據(jù)軟件程序 科學仿真新的和復雜的應用 35 數(shù)據(jù)挖掘VS傳統(tǒng)分析方法有何區(qū)別 數(shù)據(jù)挖掘是在沒有明確假設的前提下去挖掘信息 發(fā)現(xiàn)知識 36 數(shù)據(jù)挖掘系統(tǒng)結構 數(shù)據(jù)倉庫 數(shù)據(jù)清理數(shù)據(jù)集成 過濾 數(shù)據(jù)庫 數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器 數(shù)據(jù)挖掘引擎 模式評估 圖形用戶界面 知識庫 37 數(shù)據(jù)挖掘過程 數(shù)據(jù)挖掘過程包括 數(shù)據(jù)準備 選擇 預處理 轉(zhuǎn)換 確定主題讀入數(shù)據(jù) 建立模型 理解模型解釋與評價知識應用 分析問題 整合數(shù)據(jù) 建立模型 理解規(guī)則 預測未來 38 數(shù)據(jù)挖掘技術分類 數(shù)據(jù)挖掘 描述 預測 可視化 聚類 關聯(lián)規(guī)則 匯總描述 分類 統(tǒng)計回歸 時間序列 決策樹 神經(jīng)網(wǎng)絡 39 數(shù)據(jù)挖掘的模型 1 分類 Classification 與決策樹 Decisiontrees 分類分析是為了找出描述和區(qū)分數(shù)據(jù)類或概念的模型 常常通過決策樹 神經(jīng)網(wǎng)絡等模型進行表示 決策樹 根節(jié)點 節(jié)點 分支 葉子 40 在貸款申請中 要對申請人的風險大小做出判斷 41 數(shù)據(jù)挖掘的模型 2 聚類 Cluster 聚類是把一組個體按照相似性歸成若干類別的過程 原則 最大化類內(nèi)部的相似性 最小化類之間的相似性聚類方法包括統(tǒng)計方法 機器學習方法 神經(jīng)網(wǎng)絡方法和面向數(shù)據(jù)庫的方法 42 43 關聯(lián) Association 關聯(lián)規(guī)則是形式如下的一種規(guī)則 在購買面包的顧客中 有90 的人同時也買了牛奶 面包 牛奶 計為X Y 評估關聯(lián)規(guī)則的四個重要指標是 1 支持度 support 交易集中包含X和Y的交易數(shù)與所有交易數(shù)之比 記為support X Y 2 可信度 confidence 包含X和Y的交易數(shù)與包含X的交易數(shù)之比 記為confidence X Y 3 期望可信度 expectedconfidence 描述了在沒有物品集X的作用下 物品集Y本身的支持度 記為E confidence Y 4 作用度 lift 作用度是可信度對期望可信度的比值 描述了物品集X對物品集Y的影響力的大小 記為Lift X Y 一股情況 有用的關聯(lián)規(guī)則的作用度都應該大于l 才說明X的出現(xiàn)對Y的出現(xiàn)有促進作用 也說明了它們之間某種程度的相關性 如果作用度不大干l 此關聯(lián)規(guī)則也就沒有意義了 數(shù)據(jù)挖掘的模型 3 設supmin 50 confmin 50 關聯(lián)規(guī)則 A D 60 100 D A 60 75 45 數(shù)據(jù)挖掘的模型 4 序列模式 SequentialPattern 分析數(shù)據(jù)之間的前后 因果 關系 類似于關聯(lián)分析用于發(fā)現(xiàn)客戶潛在的購物模式先購買PC 再購買數(shù)碼相機 接著還要買存儲卡5天之內(nèi) X股票最多上漲10 Y股票漲幅在10 20 之間 Z股票在下星期上漲的概率為68 指標最小支持度最小可信度 46 4 2CRM中的數(shù)據(jù)挖掘與數(shù)據(jù)倉庫 47 CRM與數(shù)據(jù)挖掘 數(shù)據(jù)倉庫的關系 數(shù)據(jù)的整合 集中CRM的業(yè)務整合數(shù)據(jù)分析與知識發(fā)現(xiàn) 48 在CRM中的應用范圍 客戶盈利能力 客戶保留 客戶細分 客戶傾向 渠道優(yōu)化 風險管理 欺詐監(jiān)測 購物傾向分析 需求預測 價格優(yōu)化 49 案例 基于DW DM的客戶營銷管理 流失預警模型 交叉銷售模型 客戶行為細分模型 更多模型 營銷信息預警 營銷方案策劃 績效管理 主動營銷 客戶 行為數(shù)據(jù) 業(yè)務系統(tǒng) 數(shù)據(jù)倉庫 數(shù)據(jù)挖掘 模型 行為數(shù)據(jù) 行為數(shù)據(jù) 客戶挽留 營銷信息層 分析企劃層 管理實施層 50 客戶行為細分 低端 中端 高端 ARPU值相似的客戶需求特點卻差別很大 客戶細分之謎 根據(jù)ARPU值進行客戶細分的方法 基于數(shù)據(jù)挖掘技術的以需求為基準的細分 客戶行為 價值細分模型 海量客戶行為數(shù)據(jù) 特征數(shù)據(jù) 組內(nèi)行為特點相似組間行為差異較大的客戶分組 51 客戶行為細分 續(xù) 客戶行為細分模型 客戶流失傾向預警模型 價格敏感度模型 客戶信用評分模型 交叉銷售模型 營銷效果預測模型 客戶價值評估模型 52 客戶行為細分模型通過上百個變量描述客戶 性別 年齡 建檔時間 證件號碼 繳款方式 信息費 應收金額 優(yōu)惠金額 滯納金應收 SMS次數(shù) 國際呼叫 呼入 呼出比例 短消息話單類型 信息長度 贈送費用 呼轉(zhuǎn)類型 漫游話費 通話時長 贈送分鐘數(shù) 費用類型 動態(tài)漫游號 IMSI號碼 月均基本通話 月均國內(nèi)長途 工作日呼叫次數(shù) 工作日呼叫時間 WAP呼叫時間 繁忙時段呼叫次數(shù) 非繁忙時段呼叫次數(shù) SMS次數(shù) WAP次數(shù) IP呼叫次數(shù) 語音呼叫次數(shù) 非語音呼叫次數(shù) 月均國際長途 非IP呼叫時間 53 數(shù)據(jù)挖掘自動生成影響客戶分組的主要因子 性別 年齡 繳款方式 SMS次數(shù) 國際呼叫 其它 優(yōu)惠金額 短消息話單類型 贈送費用 費用類型 漫游次數(shù) 應收金額 IDD次數(shù) 月均國內(nèi)長途 月均基本通話 非語音呼叫次數(shù) SMS次數(shù) WAP次數(shù) 月均國際長途 語音呼叫次數(shù) 費用類型 54 聚類分析 根據(jù)自身所具有的特征自動聚為一些行為特點相似的群體 1 2 8 4 5 3 7 6 因素二 國內(nèi)呼叫次數(shù) 因素三 IP呼叫次數(shù) 因素一 繁忙時段呼叫次數(shù) 55 16個組中呈現(xiàn)出差別明顯的優(yōu)勢 弱勢特征 各類客戶人數(shù)及收入貢獻一覽 人數(shù)百分比 收入貢獻百分比 59 61 56 41 15 08 28 51 14 89 25 91 優(yōu)質(zhì) 普通 弱勢 57 示例 全球通 后付費 客戶的17個客戶分組 58 對細分客戶組進行特征描述 59 業(yè)務推廣與客戶服務建議 本組市場建議業(yè)務推廣建議彩信業(yè)務 統(tǒng)計分析發(fā)現(xiàn)本組客戶彩信使用人數(shù)比例明顯大于其他16個客戶分組GPRS業(yè)務 估計本組客戶中有相當部分人群是商務人士客戶服務建議免費贈送香港天氣預報與航空公司里程積點互換空港VIP休息室 60 2 產(chǎn)品交叉銷售 交叉銷售研究要點 交叉銷售通過研究客戶的產(chǎn)品使用情況 消費行為特點 發(fā)現(xiàn)老客戶的潛在需求交叉銷售通過產(chǎn)品之間的關聯(lián) 尋找實現(xiàn)產(chǎn)品捆綁銷售的機會交叉銷售為新產(chǎn)品尋找已有用戶中的目標群體 61 相關性弱 根據(jù)產(chǎn)品業(yè)務關聯(lián)性評分表 形成某一產(chǎn)品與其他產(chǎn)品關聯(lián)關系圖 以形象說明本產(chǎn)品與其他產(chǎn)品之間的關聯(lián)關系 正相關或是負相關 及其關聯(lián)性強弱 正向關聯(lián) 負向關聯(lián) 客戶取消產(chǎn)品時作為替補品 考慮產(chǎn)品捆綁銷售 替代性弱 相關性