資料探勘在商業(yè)管理與決策分析之實例應(yīng)用.ppt

資料探勘在商業(yè)管理與決策分析之實例應(yīng)用,報告人 邱昭彰 博士 資訊管理系/資訊管理研究所 元智大學 URL:.tw/faculty/chiu/chiu.htm,決策分析品質(zhì)與效率之提昇 資料探勘之原理概念與功能 資料探勘之建構(gòu)方法 應(yīng)用案例介紹 電子商務(wù)之應(yīng)用（Web Mining/WAP Mining） 建議與結(jié)論,引言,經(jīng)營環(huán)境,經(jīng)營環(huán)境日益挑戰(zhàn) 考量：成本、利潤、品質(zhì) . . . . 管理活動 整合：業(yè)務(wù)運作、管理控制、策略規(guī)畫 資訊密集行業(yè) 全方位/多角化經(jīng)營,資料 -企業(yè)寶貴之資產(chǎn),資訊,Mining,資料 倉儲,Mining,知識,(Corporate Memory),(Corporate Intelligence),Database/Data Warehouse,Target data,Cleaned data,Transformed data,Pattern/model,評鑑,資料視覺,資料探勘,資料轉(zhuǎn)換與簡化,前置處理與清理,樣本選取,Performance system,知識發(fā)現(xiàn)流程（Knowledge Discovery),Knowledge,/Adapted from IBM Corp./,資料探勘之基本概念,背景 管理資訊超載及結(jié)構(gòu)化不足 資訊混亂與誤用 管理問題複雜度高 即時決策分析日益重視 發(fā)展目的 有效利用蒐集之市場、客戶、供應(yīng)商、競爭對手及未來趨勢資訊 使企業(yè)經(jīng)由有效之方法與技術(shù)從歷史資料裡擷取有用的知識,資料探勘原理,主要方法 資料庫、資料視覺、統(tǒng)計學、機器學習等 相關(guān)技術(shù) 類神經(jīng)網(wǎng)路、模糊邏輯、基因演算法、基因規(guī)畫、 案例庫推理法、規(guī)則庫推理、統(tǒng)計迴歸等 知識表現(xiàn) 決策樹 、法則、定量數(shù)學公式、黑箱公式 等,Data mining主要功能與技術(shù),功能 技術(shù) 適用領(lǐng)域 關(guān)聯(lián)性 (Association) 案例庫推理/集合理論/統(tǒng)計 菜籃分析 時間序列 (Sequence) 類神經(jīng)網(wǎng)路/統(tǒng)計 利率預(yù)測 分類 (Classification) 基因演算/類神經(jīng)網(wǎng)路/統(tǒng)計/ 客戶評鑑分類 模糊邏輯案例推理/決策樹 公式 (Modeling) 基因規(guī)劃/基因演算/迴歸 銷售預(yù)測 群組 (Clustering) 類神經(jīng)網(wǎng)路/模糊邏輯/ 市場區(qū)隔 基因演算/統(tǒng)計,資料探勘應(yīng)用現(xiàn)況,Safeway 販賣促銷資訊（e.g. coupon) 音樂/電影喜好問卷蒐集 Fidelity Investment客戶服務(wù) （cross-selling/ wallet share) First USA Bank信用卡資料（汽車房貸） Capital One 降低貸款風險損失率 First Union預(yù)測潛在流失客戶 預(yù)測侵蝕性的物質(zhì)對皮膚的影響降低產(chǎn)品(藥品或毒品)的發(fā)展成本和時間，以及減少動物實驗的需求 分析零售商店歷史銷售記錄與位置概述以決定最佳的位置 分析提款機設(shè)置地點最佳位置,Data Mining 過程,了解應(yīng)用領(lǐng)域 建立目標集、選擇目標資料集 去除資料雜質(zhì)、做先置處理 減少資料和資料轉(zhuǎn)換 選擇資料探勘的模式（功能） 選擇資料探勘的演算法（技術(shù)） 資料探勘 評估第七步驟的結(jié)果 整理發(fā)現(xiàn)的知識,實例應(yīng)用,客戶評鑑與分類 (NeuroFuzzy) 提升郵購回函率 (Fuzzy) 股市交易最佳化規(guī)則之發(fā)掘 (GA) 零售商品與客源群聚相關(guān)性分析 (Neural/Statistic) 民航機重落地分析（Regression Tree) 化妝品偏好分析（Classification Tree) 窯燒最佳化控制（Neural/GA) 大哥大忠誠客戶與游離客戶之分析及預(yù)測（Classification Tree),股市交易最佳化規(guī)則之發(fā)掘,規(guī)則一假如 6日RSI 小於 20且 6日BIAS 小於 -4% 時 則 買入並持有12日 規(guī)則二假如 6日RSI 大於 80且 6日BIAS 大於 5% 時 則 賣出並放空10日,提昇Direct Mail回函率,寄出信函數(shù)（寄出成本）,回函數(shù),節(jié)省,目標行銷,大眾行銷,預(yù)定目標,Segment 1 (Age 43)(42.8%),Segment 2 (Age 42)(24.8%),Segment 3 (Age 52)(20.4%),Segment 4 (Age 26)(11.9%),Market Segmentation Segment size, average age,Figure 9.3 Segmentation Results: Segment Size and Average Age,population,Segment3,Segmnet1,Segmenet4,Segment2,Target Categories,A v g $ s p e n t,3000,2000,2500,1500,1000,500,0,Market Segment Analysis Segments vs. Population,Figure 9.4 Market Segmentation Analysis,Safeway 案例,面臨之挑戰(zhàn) 8 million transaction data/week (4 T MB) 500家店面與600萬客戶 市場競爭激烈，傳統(tǒng)手法技術(shù)式微 （如更低價位，更多據(jù)點，多類產(chǎn)品） 新的競爭關(guān)鍵焦點：掌握客戶需要-哪類客戶買哪些商品以及購買頻率,Market Basket Analysis (菜籃分析）,Coke Milk Juice Egg,Coke,Milk,Juice,Egg,Egg,Juice,Milk,Coke,其它相關(guān)應(yīng)用,發(fā)掘背部手術(shù)成敗關(guān)鍵因素 磁磚顏色配比決策輔助 旋窯燃燒最佳化控制 研磨機鋼球配比及置放址決策輔助 電子能量、功率、廢氣流量、氨氣流量組合對氮氧化物及硫氧化物去除效率之模式發(fā)展 污染排放量預(yù)測模式（DECADES MODEL） 燃燒爐中NG、LPG、與正?？諝庵浔葘θ紵始捌渌泻怏w之排放程度之影響,其它相關(guān)應(yīng)用(續(xù)),發(fā)掘共同基金潛在客戶 銀行活期存款帳戶流失率估計 相關(guān)產(chǎn)品群組設(shè)計（cross-selling） 預(yù)測油田生產(chǎn)量 海上石油外溢對生態(tài)破壞影響之估計 飛機結(jié)構(gòu)負載,醫(yī)療案例,DISXPERT - 殘障職業(yè)轉(zhuǎn)介專家系統(tǒng) 區(qū)別分析尋找分類要因 資料學習以萃取分類規(guī)則 整合專家規(guī)則與萃取分類規(guī)則 延伸應(yīng)用 客戶分類,醫(yī)療保險FAMS 的 功 能,偵測 ( Detection ) 利用fuzzy modeling和統(tǒng)計技術(shù)來分析群組的行為，針對每個醫(yī)療服務(wù)提供者評定分數(shù)，以反應(yīng)其遍離行為標準的程度 調(diào)查 ( Investigation ) 分析提供者的分數(shù)和詳細的賠償資料 解決 ( Settlement ) 詳細分析群組行為和賠償?shù)膱蟾婧蛨D表。報告可以用來協(xié)商、解決問題和檢舉不法之事 預(yù)防 ( Prevention ) 支援提供者的監(jiān)視和提供新的工具來評估和教育他們，改善提供者的行為，以防止醫(yī)療詐欺和濫用，減低保險公司的損失,FAMS 的特性,利用案例資料的“retrospective analysis”，分析帳目和醫(yī)療提供者的醫(yī)療工作，以找出有嫌疑的提供者 依據(jù)醫(yī)療專業(yè)和地理位置來定義群組 例如，你可以著重於Los Angeles的經(jīng)神科、Hartford的皮膚科、大都會地區(qū)的緊急救護服務(wù),建置資料剖析應(yīng)注意事項,在規(guī)畫Data Warehouse時即應(yīng)與所需Mining之目標結(jié)合 配合資料處理情況 Data Warehouse Data Marts Cube 選擇軟硬體發(fā)展平臺 分期或分步驟並以漸進式方法開發(fā) 80%心力需投入於Data Preparation步驟 常見之主機平臺包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS,可能遭遇問題之影響因素,企業(yè)教育訓練之不足 不適當之支援工具 資料之無效性 資料樣型（patterns）太多 多變與時間性資料 複雜之資料型態(tài) 沒有現(xiàn)成之模式可立即使用 資料品質(zhì) 資料可取得性 專家意見,Web/WAP Mining,Dynamic product catalog Dynamic banner Dynamic content Tailored mailing list,Data Mining for CRM/Churn Management,Defector identification Campaign promotion Marketing resource allocation Risk assessment & fraud detection Royal customer identification,Business Intelligence in Electronic Commerce,建議與結(jié)論,以資訊科技為主軸之經(jīng)營管理 資料之保存、管理與運用為致勝關(guān)鍵 善用商業(yè)智慧工具以有效解決問題,案例（一）建物抵押貸款申請評估,說明：評估模式針對五個輸入變項值給予綜合評定 分數(shù)-1).建造的施工品質(zhì)、 2).建築物的位置、 3).申貸人的資產(chǎn)、 4).申貸人的收入、 5).利 息支付情況。各個項目的評分範圍從0分到 100分。 可使用之技術(shù)：基因演算法、決策樹、類神經(jīng) 網(wǎng)路、基因規(guī)劃法,計分模式結(jié)構(gòu),案例（二） DM寄送對象評分,說明：評估模式針對六個輸入變項值給予綜合評定 分數(shù) - 1).盈餘、2).住家地理位置、 3).房地產(chǎn) 總值、 4).年齡、 5).小孩個數(shù)、 6).是否結(jié)婚。 可使用之技術(shù)：基因演算法、決策樹、類神經(jīng) 網(wǎng)路、基因規(guī)劃法,計分模式結(jié)構(gòu),窯燒最佳穩(wěn)定控制結(jié)果,x1 x2 x3 x4 x5,資料探勘技術(shù)與發(fā)展,報告人 邱昭彰 博士 資訊管理系/資訊管理研究所 元智大學 URL:.tw/faculty/chiu/chiu.htm,類神經(jīng)網(wǎng)路-監(jiān)督式學習,類神經(jīng)網(wǎng)路-非監(jiān)督式學習,模糊規(guī)則庫,Neuro-Fuzzy 類神經(jīng)- 模糊系統(tǒng),Genetic Algorithm （基因演算）,基因演算原理,GP(基因規(guī)劃）,GP-Fuzzy 基因規(guī)劃- 模糊系統(tǒng),案例推理流程,If Time_band =2.5 years and Time_employed =1.5 year while reject is only 3.2% likely. A total of 63 cases fit this profile, 61 accepts and 2 rejects.,決策樹,過去相關(guān)RD經(jīng)歷,民營單位計畫 網(wǎng)際網(wǎng)路客戶購買行為分析暨預(yù)測（安瑟線上），2000 網(wǎng)頁瀏覽使用行為分析（發(fā)現(xiàn)者國際公司），2000 大哥大門號轉(zhuǎn)換與客戶流失分析(自行研究)，2000 網(wǎng)際廣告暨電視廣告採買組合決策輔助系統(tǒng)(潤利公司)，1999 消費者對化妝品之品牌選擇模式建構(gòu)與分析（資生堂、佳麗寶與香奈兒），1999 ISP客戶使用意願分析因果預(yù)測模式建構(gòu)(自行研究)，1999 信用卡持卡人延滯繳款預(yù)測模式研究（某國內(nèi)金融機構(gòu)）,1999 信用卡簽帳金額預(yù)測（某金融單位），1999 保險產(chǎn)品與客戶選擇分析輔助系統(tǒng)（某保險經(jīng)濟人公司），1999 醫(yī)院洗腎中心護理人員排班輔助系統(tǒng)(長庚醫(yī)院)，1998 船席調(diào)配作業(yè)專家決策系統(tǒng)(基隆港務(wù)局)，1998,過去相關(guān)RD經(jīng)歷 (續(xù)）,公營單位 “基因工程演算法則應(yīng)用於飛機結(jié)構(gòu)負載歷程之分析，“ 航發(fā)中心，NSC 89-2623-D-155 -005，1999/7/12000/6/31 “動態(tài)基因規(guī)劃，“ 國科會， NSC 89-2416-H-155 -015，1999/8/12000/7/31 “建立區(qū)域整體資源規(guī)劃資料庫先期研究，“臺灣電力綜合研究所，TAE87001, 1999/1/11999/6/31 “非破壞檢測專家系統(tǒng)推理機構(gòu)之開發(fā)，“中科院，NSC88-2623-D-155-003，1998/7/11999/6/31 “GA-Fuzzy在證券投資之輔助應(yīng)用，“國科會，NSC88-2416-H-155-019，1998/8/11999/7/31 “智慧型水泥設(shè)備操作系統(tǒng)之研究,“ 亞洲水泥公司，CFF87006, 1998/2/1 1999/1/31 “全民健康保險復(fù)建醫(yī)療費用專業(yè)審查一致性之評估研究,“ 中央健保局， D0H87-NH-031, 1998/3/1 1999/2/28,研發(fā)之方法與技術(shù),。Genetic Algorithms(基因演算法) 。Genetic Programming(基因規(guī)劃法) 。Neural Networks(類神經(jīng)網(wǎng)路) 。Fuzzy Logic(乏晰理論) 。Case-Base Reasoning(案例庫推理) 。Rule-Based System(專家規(guī)則) 。Genetic-Based Decision Tree System(決策樹專家系統(tǒng)),軟體資源（智慧型系統(tǒng)實驗室）,Rule-Base packages LEVEL5 XpertRule Profiler WinRosa GA packages Evolver GeneHunter Generator CBR packages Induce IT Esteem Fuzzy Logic pack