IBM電信業(yè)商業(yè)智能解決方案

1、IBM電信業(yè)商業(yè)智能解決方案議程 數(shù)據(jù)分析與決策支持系統(tǒng)面臨的挑戰(zhàn) IBM 商業(yè)智能解決方案簡介 IBM 方案優(yōu)勢電信企業(yè)的需要 帳務統(tǒng)計 收益分析 網(wǎng)絡、基站運維分析 績效考核 客戶關系管理 風險預測 市場競爭分析 .帳務統(tǒng)計、分析?日、月統(tǒng)計報表?月結算報表?營業(yè)收入統(tǒng)計、分析?資費來源統(tǒng)計、分析?業(yè)務量統(tǒng)計、分析?.收益情況分析? 收入總量分析及預測? 收入增量分析及預測? ARPU分析及預測? 收入結構分析及預測? 大客戶收入情況分析及預測? 客戶交費情況分析及預測? 客戶欠費情況及其結構分析及預測? 新增客戶交/欠費情況分析及預測? 欠費回收情況分析? 高額/欺詐分析? 銷賬分析 市

2、場競爭分析?市場占有率分析及預測?市場需求分析及預測?競爭對手發(fā)展情況分析及預測?各競爭對手的市場營銷分析?供應商市場行為特征分析?合作商市場行為特性分析 業(yè)務發(fā)展分析?業(yè)務量發(fā)展分析及預測?業(yè)務增量分析及預測?MOU分析及預測?新業(yè)務使用量分析及預測?業(yè)務資源使用特征分析及預測?大客戶使用業(yè)務量的特征分析及預測?大客戶使用業(yè)務的特征分析及預測?流量和流向特征分析及預測客戶分析? 客戶總量分析及預測? 新增客戶分析及預測? 客戶凈增量分析及預測? 客戶流失量分析及預測? 客戶轉網(wǎng)量分析及預測? 大客戶發(fā)展分析及預測? 客戶消費能力分析及預測? 客戶消費習慣/愛好分析及預測客戶信用度分析? 外來

3、用戶分析? 模擬用戶分析? 儲值卡用戶分析? 潛在用戶分析? 零次用戶分析? 一戶多卡用戶分析客戶關系管理及市場策略?發(fā)現(xiàn)優(yōu)秀客戶?發(fā)現(xiàn)易流失客戶群?調整產(chǎn)品定價?發(fā)現(xiàn)客戶行為模式?開發(fā)新產(chǎn)品?交叉銷售?.網(wǎng)絡、基站分析?基站配置與話務量分布情況分析?分析各時段各基站/交換機的負載情況?網(wǎng)絡收益分析?網(wǎng)絡容量分析?網(wǎng)絡安全分析?熱點小區(qū)分析?路由分析等服務質量分析?客戶服務質量分析?客戶服務時限分析?客戶咨詢?查詢焦點分析?客戶投訴焦點分析?大客戶服務質量分析?客戶滿意度分析?客戶忠誠度分析 營銷管理分析?市場價格分析?營銷渠道作用分析?代銷代辦酬金分析?營銷人員素質分析?營銷宣傳市場效果分析

4、?促銷行為市場效果分析綜合決策分析?決策取向模擬分析?決策行為市場操作模擬分析?決策行為市場效果模擬分析績效考核?分公司績效考核?營業(yè)部績效考核?營業(yè)員績效考核?.當前狀態(tài)計費系統(tǒng)網(wǎng)管系統(tǒng)財務系統(tǒng)營業(yè)系統(tǒng)結算報表CRM局長信息系統(tǒng)挑戰(zhàn)：信息孤島財務系統(tǒng)市場促銷數(shù)據(jù)客戶數(shù)據(jù)營業(yè)數(shù)據(jù)呼叫中心數(shù)據(jù)建立數(shù)據(jù)倉庫、實施商業(yè)智能生產(chǎn)系統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)倉庫OLAP智能挖掘智能挖掘如何實施商業(yè)智能分析的復雜度和價值分析的復雜度和價值統(tǒng)計統(tǒng)計多維多維數(shù)據(jù)挖掘數(shù)據(jù)挖掘優(yōu)化優(yōu)化階段階段 1 階段階段 2 階段階段 3 階段階段 4 階段階段 5分析的階段分析的階段數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)倉庫數(shù)據(jù)倉庫發(fā)現(xiàn)發(fā)現(xiàn)驗證驗證IBM

5、 BI 解決方案產(chǎn)品業(yè)務系統(tǒng)業(yè)務系統(tǒng)1業(yè)務系統(tǒng)業(yè)務系統(tǒng)2業(yè)務系統(tǒng)業(yè)務系統(tǒng)3業(yè)務系統(tǒng)業(yè)務系統(tǒng)n數(shù)據(jù)倉庫管理器數(shù)據(jù)倉庫管理器/數(shù)據(jù)庫數(shù)據(jù)庫 Warehouse Manager/DB2 UDBDB2 OLAP Server報表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它應用其它應用IBM BI體系結構DB2 UDBDB2 UDBDB2 Warehouse Manager數(shù)據(jù)倉庫管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control CenterOLAP Server App Manager

6、OLAP Server Analysis Server客戶端工具支持WEB決策支持工具和應用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS & VSAMFilesData Joiner DB2 Intelligent Miner for Data數(shù)據(jù)智能挖掘服務器什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫是指從業(yè)務數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫，并針對決策和分析進行優(yōu)化。 數(shù)據(jù)倉庫中的信息是面向主題的、集成化的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，用以支持管理決策的過程。數(shù)據(jù)來自多個數(shù)據(jù)源，并整合到一個數(shù)據(jù)庫中。在數(shù)據(jù)整合的過程中數(shù)據(jù)要經(jīng)過聚合、摘要和清洗。不同的數(shù)據(jù)用于不同的

7、目的?面向主題?集成?比較穩(wěn)定?包含歷史數(shù)據(jù)?支持管理決策?面向應用?有限集成?經(jīng)常更新?僅有當前值?支持日常業(yè)務運作業(yè)務數(shù)據(jù)信息數(shù)據(jù)業(yè)務數(shù)據(jù)和信息數(shù)據(jù)根本不同！業(yè)務數(shù)據(jù)和信息數(shù)據(jù)根本不同！TrustAccountsCheckingAccountsLoanAccountsLoanAccounts年月日Account History建立數(shù)據(jù)倉庫的過程商業(yè)主題商業(yè)主題業(yè)務信息業(yè)務信息業(yè)務數(shù)據(jù)業(yè)務數(shù)據(jù)管理管理轉換工具轉換工具商業(yè)視圖商業(yè)視圖元數(shù)據(jù)元數(shù)據(jù)?成員成員?映射映射?商業(yè)視圖商業(yè)視圖Templates外部數(shù)據(jù)外部數(shù)據(jù)DB2 Data Warehouse體系結構?Log Server?Kerne

8、l?Dispatcher?SchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDataMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/2000, OS/2, AIX, Sun, OS/390, AS/400?DDD?Log?Editions?ConfigurationControlDatabaseDB2MetadataMetadataType title?Type textFlat FilesData Warehouse

9、 CenterMessageNT/2000NT/2000 AgentNT/2000, AIX, SunIncluded with DB2 UDB數(shù)據(jù)倉庫代理(Agent)技術數(shù)據(jù)倉庫控制服務器數(shù)據(jù)倉庫控制服務器(Warehouse Control Server)?時間表啟動時間表啟動?從控制數(shù)據(jù)庫中獲取商業(yè)視圖從控制數(shù)據(jù)庫中獲取商業(yè)視圖定義定義?啟動代理啟動代理(通過代理通過代理后臺后臺進程進程)?循環(huán)循環(huán) : - 接受和記錄結果接受和記錄結果 - 更新客戶端顯示更新客戶端顯示數(shù)據(jù)倉庫代理數(shù)據(jù)倉庫代理(Agent)?響應響應VW管理器管理器?循環(huán)循環(huán) : - 接受命令接受命令 - 執(zhí)行命令執(zhí)行

10、命令 - 報告狀態(tài)報告狀態(tài)DB2 UDB高度并行的海量數(shù)據(jù)庫?Cluster?多個大緩沖區(qū)多個大緩沖區(qū)?支持支持64位內存尋址位內存尋址內存管理內存管理單處理器單處理器對稱多處理對稱多處理(SMP)Massively Parallel Processor (MPP)?增強的增強的SMP并行支持并行支持?MPP并行支持并行支持?并行事務并行事務CPUSQLCPUSQLCPUSQLCPUSQL?并行查詢并行查詢SQLCPUCPUCPUCPUSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -TimeRun - TimeAgent

11、AgentAgentPrefetchers?Single query involves?1 coordinating agent?n sub agents?m prefetchers (shared)?All executing in parallel on available processors?Combination of.?Data parallelism?Each agent works on subset of data?Data dynamically assigned so user not required to partition data?Functional paral

12、lelism (pipelining)?Each agent works on different query function, e.g. scan, sort?Also enables?Parallel Index Create?Parallel Backup and Restore?Allows multiple processes to read or write data to/from the database?Parallel LOAD?Exploitation of multiple processors during load, particularly for parsin

13、g/converting/formatting data節(jié)點內部并行?Parallel Edition - style (shared-nothing) ?Data parallelism through hash partitioning?Partitions can be. ?Physical on MPP or cluster?Logical on SMPRun - TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode 0node 1node nSQL QueryQuery OptimizerBest Query PlanThr

14、eaded CodeCompile -Time節(jié)點間并行(數(shù)據(jù)庫分區(qū)間并行).Single Database ViewParallel OptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)?Shared-nothing software architecture supports?Independent physical nodes?Separate CPU, memory, and disk?Including SMP nodesOR?Multiple logical database partitions on single larg

15、e SMP Server?Interpartition communication is cross memory, not cross network?Data is partitioned across nodes automatically by hashing?Everything operates in parallel?Select?Insert?Update?Delete?Backup/restore?Load?Create index?Reorg充分利用分區(qū)數(shù)據(jù)庫的能力Social Insurance NumberNameLocation123-456-789JoeBoston

16、TorontoPartition Key value Hashed to: 8VectorPosition0123456789101112.Node1231231231231.DB2DB2DB2?Partition Map?Determines home for row?Can be adjusted for data skew using the REDISTRIBUTE utilityHash分區(qū)和分區(qū)映射表?Blends best of MPP and SMP style of parallelism?Ideal for SMP clusters?Most flexible hardwa

17、re support?Leading Edge Query Optimizer!Run - Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time分區(qū)內及分區(qū)間并行DB2 UDB: 更大的容量 表/視圖/列/別名長度增加 名字更容易記憶 更容易移植 SQL語句長度可達64KB 更復雜的查詢和分類(如數(shù)據(jù)挖掘) 由工具自動生

18、成的語句 VARCHAR大小可以達到32KB 更小依賴LONG VARCHAR，節(jié)省空間并提高性能 最大表/表空間大小64GB/128GB/256GB/512GB 可以生成更大的表而不需要分區(qū)(partition) 索引字段總長度達1024byte 可以對更多/更長的字段加索引DB2 UDB: 優(yōu)化技術 優(yōu)化級別0-9 查詢重寫 增加隱含的條件 一般條件下壓(pushdown) 子查詢該為JOIN 消除不必要的JOIN 將量化的條件轉化為標量子查詢 將OR轉為IN 將IN轉為JOIN 視圖合并 消除不必要的DISTINCT優(yōu)化器擴展 減少限制 RID列表排序 Index Oring 執(zhí)行計劃分

19、析 避免Cartesian積 增強的JOIN大小估計 非統(tǒng)一的分布式統(tǒng)計 I/O統(tǒng)計 對隨機和順序I/O不同處理 鎖優(yōu)化 可修正的CPU和I/O成本估算 可更新的目錄統(tǒng)計DB2 UDB與商業(yè)智能集成 新的統(tǒng)計函數(shù) 頁面大?。?KB, 8KB, 16KB, 32KB 更小的I/O，減少索引的層次 優(yōu)化器可以利用多個緩沖池(與頁面大小) 更多的利用星型連接優(yōu)化 利用星型連接設計的數(shù)據(jù)庫性能更好 對數(shù)據(jù)倉庫的增強 數(shù)據(jù)加載過程中自動建立索引 LOAD TERMINATE/RESTART選項 LOAD時遞增的建立索引 利用LOAD INSERT將數(shù)據(jù)附加到已經(jīng)存在數(shù)據(jù)的表中易用的管理工具DB2 Con

20、nect Enterprise EditionDRDA-Compliant Server?Data Replication?Capture?Apply?VisualAge for Java?DB2 Extenders?Visual ExplainDevelopers?Client Configuration AssistantUsers?DB2 DiscoveryAdministrator?Command Center (GUI CLP) DB2 UDB ServerDB2 UDB Server?Governor?Control Center and Utilities ?Performanc

21、e Monitor?Job Scheduler?Performance SmartGuide?Network Configuration SmartGuide?Administration Server?Satellite Administration集成化的圖形界面管理工具Control CenterCommand CenterPerformance MonitorPerformance Smart GuideIndex SmartGuideOther Tools Integrated with the DB2 Control Center?DB2 Script Center?Allows

22、users to create and schedule scripts for regular database activities?DB2 Journal?Provides users with a view of activities which have occured in the DBMS?DB2 License Center?Allows users to monitor license compliance?DB2 Information Center?Provides users with the entire DB2 UDB Technical Library onlin

23、e?Server Communications (Network) Configuration Assistant?Automates set up of server for communication with clients?Client Configuration Assistant?Database connection configuration and testing?Can request that DB2 Discovery search network for databases ?ODBC administration?DB2 Discovery?Searches for

24、 DB2 servers and databases over the network?Returns information required for connection to client DB2家族產(chǎn)品全面解決方案TCP/IPIPX/SPXNETBIOS?DOS?WINDOWS?WinNT?Win95?Win98?OS/2?AIX?HP-UX?SCO?SUN Solaris?SNI SINIX?SGI Irix?MAC?Web BrowsersClients?DB2 for OS/400?DB2 for AIX?DB2 for OS/2?DB2 for HP-UX?DB2 for HP

25、-UX 11.0?DB2 for SUN Solaris?DB2 for SINIX?DB2 for NT?DB2 for SCO?DB2 for SCO Unixware 7Servers?DB2 Connect?Datajoiner?Net.DataMiddlewareParallel Complexes?DB2 UDB EEE for AIX?DB2 UDB EEE for SUN Solaris?DB2 UDB EEE for Windows NT?DB2 UDB for OS/390?DB2 for OS/400Personal?DB2 for OS/2?DB2 for WinNT?

26、DB2 for Win95?DB2 for Win98?Lotus Approach?Satellite Edition?DB2 Everywhere?Oracle?Sybase?Informix?SQL Server?IMS ?VSAMSources?Tivoli TME-10?Satellite EditionManagementHosts?DB2 UDB for OS/390?DB2 for VM and VSE?DB2 for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsOnline Analytical Processing (OLAP)由IB

27、M研究員E.F. Codd提出，被業(yè)界廣泛采用為計劃和分析優(yōu)化處理多維視圖鉆取切片滿足用戶需求填補關系型數(shù)據(jù)庫的不足利用現(xiàn)有投資后臺交易系統(tǒng)前臺報表系統(tǒng)OLAP: 多維分析用維的方法觀察數(shù)據(jù)產(chǎn)品，時間，地區(qū)，財務指標等數(shù)據(jù)模型等同于業(yè)務模型結算分析歸屬局被訪局時間沖銷結算北京上海天津 北京廣東.Q1Q4來訪費用出訪費用Q2Q3OLAP：多維分析 旋轉：按不同順序組織各個維，對結果進行考察 鉆?。涸谝粋€維內部沿著從高到低或從低到高的方向考察數(shù)據(jù) 上鉆 下鉆 切片：在確定某些維數(shù)據(jù)的情況下對其他維進行觀察OLAP: 多維分析時間歸屬局被訪局2000年2000年1月2000年1月1日2000年1月2

28、日2000年1月3日2000年2月考察一個特定的維時間維，包括每一個歸屬局到各被訪局的沖銷結算關系鉆取到下面的層次來考察詳細情況OLAP：旋轉時間歸屬局被訪局歸屬局被訪局時間按照不同的順序組合維，對數(shù)據(jù)進行考察OLAP：鉆取結算分析時間歸屬局被訪局沖銷結算199920002001 北京上海.北京上海 來訪費用出訪費用Q1Q2Q3Q4AprMayJun鉆取到各級數(shù)據(jù)層次時間，年，季，月，日歸屬局，省局，地市OLAP：切片時間歸屬局被訪局時間被訪局歸屬局一月份所有歸屬局對各被訪局的沖銷結算關系每個歸屬局對被訪局北京每個月份的沖銷結算關系用切片的方法從不同的角度觀察OLTP vs. OLAP：不同的

29、角色 紀錄交易情況 有限的步驟 二維 數(shù)據(jù)管理 數(shù)據(jù)處理 運行商業(yè)運作商業(yè)運作 確定任務 反復的過程 多維 數(shù)據(jù)合并 信息綜合 推動商業(yè)計劃商業(yè)計劃DB2 UDB支持OLAP的高級特性優(yōu)化的優(yōu)化的SQL?先進的基于成本的優(yōu)化器先進的基于成本的優(yōu)化器(Starburst)?查詢重寫查詢重寫圖形化界面生成圖形化界面生成的低效的低效SQL?獨特的星型連接算法獨特的星型連接算法ProductStoreMonth?先進的索引技術先進的索引技術110011101010111010111101101010101010110001101010101010On-Line Analytical Processin

30、gProductMonthStore?Cube, Rollup 操作符操作符?表函數(shù)表函數(shù)?并行支持并行支持?自動的摘要表自動的摘要表?復制的表復制的表IBM DB2 OLAP Server開放的系統(tǒng) 最終用戶OLAP工具 最終用戶查詢/報表工具易于實現(xiàn)和管理 自動化的數(shù)據(jù)庫設計利用現(xiàn)有的技能和工具 系統(tǒng)管理 數(shù)據(jù)庫管理高度可伸縮性(Scalability)與IBM數(shù)據(jù)倉庫體系結合提供兩種存儲方式易于使用的安全權限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti-dimensiona

31、lData Store開放的接口標準 開放的應用程序接口和工具 C/C+ API、JDBC、ODBC/CLI Embedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+ Builder、Power Builder 眾多的客戶端工具 DB2 OLAP Server Analyzer Business Object Brio Cognos Excel/Lotus 123 通用的運行平臺 AIX Solaris HP-UX Windows NT/2000 Linux S390 AS400OLAP Server與數(shù)據(jù)倉庫管理器緊密集成IBM的數(shù)據(jù)倉庫管理器中帶有大量與OLAP S

32、erver相關的程序(vwp)：?文件數(shù)據(jù)加載到OLAP?數(shù)據(jù)庫數(shù)據(jù)加載OLAP?用文件數(shù)據(jù)更新維?用數(shù)據(jù)庫數(shù)據(jù)更新維?計算?用規(guī)則計算 客戶可以使用Web方式訪問，不需要安裝任何OLAP工具。Web瀏覽器瀏覽器應用服務器WWWOLAP Server數(shù)據(jù)倉庫TCP/IP客戶端訪問和維護完善的授權機制：?應用程序級?數(shù)據(jù)庫(Cube)級?過濾器?讀、寫、計算、設計權限?用戶組圖形化管理界面用戶、權限管理完整的日志紀錄數(shù)據(jù)挖掘數(shù)據(jù)倉庫選擇的數(shù)據(jù)選擇轉換挖掘理解轉換后的數(shù)據(jù)可理解的信息抽取的信息一個過程，從大型數(shù)據(jù)庫中抽取以前沒有發(fā)現(xiàn)，可理解的，可操作的信息，用以支持企業(yè)關鍵性決策。數(shù)據(jù)挖掘的典型例

33、子基于歷史數(shù)據(jù)預測行為基于歷史數(shù)據(jù)預測行為發(fā)現(xiàn)未知分群、規(guī)則和模式發(fā)現(xiàn)未知分群、規(guī)則和模式常用數(shù)據(jù)挖掘算法分為三類Data Mining AlgorithmsNo PredictionPredictOne ThingTime Series MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural常用數(shù)據(jù)挖掘算法 Clustering (Segmentation) - no

34、 dependent variable Demographic Segmentation Neural Segmentation (Kohonen Map) Example: Identify common characteristics in a customer data base. Predictive/Classification Modeling - dependent variable Nonlinear regression Decision trees Neural networks Radial-basis functions Example: Predict IBMs st

35、ock price tomorrow.常用數(shù)據(jù)挖掘算法 Link Analysis - transaction dataBasic associations (or dissociation)Sequential associations (over time)Example: Identify which features of an insurance policy sell together.Similar Time Sequence許多業(yè)務問題可以映射到數(shù)據(jù)挖掘技術Intelligent Miner for Data V6.1IBM Intelligent Miner for DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClas