Oracle數據倉庫用戶案例課件

1、北京甲骨文軟件有限公司趙 揮2022年10月10日Oracle數據中心用戶案例介紹0Oracle數據中心用戶案例介紹0內容法國電信新西蘭電信1內容法國電信1法國電信數據倉庫2法國電信數據倉庫2法國電信(France Telecom)歐洲第三大電信運營商，2000年營業(yè)額為337億歐元在五大洲220個國家和地區(qū)擁有9100多萬客戶下屬Orange是第二大移動運營商3法國電信(France Telecom)歐洲第三大電信運營商實際的數據倉庫案例wintercorpWinter VLDB Survey 14 Sep 2019Largest Database Size, Decision Suppor

2、t4實際的數據倉庫案例wintercorpWinter VLDSears Teradata4.63HCIA Informix 4.50Wal-Mart Teradata 4.42Tele Danmark DB2 2.84CitiCorp DB2 2.47MCI Informix 1.88NDC Health Oracle 1.85Sprint Teradata 1.30Ford Oracle 1.20Acxiom Oracle 1.13SBCTeradata10.50 First UnionInformix 4.50 Dialog Proprietary 4.25Telecom ItaliaD

3、B2 3.71 FedEx Teradata 3.70Office DepotTeradata 3.08AT & T Teradata 2.83SK C&C Oracle 2.54NetZero Oracle 2.47Telecom ItaliaInformix 2.322019 Survey2019 SurveyFrance Telecom Oracle29.23AT&T Daytona26.27 SBC Teradata24.81AnonymousDB216.19 Amazon Oracle13.00Kmart Teradata12.59Claria Oracle 12.10HIRA Sy

4、base IQ11.94FedExTeradata9.98VodafoneTeradata9.912019 Survey法國電信： 世界上最大的數據倉庫Winter 2019 VLDB SurveyLargest Database Size, Decision Support5Sears Teradata4.63SBCTerad數據倉庫項目建設目標建立統(tǒng)一的數據信息平臺，實現(xiàn)客戶資料和生產數據的集中存儲。利用先進的數據倉庫技術和決策分析技術為市場營銷和客戶服務工作提供有效的支撐：流失分析欺詐分析客戶發(fā)展分析客戶關系管理6數據倉庫項目建設目標建立統(tǒng)一的數據信息平臺，實現(xiàn)客戶資料和生目前系統(tǒng)規(guī)模包

5、含12個月的話單數據庫容量為65TB，其中原始數據為25TB最大的表包含1800億話單7目前系統(tǒng)規(guī)模包含12個月的話單7項目面臨的技術挑戰(zhàn)數據存儲系統(tǒng)要求存儲1218個月的 詳單數據數據裝載按小時裝載詳單數據，要求每天在8小時內裝載5億條詳單高峰時一個小時裝載6500萬條詳單在8小時內同時完成1億7000萬個匯總操作數據訪問支持680個并發(fā)用戶，支持8000 個系統(tǒng)用戶95 % 的預定義查詢操作在5秒鐘內完成每秒鐘23個查詢操作8項目面臨的技術挑戰(zhàn)數據存儲8法國電信選擇數據倉庫平臺的考慮強大的ETL支持能力支持按小時的數據裝載高效的數據訪問硬件的支持：多CPU、大內存、并行處理分區(qū)技術索引技術

6、數據庫內置的分析能力高可用性7 x 24不間斷運行軟件的成熟性TB級數據倉庫用戶案例9法國電信選擇數據倉庫平臺的考慮強大的ETL支持能力9 數據倉庫數據緩沖池和操作數據存儲匯總計算計算 更新生產數據采集和預處理預處理轉換導出新數據數據倉庫系統(tǒng)管理數據倉庫功能管理系統(tǒng)管理員操作員錯誤數據處理刷新數據集市數據集市 1 客戶資料客戶資料接收和準備質量檢查轉換生產系統(tǒng)數據集市 2 中央數據存儲普通用戶預處理應用其它界面WEB界面高級用戶即席查詢應用應用平臺系統(tǒng)的邏輯結構10 數據倉庫數據緩沖池和操作數據存儲匯總計算生產數據采集和預處系統(tǒng)中使用的Oracle關鍵技術混合分區(qū).2:00地區(qū)-11:00地區(qū)

7、-100-Feb地區(qū)-100-Jan地區(qū)-100-Mar地區(qū)-1.地區(qū)-2地區(qū)-2地區(qū)-2地區(qū)-2地區(qū)-2范圍(時間)地區(qū)-3地區(qū)-3地區(qū)-3地區(qū)-3地區(qū)-3哈希(地區(qū))11系統(tǒng)中使用的Oracle關鍵技術混合分區(qū).2:混合分區(qū)的設計按地區(qū)建立列表分區(qū)按時間建立范圍分區(qū)一天以上的話單數據按天建立365分區(qū)一天以內的話單按小時建立分區(qū)12混合分區(qū)的設計按地區(qū)建立列表分區(qū)12select sum(sales_amount) from sales where sales_date between to_date(01-MAR-2019,DD-MON-YYYY) and to_date(31-MAY-

8、2019,DD-MON-YYYY);利用分區(qū)忽略提高大表的查詢性能分區(qū)忽略: 只有相關分區(qū)被訪問99-May99-Apr99-Feb99-Jan99-Mar99-JunSalesselect sum(sales_amount) 利用分區(qū)忽系統(tǒng)測試結果數據訪問:每秒鐘23到100個并發(fā)查詢操作95% 的查詢在1秒鐘內完成14系統(tǒng)測試結果14系統(tǒng)中使用的Oracle關鍵技術可傳輸的表空間業(yè)務系統(tǒng)數據倉庫MarFebJanMarFeb操作系統(tǒng)文件的直接復制不需要數據的導入/導出實現(xiàn)按小時的數據加載15系統(tǒng)中使用的Oracle關鍵技術可傳輸的表空間業(yè)務系統(tǒng)數OLTPData Warehouse Dat

9、a Marts ArchivesInformationdistributionStaging可傳輸表空間在數據倉庫中的使用OLTPData Warehouse Data Mart舉例利用可傳輸的表空間和分區(qū)技術實現(xiàn)快速數據裝載17舉例利用可傳輸的表空間和分區(qū)技術實現(xiàn)快速數據裝載17詳單數據的導出把需要傳輸的數據放在單獨的表空間CREATE TABLE temp_jan_sales NOLOGGING TABLESPACE ts_temp_sales AS SELECT * FROM sales WHERE time_id BETWEEN 31-DEC-2019 AND 01-FEB-2000;

10、 導出數據字典EXP TRANSPORT_TABLESPACE=y TABLESPACES=ts_temp_sales FILE=jan_sales.dmp 復制數據文件和數據字典到數據倉庫服務器18詳單數據的導出把需要傳輸的數據放在單獨的表空間18詳單數據的導入導入數據字典IMP TRANSPORT_TABLESPACE=y DATAFILES=/db/tempjan.f TABLESPACES=ts_temp_sales FILE=jan_sales.dmp 通過分區(qū)交換，將新數據加入目標表1. ALTER TABLE sales ADD PARTITION sales_00jan VAL

11、UES LESS THAN (TO_DATE(01-feb-2000,dd-mon-yyyy); 2. ALTER TABLE sales EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_jan INCLUDING INDEXES WITH VALIDATION; 19詳單數據的導入導入數據字典19系統(tǒng)測試結果：數據裝載數據裝載：裝載包含5000萬條詳單的一個分區(qū)和2個索引的一個表空間文件傳輸: 4 50數據導入到Oracle數據倉庫: 瞬時創(chuàng)建索引：750”預計算及其它運算：14合計：3226”20系統(tǒng)測試結果：數據裝載數據裝載：裝載

12、包含5000萬條詳單的一物化視圖提高匯總數據的訪問性能按通話類型匯總的每月通話時長按月匯總的不同種類通話時長數據按地區(qū)匯總的每月通話時長查詢詳細話單查詢自動重寫法國和意大利的用戶在過去三個月的漫游通話總時長是多少？21物化視圖提高匯總數據的訪問性能按通話類型匯總的按月匯總的按地使用Oracle內置的SQL分析函數匯總 ROLLUP & CUBE抽樣 Sampling排名 Rank - rank, percentile, ntile, top, bottom滑動窗口 Moving Window - avg, sum, min, max, count, variance, stddev, firs

13、tvalue同比 Period-over-period comparisons時間序列Lag報表函數sum, avg, min, max, variance, stddev, count, ratiotoreport統(tǒng)計函數covariance, correlation, linear regression22使用Oracle內置的SQL分析函數匯總 ROLLUP & TimekeySales Sales_last_year Sales_change98-1 1100 - -.99-11200110010099-2150014505099-31700135025099-416001700-10

14、099-51800160020099-6150014505099-7130012505099-814001200200SELECT timekey, sales, LAG(sales,12) OVER (ORDER BY timekey) as sales_last_year, (sales - sales_last_year) as sales_changeFROM sales舉例：使用時間序列函數TimekeySales Sale系統(tǒng)使用情況數據匯總: 1億7000萬個匯總運算在2個小時內完成不需要專門的服務器數據訪問:每秒鐘23到100個并發(fā)查詢操作95% 的查詢在1秒鐘內完成24系統(tǒng)使

15、用情況數據匯總: 24數據倉庫系統(tǒng)為法國電信帶來的好處為各個業(yè)務部門的用戶提供統(tǒng)一的數據視圖保證數據的一致性和質量提高信息的及時性整合系統(tǒng)，節(jié)省投資已經將10個系統(tǒng)整合，未來會整合更多的系統(tǒng)比原來的專有系統(tǒng)管理更靈活，升級更容易25數據倉庫系統(tǒng)為法國電信帶來的好處為各個業(yè)務部門的用戶提供統(tǒng)一數據倉庫系統(tǒng)為法國電信帶來的好處全面了解客戶的使用行為，實現(xiàn)市場細分欺詐行為檢測建立欺詐模式庫及時檢測客戶通話行為發(fā)生的突然變化, 運用模式庫進行識別通過預警系統(tǒng)通知相關人員進行調查26數據倉庫系統(tǒng)為法國電信帶來的好處全面了解客戶的使用行為，實現(xiàn)“我們每天裝載5億條話單. Oracle數據倉庫在實際使用中已

16、經被證明非常穩(wěn)定、可靠和具有擴展性 Jean-Luc CochennecFrance Telecom27“我們每天裝載5億條話單. Oracle數據倉庫在實際“從Winter Corporation最近的數據庫可伸縮性調查發(fā)現(xiàn)，法國電信的數據倉庫系統(tǒng)無論是從數據庫規(guī)模和記錄數方面，都是世界上單一數據庫中最大的。”Richard Winter, March 2019“Field Experience with Large Scale Data Warehousing on Oracle”28“從Winter Corporation最近的數據庫可伸縮性新西蘭電信數據倉庫29新西蘭電信數據倉庫29新

17、西蘭電信簡介新西蘭最大的綜合電信運營商在新西蘭和澳洲擁有210萬用戶員工數為6900多名總資產83億新西蘭元年收入55億新西蘭元業(yè)務范圍：市話、長途、移動、互聯(lián)網、寬帶、增值業(yè)務30新西蘭電信簡介新西蘭最大的綜合電信運營商30項目建設背景電信市場變化開放的電信市場日益增多的競爭對手公司戰(zhàn)略轉變從擴大用戶群轉變?yōu)樘岣攥F(xiàn)有用戶對企業(yè)的貢獻度從大規(guī)模營銷轉向目標市場營銷31項目建設背景電信市場變化31Multiple Legacy Application Systems原有系統(tǒng)的狀況各個系統(tǒng)采用不同平臺缺乏數據標準數據采集和集成困難多個系統(tǒng)中冗余的數據32Multiple Legacy Applic

18、ation Sy數據倉庫項目概況PROBEPROactive Business Enabler從2019年6月開始建設，2019年建成上線到2019年為止，開發(fā)了50多個主題：客戶, 產品, 收入, 通話行為, 市場營銷, 繳費用戶包括市場部、銷售部和財務部等部門1400多人33數據倉庫項目概況PROBEPROactive BusinOracle在項目中的參與情況2019 2019：設計和建設數據倉庫逐步增加50個新的分析應用目前：與新西蘭電信和EDS合作實施“360 客戶視圖” 項目建立數據倉庫與業(yè)務系統(tǒng)的實時接口實現(xiàn)實時的客戶細分34Oracle在項目中的參與情況2019 2019：目前：

19、PROBE項目為公司帶來的效益有形效益增加收入，提高ARPU減少客戶流失提高營銷活動的響應率從5提高到30降低營銷成本和服務成本35PROBE項目為公司帶來的效益有形效益增加收入，提高ARPPROBE項目的投資回報目標市場營銷每年節(jié)省1200萬元“市場贏回”計劃每年增加800萬元更合理的國際長途收費定價增加收入與節(jié)約成本，每年700萬元36PROBE項目的投資回報目標市場營銷36PROBE為外部客戶服務向外部客戶出售統(tǒng)計分析結果Vision：800客戶按地區(qū)、時段、服務類型價格：每月一次：25$/月每周一次：85$/月37PROBE為外部客戶服務向外部客戶出售統(tǒng)計分析結果Visi議程項目概況項

20、目實施方法數據倉庫技術方案38議程項目概況38建設原則需求驅動從多種渠道識別客戶實現(xiàn)精確營銷提升客戶價值業(yè)務目標獲得客戶的全業(yè)務視圖（固話、移動、數據）生成營銷客戶名單，支持對活動反饋的收集和分析實現(xiàn)客戶和市場的細分項目目標39建設原則需求驅動從多種渠道識別客戶業(yè)務目標獲得客戶的全業(yè)務建設原則實用性緊密配合業(yè)務部門的市場經營活動客戶維系：流失客戶名單營銷活動管理：營銷活動名單，反饋分析新業(yè)務開發(fā)：產品定價，關聯(lián)分析40建設原則實用性緊密配合業(yè)務部門的市場經營活動客戶維系：流發(fā)展戰(zhàn)略規(guī)劃網絡管理目標市場營銷客戶滿意度銷售財務表現(xiàn)Customer and Product Information運營

21、效率制訂企業(yè)發(fā)展戰(zhàn)略監(jiān)控其執(zhí)行情況Business Intelligence For Telecom 建設方法整體規(guī)劃，分步實施 需求預測能力規(guī)劃投資預測通信能力分析通信質量分析業(yè)務覆蓋分析欺詐檢測業(yè)務開展業(yè)務使用供應鏈分析客戶流失分析客服中心分析服務質量保證市場細分響應模型營銷活動ROI分析新產品設計價格模型收入總量及變化收入結構分析繳/欠費分析發(fā)展戰(zhàn)略規(guī)劃網絡管理目標市場客戶滿意度銷售財務表現(xiàn)Custo整體規(guī)劃的實現(xiàn)統(tǒng)一規(guī)劃：數據模型數據獲取策略元數據42整體規(guī)劃的實現(xiàn)統(tǒng)一規(guī)劃：42確定新增應用的優(yōu)先級 效益 低 高 不可能 下次考慮 沒有價值 目標應用高 低成本和風險43確定新增應用的優(yōu)

22、先級 效益高 成本和風險43數據倉庫的效益、成本和風險嚴格的投資回報分析效益：我們能通過這個項目的實施獲得什么？ 有形：增加收入、降低成本無形：工作效率提高、企業(yè)更“智能化”成本：為了實現(xiàn)這些收益需要付出什么代價？ 一次性成本持續(xù)性成本風險：會遇到哪些障礙？ 44數據倉庫的效益、成本和風險嚴格的投資回報分析效益：我們能螺旋遞增式建設方法每次迭代目標明確，快速見效滾動投資，每年追加費用是初始投資的152045螺旋遞增式建設方法每次迭代目標明確，快速見效45應用推廣領導帶頭使用設置專職的業(yè)務分析員系統(tǒng)使用情況統(tǒng)計注重對業(yè)務人員的培訓46應用推廣領導帶頭使用46議程項目概況項目實施方法數據倉庫技術方

23、案47議程項目概況47PROBE 系統(tǒng)架構和數據流加載20+內部源系統(tǒng)(12 CPU, 3Tb disk)Tape, ftp, DB linkPROBE外部信息源email, ftp, CDOracle Designer元數據庫Oracle Portal and Discoverer報表Oracle 9iAS抽取OLAP分析和數據挖掘內部系統(tǒng)SQL,andQuery BuilderDB link, ftpftp, CDOracle 9i release 2外部機構48PROBE 系統(tǒng)架構和數據流加載20+內部源系統(tǒng)(12 CPPROBE 數據模型分層設計內部和外部信息源加載Staging Ar

24、eaFeed Control任務調度管理原子層(relational schema)訪問層(star / snowflake schema)PROBE數據挖掘和分析SQL,andQuery BuilderOracle PortalOracle Discoverer報表營銷管理49PROBE 數據模型分層設計內部和外部信息源加載StagiPROBE中的數據功能劃分功能區(qū)數據模型使用者用途Staging Area與源數據相似清洗轉換的緩沖區(qū)Atomic Layer（原子層）10的訪問量關系模型輕度非規(guī)范化1. 專職分析員2. 營銷活動主管自定義分析生成市場活動目標客戶名單(數據挖掘)Access

25、Layer（訪問層）90的訪問量匯總數據維度模型(星型和雪花型)客戶經理產品經理生成統(tǒng)計報表50PROBE中的數據功能劃分功能區(qū)數據模型使用者用途StagiPROBE項目的演進“360 客戶視圖” 項目EDB消除數據重復和錯誤集成原有系統(tǒng)客戶數據，建立統(tǒng)一的客戶視圖(基于Oracle TCA模型)PROBE升級為企業(yè)數據倉庫(EDW)實時數據采集和分析結果發(fā)布引入EAI技術51PROBE項目的演進“360 客戶視圖” 項目EDB51PROBE 新的系統(tǒng)架構門戶(EIS)動態(tài)查詢Oracle Discoverer用戶訪問Oracle Customers OnlineOracle 11i CRM

26、SuiteEAIICMS 計費系統(tǒng)客戶, 帳戶, 地址PROBE群體，關系Staging Area實時維度數據維護EAI Staging Area訪問層(star / snowflake schema)原子層(relational schema)聯(lián)機數據存儲(OLTP)下游系統(tǒng)訪問9iAS52PROBE 新的系統(tǒng)架構門戶(EIS)動態(tài)查詢用戶訪問Ora構建閉環(huán)的信息流數據倉庫計費系統(tǒng)(3 & 9) 應用規(guī)則計算客戶分群(2生成細分規(guī)則和黃金問題客戶資料/收入/產品樣本數據CTI市場營銷活動管理(5) 制訂營銷計劃(6) 目標客戶名單(8) 更新客戶資料(7) 客戶回答問題呼叫中心黃金問題(4) 客戶細分結果(4) 傳遞客戶細分結果Call HandoffCall Handoff數據挖掘服務器53構建閉環(huán)的信息流數據倉庫計費系統(tǒng)(3 & 9) 應用規(guī)則計算數據模型的設計方法從業(yè)務需求出發(fā)識別各主題分析所需要的數據數據探索分析數據源的數據質量找出來自多個系統(tǒng)的公共表統(tǒng)一維護建立原子層數據模型模型非規(guī)范化建立訪問層數據模型維度模型54數據模型的設計