動態(tài)數(shù)據(jù)倉庫技術及應用案例

動態(tài)數(shù)據(jù)倉庫技術及應用案例富子祺議題動態(tài)數(shù)據(jù)倉庫技術行業(yè)應用案例關鍵技術實現(xiàn)議題動態(tài)數(shù)據(jù)倉庫技術行業(yè)應用案例關鍵技術實現(xiàn)戰(zhàn)略型智能戰(zhàn)術型智能數(shù)據(jù)倉庫發(fā)展的階段嵌入在發(fā)生什么統(tǒng)計發(fā)生了什么分析為什么發(fā)生預測要發(fā)生什么驅動

計劃發(fā)生什么批處理即席查詢分析事件觸發(fā)連續(xù)加載/小查詢什么是動態(tài)數(shù)據(jù)倉庫?動態(tài)數(shù)據(jù)倉庫的定義：一個用于戰(zhàn)略分析、戰(zhàn)術驅動、業(yè)務決策的，具備時效性、綜合性和一致性的數(shù)據(jù)中心。是傳統(tǒng)數(shù)據(jù)倉庫與動態(tài)技術的整合。及時更新–實時、準實時快速響應戰(zhàn)術查詢事件驅動、主動推送需求動態(tài)數(shù)據(jù)倉庫的要求：高效性–生產級（秒、分）響應速度可擴展性–支持大數(shù)據(jù)量,混合負載及并發(fā)用戶可用性–7x24x365數(shù)據(jù)及時性–準確的,隨時更新的數(shù)據(jù)動態(tài)數(shù)據(jù)倉庫參考架構EnterpriseMessage/ServiceBusBatchServiceBrokers數(shù)據(jù)倉庫FinanceVendorERPRDBMSBasedEventProcessingASP/JSPMarketingCallCenterFinanceExecutiveSuppliersProduct一線操作型用戶管理層戰(zhàn)略型用戶StreamingPOSLogisticsInternet/IntranetCustomers業(yè)務流程自動化數(shù)據(jù)倉庫業(yè)務系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)獲取交易服務決策支持服務BusinessRulesEventNotificationEventDetection動態(tài)數(shù)據(jù)倉庫熱點技術流程為中心和數(shù)據(jù)為中心的技術J2EEand.NETRDBMSEAIandESBETLandEiiJavaandVBSQLIDEandEclipseBIToolsWorkflowandrulesAnalytics數(shù)據(jù)整合技術ESB實時信息數(shù)據(jù)加載轉換數(shù)據(jù)復制應用1適配器轉換事件消息應用2應用3抽取程序轉換/清洗Update更新數(shù)據(jù)獲取應用App2EDWNetworkApp1EDWApp2App3App4App1弱中等強1510選擇適合的數(shù)據(jù)整策略ETL/ELTESB/EAIReplication主要使用的數(shù)據(jù)大批量抽取數(shù)據(jù)流更新數(shù)據(jù)流數(shù)據(jù)抽取程序1084轉換964數(shù)據(jù)清洗911元數(shù)據(jù)85n/a路由/傳輸2105開發(fā)工具710n/a實時性6810部署的成本459資源消耗468數(shù)據(jù)庫鎖377事件驅動應用（Event-DrivenApplications）事件感知事件處理事件輸出應用程序偵測集成代理智能代理觸發(fā)器行為（模式）識別ESB儀表盤應用程序Portals過濾規(guī)則引擎分析歷史分派/發(fā)布告警/KPI觸發(fā)工作流產生新的事件ActiveDataWarehouseEDA（事件驅動架構）與SOA（服務導向架構）Event-DrivenArchitectureServiceOrientedArchitecture透明的事件發(fā)布者根本不知道事件訂閱者是否存在松耦合服務調用方不關心服務實現(xiàn)方的位置和技術多對多發(fā)布與訂閱。事件可以激活很多訂閱者一對一的通訊每次調用一個特殊的服務，雙向通訊。事件觸發(fā)器流程控制由事件接收者決定服務調用方來觸發(fā)流程控制由服務調用方來啟動異步異步操作同步反饋同步發(fā)送給調用方互補而非競爭ESB動態(tài)數(shù)據(jù)倉庫對EDA/SOA架構的支撐ADWWebserviceEventProcessorWebserviceEventProcessor應用事件偵測通知業(yè)務一線的用戶告警SPManagerQueueTable觸發(fā)器加載/更新Select/consume衍生外部存儲過程12WebService事件處理方外部存儲過程SOAEDA議題動態(tài)數(shù)據(jù)倉庫技術行業(yè)應用案例關鍵技術實現(xiàn)動態(tài)數(shù)據(jù)倉庫在速遞行業(yè)的應用－網站/航空業(yè)基于動態(tài)數(shù)據(jù)倉庫的個性化網站（travelcity）基于Cookie進行客戶識別通過客戶的個性化信息來展現(xiàn)不同的圖像、產品以及廣告由數(shù)據(jù)倉庫實時提供這些的信息。IP來自舊金山曾經參與過哪些旅行活動合作伙伴自由行的線路WelcomeTim!PreferredMemberSeeyourrewards!ViewyourprofileSpecialPreferredMemberdiscount!Save$200todayonEuropeanTotalTripPackages!

FareWatcherSFO$83toSanDiego$198toDallas動態(tài)數(shù)據(jù)倉庫架構AirfareshopCarfareshopHotelfareshopPackagefareshopDailyCampaignsAccucastTCRMIOSLookertoBookerShopping/BookingMemberprofilesDealAir

DealCarDealHotelDealPackage主頁低價票、酒店促銷提醒廣告服務LeadpricesDealsOffers數(shù)據(jù)倉庫Impression&clickloggingSabreMTSPassportEquitec/AxciomLeadpriceharvestersMerchandisingEngineCampaignChannelAdapterAir,car,hotel,&packageservices動態(tài)數(shù)據(jù)倉庫上的應用支撐狀況中等-低優(yōu)先級高優(yōu)先級優(yōu)先級隨時調整實時加載報表即席查詢網站其它應用FastLoadMultiLoad350Mrows/day實時訪問決策支持實時加載Teradata批量加載小批量加載300K-1Mrequests/day395KQueries/day695Krows/day動態(tài)數(shù)據(jù)倉庫在速遞行業(yè)的應用－物流業(yè)實時動態(tài)全程跟蹤查詢全程時限管控系統(tǒng)－以數(shù)據(jù)分析為基礎的主動式流程推薦的時限設定區(qū)間預定義維護規(guī)則數(shù)理統(tǒng)計方法保障時限合理性哪些地區(qū)能夠推出更快捷的速遞業(yè)務逾限提前告警，及時補救哪些信息需要維護規(guī)則配置是否符合實際時限維護運力與時限是否存在聯(lián)系時限應用渠道系統(tǒng)架構數(shù)據(jù)倉庫加載服務器運輸系統(tǒng)（省集中）外部Portal內部Portal應用服務器郵政支局(省集中)分揀中心（地市集中）實時加載InternetIntranetTIBCO企業(yè)服務總線TNTKAHALA應用支撐狀況資源動態(tài)負載管理、優(yōu)先級分時配置實時加載報表即席查詢實時網站查詢定時短信推送實時訪問決策支持實時加載Teradata2.7M/day30KQueries/day15Mrows/day1~3K/30min實時反饋實時語音查詢?FastLoadMultiLoad批量加載動態(tài)數(shù)據(jù)倉庫在移動行業(yè)的應用通訊行業(yè)用戶套餐使用提醒及套餐升級

用戶訂購套餐批量加載實時加載客戶通話/發(fā)送短信用戶套餐當日實時匯總往日匯總++規(guī)則引擎友情提醒：您本月的套餐為399分鐘，現(xiàn)在已使用360分鐘。您的套餐為399分鐘，但截止目前為止您已使用450分鐘，建議您將套餐更換為599套餐，將為您節(jié)省XX元話費1、短信告知12593的價值，2、累計撥打60分鐘以上獲贈10元話費1、短信告知非動感地帶客戶短信費用，動感地帶客戶套餐中包含的短信，2、累計發(fā)送100條獲贈話費8元1、短信介紹漫游業(yè)務2、累計接打電話80分鐘，可獲贈話費20元。新客戶關懷客戶購卡激活第1次撥打長途第1次發(fā)送短信第1次使用漫游撥打長途累計60分鐘第100次發(fā)送短信累計接打80分鐘更多次使用業(yè)務更多業(yè)務被使用1、短信告知贈送話費2、短信推薦其他業(yè)務（全面展開后分類推廣業(yè)務）1、短信告知話費贈送2、短信推薦其他業(yè)務（全面展開后分類推廣業(yè)務）1、短信告知贈送話費20元2、短信推薦其他業(yè)務（全面展開后分類推廣業(yè)務）使用媒介：短信使用媒介：彩信、短信使用媒介：彩信或短信使用媒介：短信技術架構SDATA（語音、短信等實時加載接口）DBOData實時匯總計算系統(tǒng)接口數(shù)據(jù)倉庫BOSS實時接口（語音、短信等詳單數(shù)據(jù)）話費贈送接口參數(shù)配置信息營銷客戶信息獎勵客戶信息新生用戶信息詳單匯總信息實時短信接口引擎實時加載實時推送定時回傳議題動態(tài)數(shù)據(jù)倉庫概念行業(yè)應用案例關鍵技術實現(xiàn)動態(tài)數(shù)據(jù)倉庫的關鍵技術實時加載策略動態(tài)數(shù)據(jù)模型設計查詢策略實時分析企業(yè)集成混合負載管理實時監(jiān)控業(yè)務規(guī)則引擎動態(tài)數(shù)據(jù)備份相關系統(tǒng)應用監(jiān)控數(shù)據(jù)監(jiān)控設備監(jiān)控無時間窗口備份增量恢復策略負載特征優(yōu)化配置高并發(fā)生產級響應事件偵測容錯設計實時數(shù)據(jù)質量檢查數(shù)據(jù)更新性能加載策略設計模型融合優(yōu)化策略擴展性數(shù)據(jù)加載與模型設計實時加載1、不間斷數(shù)據(jù)加載－無人職守加載性能匹配、突增數(shù)據(jù)的應急處理加載不能停止，需要自動處理異常錯誤實時記錄檢查/糾正，錯誤信息剔除/告知2、數(shù)據(jù)更新率提高事物處理邏輯、級聯(lián)操作可回退、重復加載時序保證3、加載策略數(shù)據(jù)復制實時加載小批次加載加載策略設計（例）數(shù)據(jù)模型設計與傳統(tǒng)數(shù)據(jù)倉庫模型的融合獨立設計：邏輯動態(tài)數(shù)據(jù)集市模型＋傳統(tǒng)數(shù)據(jù)倉庫模型

松偶合，二次信息整合已有數(shù)據(jù)倉庫的動態(tài)性改進整體設計：統(tǒng)一的動態(tài)數(shù)據(jù)倉庫模型完全融合、一次信息整合新建動態(tài)數(shù)據(jù)倉庫基于動態(tài)應用的模型優(yōu)化非正則化設計：冗余信息、多極分區(qū)特殊索引設計：表關聯(lián)索引數(shù)據(jù)時間戳動態(tài)數(shù)據(jù)倉庫實時加載動態(tài)數(shù)據(jù)集市傳統(tǒng)數(shù)據(jù)倉庫模型實時應用負載、監(jiān)控與備份不同類型的應用對資源需求有不同的特點短查詢(訪問量多，消耗小)簡單匯總及應用(訪問量中，消耗中)復雜的匯總及應用(訪問量大，消耗大)允許執(zhí)行的任務需要執(zhí)行的任務快車道慢車道副路在動態(tài)數(shù)據(jù)倉庫的應用環(huán)境中，系統(tǒng)承擔的各類應用對資源的需求類型、需求時段以及需求緊迫性等方面均存在較明顯的差異?；旌县撦d管理通過對系統(tǒng)資源的合理配置與使用，追求資源的最優(yōu)利用。混合負載管理用戶屬性AcctID為'$M$'AMPExecutionParsingEngineAG實際分配相應資源性能組（PG）為M基于代價最優(yōu)執(zhí)行計劃查詢兩種負載管理機制定時切換－應用種類多、特征清晰動態(tài)分配－應用單一、特征不明顯ADW混合負載管理策略（例）17:00~2:00動態(tài)查詢應用：48%實時數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計處理：17%2:00~8:00動態(tài)查詢應用：20%實時數(shù)據(jù)加載：30%數(shù)據(jù)統(tǒng)計處理：50%8:20~12:00動態(tài)查詢應用：75%實時數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計處理：10%13:20~17:00動態(tài)查詢應用：75%實時數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計處理：10%12:00~13:20動態(tài)查詢應用：48%實時數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計處理：17%資源配置策略之間依靠定時的觸發(fā)進行切換實時監(jiān)控保障動態(tài)數(shù)據(jù)倉庫系統(tǒng)核心服務健康運行應用監(jiān)控核心服務模塊服務使用量工作流、業(yè)務規(guī)則引擎數(shù)據(jù)監(jiān)控數(shù)據(jù)收發(fā)匹配數(shù)據(jù)異常系