微軟數(shù)據(jù)平臺與PowerBIV30

第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第一頁，共36頁。SQLServer是7大企業(yè)數(shù)據(jù)平臺工具的套裝第二頁，共36頁。企業(yè)需要可信的，一致的數(shù)據(jù)Sourceofexamples:TDWI(2009)可信的,一致的數(shù)據(jù)錯誤或不完整的數(shù)據(jù)業(yè)務(wù)決策業(yè)務(wù)決策更高的效率減少開銷增加收入更高的利潤降低效率客戶的不滿合規(guī)奉獻(xiàn)減少收入和利潤由于錄入了錯誤的客戶代碼導(dǎo)致無法發(fā)送賬單，一家電信公司每個約損失8百萬美元一家全球的化工企業(yè)發(fā)現(xiàn)由于無法識別和協(xié)調(diào)全球的供應(yīng)商，它們每年在采購折扣上損失數(shù)百萬美元由于重復(fù)的客戶記錄，一個保險公司每年在郵寄開銷上損失數(shù)十萬美元（郵費，退信，員工支出）由于數(shù)據(jù)不準(zhǔn)確導(dǎo)致反復(fù)的給客戶發(fā)送報告，最終使一家信息服務(wù)商每年損失50萬美元并丟失了客戶一家大銀行發(fā)現(xiàn)其62％的房屋貸款被錯誤的計算了，導(dǎo)致本金每個月越來越大一個在中西部的保險公司因為數(shù)據(jù)是“質(zhì)疑”的，導(dǎo)致其決策支持系統(tǒng)推遲2年上線第三頁，共36頁。企業(yè)信息管理的業(yè)務(wù)目的數(shù)據(jù)冗余數(shù)據(jù)不一致業(yè)務(wù)變化業(yè)務(wù)低效需要解決主要問題客戶數(shù)據(jù)不一致系統(tǒng)用戶數(shù)據(jù)不一致業(yè)務(wù)定義不一致低生產(chǎn)力低效的供應(yīng)鏈管理不一致的客戶待遇客戶不滿意浪費銷售部門的努力企業(yè)內(nèi)的每一個系統(tǒng)、應(yīng)用、甚至業(yè)務(wù)部門都會收集自己版本的核心業(yè)務(wù)實體數(shù)據(jù)。引入新的產(chǎn)品和服務(wù)營業(yè)網(wǎng)點變化新技術(shù)出現(xiàn)并成熟第四頁，共36頁。實現(xiàn)企業(yè)信息管理的多個環(huán)節(jié)基于知識的數(shù)據(jù)清理和匹配數(shù)據(jù)質(zhì)量分析移動BI、領(lǐng)導(dǎo)駕駛艙、自助式分析數(shù)據(jù)挖掘管理數(shù)據(jù)和維度快速、容易加載數(shù)據(jù)集成部署和管理改進(jìn)用戶體驗管理清理集成數(shù)據(jù)洞察主數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量服務(wù)數(shù)據(jù)跨系統(tǒng)集成數(shù)據(jù)可視化分析第五頁，共36頁。InsightsIntegrationTrustedData微軟EIM解決方案主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)集成服務(wù)分析服務(wù)報表服務(wù)PowerBIR語言數(shù)據(jù)挖掘所有功能都集成在一個產(chǎn)品中數(shù)據(jù)集成服務(wù)SSIS從多種數(shù)據(jù)源整合數(shù)據(jù)在企業(yè)內(nèi)和云環(huán)境上擴(kuò)展數(shù)據(jù)集成數(shù)據(jù)質(zhì)量服務(wù)DQS基于業(yè)務(wù)知識清洗和標(biāo)準(zhǔn)化數(shù)據(jù)主數(shù)據(jù)管理服務(wù)MDS提升業(yè)務(wù)效率統(tǒng)一和標(biāo)準(zhǔn)化的數(shù)據(jù)IT控制下的業(yè)務(wù)驅(qū)動治理報表和分析服務(wù)等數(shù)據(jù)可視化服務(wù)做出可信的決策，用可信的，一致的數(shù)據(jù)支持為用戶驅(qū)動的商業(yè)智能提供支持。第六頁，共36頁。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第七頁，共36頁。CustomerOrientedBusinessCycle

以客戶為導(dǎo)向的業(yè)務(wù)循環(huán)Marketing&Promotion營銷CommunitySalesSupport&Services社群銷售支持服務(wù)Telematics物聯(lián)網(wǎng)WeChatPlatform微信平臺DSClubDS俱樂部DSConnectDS物聯(lián)系統(tǒng)T-CallCenter呼叫中心CallCenter呼叫中心DMS經(jīng)銷商管理系統(tǒng)DigitalShowRoom數(shù)字展廳DCS經(jīng)銷商協(xié)同平臺DSWebsiteDS官方網(wǎng)站MediaChannels媒體渠道MobileApp行動應(yīng)用Customer第八頁，共36頁。業(yè)務(wù)與IT協(xié)作是主數(shù)據(jù)管理的核心“誰來主導(dǎo)或驅(qū)動你的主數(shù)據(jù)?”業(yè)務(wù)/IT協(xié)作: 業(yè)務(wù)為主IT配合: IT為主業(yè)務(wù)配合: 未知/其他: –Forrester70%15%12%3%數(shù)據(jù)屬于業(yè)務(wù)用戶，而不是IT因為業(yè)務(wù)用戶理解業(yè)務(wù)領(lǐng)域和實體，他們是最好的數(shù)據(jù)管家IT是管理數(shù)據(jù)存儲和整合的最佳人選，但是業(yè)務(wù)用戶應(yīng)該得到數(shù)據(jù)治理的授權(quán)第九頁，共36頁。核心概念介紹主數(shù)據(jù)管理（MDM

Master

Data

Management）

概念主數(shù)據(jù)管理描述了一組流程、技術(shù)和解決方案，用于為所有利益相關(guān)方（如用戶、應(yīng)用程序、數(shù)據(jù)倉庫、流程以及貿(mào)易伙伴）創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。

第十頁，共36頁。哪些是主數(shù)據(jù)?主數(shù)據(jù)–多系統(tǒng)共享的緩慢改變的參考數(shù)據(jù)第十一頁，共36頁。數(shù)據(jù)倉庫和主數(shù)據(jù)管理對比數(shù)據(jù)是歷史的數(shù)據(jù)是現(xiàn)時的包括交易數(shù)據(jù)和主數(shù)據(jù)只包括特定類型的主數(shù)據(jù)只包括被認(rèn)為是分析需要的數(shù)據(jù)包括完整的跨整個企業(yè)的實體信息維度是平面的實體是有上下文的(實體視圖、角色)通常是一個數(shù)據(jù)消費者，端點通常是數(shù)據(jù)的消費者也是提供者，通常具有雙向的關(guān)系目的是分析歷史數(shù)據(jù)目的是保持精確和最新更新的實體數(shù)據(jù)重點是實體和聚合重點是實體維度不會被其他應(yīng)用所使用實體被包括數(shù)據(jù)倉庫在內(nèi)的其他應(yīng)用所使用圍繞著交易分析來建立各種工具圍繞著實體管理來建立各種工具數(shù)據(jù)倉庫主數(shù)據(jù)管理主數(shù)據(jù)管理和數(shù)據(jù)倉庫不一樣，雖然它們是共生的。第十二頁，共36頁。消除主數(shù)據(jù)項目的誤解第十三頁，共36頁。企業(yè)信息的管理模式第十四頁，共36頁。形成信息和數(shù)據(jù)標(biāo)準(zhǔn)Hereweare!第十五頁，共36頁。微軟MDM功能架構(gòu)應(yīng)用處理環(huán)境開發(fā)管理環(huán)境用戶界面開發(fā)工作流程定義分發(fā)流程定義流程監(jiān)控管理分發(fā)接口定義主數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)抽取數(shù)據(jù)存儲數(shù)據(jù)備份主數(shù)據(jù)數(shù)據(jù)管理主數(shù)據(jù)查詢主數(shù)據(jù)清理數(shù)據(jù)分析工作流程管理主數(shù)據(jù)申請主數(shù)據(jù)審批主數(shù)據(jù)轉(zhuǎn)換主數(shù)據(jù)分發(fā)規(guī)則主數(shù)據(jù)分發(fā)處理主數(shù)據(jù)業(yè)務(wù)管理編碼規(guī)則處理編碼處理數(shù)據(jù)交換處理流程調(diào)度接口調(diào)用WEB用戶界面管理發(fā)布申請審批查詢監(jiān)控SAP業(yè)務(wù)環(huán)境主數(shù)據(jù)平臺接口其它業(yè)務(wù)系統(tǒng)主數(shù)據(jù)平臺接口用戶身份管理授權(quán)系統(tǒng)第十六頁，共36頁。SQLServerMasterDataServices第十七頁，共36頁。SQLServerMasterDataServices客戶熟悉的MicrosoftExcel界面:定義和管理數(shù)據(jù)實體驗證業(yè)務(wù)規(guī)則以用戶為中心的主數(shù)據(jù)管理第十八頁，共36頁。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第十九頁，共36頁。常見的數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量問題數(shù)據(jù)問題示例格式值是否按照一致的格式標(biāo)準(zhǔn)?電話號碼#可能顯示為xxxxxxxxxx,(xxx)xxx-xxxx,1.xxx.xxx.xxxx,等.標(biāo)準(zhǔn)數(shù)據(jù)元素是否一致性定義和理解?一個系統(tǒng)性別代碼=M,F,U，另一個系統(tǒng)性別代碼=0,1,2一致性值是否代表統(tǒng)一的含義?營業(yè)額是否總是顯示為美元還是也有可能為?完整性是否所有必須的數(shù)據(jù)都包含?20%的顧客的lastname為空,

50%的郵政編碼為99999精確性數(shù)據(jù)是否準(zhǔn)確地反映現(xiàn)實或可驗證的數(shù)據(jù)來源？供應(yīng)商顯示為‘活動’，但是其實6年前已經(jīng)和它沒有業(yè)務(wù)往來。有效性數(shù)據(jù)值是否在接受的范圍內(nèi)?薪水值應(yīng)該在60,000-120,000重復(fù)性數(shù)據(jù)多次出現(xiàn)JohnRyan和JackRyan都在系統(tǒng)中出現(xiàn)了–他們是同一個人嗎?20第二十頁，共36頁。微軟數(shù)據(jù)質(zhì)量DQS解決方案概念第二十一頁，共36頁。DQS架構(gòu)概覽DQ客戶端交互式DQ

項目知識發(fā)現(xiàn)和管理SSISDQ組件未來的客戶端–Excel,SharePoint,MDS…DQ云計算分類參照數(shù)據(jù)Dallas分類參照數(shù)據(jù)服務(wù)DQSUIDQ服務(wù)器RD服務(wù)API(瀏覽,設(shè)置,驗證…)參照數(shù)據(jù)API(瀏覽,獲取,更新…)數(shù)據(jù)質(zhì)量服務(wù)DQ項目存儲DQ活動項目CommonKnowledgeStoreMS數(shù)據(jù)域知識庫存儲發(fā)布的KB本地數(shù)據(jù)域DQ引擎知識發(fā)現(xiàn)數(shù)據(jù)探查匹配清理參照數(shù)據(jù)數(shù)據(jù)探查參照數(shù)據(jù)據(jù)服務(wù)第三方MSDQ域存儲參照數(shù)據(jù)第二十二頁，共36頁。介紹數(shù)據(jù)質(zhì)量服務(wù)SQLServerDataQualityServices直觀的，基于向?qū)У目蛻舳斯ぞ甙l(fā)現(xiàn)數(shù)據(jù)知識創(chuàng)建知識庫引用外部數(shù)據(jù)集清理和匹配數(shù)據(jù)結(jié)果導(dǎo)出到Excel驗證清洗過的數(shù)據(jù)評估匹配的紀(jì)錄基于知識的數(shù)據(jù)質(zhì)量管理第二十三頁，共36頁。交互式進(jìn)行清理–示例第二十四頁，共36頁。交互式進(jìn)行清理-Profiler第二十五頁，共36頁。知識管理–示例第二十六頁，共36頁。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第二十七頁，共36頁。SQLServerIntegrationServices強(qiáng)大，但在創(chuàng)建集成解決方案時簡單易用由于減少了外部顧問的數(shù)量，所以總體成本也可以降低“Microsoft’sSQLServerIntegrationServices(SSIS)ETLproductwasbyfartheleastlikelytorequireexternalSIsupportaccordingtooursurvey,withonly9%ofrespondentssayingthattheyusedanSIforimplementation,comparedwithIBM’susersemployinganSImorethan50%ofthetime.”–Forrester:EnterpriseETL:EvolvingandIndispensableToYourDataManagementStrategy(May2010)第二十八頁，共36頁。廣泛的數(shù)據(jù)連接企業(yè)數(shù)據(jù)源:關(guān)系性數(shù)據(jù)庫SQLServer,Oracle,DB2,MySQL任何ODBC或OLEDB數(shù)據(jù)源CDCforSQLServerandOracleSAPTeradataFlatfilesXMLExcel文檔云WebServicesSQLAzureAzureDataMarket自定義數(shù)據(jù)源過程通過VST腳本內(nèi)建了對擴(kuò)展性的支持第二十九頁，共36頁。SQLServerIntegrationServices示例第三十頁，共36頁。完整的EIM集成解決方案DQS提供了流式的數(shù)據(jù)清洗和轉(zhuǎn)換MDS通過中間表和訂閱視圖創(chuàng)建了一個主數(shù)據(jù)的交換機(jī)制SSIS為裝載和抽取主數(shù)據(jù)提供了一個平臺第三十一頁，共36頁。第一部分：企業(yè)信息管理EIM理念第二部分：主數(shù)據(jù)管理第三部分：數(shù)據(jù)質(zhì)量管理第四部分：跨平臺數(shù)據(jù)集成第五部分：數(shù)據(jù)可視化分析內(nèi)容第三十二頁，共36頁。SolutionValues價值Reducetimespentinreconcilingdatafromdisparatesources.Provideasingleviewofmasterdata.Improvethedataquality,accuracy,andconsistency.Simplifythebusinessp