數(shù)據(jù)基礎架構設計-全生命周期管理-V1.0-20170710

數(shù)據(jù)基礎架構設計及治理

——HPE

SDM議題說明：基于不同的數(shù)據(jù)治理場景，明確數(shù)據(jù)基礎架構設計及全生命周期管理理念、從根本解決問題！簡要說明HPE

SDM產品功能及收益！可從POC開始……診斷和分析……1.數(shù)據(jù)挑戰(zhàn)及治理之道2.HPESDM產品部署及收益3.慧眼識真辨別數(shù)據(jù)價值4.交流、后續(xù)行動……議題說明：基于不同的數(shù)據(jù)治理場景，明確數(shù)據(jù)基礎架構設計及全生命周期管理理念、從根本解決問題！簡要說明HPE

SDM產品功能及收益！可從POC開始……診斷和分析……1.數(shù)據(jù)挑戰(zhàn)及治理之道2.HPESDM產品部署及收益3.慧眼識真辨別數(shù)據(jù)價值4.交流、后續(xù)行動……面對系統(tǒng)不同角色有不同的聲音……為什么我小王的數(shù)據(jù)小張能看到？系統(tǒng)還能再慢點嘛？新業(yè)務是不是可以盡快準備個測試環(huán)境？分析報告是不是可以考慮更多一些？?!……數(shù)據(jù)高速增長帶來的挑戰(zhàn)場景分類管理效能數(shù)據(jù)增量導致性能數(shù)據(jù)隱私保護數(shù)據(jù)優(yōu)化，追加硬件提升并發(fā)處理能力；將生產數(shù)據(jù)庫中的數(shù)據(jù)歸檔到歷史數(shù)據(jù)庫，生產數(shù)據(jù)庫瘦身，控制成本提高效率……可自動化數(shù)據(jù)轉換/變形/脫敏/漂白處理；系統(tǒng)數(shù)據(jù)清洗，保障數(shù)據(jù)不可見；……備份及恢復；構建與生產系統(tǒng)完全相同的數(shù)據(jù)測試子集；自動化、流程化作業(yè)；……融合分析數(shù)據(jù)融合架構，基于自然語言的信息審計、挖掘及分析；……數(shù)據(jù)治理整體解決方案罪魁禍首–數(shù)據(jù)的快速膨脹ProductionInactive

不活躍數(shù)據(jù)ERPSRMMESCRMWMSClone克隆Clone克隆Clone克隆Clone克隆Clone克隆MaintenanceCost

維護成本ApplicationPerformance

應用性能

Risks風險根據(jù)統(tǒng)一策略來管理?No根據(jù)統(tǒng)一策略來管理?No數(shù)據(jù)價值曲線及分類時間價值事務價值分析價值數(shù)據(jù)示例：報銷單-〉審批-〉發(fā)放-〉歸集/分攤數(shù)據(jù)示例：請購-〉采購-〉入庫-〉發(fā)票-〉付款-〉銀行出庫-〉成本-〉銷售-〉追溯事務處理價值分析價值合規(guī)性價值數(shù)據(jù)增量場景數(shù)據(jù)增長數(shù)據(jù)量1234不活躍或過期數(shù)據(jù)活躍的運行數(shù)據(jù)年份海量數(shù)據(jù)庫中90%的非活躍或歷史數(shù)據(jù)消耗80%的資源，拖累70%的系統(tǒng)性能和可用性合規(guī)性要求數(shù)據(jù)長期保留進一步惡化運行環(huán)境，給數(shù)據(jù)管理和業(yè)務優(yōu)化帶來挑戰(zhàn)性能可用性穩(wěn)定性根本解決之道傳統(tǒng)方法：治標（疊加硬件）升級擴容、升級擴容、再升級擴容）成本：無休止支出成本（服務器器、CPU、Storage等）；養(yǎng)護成本（設備成本、維護費用、人力成本、調優(yōu)）；風險：高水位運營加大宕機可能性，備份恢復窗口延長。根本解決之道：治本（瘦身）數(shù)據(jù)基礎架構設計及治理。百病之源–肥胖數(shù)據(jù)膨脹；藥方-瘦身，數(shù)據(jù)歸檔；數(shù)據(jù)基礎架構設計及治理基于全生命周期管理XMLArchive活躍數(shù)據(jù)非活躍數(shù)據(jù)數(shù)據(jù)層應用透明層活躍數(shù)據(jù)在線交易ＯＬＴＰ

精簡的數(shù)據(jù)庫可控的數(shù)據(jù)增長和性能6個月-

2年2-7年7–25+年.XSD離線數(shù)據(jù)封裝.XML過期離線數(shù)據(jù)長期歸檔保留支持標準接口訪問搜索開放格式報表/BI工具

銷毀數(shù)據(jù)保留終結信息退休銷毀非活躍歷史數(shù)據(jù)近線交易不斷增長，不可更新可重新加載到生產庫SAN物理層（服務器+存儲層+……)高性能與可用性二級存儲長期存儲SAN議題說明：基于不同的數(shù)據(jù)治理場景，明確數(shù)據(jù)基礎架構設計及全生命周期管理理念、從根本解決問題！簡要說明HPE

SDM產品功能及收益！可從POC開始……診斷和分析……1.數(shù)據(jù)挑戰(zhàn)及治理之道2.HPESDM產品部署及收益3.慧眼識真辨別數(shù)據(jù)價值4.交流、后續(xù)行動……HPE

SDM全面數(shù)據(jù)設計及治理解決企業(yè)數(shù)據(jù)困境HPE

SDM:

全面的信息管理解決方案HP

Structured

Data

Manager連同下列內置集成模塊，為信息的全盤管理提供了無與倫比的靈活性：HPTRIM：按照公司和合乎法規(guī)的政策要求，對信息進行獲取、管理、保護和處置HP

IDOL平臺：提供基于意義的算法，擁有文本和上下文查詢以及檢索功能HP合并歸檔：集中存儲機構性和非結構性數(shù)據(jù)，擁有先進的搜索、分類、挖掘、調查以及監(jiān)控功能HP

Vertica：提供高超的分析性能，幫助您通過信息獲取更好的商業(yè)洞察力HP云服務和亞馬遜S3：最大限度利用存儲空間，幫助您持續(xù)降低云的投資成本并提高投資回報率ConsolidatedArchive

整合的歸檔ArchiveArchiveSDM

Platform數(shù)據(jù)治理平臺應用1App5App6App4App3App2源頭應用數(shù)據(jù)庫AppN…Multi-SourceEnvironments

SingleInstallation

多源頭環(huán)境

單一安裝統(tǒng)一治理設計Archive

歸檔WebConsole

控制臺

安裝安全性管理日常運作SharedRepos

共享管理庫集中化的XML/CSVHPE

SDM一個平臺，一個安裝，支持多個應用維護在線和離線存儲DBDBDBXMLDBDBDBXMLDBDBXMLDBLoadDBDBXML性能優(yōu)化合規(guī),應用退役,長期存儲多級歸檔（完整生命周期）合規(guī)歸檔，基于事件加載到臨時庫Copy維護長期合規(guī)存儲，刪除歸檔DB記錄ReloadbyArchiveRunorbyTransaction(DBtoDBonly)HPESDM典型部署場景HPESDM–持續(xù)優(yōu)化和保持性能活動的數(shù)據(jù)不活動的數(shù)據(jù)活動的數(shù)據(jù)活動的數(shù)據(jù)活動的數(shù)據(jù)不活動的數(shù)據(jù)不活動的數(shù)據(jù)不活動的數(shù)據(jù)

歷史數(shù)據(jù)在線On-Line硬盤里面副本備份克隆鏡像不活動的數(shù)據(jù)不活動的數(shù)據(jù)保留對數(shù)據(jù)的訪問本地應用程序可提供單一整合視圖包含活動的數(shù)據(jù)和不活動的數(shù)據(jù)不活動的數(shù)據(jù)通過透明層保留本地訪問應用程序

的功能通過檢測/復制補丁對

隨著時間推移進行的存檔訪問進行維護采用本地數(shù)據(jù)庫技術分布式（即：多個數(shù)據(jù)庫）或單一式實例

存檔重新加載不活動的數(shù)據(jù)僅包含活動

數(shù)據(jù)HPStructuredDataManagerAppServer/ConsoleConfigurationManagementPolicyManagementJobEngine/SchedulerDataMovementJobMonitorArchiveAccessEngineServerPlatformDataMovementProcessDataMovementProcessSourceDatabasesOracleMSSQLServerSybaseDB2JDBC/ODBCCompliantMainframeDatabasesObscureDatabasesFilesOver300+SourcesSupported…AccessCloud目標(Compressed)Database(s)Files-XML&CSV-(NAS,SAN,etc)RecordsManagementVerticaACA(ComplianceArchive)CAS(ContentAddressableStorage)Cloud(HP,Amazon)DISPOSESubsetsHPESDM平臺組件及部署架構IDOL10HPStructuredDataManagerAppServer/ConsoleConfigurationManagementPolicyManagementJobEngine/SchedulerDataMovementJobMonitorArchiveAccessEngineArchivingServerDataMovementProcessDataMovementProcessDesignerAccessCloudDISPOSESubsetsHPESDM平臺組件及部署架構IDOL10AppServerWebConsoleCopyArchiveUndoReloadUploadRelocateSearchQueryRenderDesignDocumentExtendDatabaseArchiving=ApplicationArchiving數(shù)據(jù)庫歸檔=應用歸檔DesignerModeling

設計器建模Classification

分類建模DataMovement

數(shù)據(jù)遷移DataAccess數(shù)據(jù)訪問全部DB結構和應用邏輯建模功能Out-of-the-Box,不用編程和腳本編寫SDM功能概要獨立的圖形設計環(huán)境獨立設計器所見即所得的模式，實現(xiàn)更快、更少、良性循環(huán)為復雜的數(shù)據(jù)結構提供圖形化的支持對樣本數(shù)據(jù)的實時驗證降低了QA的要求嵌入式Groovy控制臺允許使用腳本重復的任務與企業(yè)文件計劃相結合

數(shù)據(jù)建模數(shù)據(jù)提取腳本數(shù)據(jù)轉儲腳本建模模型設計模型輸入數(shù)據(jù)結構分析：業(yè)務數(shù)據(jù)關聯(lián)關系分析歸檔線索/條件分析SDM數(shù)據(jù)模型映射：數(shù)據(jù)模型按照業(yè)務功能模塊拆分圖形化設計器關聯(lián)數(shù)據(jù)結構完成模型錄入WorldClassRun-time

世界級運行歸檔平臺DatabaseArchivingPlatformRepositoryNativedatabase/fileprotocolChangeManagementDataIntegrity&RecoveryJobEnginePolicyManagementDataMovementAPI’sPatent專利Classification

分類建模DataMovement

數(shù)據(jù)遷移DataAccess數(shù)據(jù)訪問全部DB歸檔排程和工作流Out-of-the-Box,不用編程和腳本編寫SDM功能概要AppServerWebConsole

簡化操作：一處安裝，支持多個數(shù)據(jù)源（Oracle、TeraData、Files）安全、集中脫敏完備的權限、用戶管理離線和在線歸檔內置計劃任務多任務多權限控制高性能特征:完全是事務性的數(shù)據(jù)脫敏大容量數(shù)據(jù)存檔，分區(qū)的數(shù)據(jù)脫敏移動并發(fā)數(shù)據(jù)脫敏移動支持深層邏輯鏈基于WEB的運行環(huán)境KeyChallengesBusinesstransactionrelationshipsbroken-Datacorruption!ApplicationfailsoritproducesinconsistentresultsFinancialreportsinaccurateUserscannotbeonline,requiresoutageRestartrequiresaadditionaloutagetoreloadbothdatabasesfrombackupsPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesRelocationCompletedSafelyOracleDBRollbackCompletedSafelyFAULT!OracleDatabaseRollbackInvokedBusinessrecordswithoutdetailOrphaneddetails常見手工腳本－通過數(shù)據(jù)表遷移數(shù)據(jù)POInvoiceCheck常見手工腳本－Chaining連鎖交易KeyChallengesBusinesstransactionchainsignored!VendorsoffsetthisbyproposingartificiallyhighretentionperiodsLessdatarelocatedIncreasesTCOPOInvoiceCheckPO1PO2Inv4PO3Inv5Chk6PartialPaymentPO1PO2Inv4Chk6PO3Inv5通過業(yè)務交易關聯(lián)遷移數(shù)據(jù)KeyBenefitsDataIntegrity,DatabasesareNEVERcorrupt!Doesnotrequireandoutage,canberunwithusersonlineRestartfrompointoffailure,noreload/restorenecessaryTransactionchainspreservedPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesRelocationCompletedSafelyDBRollbackCompletedSafelyFAULT!DatabaseRollbackInvoked完整的數(shù)據(jù)對象作業(yè)處理GL_JE_CATEGORIES_TLGL_JE_SOURCES_TLGL_ENCUMBRANCE_TYPESFIND_CURRENCIESGL_JE_BATCHESGL_JE_HEADERSGL_JE_LINESGL_IMPORT_REFERENCESGL_JOURNAL_REPORTS_ITFGL_ALLOC_BATCHESGL_ACCOUNT_HIERARCHIESGL_ALLOC_FORMULASGL_PERIODSGL_PERIOD_SETSGL_PERIOD_STATUSESGL_SETS_OF_BOOKSGL_CODE_COMBINATIONS歸檔并且需要刪除的數(shù)據(jù)需要歸檔但不需要刪除的數(shù)據(jù)無需歸檔的數(shù)據(jù)作為字典表歸檔的數(shù)據(jù)FullRangeofOptions

多種特點選項Transparency透明訪問CombinedReporting?合并報表Enterprisereportingtools企業(yè)級報表工具Search搜索Long-termsurvivability長期可用XMLXSDApplicationAccess

應用透明訪問ReportingTools

報表工具Classification

分類建模DataMovement

數(shù)據(jù)遷移DataAccess數(shù)據(jù)訪問Patent專利SDM功能概要統(tǒng)一透明視圖----獨特技術歸檔后產生的新查詢連接串標準存取數(shù)據(jù)應用存取，查詢數(shù)據(jù)利用SDM數(shù)據(jù)庫歸檔解決方案的獨特技術,不需應用開發(fā)，僅需調整應用連接串切換到歸檔職責即可擁有統(tǒng)一的應用訪問在線及歷史的數(shù)據(jù)庫。在線數(shù)據(jù)庫歸檔后的歷史數(shù)據(jù)庫數(shù)據(jù)展現(xiàn)主要內容：初次歸檔成功后，SDM通過聯(lián)合視圖方式，自動創(chuàng)建數(shù)據(jù)透明層結構；SDM歸檔軟件歸檔數(shù)據(jù)展現(xiàn)功能測試；通過定制化歸檔數(shù)據(jù)查詢平臺，實現(xiàn)針對歸檔數(shù)據(jù)復雜的展現(xiàn)需求；數(shù)據(jù)透明層聯(lián)合視圖聯(lián)合視圖SDM歸檔數(shù)據(jù)展現(xiàn)功能測試定制化歸檔數(shù)據(jù)查詢平臺說明：初次歸檔成功后，SDM通過聯(lián)合視圖方式，自動創(chuàng)建數(shù)據(jù)透明層結構；SDM歸檔軟件歸檔數(shù)據(jù)展現(xiàn)功能測試；通過定制化歸檔數(shù)據(jù)查詢平臺，實現(xiàn)針對歸檔數(shù)據(jù)復雜的展現(xiàn)需求；SDM數(shù)據(jù)庫治理支持環(huán)境歸檔服務器平臺AIX,Solaris,HP-UX,Windows,LINUX，等等其他操作系統(tǒng)，運行同版本數(shù)據(jù)庫-AS400，IBM大機及所有其他機器（通過附加一臺歸檔服務器）數(shù)據(jù)庫Oracle8.1.7,9i,10g,11gSQLServer2005,2008…..SybaseASE12，15以上；JDBC/ODBC兼容數(shù)據(jù)庫,如Informix及MySQL等等現(xiàn)成提供歸檔模塊的應用OracleEBS10,11i,R12(財會，制造和供應鏈）所有模塊PeopleSoftERP,JD.EdwardERPSiebelCRMActivities(S_EVT_ACT)，Opportunities(S_OPTY)，ServiceRequests(S_SRV_REQ)，Agreements(S_DOC_AGREE)，Quotes(S_DOC_QUOTE)

等等及Sales模塊AmdocsBOSS客戶自己或ISV伙伴的應用（適合通過渠道VAD)HPDBAV6.x全新業(yè)界最先進Designer全圖形化歸檔模塊和透明訪問層開發(fā)，不用任何編程和歸檔平臺的API調用利用現(xiàn)有Designer對已開發(fā)的模塊進行修改（全圖形化操作），以快速跟上用戶應用的修改，不用編程。只有SDM獨家支持–秘籍OracleEBSR12Subledger數(shù)據(jù)的歸檔HPESDM功能總結D2DD2FD2D2F數(shù)據(jù)復制功能數(shù)據(jù)歸檔功能數(shù)據(jù)回滾功能數(shù)據(jù)重載功能數(shù)據(jù)脫敏數(shù)據(jù)映射可編程接口場景基礎功能拓展功能主要功能內容：三大典型歸檔場景；基礎歸檔功能；拓展歸檔功能；歸檔管理功能；歸檔數(shù)據(jù)壓縮動態(tài)參數(shù)配置說明：SDM軟件能夠實現(xiàn)不同歸檔場景下數(shù)據(jù)的快速拷貝、移動；能夠針對歸檔數(shù)據(jù)進行映射、加密和壓縮；能夠實現(xiàn)運維與設計分離；能夠實現(xiàn)歸檔任務自動調度；能夠實現(xiàn)圖形化進度監(jiān)控；歸檔調度………變化數(shù)據(jù)結構歸檔歸檔監(jiān)控多用戶管理管理功能結果…一勞永逸批處理運行總時間應用程序數(shù)據(jù)(GB)數(shù)據(jù)增加產生的影響可預測的持續(xù)性能在線歸檔第二階段的調整在企業(yè)應用環(huán)境中提供高效的數(shù)據(jù)增長管理，提供可持續(xù)、可預測的性能降低IT基礎設施成本及改進可管理性（備份/恢復，DR）加速并簡化測試和開發(fā)，符合數(shù)據(jù)保留法規(guī)要求全圖形化開發(fā)工具，不用編程，不用調用歸檔API平臺化企業(yè)級歸檔工作引擎，系統(tǒng)出錯宕機可以自動斷點重新恢復歸檔作業(yè)，其他平臺出錯時候需要人工干預支持圖形化定義連鎖交易（TransactionTraining）不用編程，其他平臺需要編程，復雜和容易出錯。SDM優(yōu)勢總結競爭優(yōu)勢市場份額SDMOracle歸檔世界市場份額第一；OracleEBS歸檔份額第一；Oracle客戶化應用歸檔份額第一SDMOracle歸檔亞太及日本區(qū)市場份額第一；OracleEBS歸檔份額第一；Oracle客戶化應用歸檔份額第一（總超過50個）支持OracleEBS10,11i,12i所有模塊歸檔格式支持DB到XML或CSV開放式文檔的歸檔（有5-10倍壓縮，多文件及包含索引）可以通過JDBC/ODBC/Xquery快速訪問：競爭對手是只有DB到專用格式二進制不開放歸檔格式支持DB到DB歸檔查詢歷史DB