利群數(shù)據倉庫ibm方案含參考預算

1、青島利群集團數(shù)據倉庫項目IBM解決方案Analytics Platform分析源增強型應用可操作的洞察 決策管理 數(shù)據建模 預測分析探索&發(fā)現(xiàn) 分析報表規(guī)劃&預言內容分析共享操作性信息主數(shù)據&相關參考核心內容核心活動元數(shù)據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數(shù)據倉庫企業(yè)數(shù)據倉庫數(shù)據沉淀探索&歸檔基礎數(shù)據平臺交互式分析&報表數(shù)據集市數(shù)據集成 數(shù)據質量轉換&加載數(shù)據源傳統(tǒng)數(shù)據源交易數(shù)據 應用數(shù)據 第三方數(shù)據新數(shù)據源 機器 傳感器數(shù)據 圖像音視頻數(shù)據企業(yè)內容數(shù)據社交媒體 數(shù)據移動互聯(lián)網數(shù)據數(shù)據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平

2、臺數(shù)據治理IBM數(shù)據分析參考架構數(shù)據倉庫建設路線第一期第二期第三期階段關注點平臺搭建數(shù)據利用能力提升子系統(tǒng)數(shù)據模型建立數(shù)據模型擴展數(shù)據模型進化數(shù)據模型數(shù)據集成項目內數(shù)據集成組織內數(shù)據集成按需數(shù)據集成企業(yè)級數(shù)據倉庫建立平臺優(yōu)化平臺擴展平臺基礎數(shù)據平臺共享平臺獨立成長相互融合流數(shù)據處理平臺建立平臺推廣平臺數(shù)據展現(xiàn)能力標準化展現(xiàn)自助式展現(xiàn)智能化展現(xiàn)數(shù)據挖掘能力應用數(shù)據挖掘推廣數(shù)據挖掘數(shù)據治理部門級數(shù)據標準組織級數(shù)據標準數(shù)據倉庫解決方案(一期)方案一：數(shù)據倉庫一體機方案方案二：開放平臺方案分析源增強型應用可操作的洞察 決策管理 數(shù)據建模 預測分析探索&發(fā)現(xiàn) 分析報表規(guī)劃&預言內容分析共享操作性信息主數(shù)

3、據&相關參考核心內容核心活動元數(shù)據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數(shù)據倉庫企業(yè)數(shù)據倉庫數(shù)據沉淀探索&歸檔基礎數(shù)據平臺交互式分析&報表數(shù)據集市數(shù)據集成 數(shù)據質量轉換&加載數(shù)據源傳統(tǒng)數(shù)據源交易數(shù)據 應用數(shù)據 第三方數(shù)據新數(shù)據源 機器 傳感器數(shù)據 圖像音視頻數(shù)據企業(yè)內容數(shù)據社交媒體 數(shù)據移動互聯(lián)網數(shù)據數(shù)據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平臺數(shù)據治理產品架構圖PDADatastageCognos一體機方案部署架構部署數(shù)據倉庫一體機服務器1臺，用于數(shù)據倉庫和ODS數(shù)據的存儲和訪問管理。部署ETL服務器1臺，用于ETL工具Dat

4、astage的運行。部署B(yǎng)I服務器1臺，用于展現(xiàn)工具CognosBI的運行。2臺X86服務器之間實現(xiàn)互為備份，保證高可用性。配置列表數(shù)據倉庫服務器PDA N3001-0011臺ETL服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺BI服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺ETL軟件IBM Datastage1套BI軟件IBM Cognos1套有目的性構造的分析引擎集成了數(shù)據庫、服務器、存儲標準接口總體擁有成本低速度: 快于傳統(tǒng)系統(tǒng)10-100 x倍簡單: 最小化管理和調優(yōu)擴

5、展: PB級的用戶數(shù)據容量智慧: 高可用性實現(xiàn)高級分析功能PureData for Analysis 專為數(shù)據倉庫設計PureData System for Analytics N3001-001集成度更高配置更合理、速度更快磁盤、I/O通道、內存、CPU、網絡均衡設計針對數(shù)據倉庫訪問最優(yōu)設計比傳統(tǒng)類似平臺高出一個數(shù)量級以上整體能耗更低同等計算任務，能耗最低系統(tǒng)更加穩(wěn)定可靠消除各種單點故障環(huán)節(jié)管理維護費用低數(shù)據倉庫的常規(guī)管理全部集成大大簡化物理設計環(huán)節(jié)可規(guī)劃和預見的系統(tǒng)擴容、升級路線圖系統(tǒng)擴充、軟件升級、舊設備回收N3001-0012 * IBM x3650 M4每臺服務器CPU2cpus *

6、 10cores=20cores， 2.28GHz內存128GB磁盤24*600GB SAS disks, hot swappable, RAID 10網卡可用的網卡包括：1張4口的千兆卡(2個口可用)2張2口的萬兆卡(2個口可用)1張雙口的HBA卡（2個口可用）其他模塊1 Integrated Management Module(host-independent remote control,10/100Mbps)（遠程管理硬件的模塊）,4個USB口電源2 redundant power supplies, hot-pluggable（2個冗余配置的電源）操作系統(tǒng)Red Hat Enterp

7、rise Linux Server壓縮后可用數(shù)據16T1數(shù)據掃描速度60TB/hr1數(shù)據庫NPS7.21 Assuming 4X compressionEvolution of Netezza & PureData System for Analytics Worlds FirstData WarehouseApplianceWorlds First100 TB DataWarehouse ApplianceWorlds FirstPetabyte DataWarehouse ApplianceWorlds FirstAnalytic Data Warehouse ApplianceNPS80

8、00 SeriesTwinFin with i-Class Advanced AnalyticsNPS10000 Series TwinFin20032006200920102012 2016Worlds Fastest and Greenest Analytical AppliancePureData System for AnalyticsN300 xPureData System for AnalyticsN200 xWorlds First appliance with no cost encryption傳統(tǒng)的數(shù)據倉庫架構：服務器和存儲之間的數(shù)據流存在重大瓶頸! 查詢結果查詢請求存儲

9、服務器關系型數(shù)據庫軟件數(shù)據數(shù)據首先被搬運到內存，然后由 SQL 進行處理大批的數(shù)據從磁盤中“搬移”到內存，成為整個系統(tǒng)的瓶頸 查詢結果PDA數(shù)據倉庫設備PDA數(shù)據倉庫專用設備：性能的革命性突破MPP “智能存儲”: 數(shù)據處理單元與存儲相結合SMP主機(2-4 CPU)查詢請求網絡流量:僅為現(xiàn)有系統(tǒng)的1%CPU：僅為現(xiàn)有系統(tǒng)的2% 數(shù)據在進入到內存之前，已經經過流式的數(shù)據處理 Zone MapsTM “自由”的存在，自動維護，無需干預每個磁盤extent包含來自于各個表的記錄我們在每個extent上跟蹤字段的最大最小值Zone maps可以對date, timestamp, byteint, s

10、mallint, integer和bigint型數(shù)據生效 當數(shù)據被loaded / updated / deleted時Zone maps自動更新沒有對load / update / delete 速度的影響Zone Maps自動分區(qū)Zone Maps利用內在的數(shù)據順序在一個數(shù)據切片內.為表中的每一列(Integers, timestamps, dates型)按每個extent收集最大最小值每條搜集到的記錄插入zonemap中為該表準備的數(shù)據區(qū)中.當一個查詢運行時, 數(shù)據切片減少到只掃描一部分extents自動配置在搜集統(tǒng)計信息時Stats在Loads時在inserts, updates, l

11、oads和reclaims時.Zone MapsZone Maps可以用于只掃描相關數(shù)據系統(tǒng)知道數(shù)據在不在extents上，并只掃描有關的表extentsBase TableSelect State, Age, Gender, count(*) From MultiBillionRowCustomerTable Where BirthDate 01/01/1960 And State in (FL, GA, SC, NC) Group by State, Age, Gender Order by State, Age, Gender數(shù)據流處理CPU Core 解壓投影過濾SQL &Advanc

12、ed AnalyticsFrom MultiBillionRowCustomerTableWhere BirthDate Header and Footer to change this footer text to the event title開放的軟件生態(tài)圈SQL ODBC JDBC OLE-DBSQL ODBC JDBC OLE-DBData InData OutData IntegrationReporting & AnalysisIBMBigInsightsInformation ServerInfoSphere StreamsAb InitioClouderaComposite

13、SoftwareHadoopInformaticaMicrosoftOracleSAPSASIBMCognosSPSSUnicaActuateHadoopInformation BuildersKalidoKXENMicrosoft MicroStrategyOracle SAPSASTableauNote: Sample list, not all inclusive IBM Fluid QueryCross platform query from PureData System for Analytics to dashDB, DB2, Oracle, and PureData Syste

14、m for Analytics統(tǒng)一訪問多樣化信息源SQL QueriesQuestionAnswerData Movement23國內成功案例（部分）More Coming 數(shù)據倉庫解決方案(一期)方案一：數(shù)據倉庫一體機方案方案二：開放平臺方案分析源增強型應用可操作的洞察 決策管理 數(shù)據建模 預測分析探索&發(fā)現(xiàn) 分析報表規(guī)劃&預言內容分析共享操作性信息主數(shù)據&相關參考核心內容核心活動元數(shù)據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數(shù)據倉庫企業(yè)數(shù)據倉庫數(shù)據沉淀探索&歸檔基礎數(shù)據平臺交互式分析&報表數(shù)據集市數(shù)據集成 數(shù)據質量轉換&加載數(shù)據源傳統(tǒng)數(shù)據源交易數(shù)據 應用數(shù)據 第

15、三方數(shù)據新數(shù)據源 機器 傳感器數(shù)據 圖像音視頻數(shù)據企業(yè)內容數(shù)據社交媒體 數(shù)據移動互聯(lián)網數(shù)據數(shù)據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平臺數(shù)據治理產品架構圖DB2 MPP+BLUDatastageCognos一體機方案部署架構部署數(shù)據倉庫一體機服務器1臺，用于數(shù)據倉庫的數(shù)據存儲與處理。建議使用DB2 BLU技術。部署ODS服務器1臺，用于ODS層的數(shù)據存儲和處理。建議使用DB2 DPF技術。部署X86服務器1臺，用于ETL工具Datastage的運行。部署X86服務器1臺，用于展現(xiàn)工具CognosBI的運行。配置列表數(shù)據倉庫服務器CPU: 32 cores內存

16、: 256GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺ODS服務器CPU: 32 cores內存: 256GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺Datastage服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺Cognos服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺外置存儲設備4T空間1臺數(shù)據倉庫軟件IBM DB2 高級企業(yè)版 V111套ETL軟件IBM Datastage1套BI軟件IBM Cognos1套面向聯(lián)機分析的 DB2 數(shù)據倉庫集群

17、- DB2 DPF分區(qū)數(shù)據庫分布在多個服務器上 為什么需要分區(qū)? 規(guī)模超大, 性能需要, 優(yōu)勢對用戶和應用程序透明并行性工作負載分散在所有結點通過增加更多服務器來增加伸縮性適用于大型數(shù)據庫:數(shù)據倉庫數(shù)據挖掘在線分析處理DB2 with DPFDB2 核心超尺寸構架基于并行性，又稱為 Shared NothingInter and intraNode/partition Parallelism Inter Query Parallelism. Intra Query性能, divide and rule, 沒有限制的規(guī)?；陂_銷的優(yōu)化器和查詢重寫器SQL和實用工具完全平行運行根據負載動態(tài)分流異步

18、I/O 平行I/ODPF的MPP架構，專門為數(shù)據倉庫設計優(yōu)化非共享DB2數(shù)據庫和哈希分區(qū)一個 數(shù)據庫被拆分成多個數(shù)據庫分區(qū) 數(shù)據庫分區(qū)運行于不同的服務器之上 每個數(shù)據庫分區(qū)具有平衡的系統(tǒng)資源 所有數(shù)據庫分區(qū)并行處理、有DBMS統(tǒng)一協(xié)調管理 對用戶、DBA和應用程序來講為單一數(shù)據庫系統(tǒng)映像select from tableTablesFCM networkDatabasePartition ndata+logEnginePartition 3data+logEnginePartition 2data+logEnginePartition 1data+logEngineDB2 DPF Share

19、Nothing系統(tǒng)架構DB2 下一代分析技術 BLUDB2 BLU是什么？DB2 BLU 是面向分析的內存計算數(shù)據庫直接內置在 DB2 內核中的列計算引擎按列方式存儲和管理表DB2 BLU的價值極高性能，BLU針對CPU、內存和IO進行特別優(yōu)化，如矢量計算引擎、自適應CPU并行、高級頁面緩存、按列選取數(shù)據、無效數(shù)據過濾等深度智能壓縮，大規(guī)模節(jié)約存儲空間，大幅減少運算量簡單易用，無需索引、分區(qū)及物化視圖，更低的運營成本和DB2無縫集成，一致的SQL語句、開發(fā)接口和管理方式突破的技術結合并擴展最好的技術已申請和待批的專利超過25 項利用跨全球7 個國家的10 個實驗室的多年IBM研發(fā)成果典型的體驗

20、易于實施和使用10 倍至25 倍的性能提升和未壓縮的數(shù)據和索引相比，節(jié)約10倍至20倍的存儲Super Fast, Super Easy Create, Load and Go!No Indexes, No Aggregates, No Tuning, No SQL changes, No schema changesBLU Acceleration與眾不同的技術31InstructionsDataResultsDynamic In-Memory 動態(tài)內存In-memory columnar processing with dynamic movement of data from stora

21、ge Parallel Vector Processing并行向量處理Multi-core and SIMD parallelism(Single Instruction Multiple Data)Data Skipping數(shù)據忽略Skips unnecessary processing of irrelevant dataActionable Compression可行性壓縮Patented compression technique that preserves order so data can be used without pressingEncoded 2015 IBM Corp

22、oration 業(yè)務敏捷部署在本地或者在云上,需要較少的硬件資源“使用 DB2 10.5 with BLU Acceleration, 我們的存儲消耗下降了 10 x” - Kent Collins, Database Solutions Architect 分析速度分析數(shù)據的速度像提問一樣快“我們在分析負載中驗證了DB2 10.5 with BLU Acceleration,發(fā)現(xiàn)可以得到 43x 的性能提升” - Randy Wilson, Lead DB2 for LUW DBA 操作簡單基于現(xiàn)有的架構最大化業(yè)務價值;無需打破或替換“由于較少的管理和調優(yōu)需求,我們一年可以節(jié)省42天.” B

23、renda Boshoff, Sr. DBADB2 with BLU Acceleration BLU可以更多地支持哪些業(yè)務?如何能在有限的時間內得到更多的業(yè)務查詢結果?額外一個月能多做多少業(yè)務?怎樣節(jié)省10倍投資并得到更多的業(yè)務價值? DB2 BLU的典型應用場景 - 改善查詢分析的性能報表數(shù)據集市Multi-platform softwareDB2 BLU業(yè)務數(shù)據庫或數(shù)據倉庫復制表結構，遷移數(shù)據!性能的飛躍處理TB級數(shù)據無需進行調優(yōu)支持Power、Linux多種平臺查詢分析應用查詢分析應用簡單遷移到DB2 BLU數(shù)據集市Cognos BI +BLU Acceleration + Power

24、 Systems 快速,快速,快速對于Cognos BI 用戶，有效地提升存儲利用率DB2 with BLU組件增強Cognos BI分析能力基于MPP（海量數(shù)據處理的處理器架構設計）vs. Competitor Row Store Database on Ivy Bridge (x86)182x fasterDynamicQueryCompatibleQueryDynamicCubes DB2 with BLUCognos基于DB2 with BLU Acceleration上的預測型分析DB2 with BLU Acceleration對SPSS的支持提升預測型決策分析的響應時間利用in-

25、database性能減少數(shù)據移動，在更短的時間內分析大量的數(shù)據在影響點提供決策的智能預測 DB2 with BLU數(shù)據庫Database SQL pushback & in-DB處理使用的資源.服務器 分析使用的資源.SPSS Modeler ServerSPSS Modeler Desktops紫色節(jié)點表示SQL pushback發(fā)生在數(shù)據庫內 A sample SPSS Modeler and SPSS Analytic Server streamInfoSphere DataStage 是統(tǒng)一數(shù)據集成平臺數(shù)據整合數(shù)據質量廣泛鏈接元數(shù)據支持分布式交易數(shù)據屏蔽業(yè)務規(guī)則工業(yè)標注 高可擴展架構平

26、衡優(yōu)化器使用模式企業(yè)應用包 統(tǒng)一元數(shù)據存儲一套設計套件統(tǒng)一管理中心統(tǒng)一設計環(huán)境基于 DataStage 的數(shù)據整合架構建立標準化的數(shù)據采集、數(shù)據整合、數(shù)據交換和分發(fā)的架構；能隨業(yè)務需求變化而維持和成長，確保一個高質量的可維護架構加速生產力，提高效率圖形化開發(fā)，并行處理方式，提高處理效率好的易用性高可擴展性擴展硬件架構不需要重新開發(fā)工作，只需相應修改硬件配置文件即可，支持跨多個服務器配置的MPP或Grid的運行方式。高可維護性基于Web的運維監(jiān)控友好易用，快速瀏覽和分析運行環(huán)境，高效負載管理高集成性廣泛的數(shù)據聯(lián)結性，支持目前的各種應用接口；統(tǒng)一的并行處理和統(tǒng)一的元數(shù)據是服務器架構的核心 ；轉換功

27、能廣泛又靈活，可滿足各種集成要求，并高速結合并整理異構數(shù)據，轉換并轉移海量的復雜數(shù)據。InfoSphere Data Click點擊兩次即可向數(shù)據集市加載數(shù)據基于Web的用戶體驗，允許毫無經驗的用戶通過簡單地點擊以批量或者實時的方式移動數(shù)據，并具有內置的管理和優(yōu)化措施內置管理: 定義和控制數(shù)據獲取的范圍和數(shù)據結構業(yè)務靈活性:數(shù)據獲取自服務，選擇所需數(shù)據結構來獲取數(shù)據內置管理:查看和管理環(huán)境和依從度IBM Cognos 能夠充分利用企業(yè)內所有數(shù)據源，滿足企業(yè)各種業(yè)務用戶對于數(shù)據報表和分析的需求經過驗證的SOA平臺,開放的API公共元數(shù)據(單一版本事實)開放的數(shù)據訪問接口數(shù)據倉庫Modern an

28、d Legacy SourcesApplication SourcesOLAP SourcesRelational Sources同樣的信息,多樣化的訪問方式報表KPI預警儀表盤查詢&分析自定義報表協(xié)作數(shù)據倉庫一體機(Inetezza/HANA/TD/GP.)IBM Cognos 提供多種展現(xiàn)形式,滿足企業(yè)不同業(yè)務用戶的需求面向高管的儀表盤關鍵指標的預警&分析固定報表自定義報表&分析個人數(shù)據探查分析簡便,可交互,支持脫機和移動設備訪問關鍵業(yè)務&財務指標的可視化展現(xiàn),能夠對關鍵指標主動告警(郵件,短信,門戶信息推送等主動告警)通過鼠標拖拽的形式定義各種復雜的報表,支持報表的調度/分發(fā),格式轉換,條件選擇,鉆取分析等.基于Web的鼠標拖拽形式的自定義報表功能,操作簡便,直觀.基于桌面的個人數(shù)據探查和分析,無需IT建模,支持桌面數(shù)據文件及BI服務器數(shù)據,可將結果共享給BI應用中其他用戶.分析型儀表盤支持儀表盤的快速拼裝,對發(fā)現(xiàn)的業(yè)務問題提供極強地交互相分析能力數(shù)據高級可視化分析提供高級可視化圖形引擎,從復雜數(shù)