大數(shù)據(jù)成功關(guān)鍵課件

大數(shù)據(jù)成功關(guān)鍵課件大數(shù)據(jù)成功關(guān)鍵 --高效地實現(xiàn)大數(shù)據(jù)的移動劉春霞liuchunx@IBM軟件部資深信息整合顧問大數(shù)據(jù)成功關(guān)鍵劉春霞3InfoSphere：維護信息供應(yīng)鏈信息治理治理質(zhì)量安全和隱私生命周期標(biāo)準(zhǔn)事務(wù)和協(xié)作應(yīng)用業(yè)務(wù)分析應(yīng)用外部信息源分析整合管理多維數(shù)據(jù)集流大數(shù)據(jù)主數(shù)據(jù)內(nèi)容數(shù)據(jù)流信息數(shù)據(jù)倉庫內(nèi)容分析整合和清洗3InfoSphere：維護信息供應(yīng)鏈信息治理治理質(zhì)量安全和ThirstforInformation可靠信息移動的速度敏捷

用戶想要快速地訪問數(shù)據(jù)，幾分鐘內(nèi)和小時級內(nèi)（如自主的數(shù)據(jù)整合)對分析的需求兩者都需要！權(quán)威性

在一個流程框架內(nèi)內(nèi)的可靠信息避免信息冗余需要敏捷和可靠的數(shù)據(jù)訪問ThirstforInformation可靠信息移動的速任何數(shù)據(jù)到大數(shù)據(jù)大數(shù)據(jù)到任何數(shù)據(jù)大數(shù)據(jù)中心批量數(shù)據(jù)整合（用于大數(shù)據(jù)）任何數(shù)據(jù)ETL/

ELTETL/

ELTELT加載獲益利用探索性分析方法最佳性能/最小批處理窗口和實時流數(shù)據(jù)提取獲益從多種來源提取數(shù)據(jù)：機器數(shù)據(jù)、社交數(shù)據(jù)、多結(jié)構(gòu)成熟的整合工具，更高的生產(chǎn)力數(shù)據(jù)中心獲益以大數(shù)據(jù)形式產(chǎn)生和分析的數(shù)據(jù)–從不清除用于完成大數(shù)據(jù)運行時內(nèi)的工作的圖形工具將現(xiàn)有的企業(yè)數(shù)據(jù)引入一個探索性分析平臺將社交數(shù)據(jù)和機器數(shù)據(jù)引入一個企業(yè)數(shù)據(jù)倉庫系統(tǒng)自動化一個低成本數(shù)據(jù)暫存區(qū)域的工具對數(shù)據(jù)的推送處理（不是其他方法）任何數(shù)據(jù)到大數(shù)據(jù)批量數(shù)據(jù)整合（用于大數(shù)據(jù)）任何數(shù)據(jù)ETL/BigInsightsHadoopInfoSphereBigInsights的批量數(shù)據(jù)整合集市數(shù)據(jù)倉庫倉庫集市DataStage數(shù)據(jù)庫FilesFiles文件并行寫入DataStage子集并行讀取細(xì)節(jié)和摘要BigInsightsInfoSphereBigInsig與大數(shù)據(jù)來源交換信息將企業(yè)信息轉(zhuǎn)移到大數(shù)據(jù)來源，使它可包含在分析中獲取Hadoop的分析結(jié)果，并將它們應(yīng)用于其他IT解決方案并行性和規(guī)模對HDFS的支持通過信息服務(wù)器并行引擎提供了大規(guī)?？缮炜s性作業(yè)血統(tǒng)與大洞察來源/目標(biāo)步驟使用信息服務(wù)器中的擴展性功能大數(shù)據(jù)文件組件與大數(shù)據(jù)來源交換信息大數(shù)據(jù)文件組件使用BDFS作為來源BDFS引入了新來源選項NamenodeClusterHost和PortBDFS可并行讀取文件模式BDFS可使用Readers選項并行讀取單個文件使用BDFS作為來源BDFS引入了新來源選項NameBDFS數(shù)據(jù)流程圖名稱節(jié)點文件請求BDFS數(shù)據(jù)節(jié)點BDFS數(shù)據(jù)數(shù)據(jù)PXPXBDFS使用多個讀取器流程并行化HDFS讀取InfoSphereDataStageBDFS數(shù)據(jù)流程圖名稱節(jié)點文件請求BDFS數(shù)據(jù)節(jié)點BDFS使用BDFS作為目標(biāo)BDFS引入了新的目標(biāo)選項NamenodeClusterHost和PortBDFS通常寫入單個文件BDFS能夠并行寫入多個文件使用BDFS作為目標(biāo)BDFS引入了新的目標(biāo)選項NamBDFS示例

客戶情緒傾向性分析作業(yè)可以通過分析電子郵件在InfoSphereBigInsights中執(zhí)行?？蛻羟榫w傾向性摘要將被更新到倉庫中。InfoSphereDataStage作業(yè)將挑選信息并更新數(shù)據(jù)倉庫（使用SCD階段的客戶維度）可執(zhí)行基于分類的電子郵件的風(fēng)險識別?？梢詫㈦娮余]件分類為高風(fēng)險和低風(fēng)險。分析作業(yè)輸出風(fēng)險分類BDFS示例客戶情緒傾向性分析作業(yè)可以通過分析電子郵件在12BDFS：可擴展性和性能InformationServer–BigdataintegrationDataStageNodes(2)Server:IntelWestmere-EX(4sockets)CPU:Intel(R)Xeon(R)CPUE7-4870@2.40GHzStorage:1TBBigInsightsNodesServers:x3630M3NumberofSystems:26(5usedforthetest)CPU:Intel(R)Xeon(R)CPUX5675@3.07GHzMemory:48GBStorage:4TB12BDFS：可擴展性和性能InformationServ13InformationServer–Bigdataintegration-讀寫都具有近線性的可擴展能力-最高可達5.2TB/小時-DataStage節(jié)點翻倍，處理效率翻倍直至磁盤資源全部占用BDFS：可擴展性和性能13InformationServer–Bigdat平衡的優(yōu)化–從DataStage生成HadoopMapReduce作業(yè)使用DataStageDesign流程生成ETL作業(yè)使用BalancedOptimization將其編譯為在BigInsights上運行。將支持完全下推–Hadoop內(nèi)的所有處理（如果可能）

混合下推–內(nèi)部的一些處理和外部剩余處理，具體取決于來源和目標(biāo)平衡的優(yōu)化–從DataStage生成Hadoop15通過InformationServer和Hadoop數(shù)據(jù)文件系統(tǒng)(HDFS)的

整合，強化了IBM在大數(shù)據(jù)的領(lǐng)導(dǎo)地位通過JobSequencer對BigInsights和其他MapReduce作業(yè)進行編程調(diào)用，結(jié)合DataStage和Hadoop實現(xiàn)端到端工作流。利用設(shè)計器用戶界面和標(biāo)準(zhǔn)階段結(jié)構(gòu)來生成MapReduce作業(yè)，為用戶提供處理BigData來源的能力，可以使用Hadoop更高效地處理這些來源。實現(xiàn)InfoSphereDataStage和InfoSphereStreams之間的直接數(shù)據(jù)流整合，結(jié)合兩個平臺的強大功能和應(yīng)用范圍通過所有用例提供豐富元數(shù)據(jù)支持。自動化的大數(shù)據(jù)作業(yè)生成15通過InformationServer和Hadoop從DataStage調(diào)用Oozie工作流Oozie是Hadoop中的一個工作流計劃引擎Oozie提供了一個JavaAPI來調(diào)用Oozie工作流調(diào)用者是Oozie客戶端DS可充當(dāng)Oozie客戶端使用OozieAPI，我們構(gòu)建了一個Oozie調(diào)用者模塊該模塊是同步的成功執(zhí)行工作流時返回1發(fā)生錯誤時返回0作業(yè)調(diào)度程序有一個執(zhí)行命令階段Oozie調(diào)用者模塊從執(zhí)行命令階段執(zhí)行使用返回代碼在發(fā)生錯誤時放棄作業(yè)序列序列從DataStage調(diào)用Oozie工作流OozieInfoSphereStreams-InformationServer連接器1) 用戶希望向現(xiàn)有DataStage作業(yè)添加Streams分析2) 用戶希望向現(xiàn)有Streams應(yīng)用添加DataStage處理3) 從頭創(chuàng)建一個DataStage作業(yè)和Streams應(yīng)用。

這些整合可能具有以下數(shù)據(jù)流：? DataStage->Streams? DataStage->Streams->DataStage? Streams->DataStageInfoSphereStreams-Information聯(lián)邦整合（用于大數(shù)據(jù)）18分析和報告工具Web應(yīng)用建模–查詢–交付搜索–分析–可視化VivisimoVelocityInfoSphereFederationHive

(odbc)InfoSphereDatabaseFederation可能是IBMVivisimo等大數(shù)據(jù)聯(lián)邦解決方案的另一個企業(yè)數(shù)據(jù)來源聯(lián)邦整合（用于大數(shù)據(jù)）18分析和報告工具建模–查詢–新用戶以靈活、簡單的方式檢索數(shù)據(jù)的能力–“只需一次單擊”只需幾次單擊，便可在文件/數(shù)據(jù)庫與BigInsights之間移動數(shù)據(jù)滿足需求，以便：生成用于個人開發(fā)工作的沙盒用戶界面顯示了一些策略選項，

無需任何編碼即可將它們自動化?；谒x的策略和源系統(tǒng)功能來

利用InfoSphereDataStage和

InfoSphereDataReplication。整合的設(shè)計和操作元數(shù)據(jù)，用于

內(nèi)置治理

用于大數(shù)據(jù)的InfoSphereDataClick：敏捷和可控的整合DB2/

ORACLEInfoSphereDataClickBigInsights分析應(yīng)用數(shù)據(jù)倉庫轉(zhuǎn)換/復(fù)制分析存儲分析DS/

CDC新用戶以靈活、簡單的方式檢索數(shù)據(jù)的能力–“只需一次單擊”實時整合（用于大數(shù)據(jù)）20InfoSphere

數(shù)據(jù)復(fù)制應(yīng)用程序事務(wù)日志高速雙向數(shù)據(jù)對實時信息的低延遲捕獲分析極大規(guī)模的移動信息每秒TB級數(shù)據(jù)，每天PB級數(shù)據(jù)。分析各種信息分析原生格式的各種信息–流音頻、視頻、空間等信息非擴散性的記錄捕獲從事務(wù)數(shù)據(jù)庫日志中讀取數(shù)據(jù)，將數(shù)據(jù)分發(fā)給任何目標(biāo)–包括BigDataStreams、ETLforWarehouses或BigInsightsRDBMS

消息隊列ETLHadoop系統(tǒng)流系統(tǒng)倉庫實時整合（用于大數(shù)據(jù)）20InfoSphere

數(shù)據(jù)復(fù)制應(yīng)用21InfoSphereDataClick實時數(shù)據(jù)高性能傳遞JournalLogRedo/ArchiveLogsSourceEngineAndMetadataTargetEngineAndMetadataTCP/IPNetezzaTargetsSourcesOracleDB2提升數(shù)據(jù)倉庫數(shù)據(jù)及時性,動態(tài)的數(shù)據(jù)倉庫結(jié)合

ETL/ELT優(yōu)化批處理從源到目標(biāo)更少的時間和處理即使禁止抽取，數(shù)據(jù)也可以獲取為轉(zhuǎn)換清洗ETL提供實時的數(shù)據(jù)降低數(shù)據(jù)集市的成本21InfoSphereDataClick實時數(shù)據(jù)高性221stClick2ndClick預(yù)選數(shù)據(jù)源和目標(biāo)Tab頁上顯示的核對標(biāo)志表明所需的配置完成復(fù)查配置

Execution!!!InfoSphereDataClick–點擊兩下完成數(shù)據(jù)整合221stClick2ndClick預(yù)選數(shù)據(jù)源和目標(biāo)復(fù)查23頂級性能加速時間價值:

InformationServer高速的NetezzaConnectorInfoSphereInformationServer(Intel?Xeon?E7-4870)OS:RedHatEL5.3x86-64ProcessorType:Intel?Xeon?E7-4870,40cores/80threadsProcessorSpeed:2.4GHZMemorySize:1TBRAMDiskSpace:2TBtotaldiskspaceNetworkCard:Intel?10GigabitCX4IBMNetezza1000-12Appliance(TwinFin-12)12S-Blades96CPUcoresProcessor:Intel?Xeon?E55202.27GHzStorageSpace:128TB*

*@4xcompressionratioNetworkCard:Intel?10GigabitCX463writeroptionenabled10GEthernetNetezzaAllperformancedatawasobtainedinthespecificoperatingenvironmentandundertheconditionsshownandispresentedasanillustrationonly.Performanceobtainedinotheroperatingenvironmentsmayvary,andcustomersshouldconducttheirowntesting.卸載速度=2.58TB/hour加載速度=2.38TB/hour23頂級性能加速時間價值:

InformationServ24大數(shù)據(jù)清洗（驗證、充實和匹配）對傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的統(tǒng)一和整合訪問驗證、標(biāo)準(zhǔn)化、充實和匹配數(shù)據(jù)值得信任的數(shù)據(jù)存儲實現(xiàn)了整體視圖業(yè)務(wù)洞察事務(wù)數(shù)據(jù)傳統(tǒng)應(yīng)用源社會網(wǎng)絡(luò)視頻和照片整合數(shù)據(jù)質(zhì)量倉庫風(fēng)險儀表板流計算24大數(shù)據(jù)清洗（驗證、充實和匹配）對傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)驗證、標(biāo)InformationServer提供市場上最全面的數(shù)據(jù)集成和數(shù)據(jù)管理解決方案獨特優(yōu)勢Business/ITcollaborationondataqualityobjectivesAutomatedbusiness/

ITcollaborationEstablishframeworkfor

metadatalineageUnderstandyourdataIncludesautomated

datadiscoveryCleanseandvalidatedataHighestperformancetools

inthemarketMonitordataqualityOnlysolutionofferingrealtime/in-flightdatavalidationandmonitoringFlexibilitySOAenabledBreadthofsupportedsources

andtargets優(yōu)點LowestTotalCostofOwnership(TCO)EnablessharedservicesandcentralizedrulemanagementProvidesasharedmetadatarepositoryBestinclassdataqualityanalysistoolsUnderstandthecontent,quality,

andstructureofdatasourcesAutomatedataprofilingandanalysisMonitordataqualityovertimeUniqueparallelprocessingengineDeliversunmatchedabilitytoscaleforhugedatavolumesInformationServer提供市場上最全面的數(shù)據(jù)大數(shù)據(jù)成功關(guān)鍵課件大數(shù)據(jù)成功關(guān)鍵 --高效地實現(xiàn)大數(shù)據(jù)的移動劉春霞liuchunx@IBM軟件部資深信息整合顧問大數(shù)據(jù)成功關(guān)鍵劉春霞28InfoSphere：維護信息供應(yīng)鏈信息治理治理質(zhì)量安全和隱私生命周期標(biāo)準(zhǔn)事務(wù)和協(xié)作應(yīng)用業(yè)務(wù)分析應(yīng)用外部信息源分析整合管理多維數(shù)據(jù)集流大數(shù)據(jù)主數(shù)據(jù)內(nèi)容數(shù)據(jù)流信息數(shù)據(jù)倉庫內(nèi)容分析整合和清洗3InfoSphere：維護信息供應(yīng)鏈信息治理治理質(zhì)量安全和ThirstforInformation可靠信息移動的速度敏捷

用戶想要快速地訪問數(shù)據(jù)，幾分鐘內(nèi)和小時級內(nèi)（如自主的數(shù)據(jù)整合)對分析的需求兩者都需要！權(quán)威性

在一個流程框架內(nèi)內(nèi)的可靠信息避免信息冗余需要敏捷和可靠的數(shù)據(jù)訪問ThirstforInformation可靠信息移動的速任何數(shù)據(jù)到大數(shù)據(jù)大數(shù)據(jù)到任何數(shù)據(jù)大數(shù)據(jù)中心批量數(shù)據(jù)整合（用于大數(shù)據(jù)）任何數(shù)據(jù)ETL/

ELTETL/

ELTELT加載獲益利用探索性分析方法最佳性能/最小批處理窗口和實時流數(shù)據(jù)提取獲益從多種來源提取數(shù)據(jù)：機器數(shù)據(jù)、社交數(shù)據(jù)、多結(jié)構(gòu)成熟的整合工具，更高的生產(chǎn)力數(shù)據(jù)中心獲益以大數(shù)據(jù)形式產(chǎn)生和分析的數(shù)據(jù)–從不清除用于完成大數(shù)據(jù)運行時內(nèi)的工作的圖形工具將現(xiàn)有的企業(yè)數(shù)據(jù)引入一個探索性分析平臺將社交數(shù)據(jù)和機器數(shù)據(jù)引入一個企業(yè)數(shù)據(jù)倉庫系統(tǒng)自動化一個低成本數(shù)據(jù)暫存區(qū)域的工具對數(shù)據(jù)的推送處理（不是其他方法）任何數(shù)據(jù)到大數(shù)據(jù)批量數(shù)據(jù)整合（用于大數(shù)據(jù)）任何數(shù)據(jù)ETL/BigInsightsHadoopInfoSphereBigInsights的批量數(shù)據(jù)整合集市數(shù)據(jù)倉庫倉庫集市DataStage數(shù)據(jù)庫FilesFiles文件并行寫入DataStage子集并行讀取細(xì)節(jié)和摘要BigInsightsInfoSphereBigInsig與大數(shù)據(jù)來源交換信息將企業(yè)信息轉(zhuǎn)移到大數(shù)據(jù)來源，使它可包含在分析中獲取Hadoop的分析結(jié)果，并將它們應(yīng)用于其他IT解決方案并行性和規(guī)模對HDFS的支持通過信息服務(wù)器并行引擎提供了大規(guī)?？缮炜s性作業(yè)血統(tǒng)與大洞察來源/目標(biāo)步驟使用信息服務(wù)器中的擴展性功能大數(shù)據(jù)文件組件與大數(shù)據(jù)來源交換信息大數(shù)據(jù)文件組件使用BDFS作為來源BDFS引入了新來源選項NamenodeClusterHost和PortBDFS可并行讀取文件模式BDFS可使用Readers選項并行讀取單個文件使用BDFS作為來源BDFS引入了新來源選項NameBDFS數(shù)據(jù)流程圖名稱節(jié)點文件請求BDFS數(shù)據(jù)節(jié)點BDFS數(shù)據(jù)數(shù)據(jù)PXPXBDFS使用多個讀取器流程并行化HDFS讀取InfoSphereDataStageBDFS數(shù)據(jù)流程圖名稱節(jié)點文件請求BDFS數(shù)據(jù)節(jié)點BDFS使用BDFS作為目標(biāo)BDFS引入了新的目標(biāo)選項NamenodeClusterHost和PortBDFS通常寫入單個文件BDFS能夠并行寫入多個文件使用BDFS作為目標(biāo)BDFS引入了新的目標(biāo)選項NamBDFS示例

客戶情緒傾向性分析作業(yè)可以通過分析電子郵件在InfoSphereBigInsights中執(zhí)行?？蛻羟榫w傾向性摘要將被更新到倉庫中。InfoSphereDataStage作業(yè)將挑選信息并更新數(shù)據(jù)倉庫（使用SCD階段的客戶維度）可執(zhí)行基于分類的電子郵件的風(fēng)險識別?？梢詫㈦娮余]件分類為高風(fēng)險和低風(fēng)險。分析作業(yè)輸出風(fēng)險分類BDFS示例客戶情緒傾向性分析作業(yè)可以通過分析電子郵件在37BDFS：可擴展性和性能InformationServer–BigdataintegrationDataStageNodes(2)Server:IntelWestmere-EX(4sockets)CPU:Intel(R)Xeon(R)CPUE7-4870@2.40GHzStorage:1TBBigInsightsNodesServers:x3630M3NumberofSystems:26(5usedforthetest)CPU:Intel(R)Xeon(R)CPUX5675@3.07GHzMemory:48GBStorage:4TB12BDFS：可擴展性和性能InformationServ38InformationServer–Bigdataintegration-讀寫都具有近線性的可擴展能力-最高可達5.2TB/小時-DataStage節(jié)點翻倍，處理效率翻倍直至磁盤資源全部占用BDFS：可擴展性和性能13InformationServer–Bigdat平衡的優(yōu)化–從DataStage生成HadoopMapReduce作業(yè)使用DataStageDesign流程生成ETL作業(yè)使用BalancedOptimization將其編譯為在BigInsights上運行。將支持完全下推–Hadoop內(nèi)的所有處理（如果可能）

混合下推–內(nèi)部的一些處理和外部剩余處理，具體取決于來源和目標(biāo)平衡的優(yōu)化–從DataStage生成Hadoop40通過InformationServer和Hadoop數(shù)據(jù)文件系統(tǒng)(HDFS)的

整合，強化了IBM在大數(shù)據(jù)的領(lǐng)導(dǎo)地位通過JobSequencer對BigInsights和其他MapReduce作業(yè)進行編程調(diào)用，結(jié)合DataStage和Hadoop實現(xiàn)端到端工作流。利用設(shè)計器用戶界面和標(biāo)準(zhǔn)階段結(jié)構(gòu)來生成MapReduce作業(yè)，為用戶提供處理BigData來源的能力，可以使用Hadoop更高效地處理這些來源。實現(xiàn)InfoSphereDataStage和InfoSphereStreams之間的直接數(shù)據(jù)流整合，結(jié)合兩個平臺的強大功能和應(yīng)用范圍通過所有用例提供豐富元數(shù)據(jù)支持。自動化的大數(shù)據(jù)作業(yè)生成15通過InformationServer和Hadoop從DataStage調(diào)用Oozie工作流Oozie是Hadoop中的一個工作流計劃引擎Oozie提供了一個JavaAPI來調(diào)用Oozie工作流調(diào)用者是Oozie客戶端DS可充當(dāng)Oozie客戶端使用OozieAPI，我們構(gòu)建了一個Oozie調(diào)用者模塊該模塊是同步的成功執(zhí)行工作流時返回1發(fā)生錯誤時返回0作業(yè)調(diào)度程序有一個執(zhí)行命令階段Oozie調(diào)用者模塊從執(zhí)行命令階段執(zhí)行使用返回代碼在發(fā)生錯誤時放棄作業(yè)序列序列從DataStage調(diào)用Oozie工作流OozieInfoSphereStreams-InformationServer連接器1) 用戶希望向現(xiàn)有DataStage作業(yè)添加Streams分析2) 用戶希望向現(xiàn)有Streams應(yīng)用添加DataStage處理3) 從頭創(chuàng)建一個DataStage作業(yè)和Streams應(yīng)用。

這些整合可能具有以下數(shù)據(jù)流：? DataStage->Streams? DataStage->Streams->DataStage? Streams->DataStageInfoSphereStreams-Information聯(lián)邦整合（用于大數(shù)據(jù)）43分析和報告工具Web應(yīng)用建模–查詢–交付搜索–分析–可視化VivisimoVelocityInfoSphereFederationHive

(odbc)InfoSphereDatabaseFederation可能是IBMVivisimo等大數(shù)據(jù)聯(lián)邦解決方案的另一個企業(yè)數(shù)據(jù)來源聯(lián)邦整合（用于大數(shù)據(jù)）18分析和報告工具建模–查詢–新用戶以靈活、簡單的方式檢索數(shù)據(jù)的能力–“只需一次單擊”只需幾次單擊，便可在文件/數(shù)據(jù)庫與BigInsights之間移動數(shù)據(jù)滿足需求，以便：生成用于個人開發(fā)工作的沙盒用戶界面顯示了一些策略選項，

無需任何編碼即可將它們自動化?；谒x的策略和源系統(tǒng)功能來

利用InfoSphereDataStage和

InfoSphereDataReplication。整合的設(shè)計和操作元數(shù)據(jù)，用于

內(nèi)置治理

用于大數(shù)據(jù)的InfoSphereDataClick：敏捷和可控的整合DB2/

ORACLEInfoSphereDataClickBigInsights分析應(yīng)用數(shù)據(jù)倉庫轉(zhuǎn)換/復(fù)制分析存儲分析DS/

CDC新用戶以靈活、簡單的方式檢索數(shù)據(jù)的能力–“只需一次單擊”實時整合（用于大數(shù)據(jù)）45InfoSphere

數(shù)據(jù)復(fù)制應(yīng)用程序事務(wù)日志高速雙向數(shù)據(jù)對實時信息的低延遲捕獲分析極大規(guī)模的移動信息每秒TB級數(shù)據(jù)，每天PB級數(shù)據(jù)。分析各種信息分析原生格式的各種信息–流音頻、視頻、空間等信息非擴散性的記錄捕獲從事務(wù)數(shù)據(jù)庫日志中讀取數(shù)據(jù)，將數(shù)據(jù)分發(fā)給任何目標(biāo)–包括BigDataStreams、ETLforWarehouses或BigInsightsRDBMS

消息隊列ETLHadoop系統(tǒng)流系統(tǒng)倉庫實時整合（用于大數(shù)據(jù)）20InfoSphere

數(shù)據(jù)復(fù)制應(yīng)用46InfoSphereDataClick實時數(shù)據(jù)高性能傳遞JournalLogRedo/ArchiveLogsSourceEngineAndMetadataTargetEngineAndMetadataTCP/IPNetezzaTargetsSourcesOracleDB2提升數(shù)據(jù)倉庫數(shù)據(jù)及時性,動態(tài)的數(shù)據(jù)倉庫結(jié)合

ETL/ELT優(yōu)化批處理從源到目標(biāo)更少的時間和處理即使禁止抽取，數(shù)據(jù)也可以獲取為轉(zhuǎn)換清洗ETL提供實時的數(shù)據(jù)降低數(shù)據(jù)集市的成本21InfoSphereDataClick實時數(shù)據(jù)高性471stClick2ndClick預(yù)選數(shù)據(jù)源和目標(biāo)Tab頁上顯示的核對標(biāo)志表明所需的配置完成復(fù)查配置

Execution!!!InfoSphereDataClick–點擊兩下完成數(shù)據(jù)整合221stClick2ndClick預(yù)選數(shù)據(jù)源和目標(biāo)復(fù)查48頂級性能加速時間價值:

InformationServer高速的NetezzaConnectorInfoSphereInformationServer(Intel?Xeon?E7-4870)OS:RedHatEL5.3x86-64ProcessorType:Intel?Xeon?E7-4870,40cores/80threadsProcessorSpeed:2.4GHZMemorySize:1TBRAMDiskSpace:2TBtotaldiskspaceNetworkCard:Intel?10GigabitCX4IBMNetezza1000-12Appliance(TwinFin-12)12S-Blades96CPUcoresProcessor:Intel?Xeon?E55202.27GHzStorageSpace:128TB*

*@4xcompressionratioNetworkCard:Intel?10GigabitCX463writeroptionenabled10GEthernetNetezzaAllperformancedatawasobtainedinthespeci