OWER大數(shù)據(jù)解決方案介紹及案例分享

POWER大數(shù)據(jù)解決方案介紹及案例分享許棟IBMPower資深系統(tǒng)架構(gòu)師AgendaPower，為大數(shù)據(jù)而設(shè)計(jì)Power大數(shù)據(jù)方案介紹應(yīng)用場(chǎng)景和案例分享3現(xiàn)實(shí)世界中的數(shù)據(jù)量呈爆炸式增長46億移動(dòng)電話用戶13億RFID標(biāo)簽in2005

30億RFID

標(biāo)簽by201020億Internet用戶by2011Twitter每天處理

7terabytes數(shù)據(jù)Facebook每天處理

10terabytes

世界氣象數(shù)據(jù)中心220Terabytes

網(wǎng)頁數(shù)據(jù)9Petabytes

其他數(shù)據(jù)資產(chǎn)市場(chǎng)數(shù)據(jù)量增長1,750%,

2003-064數(shù)據(jù)爆炸的時(shí)代，贏得數(shù)據(jù)才能贏得世界數(shù)據(jù)是新的自然資源基于數(shù)據(jù)的決策更加復(fù)雜更加重要數(shù)據(jù)的爆炸式增長超出系統(tǒng)能力大數(shù)據(jù)計(jì)算需要什么樣的硬件平臺(tái)？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批處理交互分析流計(jì)算更大容量更低成本更快的處理速度支持多樣化的計(jì)算類型橫向擴(kuò)展的能力更大更多的磁盤更少機(jī)器更少空間和耗電更低的造價(jià)游戲Map-ReduceHPC圖像渲染云存儲(chǔ)工業(yè)仿真計(jì)算密集消重/歸檔風(fēng)險(xiǎn)分析IO密集流計(jì)算實(shí)時(shí)分析/交互分析更快的CPU更多的線程并行更大的內(nèi)存容量和帶寬更大的IO帶寬Flash加速大數(shù)據(jù)處理技術(shù)的發(fā)展，對(duì)硬件提出了更高的要求…靈活的硬件配比支持從計(jì)算密集到IO密集多種計(jì)算類型靈活定制硬件創(chuàng)新，CPU、GPU和混合計(jì)算多種計(jì)算負(fù)載的混合調(diào)度6認(rèn)知計(jì)算能力持續(xù)數(shù)據(jù)加載性能海量IO帶寬低延遲極端Flash性能加速網(wǎng)格擴(kuò)展存儲(chǔ)私有云公有云TraditionalIT混合云為BigData而設(shè)計(jì)軟件定義+云化開放和協(xié)作創(chuàng)新Power8基于云的實(shí)時(shí)、敏捷、高效和開放的架構(gòu)才能滿足新計(jì)算時(shí)代的需求Power8----迄今最快的CPUPower更強(qiáng)大的計(jì)算能力意味著更快的數(shù)據(jù)洞察查詢報(bào)告預(yù)測(cè)分析認(rèn)知計(jì)算大數(shù)據(jù)和分布式并行計(jì)算場(chǎng)景，仍然需要更強(qiáng)大的CPUPower8性能對(duì)比測(cè)試testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8—業(yè)界最高的8并發(fā)超線程Power8更多的超線程意味著更高的并發(fā)性更多用戶更多活動(dòng)作業(yè)SMT8技術(shù)允許在同一個(gè)物理CPU核心上同時(shí)運(yùn)行8個(gè)獨(dú)立的指令或線程，比Power7的SMT4高了一倍，是Intel上的超線程技術(shù)的4倍可以按需在不同模式見動(dòng)態(tài)轉(zhuǎn)換：SMT1/SMT2/SMT4/SMT8Power8更大的內(nèi)存，更寬的內(nèi)存帶寬，更快的內(nèi)容讀寫意味著更適合內(nèi)存計(jì)算場(chǎng)景和計(jì)算密集型場(chǎng)景更大的內(nèi)存數(shù)據(jù)庫更大的OLAP多維立方體更快的內(nèi)存思想性分析更高效的實(shí)時(shí)數(shù)據(jù)分析Power8—超大內(nèi)存帶寬較POWER7內(nèi)存帶寬提升2.3倍，是x86的4倍每處理器支持1TB內(nèi)存，高達(dá)192GB/sec內(nèi)存帶寬

單臺(tái)Power8服務(wù)器最多可支持230.4GB/sec內(nèi)存帶寬史無前例的片上96MBL3cache創(chuàng)新內(nèi)存緩存芯片，進(jìn)一步提高內(nèi)存讀寫速度Power8——更大的I/O帶寬更快的I/O讀取意味味著更適適合數(shù)據(jù)據(jù)密集型型場(chǎng)景更低的數(shù)數(shù)據(jù)讀寫寫延遲更高的數(shù)數(shù)據(jù)讀寫寫速度創(chuàng)新I/O協(xié)處理硬硬件，軟軟件功能能硬件加加速較POWER7,內(nèi)存帶寬寬提升2.3倍內(nèi)置PCIeGen3支持直接處理理器集成成取代專屬屬GX/橋接低延時(shí)Gen3x16帶寬(32GB/s)PCIeGen3x16x8x16x8Power8I/O帶寬測(cè)試試Power靈活配比比方案，，支持更更多計(jì)算算類型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD––B2P8S822Lw/1DCS3700LargePOD––A1P8S822Lw/1DCS3700Power大數(shù)據(jù)最最佳實(shí)踐踐從計(jì)算密密集型到到數(shù)據(jù)密密集型都都有靈活活的配比比方案性能、容容量和成成本的最最佳平衡衡ComputeDenseStorageDensePower8無處不在在的RAS處理器指指令重試試備用處理理器恢復(fù)復(fù)可選擇動(dòng)動(dòng)態(tài)固件件更新Chipkill內(nèi)存ECC二級(jí)緩存存、三級(jí)級(jí)緩存帶故障監(jiān)監(jiān)控功能能的服務(wù)務(wù)處理器器熱插拔磁磁盤托架架熱插拔并并發(fā)維護(hù)護(hù)PCIe插槽熱插拔冗冗余電源源和散熱熱風(fēng)扇動(dòng)態(tài)處理理器重新新分配PCI插槽上的的擴(kuò)展錯(cuò)錯(cuò)誤處理理Power8遠(yuǎn)超x86的高可靠靠設(shè)計(jì)CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定義義的硬件件應(yīng)用程程序加速速器特定的系系統(tǒng)軟件件、中間間件或用用戶應(yīng)用用程序?qū)懭隤SL提供的持持久接口口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer(PSL)向應(yīng)用程程序提供供成熟的的、穩(wěn)定定的接口口降低CAPP的復(fù)雜性性和工作作負(fù)載虛擬尋址址加速器可可以與處處理器一一樣直接接對(duì)內(nèi)存存進(jìn)行尋尋址與處理器器運(yùn)行程程序一樣樣使用指指針消除操作作系統(tǒng)和和設(shè)備驅(qū)驅(qū)動(dòng)程序序的額外外開銷Power8創(chuàng)新CAPI接口，開開放定制制硬件加加速硬件管理理的緩存存一致性性使得加速速器能作作為正常常線程參參與“Locks”，降低IO通信模型型中的延延遲基于Power8CAPI加速接口口，為大大數(shù)據(jù)進(jìn)進(jìn)行硬件件創(chuàng)新AgendaPower，為大數(shù)數(shù)據(jù)而設(shè)設(shè)計(jì)Power大數(shù)據(jù)方方案介紹紹應(yīng)用場(chǎng)景景和案例例分享企業(yè)級(jí)市市場(chǎng)的大大數(shù)據(jù)應(yīng)應(yīng)用機(jī)會(huì)會(huì)KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket大數(shù)據(jù)的的主要應(yīng)應(yīng)用類型型實(shí)時(shí)性高高實(shí)時(shí)性低低簡(jiǎn)單查詢?cè)儚?fù)雜分析析內(nèi)存數(shù)據(jù)據(jù)庫內(nèi)存分析析NoSQL實(shí)時(shí)查詢?cè)兞魇接?jì)算算M-R批量分析析MPP數(shù)據(jù)倉庫庫多應(yīng)用混混合大數(shù)數(shù)據(jù)平臺(tái)臺(tái)海量數(shù)據(jù)據(jù)存儲(chǔ)海量數(shù)據(jù)據(jù)存儲(chǔ)IBM基于Power的大數(shù)據(jù)據(jù)方案實(shí)時(shí)性高高實(shí)時(shí)性低低簡(jiǎn)單查詢?cè)儚?fù)雜分析析內(nèi)存數(shù)據(jù)據(jù)庫內(nèi)存分析析NoSQL實(shí)時(shí)查詢?cè)兞魇接?jì)算算M-R批量分析析MPP數(shù)據(jù)倉庫庫多應(yīng)用混混合大數(shù)數(shù)據(jù)平臺(tái)臺(tái)Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFSTheMarket:Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolumeEnabledbyin-memoryNoSQL,KeyValueStoreslikeRedisOrdered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtablePlaysanimportantroleinmanylargewebsitesGitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1serverconsolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlash4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U19Power8+CAPI+Flash，NoSQL內(nèi)存數(shù)據(jù)據(jù)庫方案案LoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodeliverservices.Power8創(chuàng)新NoSQL方案與與現(xiàn)有有NoSQL方案比比較10GbUplinkBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1Reductionininfrastructure2.4xPricereduction12xLessEnergy12xLessrackspace40TBofextendedmemory4U大數(shù)據(jù)據(jù)JAVA計(jì)算算過程程使用用GPU加加速，，提升升5倍倍的性性能Power8+JAVA+GPU，大數(shù)數(shù)據(jù)硬硬件加加速方方案其他Power8CAPI開放硬硬件創(chuàng)創(chuàng)新方方案……提供無無限可可能GoogleDesignedinnovationserverbaseonPower8chipKey-Value-Store35xperformanceperwattimprovement高性能能網(wǎng)絡(luò)絡(luò)加速速卡減減少10x延遲10xreduceslinesofCcodeby40xcomparedtonon-CAPI250xFasterwithCAPIFPGA+POWER8coreforMonteCarloSimulationsTMSFlashmemorystorageCoherentlyattachedHighspeed&convergednetworkingAcceleratorSwitchboardNetworkvirtualizationFieldProgrammableGateArray(FPGA)Coherently(CAPI)attachedGPU加速速，高高性能能網(wǎng)卡卡加速速，F(xiàn)lash加速速，蒙蒙特卡卡羅分分析硬硬件加加速，，硬件件壓縮縮，硬硬件加加解密密……….Power+Stream流計(jì)算算方案案23大數(shù)據(jù)據(jù)平臺(tái)臺(tái)實(shí)時(shí)時(shí)分析析平臺(tái)臺(tái)一個(gè)處處理流流數(shù)據(jù)據(jù)的低延遲遲平臺(tái)毫秒級(jí)級(jí)，甚甚至微微妙級(jí)級(jí)端到到端的的延遲遲一個(gè)可高度度擴(kuò)展展的，用用于實(shí)時(shí)分分析的高性能能平臺(tái)通過橫橫向增增加硬硬件獲獲得近近線性性的處處理能能力擴(kuò)擴(kuò)展高達(dá)125個(gè)節(jié)點(diǎn)點(diǎn)擴(kuò)展展一個(gè)靈活的的、動(dòng)態(tài)的的平臺(tái)Streams應(yīng)用靈靈活部部署支持動(dòng)動(dòng)態(tài)部部署新新的分分析應(yīng)應(yīng)用MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoringPower+Stream流計(jì)算算方案案編譯時(shí)時(shí)Operators自動(dòng)融融合：：高效利利用CPU，調(diào)整整力度度更細(xì)細(xì)分布式式運(yùn)行行快速的的數(shù)據(jù)據(jù)交換換允許自自動(dòng)或或人工工調(diào)整整良好的的擴(kuò)擴(kuò)展性性流處理理語言言：可重用用的operators快速的的動(dòng)態(tài)態(tài)應(yīng)用用部署署連續(xù)的的“管管道””處理理靈活、、高性性能的的數(shù)據(jù)據(jù)傳輸輸極低延延遲極高數(shù)數(shù)據(jù)速速率易擴(kuò)展展內(nèi)置adaptors用戶可可使用用熟悉悉的C++和Java進(jìn)行擴(kuò)擴(kuò)充使用為為您帶帶來競(jìng)競(jìng)爭(zhēng)優(yōu)優(yōu)勢(shì)的的數(shù)據(jù)據(jù)：幾乎能能處理理任何何數(shù)據(jù)據(jù)類型型使用一一些傳傳統(tǒng)方方式無無法處處理或或處理理成本本太高高動(dòng)態(tài)分分析：：運(yùn)行時(shí)時(shí)程序序拓?fù)鋼涞淖冏儎?dòng)創(chuàng)建新新任務(wù)務(wù)動(dòng)態(tài)數(shù)數(shù)據(jù)流流Power+DB2BLU內(nèi)存分分析方方案實(shí)現(xiàn)10TB數(shù)數(shù)據(jù)據(jù)亞秒秒級(jí)查查詢系統(tǒng)-32核，10TB的表，，含100個(gè)列，，10年的數(shù)數(shù)據(jù)查詢：：2010年有多多少事事務(wù)SELECTCOUNT(*)fromMYTABLEwhereYEAR='2010’結(jié)果：：亞秒秒級(jí)10TB查詢?。∶總€(gè)個(gè)CPU核心只只檢查查相當(dāng)當(dāng)于8MB的數(shù)據(jù)據(jù)StandAloneDB2BLU:UltraFastAnalyticsPower:UltraFastInfrastructureSolutionAdvantageArchitecture：OpenSolutionismorepreferredinChinacustomersTechnology:DynamicIn-Memory,ActionableCompression,ParallelVectorProcessing,DataSkipping,etc.Performance：DB2BLUonPower7xbetterperformancethanSAPHANAPrice：DB2BLUonPower1/9costofSAPHANAOptimizedEachOtherDB2onPower=FastonFast,DB2+Power=Excellent+ExcellentSizing720(8c,128GB)2.5-5TB740(16c,256GB)5-10TB750(32c,512TB)10-20TB720(4c,64GB)<2.5TB38xAverageAccelerationofdatabasequeriesforreporting(vs.previousversion)Power+DB2BLU內(nèi)存存分分析析方方案案客戶查詢速度提高某大型金融服務(wù)公司46.8倍某第三方軟件供應(yīng)商37.4倍某分析軟件業(yè)務(wù)公司13.0倍某全球零售公司6.1倍某大型歐洲銀行5.6倍分析查詢速度平均提高10-25倍“Itwasamazingtoseethefasterquerytimescomparedtotheperformanceresultswithourrow-organizedtables.Theperformanceoffourofourqueriesimprovedbyover100-fold!Thebestoutcomewasaquerythatfinished137xfasterbyusingBLUAcceleration.”-KentCollins,DatabaseSolutionsArchitect,BNSFRailwayPower+DB2BLU內(nèi)存存分分析析方方案案vs傳統(tǒng)統(tǒng)基基于于磁磁盤盤的的數(shù)數(shù)據(jù)據(jù)分分析析關(guān)注點(diǎn)DB2BLUonPOWERSAPHANA硬件平臺(tái)PowerX86性能7Xadvantage(OLAP)總體擁有成本computingresources:10Xadvantagememoryfootprint:10Xadvantagestoragefootprint:10XadvantageTCO:9Xadvantage數(shù)據(jù)容量單節(jié)點(diǎn)5-20TB最佳，無需全部導(dǎo)入內(nèi)存最多56TB，需準(zhǔn)確預(yù)估，超出可能導(dǎo)致嚴(yán)重性能問題架構(gòu)已經(jīng)驗(yàn)證的部署DB2數(shù)據(jù)庫的成熟平臺(tái)支持現(xiàn)有平臺(tái)擴(kuò)展及利舊大中華區(qū)只有少量實(shí)施案例全新系統(tǒng)架構(gòu)備份與安全對(duì)存儲(chǔ)沒有特別要求，可以利用現(xiàn)有各種備份和存儲(chǔ)災(zāi)備技術(shù)備份主要采用磁盤備份，目前還不支持大多數(shù)常用備份軟件Power+DB2BLUvsSAPHANAPower+DB2DPFMPP數(shù)據(jù)據(jù)倉倉庫庫方方案案大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代，，MPP數(shù)據(jù)據(jù)庫庫仍仍然然是是不不可可或或缺缺的的重重要要部部分分MPP作為為結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)和和匯匯總總數(shù)數(shù)據(jù)據(jù)的的實(shí)實(shí)時(shí)時(shí)查查詢?cè)?、、交交互互分分析析和和?bào)報(bào)表表展展現(xiàn)現(xiàn)的的重重要要載載體體DB2DPF作為為MPP的代代表表，，具具有有廣廣泛泛的的優(yōu)優(yōu)點(diǎn)點(diǎn)，，是是DW均衡衡架架構(gòu)構(gòu)的的最最佳佳實(shí)實(shí)現(xiàn)現(xiàn)，CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1CPU2CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99…..SMP+MPP架構(gòu)構(gòu)的的DB2DPFDW垂直直擴(kuò)擴(kuò)展展:擴(kuò)展展操操作作系系統(tǒng)統(tǒng)資資源源數(shù)數(shù)量量以以及及內(nèi)內(nèi)部部的的每每個(gè)個(gè)DB2分區(qū)區(qū)節(jié)節(jié)點(diǎn)點(diǎn)的的資資源源數(shù)數(shù)量量水平平擴(kuò)擴(kuò)展展:擴(kuò)展展操操作作系系統(tǒng)統(tǒng)數(shù)數(shù)量量以以及及DB2分區(qū)區(qū)節(jié)節(jié)點(diǎn)點(diǎn)的的數(shù)數(shù)量量Power+DB2DPF，可可靈靈活活選選擇擇硬硬件件平平臺(tái)臺(tái)，，達(dá)達(dá)到到性性能能、、擴(kuò)擴(kuò)展展性性和和價(jià)價(jià)格格的的最最佳佳平平衡衡高端方案中端方案低端方案主機(jī)高端Power中低端PowerPowerlinux數(shù)據(jù)庫軟件DB2DPFDB2DPFOracleRAC或單機(jī)版DB2DPF架構(gòu)SMP+MPP小型SMP+MPP小型SMP+SharedDisk或小型SMPMPP擴(kuò)展方式垂直擴(kuò)展或水平擴(kuò)展DB2一般垂直擴(kuò)展升級(jí)為高端POWER方案，或可水平擴(kuò)展Oracle可垂直升級(jí)為高端方案，很難水平擴(kuò)展水平擴(kuò)展存儲(chǔ)中高端存儲(chǔ)中低端存儲(chǔ)中低端存儲(chǔ)適用場(chǎng)景超大規(guī)模主DW、數(shù)據(jù)集市集中庫中型數(shù)據(jù)集市、ODS小型數(shù)據(jù)集市數(shù)據(jù)量（非壓縮）可超過1PB，全球生產(chǎn)案例可達(dá)3PB；國內(nèi)案例：128節(jié)點(diǎn)800TB數(shù)十TB至數(shù)百TB數(shù)十TB至上百TB優(yōu)缺點(diǎn)優(yōu)勢(shì)：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴(kuò)展能力優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量，性能好缺點(diǎn)：水平擴(kuò)展需要數(shù)據(jù)重分布影響生產(chǎn)性能；Oracle很難水平擴(kuò)展優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量性價(jià)比好缺點(diǎn)：無垂直擴(kuò)展，水平擴(kuò)展需數(shù)據(jù)重分布Power+DB2DPFvs一體體機(jī)機(jī)序號(hào)測(cè)試場(chǎng)景測(cè)試目的ISASvsExadata1數(shù)據(jù)加載測(cè)試測(cè)試數(shù)據(jù)庫數(shù)據(jù)加載效率占優(yōu)2數(shù)據(jù)壓縮測(cè)試測(cè)試數(shù)據(jù)庫對(duì)數(shù)據(jù)壓縮率占優(yōu)3大數(shù)據(jù)表查詢——selectcount(*)測(cè)試數(shù)據(jù)庫對(duì)大表的查詢效率。使用全表掃描。不占優(yōu)4多表關(guān)聯(lián)查詢（5表、10表）測(cè)試數(shù)據(jù)庫多表復(fù)雜關(guān)聯(lián)的效率占優(yōu)5多表關(guān)聯(lián)查詢（2表）測(cè)試數(shù)據(jù)庫多表復(fù)雜關(guān)聯(lián)的效率占優(yōu)6寬表查詢測(cè)試數(shù)據(jù)庫對(duì)寬表的匯總查詢效率占優(yōu)7聚合函數(shù)測(cè)試數(shù)據(jù)庫對(duì)于表的聚合函數(shù)匯總效率占優(yōu)8數(shù)據(jù)的distinct去重測(cè)試數(shù)據(jù)庫distinct去重的效率占優(yōu)9復(fù)制一張表的某些字段和一部分?jǐn)?shù)據(jù)CTAS類型操作的效率占優(yōu)10存儲(chǔ)過程用例測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)11并發(fā)的查詢用例測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)12多任務(wù)查詢用例測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)13多個(gè)巨量SQL并發(fā)測(cè)試測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)14卸載數(shù)據(jù)測(cè)試數(shù)據(jù)庫自有的數(shù)據(jù)庫導(dǎo)出工具數(shù)據(jù)導(dǎo)出性能占優(yōu)15數(shù)據(jù)的insert操作測(cè)試數(shù)據(jù)庫的insert操作效率。占優(yōu)16數(shù)據(jù)的刪除操作——?jiǎng)h除部分?jǐn)?shù)據(jù)測(cè)試數(shù)據(jù)庫大表的刪除速度占優(yōu)17數(shù)據(jù)的rollback操作測(cè)試數(shù)據(jù)庫大表的刪除后rollback的效率占優(yōu)18數(shù)據(jù)的刪除操作——整表刪除測(cè)試數(shù)據(jù)庫大表的刪除效率，truncatetable占優(yōu)占優(yōu)比例94%2012年年在在某某移移動(dòng)動(dòng)客客戶戶進(jìn)進(jìn)行行的的對(duì)對(duì)比比測(cè)測(cè)試試，，證證明明Power+DB2DPF具具有有超超越越一一體體機(jī)機(jī)性性能能的的能能力力，，且且性性價(jià)價(jià)比比更更高高，，客客戶戶可可靈靈活活設(shè)設(shè)計(jì)計(jì)硬硬件件架架構(gòu)構(gòu)。。DB2DPFvs其他他MPP數(shù)據(jù)據(jù)庫庫2013年年在在某某移移動(dòng)動(dòng)客客戶戶進(jìn)進(jìn)行行的的對(duì)對(duì)比比測(cè)測(cè)試試，，DB2DPF在在幾幾乎乎所所有有場(chǎng)場(chǎng)景景的的性性能能表表現(xiàn)現(xiàn)均均超超越越了了其其他他MPP產(chǎn)產(chǎn)品品。。8節(jié)點(diǎn)點(diǎn)+SSD盤8節(jié)點(diǎn)點(diǎn)+磁盤盤16節(jié)點(diǎn)點(diǎn)4地市市融融合合業(yè)業(yè)務(wù)務(wù)場(chǎng)場(chǎng)景景32Power海量非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)分析析方案HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理層平臺(tái)層工具層HiveStormBigSQLStreamPigBigSheetSewuoiaDBSPSSPowerlinux：企業(yè)級(jí)環(huán)環(huán)境的最最佳選擇擇，性能能與成本本最佳平平衡的新新一代硬硬件平臺(tái)臺(tái)標(biāo)準(zhǔn)linux,Redhat/Suse全面支持持更加成熟熟、可靠靠與更高高性能的的分布式式文件系系統(tǒng)領(lǐng)先的大大數(shù)據(jù)計(jì)計(jì)算調(diào)度度平臺(tái)，，多租戶戶管理，，更智能能調(diào)度，，更高性性能、SLA管理，支支持更多多大數(shù)據(jù)據(jù)計(jì)算類類型成熟的流流計(jì)算和和實(shí)時(shí)分分析解決決方案企業(yè)級(jí)SQLonHadoop方案同樣支持持商業(yè)分分析軟件件完全支持持開源大大數(shù)據(jù)版版本Powerlinux是大數(shù)據(jù)據(jù)計(jì)算的的理想平平臺(tái)多線程:POWER7+每處理器器核心有有4線程,而Intel的處理器器只有2線程高吞吐:POWER7+有非常大大的內(nèi)存存和I/O帶寬(沃森成功功的關(guān)鍵鍵)依賴Java應(yīng)用:POWER7+提供了高高度優(yōu)化化的JVM企業(yè)用戶戶的大數(shù)數(shù)據(jù)建設(shè)設(shè)方向是是：資源源共享的的大數(shù)據(jù)據(jù)中心34管理和運(yùn)運(yùn)維方面面的需求求共享資源源，提高高資源利利用率，，提高投投資收益益資源統(tǒng)一一調(diào)度，，為每個(gè)個(gè)應(yīng)用彈彈性供給給資源統(tǒng)一一管理應(yīng)用統(tǒng)一一管理用戶統(tǒng)一一管理數(shù)據(jù)安全全統(tǒng)一管管理統(tǒng)一的企業(yè)大數(shù)據(jù)中心平臺(tái)業(yè)支網(wǎng)運(yùn)O域分析B域分析開發(fā)商A應(yīng)用1開發(fā)商A應(yīng)用2開發(fā)商B應(yīng)用1開發(fā)商C應(yīng)用2任務(wù)1任務(wù)1任務(wù)3任務(wù)4任務(wù)5任務(wù)6任務(wù)7任務(wù)8業(yè)務(wù)和開開發(fā)的需需求統(tǒng)一的基基礎(chǔ)平臺(tái)臺(tái)層，統(tǒng)統(tǒng)一的數(shù)數(shù)據(jù)和應(yīng)應(yīng)用接口口，便于于應(yīng)用開開發(fā)的標(biāo)標(biāo)準(zhǔn)化和和開放化化獨(dú)立的基基礎(chǔ)平臺(tái)臺(tái)層，便便于靈活活引入各各種力量量進(jìn)行應(yīng)應(yīng)用層的的開發(fā)創(chuàng)創(chuàng)新數(shù)據(jù)和應(yīng)應(yīng)用的共共享和重重用，提提高開發(fā)發(fā)效率，，推動(dòng)應(yīng)應(yīng)用的迭迭代創(chuàng)新新其關(guān)鍵是是實(shí)現(xiàn)面面向多租租戶的任任務(wù)調(diào)度度和資源源管理IBM面向多租租戶的大大數(shù)據(jù)共共享平臺(tái)臺(tái)實(shí)現(xiàn)場(chǎng)場(chǎng)景IBM多租戶大大數(shù)據(jù)平平臺(tái)技術(shù)術(shù)實(shí)現(xiàn)框框架PlatformComputingSymphonyEGO(DCOS)(dynamicclusterresourcemanagementsupportingdiversetenants)HDFS/GPFS/GPFSFPO(reliable,distributedstorage––yourchoiceofdistributed,orfastparallelPOSIXfilesystems)ABB––applicationbackboneBigInsightsinstance,Streams,Hbase,Oozie,NativeSQLapps,MongoDB,CassandraPlatformSymphonyPlatformSymphonySOAM,PSMRIBMPlatformClusterManager(provisioningandmanagementofdistributedenvironments)HPA,BigData,AnalyticSPSS,Algo,RBigSQL,Pig,Hive,DataExplorer,..PlatformLSFPlatformLSFSerialBatchMPIParallelSessionorientedHPC&BatchanywhereR,SAS,MatLab,DataStageFlowManagementHypervisorPlatformResourceSchedulerExistingDataCenterProvisioningTechnologiesPuppetRPMTPMKick-start…PlatformPPMParallelSOADataAffinityParallelRecursionMapReducePlatformPPMBatchanywhereSAS,Integrationw/Autosys,CtrlMDAGPlatformSymphonyAdvancedServiceControllerYARNAPIPlatformAdvancedServiceControllerMRAMRStreamsDataExplCognosBigSQL(online)HBase(online)YARN(Hadoop2.xRM)MRBatchTezStormABBAppsIBMSymphony支持多種種高性能計(jì)算算，高性能分分析，大數(shù)據(jù)據(jù)和其它分布布式框架實(shí)際生產(chǎn)環(huán)境境驗(yàn)證的多租租戶，共享資資源框架。支支持包括Hadoop在內(nèi)的分布式式負(fù)載。Symphony能夠支持多租租戶，支持資資源的有效共共享資源在多應(yīng)用用之間有效共共享、調(diào)配資源計(jì)劃示例例37IBMSymphony提供面向多租租戶的資源調(diào)調(diào)度多租戶間基于于策略的資源源共享多應(yīng)用間可配置的資源共享策略尊重資源擁有者–可獨(dú)占支持資源分組，應(yīng)用可使用多個(gè)資源組，每組配置共享策略基于時(shí)間的共享策略可配置資源借出、借入策略可配置搶占策略具有保證租戶SLA機(jī)制，去除資源共享的業(yè)務(wù)障礙多種負(fù)載、計(jì)計(jì)算框架資源源共享：可同同時(shí)調(diào)度并執(zhí)執(zhí)行MapReduce分析框架、SPARK內(nèi)存計(jì)算、Stream/Storm流式計(jì)算、Hbase/MPP/NoSQL數(shù)據(jù)庫、SOA實(shí)時(shí)計(jì)算，R/SAS等傳統(tǒng)BI分析及ETL應(yīng)用等7種類型的負(fù)載載Symphony支持多維度精精確資源管理理和調(diào)度可以為每個(gè)租租戶定義多維維度資源調(diào)度度因子，當(dāng)前前最多支持4個(gè)(Cores,Memory,Swap,Tmp,磁盤個(gè)數(shù)等)通過負(fù)載在每每個(gè)傾斜維度度的充分利用用，提高增提提資源利用率率DominantResourceFairness(DRF)算法最大化資資源任務(wù)分配配Example:假設(shè)集群包含含8cores,40GBmemoryApp1為計(jì)算密集型型，每個(gè)任務(wù)務(wù)需要4cores,2.5GBApp2為內(nèi)存密集型型，每個(gè)任務(wù)務(wù)需要1core,10GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GBWithoutMDS(可同時(shí)運(yùn)行3個(gè)任務(wù):1App1,2App2)WithMDS(可同時(shí)運(yùn)行4個(gè)任務(wù):1App1,3App2)1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core2.5GB2.5GBApp1,Task1App2,Task1App2,Task2App2,Task3LegendMulti-DimensionalResourceScheduling(MDS)IBM方案vs純開源方案相對(duì)于基于純純開源Hadoop修改的方案，，IBMSymphony軟件有以下特特點(diǎn)：三級(jí)粒度資源源管理和調(diào)度度能力，支持持資源分組。。多樣化的資源源調(diào)度策略，，如支持優(yōu)先先級(jí)、獨(dú)占、、按比例共享、點(diǎn)對(duì)點(diǎn)點(diǎn)借還、搶占占、按時(shí)間預(yù)預(yù)留等。完善的用戶/租戶定義和管管理機(jī)制。端到端的資源源SLA保障機(jī)制。對(duì)于服務(wù)器CPU/Mem/IO資源的細(xì)粒度度精確管控能能力，多維度度調(diào)度資源，，提高整體使使用率?；谟脩舻臄?shù)數(shù)據(jù)共享和安安全隔離機(jī)制制健全的圖形化化監(jiān)控管理用用戶界面對(duì)開源版本Hadoop及各種新型數(shù)數(shù)據(jù)工具的開開放兼容能力力，支持一個(gè)個(gè)平臺(tái)同時(shí)運(yùn)運(yùn)行多個(gè)Hadoop/YARN版本及實(shí)例。。對(duì)多種OS和硬件平臺(tái)的的開放兼容和和異構(gòu)支持能能力Symphony基于c/c++編寫，經(jīng)過多多年優(yōu)化，比比純開源Hadoop性能更好Symphony具有更高性能能，作業(yè)調(diào)度度使用更高效效的推送方式式，而非輪詢?cè)兎绞?，相?duì)對(duì)開源實(shí)現(xiàn)在在不同的場(chǎng)景景下有40%-66倍的性能提升升。具有完整的報(bào)報(bào)表功能，多多角度搜集、、分析分布式式文件系統(tǒng)、、并行執(zhí)行框框架、資源、、作業(yè)數(shù)據(jù)，，分析平臺(tái)利利用情況，發(fā)發(fā)現(xiàn)性能瓶頸頸。企業(yè)級(jí)技術(shù)支支持IBMSymphony在大數(shù)據(jù)方案案中的核心價(jià)價(jià)值靈活-多租戶環(huán)境實(shí)實(shí)現(xiàn)資源共享享高效-更快速地得到到計(jì)算/分析結(jié)果強(qiáng)大-低延遲，高性性能，高可擴(kuò)擴(kuò)展經(jīng)濟(jì)-降低TCO（基礎(chǔ)設(shè)施和和管理開銷））成熟-經(jīng)過大規(guī)模生生產(chǎn)驗(yàn)證的解解決方案開放-豐富的API和應(yīng)用支持整合-集成管理工具具，支持多集集群和云環(huán)境境貼心-強(qiáng)大的本地開開發(fā)和技術(shù)支支持團(tuán)隊(duì)資源調(diào)度C工作負(fù)載管理CCCCCCCCCCCDDDDDDDDDDDDCCCCCCAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBB各種商業(yè)軟件B自開發(fā)應(yīng)用C大數(shù)據(jù)分析MapReduce/內(nèi)存計(jì)算D快速響應(yīng)靈活擴(kuò)展經(jīng)濟(jì)高效SpectrumStorage/Power+GPFS海量數(shù)據(jù)存儲(chǔ)儲(chǔ)中心方案統(tǒng)一的企業(yè)內(nèi)內(nèi)部存儲(chǔ)云，，云化各種存存儲(chǔ)介質(zhì)，提提供統(tǒng)一的通通用存儲(chǔ)服務(wù)務(wù)GPFSasunifieddataplaneontopofdifferentstoragesystemsProvidinganunifiedinterfaceforSDScontrolplane,with:Unifiednamespacefordistributedapplications(thenatureofGPFSasclusterfilesystem)MaturedenterprisestoragefeaturesindependenttothestoragesystemsNFSMapReduceConnectorOpenStackFlashDiskTapePOSIXClientworkstationsUsersandapplicationsComputeFarmGSSCIFSCinderSwiftGlanceManilaVMwareSRMVADPVAAIvSphereSinglenamespaceIBMSpectrumScaleShareNothing

ClusterSiteASiteBSiteCGPFS

AFMIBMInterCloudStoreUniversalCloudgatewayconnectsIBMpubliccloud,AmazonS3,AzureandotherstorageprovidersIC

StoreAgendaPower，為大數(shù)據(jù)而而設(shè)計(jì)Power大數(shù)據(jù)方案介介紹應(yīng)用場(chǎng)景和案案例分享某運(yùn)營商流計(jì)計(jì)算案例--Streams44網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)規(guī)模大，，大于10萬/秒的信令實(shí)時(shí)洞察網(wǎng)絡(luò)絡(luò)質(zhì)量指標(biāo)實(shí)時(shí)分析CDR短頻話單分析析短頻話單分析析并按小區(qū)/號(hào)段統(tǒng)計(jì)切換頻話單異常話單單通話單掉話率分析測(cè)試結(jié)果（CDR/秒）配置：2GHz*4核*2臺(tái)服務(wù)器單節(jié)點(diǎn)：702083兩節(jié)點(diǎn)：140000按小區(qū)或號(hào)段段緯度統(tǒng)計(jì)短短頻話單：1、占用時(shí)長小小于15秒的通話，且且同一主叫和和被叫的兩通通通話間隔小小于20秒重復(fù)小區(qū)切切換話單.2、剔除業(yè)務(wù)臺(tái)臺(tái)號(hào)碼；3、按照小區(qū)維維度統(tǒng)計(jì)滿足足條件1、2的話單數(shù)包含設(shè)備和業(yè)業(yè)務(wù)種類多，，涉及指標(biāo)多多，數(shù)據(jù)量大大不斷的增大大等挑戰(zhàn)．需需要有一個(gè)實(shí)實(shí)時(shí)分析平臺(tái)臺(tái)解決實(shí)時(shí)分分析網(wǎng)絡(luò)質(zhì)量量問題，優(yōu)化化網(wǎng)絡(luò)設(shè)備提提高客戶滿意意度．某運(yùn)營商數(shù)據(jù)據(jù)倉庫案例：：Power+DB2DPF128節(jié)點(diǎn)的典型shared-nothingMPP數(shù)據(jù)倉庫，數(shù)數(shù)據(jù)庫可用容容量已超過500TB。45某運(yùn)營商移動(dòng)動(dòng)流量經(jīng)營和和大數(shù)據(jù)分析析平臺(tái)硬件配置:IBMPower70*7R1Redhatv6.46Cores,128GBMemInternalDisk:2*300GB,4*1.2TBEXP24s:24*1.2TBSASdiskNetworkAdapter:2x1000Gbps,2x10000Gbps開源軟件部分分清單:Hadoop

2.3.0-cdh5.0.0HBase0.98.Spark(Sparkstream)HDFS2.3.0-cdh5.0.0某省移動(dòng)企業(yè)業(yè)級(jí)多租戶大大數(shù)據(jù)平臺(tái)30臺(tái)7R1單臺(tái)7R1配置：8core128GB54×SASHDD4×10GE+4×1GE面向多租戶資資源SLA的統(tǒng)一平臺(tái)應(yīng)用之間，用