大數(shù)據(jù)與綠色數(shù)據(jù)中心

大數(shù)據(jù)與綠色數(shù)據(jù)中心1未來45分鐘4組關鍵詞2大數(shù)據(jù)特點〔4個V〕CAP實際業(yè)界三類數(shù)據(jù)庫數(shù)據(jù)中心---PUE大數(shù)據(jù)在中國

大數(shù)據(jù)–新一輪“信息革命〞DataGrowthStatements–MckinseyGlobalInstitute200PB/季度智慧城市數(shù)據(jù)中國某一線城市2090億2021年RFID標簽銷售量

2021年是1200萬1.8ZBin20212天的數(shù)據(jù)量>文明起始到2003年3.88億/5.3億挪動/互聯(lián)網(wǎng)用戶中國2021年6月$8000億10年個人位置信息效力發(fā)明的價值5PB/年安康檔案數(shù)據(jù)中國某一線城市“數(shù)據(jù)日益成為商業(yè)的新源資料:一種與資本和勞動力并列的新經(jīng)濟元素.〞—TheEconomist,2021“信息將成為21世紀的石油〞.—Gartner,20213速度Velocity數(shù)據(jù)量Volume多樣化Variety傳統(tǒng)數(shù)據(jù)大數(shù)據(jù)GB->TBTB->PB以上數(shù)據(jù)量穩(wěn)定，增長不快繼續(xù)實時產(chǎn)生數(shù)據(jù)，年增長率超越60％主要為構造化數(shù)據(jù)半構造化，非構造化，多維數(shù)據(jù)大數(shù)據(jù)技術將被設計用于在本錢可接受〔economically〕的條件下，經(jīng)過非常快速〔velocity〕的采集、發(fā)現(xiàn)和分析，從大數(shù)據(jù)量〔volumes〕、多類別〔variety〕的數(shù)據(jù)中提取價值〔value〕，但是傳統(tǒng)關系型數(shù)據(jù)庫存在性能、存儲、本錢、IO瓶頸、等等的緣由，無法支撐這4個V+1個E的要求，處理方法就是分布式技術、廉價的X86平臺、本地存儲，點出分布式技術是大數(shù)據(jù)處置的中心大數(shù)據(jù)在中國

大數(shù)據(jù)–四大區(qū)別于傳統(tǒng)數(shù)據(jù)的特征統(tǒng)計和報表價值Value數(shù)據(jù)發(fā)掘和預測性分析4CAP原理AAvailabilityCAP實際一個分布式系統(tǒng)不能夠滿足一致性、可用性和分區(qū)容錯性這三個需求，最多只能同時滿足兩個——EricBrewerCConsistencyPPartitionToleranceConsistency一致性一切的用戶都可以看到一致的系統(tǒng)形狀Availability可用性無論何時,哪怕出現(xiàn)硬件缺點,數(shù)據(jù)中心缺點,系統(tǒng)也可提供效力,哪怕是降級的效力PartitionTolerance分區(qū)容忍性哪怕在網(wǎng)絡出現(xiàn)分割的情況下,各個獨立的子系統(tǒng)都可以繼續(xù)提供效力6RDBMS與Hadoop架構對比 RDBMS RDBMS Connection(e.g.,FC,InfiniBand) Storage(e.g.,SAN,NAS, StorageCell,etc)?多個獨立的關系數(shù)據(jù)庫效力器，訪問共享的存儲資源池?優(yōu)勢： ?采用多個關系數(shù)據(jù)庫效力器，多個存儲，與原有的架構相比，擴展了存儲容量和計算才干；?優(yōu)勢： ?計算與存儲分別，數(shù)據(jù)訪問存在競爭和帶寬瓶頸； ?支持的關系數(shù)據(jù)庫效力器數(shù)量有限； ?只能向上擴展(scale-up),不能橫向擴展(not scaleout)?適宜復雜的需求事務處置的運用 NewSQL與NoSQL Network(e.g.,GbE, 10GbE,Infiniband) E.g.,MPPDatabases(or MapReduceonRDBMS), BigDataframework(e.g., Hadoop,HBase)?由大量獨立的效力器經(jīng)過網(wǎng)絡互連構成集群，每個服務器帶存儲。?優(yōu)勢：計算與存儲交融，支持橫向擴展，更好的擴展性?優(yōu)勢：處理數(shù)據(jù)沖突時需求節(jié)點間協(xié)作?適用范圍： ?數(shù)據(jù)倉庫和離線數(shù)據(jù)分析(MPP,Hadoop/HBase) ?大規(guī)模在線實時運用〔單行事務處置能滿足的場景〕 (HBase)RDBMS：事物類處置行存儲關系型小型機為主NoSQL海量全局數(shù)據(jù)處置Key-ValueMapReduceX86平臺NewSQL：分析類處置列存儲關系型X86平臺

大數(shù)據(jù)激發(fā)技術創(chuàng)新7NewSQL：嚴厲保證一致性、遵照關系模型，完好支持SQL92規(guī)范，一定程度上犧牲可用性和分區(qū)容錯性。特點：列存、主要運用場景：主要用于構造化數(shù)據(jù)的統(tǒng)計分析Nosql數(shù)據(jù)庫：偏重分區(qū)容錯性，一定程度上犧牲一致性和可用性，突破了關系模型，不一定支持SQL。特點：主要運用場景：非構造化數(shù)據(jù)的統(tǒng)計分析、實時查詢共性：采用廉價的X86平臺、本地硬盤、分布式架構大數(shù)據(jù)推進產(chǎn)品創(chuàng)新8大數(shù)據(jù)推進了數(shù)據(jù)庫行業(yè)的產(chǎn)品創(chuàng)新。OldSQL陣營在根本架構不變的根底上引入內(nèi)存計算和一體機技術以提升處置性能。NewSQL陣營在過去五年里構成了近十個商用的產(chǎn)品，去年Google發(fā)表論文引見了F1/Spanner關系型數(shù)據(jù)庫〔未開源〕。NoSQL陣營的技術源于互聯(lián)網(wǎng)公司Google，Yahoo，Amazon,Facebook等。如今又出現(xiàn)了noSQL陣營和newSQL陣營交融的趨勢，例如hadoop經(jīng)過hive的擴展實現(xiàn)了對構造化數(shù)據(jù)的支持，greenplum等產(chǎn)品也經(jīng)過對和hadoop的交融實現(xiàn)了對非構造化數(shù)據(jù)的支持。RDBMS：OracleExadataDB2-DPFSQLServer

NewSQL：GreenplumVerticaGBase8aF1/Spaner

NoSQL：HadoopHbaseBigtableCassandra9什么運用適宜NoSQL數(shù)據(jù)庫方案支持PB級別數(shù)據(jù)BigData 支持非構造化數(shù)據(jù) 支持構造化數(shù)據(jù) 支持萬級每秒查詢 支持高可靠性系統(tǒng) 支持高效率統(tǒng)計分析大量的構造化和非構造化數(shù)據(jù)、要求可變的數(shù)據(jù)構造和高效的數(shù)據(jù)導入、查詢、統(tǒng)計等大數(shù)據(jù)在中國

英特爾Hadoop發(fā)行版10Hive0.9.0交互式數(shù)據(jù)倉庫Sqoop1.4.1關系型數(shù)據(jù)庫同步工具Flume1.1.0日志搜集工具IntelHadoopManager2.2安裝、部署、配置、監(jiān)控、告警和訪問控制Zookeeper3.4.5分布式協(xié)作效力Pig0.9.2數(shù)據(jù)流處置言語Mahout0.6機器學習英特爾Hadoop發(fā)行版組件穩(wěn)定的企業(yè)級hadoop發(fā)行版利用硬件新技術進行優(yōu)化HBase改進和創(chuàng)新，為Hadoop提供實時數(shù)據(jù)處理能力針對行業(yè)的功能增強，應對不同行業(yè)的大數(shù)據(jù)挑戰(zhàn)分布式、高維數(shù)據(jù)庫HbaseHBase0.94的改良和創(chuàng)新，提供即時數(shù)據(jù)處置Map/Reduce1.0.3穩(wěn)定高效的分布式計算框架HDFS1.0.3可靠的分布式文件系統(tǒng)R-statistics數(shù)據(jù)統(tǒng)計IntelligentSystemsArchitecture智慧城市電信零售終端設備HHNB/ULTCamerasPoSKioskDS大數(shù)據(jù)在中國

各行業(yè)大數(shù)據(jù)最正確實際制造醫(yī)療物聯(lián)網(wǎng)金融效力數(shù)據(jù)中心CPUSSD10GbEInfiniband……11TopFiveNomineesforthe2021USGovernmentBigDataSolutionsAward

VeteransHealthAdministration(退伍軍人安康管理):NewBigDataapproachesandframeworksprovidedataandtoolsfor20,000clinicianstotrackmedicaltrends,betteranticipateoutcomes.Thescopeofthedatasetisover80billiondatafiles.Focusedonserviceto25millionveterans.JudgesselectedVeteransHealthAdministrationbecauseoftheimpactandbestpracticesinBigDatasolutions.NASA〔星圖位置模擬計算〕:Multipleandextensiveactivities.OneofmanyexemplarswastheNASA

CenterforClimateSimulation(NCCS).TheirworkincludesscalableHadoopclustersforlargescaleclimatesimulations.BureauofEngravingandPrinting〔文檔電子化〕:Thisgovernmentagencyisthelargestproducerofsecuritydocumentsincountry.TheyhavefieldedanBigDatasolutionenhancedqualityandmissionsupport,reducedwaste.Judgescharacterizedthisasagoodmatchofrightbusinessprocessestoandamoderntechnicalapproach.AMSAA〔軍用物資活動分析〕:ArmyMaterialSystemsAnalysisActivity.Vehicledataanalysisprograminstrumentsvehiclesintheatertocollectoperationalandenvironmentalparameterhistoricaldata.Massivedatapatternscreeningandanalysistoolsetsputinplace.Result:rapididentificationofissuesbeforemissionimpact.NationalCancerInstitute〔全國癌癥機構〕:ExtensiveresearchandworkingprototypesofcuttingedgesystemsbasedonHadoopandtheBigData.Judgesnotedthesignificantpotentialimpactofthissolutionaswellasthestrengthofthetechnicalapproach.12挪動用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)13智能交通的軟件架構14HBaseMapReduceHive即時查詢(例如：路況信息)運用程序視頻流處置(例如：實時路況)數(shù)據(jù)發(fā)掘(例如：車輛跟蹤)面臨挑戰(zhàn)數(shù)據(jù)源結構化、半結構化（病歷），非結構化（PACS影像)數(shù)據(jù)格式標準難制定,或不斷變化數(shù)據(jù)量中型城市（1000萬人口）存放50年會達到10PB

醫(yī)療信息區(qū)域內(nèi)準實時共享，醫(yī)生可快速調(diào)閱病人信息信息共享提升效率基于病史的自動醫(yī)療、飲食等建議；針對病史和病癥的OTC藥物參考等個性化醫(yī)療疾病自動分類和診斷計算機輔助診斷趨勢分析：例如，流行病擴展情況分析、癌癥的歷年趨勢、藥物效果分析決策輔助系統(tǒng)區(qū)域醫(yī)療健康檔案系統(tǒng)解決問題居民電子病歷存儲、查詢解決方案HBase分布式數(shù)據(jù)庫存放健康檔案和PACS影像數(shù)據(jù)特點優(yōu)勢高速數(shù)據(jù)導入；實時數(shù)據(jù)查詢；關鍵字搜索；分布式統(tǒng)計智慧醫(yī)療與大數(shù)據(jù)1524數(shù)據(jù)中心根底設備建立綠色技術概述數(shù)據(jù)中心綠色目的：數(shù)據(jù)中心能源效率系數(shù)PUE PUE=[數(shù)據(jù)中心總用電耗費]/[IT設備能源耗費] 理想的企業(yè)數(shù)據(jù)中心PUE：1.35以下 理想的互聯(lián)網(wǎng)數(shù)據(jù)中心PUE：1.25以下常見的PUE：1.8to2.0甚至更高 Chiller33% Humidifier3% CRAC9%ITEquipment30% PDU5% UPS18% Lighting1% Mainswitchgear/Generator1%25Waste Heat OUTINDOOR DATACENTER HEATElectrical Power IN驗收建立謀劃 運維10-20年運作壽命正在施工工程情況場地評價數(shù)據(jù)中心的戰(zhàn)略業(yè)務戰(zhàn)略和義務建立謀劃:數(shù)據(jù)中心建立的任務范圍,制定工程里程碑 設計:土建和工程設計30%-60%-90%設計審核,工程有關的各種招標 施工:根據(jù)設計規(guī)格進展施工 驗收:制定未來運維的方式,擔任根底設備的驗收 運維:保證和維持根底設備的運作29 采用 Intel數(shù)據(jù)中心規(guī)范 設計施工30/60/90方案設計/系統(tǒng)設計/施工圖設計數(shù)據(jù)中心退役處置大型數(shù)據(jù)中心根底設備建立全生命周期方法論 隱含的挑戰(zhàn)：在設計階段能否預見到運維階段IT系統(tǒng)架構的開展、變化！ Issuefor Construction 需求預測針對數(shù)據(jù)中心建立規(guī)范定義了四個級別：

19T1數(shù)據(jù)中心：根本型T1數(shù)據(jù)中心可以接受數(shù)據(jù)業(yè)務的方案性和非方案性中斷。要求提供計算機配電和冷卻系統(tǒng)，但不一定要求高架地板、UPS、或者發(fā)電機組。假設沒有UPS或發(fā)電機系統(tǒng)，那么這將是一個單回路系統(tǒng)并將產(chǎn)生多處單點缺點。在年度檢修和維護時，這類系統(tǒng)將完全宕機，遇緊急形狀時宕機的頻率會更高，同時操作缺點或設備本身缺點也會導致系統(tǒng)中斷。T2數(shù)據(jù)中心：組件冗余T2數(shù)據(jù)中心的設備具有組件冗余功能，以減少方案性和非方案性的系統(tǒng)中斷。這類數(shù)據(jù)中心要求提供高架地板，UPS和發(fā)電機組，同時設備容量設計應滿足N+1備用要求，單路由配送。當重要的電力設備或其他組件需求維護時，可以經(jīng)過設備切換來實現(xiàn)系統(tǒng)不中斷或短時中斷。T3數(shù)據(jù)中心：在線維護〔全冗余系統(tǒng)〕T3級別的數(shù)據(jù)中心允許支撐系統(tǒng)設備任何方案性的動作而不會導致機房設備的任何效力中斷。方案性的動作包括規(guī)劃好的定期的維護、保養(yǎng)、元器件改換、設備擴容或減容、系統(tǒng)或設備測試等等。大型數(shù)據(jù)中心會安裝冷凍水系統(tǒng)，要求雙路或環(huán)路供水。當其他路由執(zhí)行維護或測試動作時，必需保證任務路由具有足夠的容量和才干支撐系統(tǒng)的正常運轉(zhuǎn)。非方案性動作諸如操作錯誤，設備本身缺點等導致數(shù)據(jù)中心中斷是可以接受的。當業(yè)主有商業(yè)需求或有充足的預算追加，T3機房應可以方便晉級為T4機房。T4數(shù)據(jù)中心：容錯系統(tǒng)T4級別的數(shù)據(jù)中心要求支撐系統(tǒng)有足夠的容量和才干躲避任何方案性動作導致的重要負荷停機風險。同時容錯功能要求支撐系統(tǒng)有才干防止至少1次非方案性的缺點或事件導致的重要負荷停機風險，這要求至少兩個實時有效地配送路由，N+N是典型的系統(tǒng)架構。對于電氣系統(tǒng)，兩個獨立的〔N+1〕UPS是一定要設置的。但根據(jù)消防電氣規(guī)范的規(guī)定，火災時允許消防電力系統(tǒng)強切。T4機房要求一切的機房設備雙路容錯供電。同時應留意T4機房支撐設備必需與機房IT設備的特性相匹配。3118.3C26.7C數(shù)據(jù)中心根底設備建立綠色