大數(shù)據(jù)時代存儲解決方案(可編輯)

1、應(yīng)需而變 融以致遠 大數(shù)據(jù)時代存儲之路 目錄 大數(shù)據(jù)帶來哪些技術(shù)變革 云時代大數(shù)據(jù)的特點 1 2 大數(shù)據(jù)架構(gòu)和具體實踐3 大量用戶 群體 海量計算 大量數(shù)據(jù)管理 數(shù)據(jù)分析 大數(shù)據(jù)定義-不同行業(yè)的不同聲音 云時代的大數(shù)據(jù)特點 Volume-巨巨 量量 Variety-多樣性多樣性 Value-價值密度價值密度 數(shù)據(jù)量巨大 全球在2022 年正式 進入ZB 時代 IDC預(yù)計到2022 年， 全球?qū)⒖偣矒碛?40ZB 的數(shù)據(jù)量 結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化 數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 如今的數(shù)據(jù)類型早已不 是單一的文本形式，訂 單、日志、音頻，能力 提出了更高的要求 沙里淘金，價值密度低 一部數(shù)小時的視頻，可 能有

2、用的數(shù)據(jù)僅僅只有 一兩秒。如何迅速“提 純”是大數(shù)據(jù)亟待解決 的難題 實時獲取需要的信息 大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù) 據(jù)最顯著的特征。如 今已是ZB時代，在 如此海量的數(shù)據(jù)面前， 處理數(shù)據(jù)的效率就是 企業(yè)的生命 Velocity-速速 度度 信息采集系統(tǒng)全景介紹 政府機構(gòu) （醫(yī)保，社保） 短信通話記錄 數(shù)據(jù)分類數(shù)據(jù)來源 運營商 存 儲 區(qū) 域 業(yè) 務(wù) 平 臺 匯聚、分析、入庫 醫(yī)院大型企業(yè)交通信息視頻監(jiān)控 Email 社保、醫(yī)保、 住宿、交通 視頻監(jiān)控網(wǎng)絡(luò)信息 精確查詢 人際關(guān)系、行為分 析 跟隨分析、人臉 識別 通話記錄、住宿、 交通統(tǒng)計報表 短信、Email內(nèi)容 過濾等其他信息 統(tǒng)計分析 內(nèi)容查詢

3、 數(shù)據(jù)導(dǎo)入 大數(shù)據(jù)在各行業(yè)的應(yīng)用 社交網(wǎng)絡(luò) B 2C業(yè)務(wù) 能源媒資 地質(zhì)勘探 科研 智能電網(wǎng)非線編輯 后期制作 衛(wèi)星探測 基因工程 電子支付票據(jù)歸檔 金融互聯(lián)網(wǎng)公安 視頻監(jiān)控視頻分析 目錄 大數(shù)據(jù)各行業(yè)需求和應(yīng)用 大數(shù)據(jù)帶來哪些技術(shù)變革 云時代大數(shù)據(jù)的特點 1 2 大數(shù)據(jù)架構(gòu)和具體實踐3 大數(shù)據(jù)帶來技術(shù)變革 大數(shù)據(jù)大數(shù)據(jù) 分析處理分析處理 全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對眾多公司 和組織機構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢之一； Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)； 傳統(tǒng)技術(shù)升級已滿足不了大數(shù)據(jù)處理的需求，“大數(shù)據(jù)” 技術(shù)將在未來

4、3 5年內(nèi)進入主流。其技術(shù)形態(tài)也會產(chǎn)生較大的變化； 存儲瓶頸存儲瓶頸計算瓶頸計算瓶頸網(wǎng)絡(luò)瓶頸網(wǎng)絡(luò)瓶頸數(shù)據(jù)庫瓶頸數(shù)據(jù)庫瓶頸 大數(shù)據(jù)帶來哪些技術(shù)變革 單機單機 集群 虛擬化 集群 文件存儲 單機 設(shè)備間連接 設(shè)備內(nèi)連接 關(guān)系型數(shù)據(jù)庫 橫向擴展 橫向擴展 GE FC 數(shù)據(jù)庫集群 10GE FC IB 分布式數(shù)據(jù)庫 非關(guān)系型數(shù)據(jù)庫 塊存儲 10GE SAS IB FC 計算 存儲 數(shù)據(jù)庫 網(wǎng)絡(luò) 橫向擴展（硬件擴展） 塊虛擬化 豐富的增值軟件及對外接口 橫向擴展（硬件+文件系統(tǒng)） 文件虛擬化 豐富的增值軟件及對外接口 l9、 人的價值，在招收誘惑的一瞬間被決定。人的價值，在招收誘惑的一瞬間被決定。21.

5、8.1021.8.10Tuesday, August 10, 2021 l10、低頭要有勇氣，抬頭要有低氣。、低頭要有勇氣，抬頭要有低氣。22:30:0822:30:0822:308/10/2021 10:30:08 PM l11、人總是珍惜為得到。、人總是珍惜為得到。21.8.1022:30:0822:30Aug-2110-Aug-21 l12、人亂于心，不寬余請。、人亂于心，不寬余請。22:30:0822:30:0822:30Tuesday, August 10, 2021 l13、生氣是拿別人做錯的事來懲罰自己。、生氣是拿別人做錯的事來懲罰自己。21.8.1021.8.1022:30:0

6、822:30:08August 10, 2021 l14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2021年年8月月10日星期二日星期二下午下午10時時30分分8秒秒22:30:0821.8.10 l15、一個人炫耀什么，說明他內(nèi)心缺少什么。、一個人炫耀什么，說明他內(nèi)心缺少什么。2021年年8月月下午下午10時時30分分21.8.1022:30August 10, 2021 l16、業(yè)余生活要有意義，不要越軌。、業(yè)余生活要有意義，不要越軌。2021年年8月月10日星期二日星期二22時時30分分8秒秒22:30:0810 August 2021 l17、一個人即使已登上頂峰，也

7、仍要自強不息。、一個人即使已登上頂峰，也仍要自強不息。下午下午10時時30分分8秒秒下午下午10時時30分分22:30:0821.8.10 l9、 人的價值，在招收誘惑的一瞬間被決定。人的價值，在招收誘惑的一瞬間被決定。21.8.1021.8.10Tuesday, August 10, 2021 l10、低頭要有勇氣，抬頭要有低氣。、低頭要有勇氣，抬頭要有低氣。22:30:0822:30:0822:308/10/2021 10:30:08 PM l11、人總是珍惜為得到。、人總是珍惜為得到。21.8.1022:30:0822:30Aug-2110-Aug-21 l12、人亂于心，不寬余請。、人

8、亂于心，不寬余請。22:30:0822:30:0822:30Tuesday, August 10, 2021 l13、生氣是拿別人做錯的事來懲罰自己。、生氣是拿別人做錯的事來懲罰自己。21.8.1021.8.1022:30:0822:30:08August 10, 2021 l14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2021年年8月月10日星期二日星期二下午下午10時時30分分8秒秒22:30:0821.8.10 l15、一個人炫耀什么，說明他內(nèi)心缺少什么。、一個人炫耀什么，說明他內(nèi)心缺少什么。2021年年8月月下午下午10時時30分分21.8.1022:30Augus

9、t 10, 2021 l16、業(yè)余生活要有意義，不要越軌。、業(yè)余生活要有意義，不要越軌。2021年年8月月10日星期二日星期二22時時30分分8秒秒22:30:0810 August 2021 l17、一個人即使已登上頂峰，也仍要自強不息。、一個人即使已登上頂峰，也仍要自強不息。下午下午10時時30分分8秒秒下午下午10時時30分分22:30:0821.8.10 Hadoop解決方案架構(gòu) 目錄 什么十大數(shù)據(jù) 大數(shù)據(jù)各行業(yè)需求和應(yīng)用 大數(shù)據(jù)架構(gòu)和具體實踐 大數(shù)據(jù)帶來哪些技術(shù)變革 云時代大數(shù)據(jù)的特點 1 2 大數(shù)據(jù)架構(gòu)和具體實踐3 在大數(shù)據(jù)方面不僅僅是平臺提供商 大數(shù)據(jù)應(yīng)用開發(fā)提供商 大數(shù)據(jù)系統(tǒng)集

10、成商 大數(shù)據(jù)平臺提供商 大大 數(shù)數(shù) 據(jù)據(jù) 管管 理理 服服 務(wù)務(wù) 提提 供供 商商 除了具有強大的自主研發(fā)實力外，還具備豐富的集成優(yōu)化第三方平臺的經(jīng)驗，可根據(jù)用 戶的實際需求，打造適合用戶自身特點的大數(shù)據(jù)服務(wù)體系； Scaleout Block Scaleout Filesystem Scaleout DBScaleout Object Scaleout backup 分布式存儲 應(yīng)用適配, Programmable接口 通用服務(wù)器網(wǎng)絡(luò)（交換機，路由器） 存儲節(jié)點 分布式計算和分析 批處理(Galax HD) ) 實時處理和內(nèi)存計算近實時分析和MPP DB 內(nèi)存數(shù)據(jù)庫 流處理 MapReduc

11、e Hive,Pig,Mashout HBASE Hcatalog SQL Query Planner MPP Exec Data Bridge 管控平面 設(shè)備管理 資源管理 (YARN,多 戶,Zookeeper) 策略調(diào)度 日志留存OLAP視頻分析數(shù)據(jù)可視化內(nèi)容檢索數(shù)據(jù)挖掘 大數(shù)據(jù)一體化平臺 集成 Sqoop Data Loader 集成和優(yōu)化自研組件合作 3rd Party Tool Hadoop FS API, NFS/CIFS,Posix,ISCSI,S3 大數(shù)據(jù)統(tǒng)一架構(gòu) Flume Lucene Cloud OS 安全可信彈性高效 l 存儲池內(nèi)所有硬盤參與重構(gòu)，僅重 構(gòu)業(yè)務(wù)數(shù)據(jù) l

12、 由傳統(tǒng)RAID多對一的重構(gòu)模式轉(zhuǎn) 變?yōu)镠VS的多對多快速重構(gòu)模式 l 數(shù)據(jù)恢復(fù)速度相對傳統(tǒng)RAID提升 20倍 l 降低95%的多盤失效概率 l 大幅降低重構(gòu)過程對業(yè)務(wù)的影響 傳統(tǒng)陣列 RAID 2.0 1TB NLSAS 磁盤重構(gòu)時間（小時） 10 0.5 0 2 4 6 8 10 數(shù)據(jù)重構(gòu)時間縮短20倍 2021/5/2816 Partition 1 Partition 2 Partition 4Partition Partition 3 Partition N 核心業(yè)務(wù)專屬保障 l 存儲系統(tǒng)自動按照優(yōu)先級不同調(diào)配資源， 保證核心系統(tǒng)的資源需求 l 物理緩存分區(qū)，為特定LUN設(shè)定專用的

13、緩存分區(qū)，避免核心業(yè)務(wù)與邊緣業(yè)務(wù)惡 性緩存競爭 安全可信彈性高效 SmartSmart軟件提升客戶系統(tǒng)效率軟件提升客戶系統(tǒng)效率 SmartTierSmartTier 數(shù)據(jù)動態(tài)分級 SmartVirtualizationSmartVirtualization 異構(gòu)數(shù)據(jù)整合 SmartMotionSmartMotion 數(shù)據(jù)動態(tài)平衡 EMC HDS IBM HW 安全可信彈性高效 lSmartTier：精細化熱點統(tǒng)計與遷 移，最大化性能資源利用率，性能 提升3倍 lSmartMotion：基于場景的動態(tài) 部署變更，最大化自動負載均衡， 硬盤利用率提升2倍，運維成本下 降60% lSmartVirt

14、ualization：支持對異 構(gòu)存儲系統(tǒng)進行統(tǒng)一虛擬化管理， 最大化既有投資保護，投資回報率 提升50% SSD SAS NL-SAS 統(tǒng)一管控，運維一手掌握 l各類型存儲統(tǒng)一管理，化繁為簡 l分層可視化，直觀監(jiān)控，高效排障 l智能分析提升服務(wù)質(zhì)量，節(jié)約成本 l與移動運維結(jié)合，管理更智能 報警管理 拓撲安全 安全可信彈性高效 亞洲最大兼容性實驗室 l亞洲最大的IT產(chǎn)品兼容性實驗室，擁有國內(nèi)最全面的測試環(huán)境，產(chǎn)品兼容性得 到充分的認證，客戶的兼容性疑慮得到最好的解答 l與全球400家IT廠家合作，影響全球IT生態(tài)圈，為客戶提供更加全面的IT產(chǎn)品。 兼容性實驗室解決您的兼容性顧慮 HVS & T

15、系列統(tǒng)一存儲存儲虛擬化VIS6600TN9000大數(shù)據(jù)存儲 面向企業(yè)級數(shù)據(jù)中心 實現(xiàn)數(shù)據(jù)智能布局 雙活數(shù)據(jù)中心 統(tǒng)一存儲資源池 面向海量數(shù)據(jù)存儲 融合架構(gòu)簡化生命周期管理 存以智用，融以致遠 云化存儲設(shè)計：智能融合可信賴，滿足企業(yè)需要 外企當(dāng)?shù)?、自主乏?l本地產(chǎn)/OEM不等于自主可控 l本地產(chǎn)為的是降低生產(chǎn)成本，OEM僅僅是包裝 l存儲核心競爭力是研發(fā)、設(shè)計 l技術(shù)、質(zhì)量、價格均不可控 本地產(chǎn)/OEM自主可控 國內(nèi)廠商 19% IBM 26% EMC 14% HP 14% HDS 8% Dell 7% other 12% IDC2022年數(shù)據(jù) 外企當(dāng)?shù)腊踩{ l外企霸占國內(nèi)市場：國外存儲廠

16、商占據(jù)國內(nèi)80% 以上的市場份額，其中金融業(yè)占據(jù)90%，交通行 業(yè)超過80%，電信行業(yè)超過90%； l威脅國家安全：CNNVD（國家信息安全漏洞庫） 統(tǒng)計外企在國內(nèi)重大信息安全漏洞多達6萬個 存儲的中國芯 專用/通用處理器CPU 自研ARM64，融合存儲特性 (Raid5/6/DIF/Multicast/DMA) SHA1、Dedup加速卡 最少磁盤，最少電力，滿足海量 數(shù)據(jù)備份需求 加速卡實現(xiàn)5GB/s = 18TB/Hr 更低成本，更高性價比 智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE, FCoE,FC 8G/16G all in one 更低成本，更高

17、性價比 PCI-E SSD控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0協(xié)議 SAS SSD控制芯片 Hi1811 業(yè)界第一顆支持SAS 2.0的ASIC控 制器 發(fā)布首款全固態(tài)存儲系統(tǒng)Dorado 2100 Red-B Prime 可編程引擎（TOE、IOE、FCoE， RDMA，vSwitch、VTEP和 Openflow等協(xié)議卸載） PCI-E over Fabric，IO擴展和共享， 數(shù)據(jù)加密壓縮 Red-B Prime 提供最全系列全國產(chǎn)存儲產(chǎn)品 HDP3500E*VTL6900* HyperSnap HyperClone 數(shù)據(jù)復(fù)制軟件存儲管理軟件 HyperC

18、opy HyperReplication Dorado2100 G2Dorado5100 l60萬 IOPS l訪問延遲低至500s l100萬 IOPS l訪問延遲低至500s HVS85T/HVS88T S2600T/S5500T/S5600T/S5800T l216 控制器 l可擴展至3TB Cache l可擴展至 3216 塊硬盤 l05s RPO S6800T l可擴展至384GB Cache l可擴展至1440 塊硬盤 l25萬SPC-1性能 l統(tǒng)一存儲，同時支持塊和文件應(yīng)用 l可擴展至192GB Cache l可擴展至1440 塊硬盤 S2200T l雙控制器 l支持4GB Cache l支持204 塊硬盤 SmartQoS SmartMotion