沈陽大學(xué)——浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書

1、浪潮云海大數(shù)據(jù)一體機(jī)浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書20148浪潮信息云產(chǎn)品部 浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 1目錄1.產(chǎn)品介紹.21.1 產(chǎn)品定位.21.2 產(chǎn)品特點(diǎn).22.體系架構(gòu).32.1 大數(shù)據(jù)一體機(jī)硬件組成.42.2 大數(shù)據(jù)一體機(jī)網(wǎng)絡(luò)拓?fù)?52.3 大數(shù)據(jù)一體機(jī)軟件架構(gòu).63.應(yīng)用場景.84.關(guān)鍵技術(shù)特性.95.技術(shù)指標(biāo).11浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 21.產(chǎn)品介紹產(chǎn)品介紹1.11.1 產(chǎn)品定位產(chǎn)品定位浪潮云海大數(shù)據(jù)一體機(jī)（Inspur In-Cloud SmartData Appliance 以下簡稱 SDA或大數(shù)據(jù)一體機(jī)）面向行業(yè)大數(shù)據(jù)應(yīng)用場景，是一體化數(shù)據(jù)處理的解

2、決方案，采用新型技術(shù)體系架構(gòu)，整合軟硬件系統(tǒng)，采用全分布式大數(shù)據(jù)處理架構(gòu)，平臺能夠隨著客戶數(shù)據(jù)的增長和業(yè)務(wù)的擴(kuò)張而不斷線性擴(kuò)展，解決了傳統(tǒng)架構(gòu)的擴(kuò)展瓶頸，集成計(jì)算單元、存儲單元、通訊單元、管理單元、等核心模塊，涵蓋數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)呈現(xiàn)等全環(huán)節(jié)，是金融、電信、公安、交通、衛(wèi)生等各個(gè)行業(yè)用戶大數(shù)據(jù)分析處理平臺的理想之選。1.21.2 產(chǎn)品特點(diǎn)產(chǎn)品特點(diǎn)新型技術(shù)體系架構(gòu)新型技術(shù)體系架構(gòu)采用全分布式大數(shù)據(jù)處理架構(gòu)，平臺能夠隨著客戶數(shù)據(jù)的增長和業(yè)務(wù)的擴(kuò)張而不斷增長，并且能夠保持極高的線性度，解決了傳統(tǒng)架構(gòu)的擴(kuò)展瓶頸，系統(tǒng)在擴(kuò)展至 120000 核心時(shí)依舊保持 0.8 左右的擴(kuò)展效率；軟硬一體化的系

3、統(tǒng)軟硬一體化的系統(tǒng)集成計(jì)算單元、存儲單元、通訊單元、管理單元等核心模塊，是對數(shù)據(jù)存儲、處理、展現(xiàn)的全環(huán)節(jié)的解決方案，由浪潮統(tǒng)一開發(fā)，能夠統(tǒng)一交付，集中管理，用戶可以輕松完成；全局優(yōu)化的系統(tǒng)全局優(yōu)化的系統(tǒng)浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 3浪潮進(jìn)行全局優(yōu)化性能等技術(shù)指標(biāo)大幅提升，在性能、可用性方面有了重大提升。16%：通過優(yōu)化系統(tǒng)任務(wù)調(diào)度策略，動態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，任務(wù)執(zhí)行時(shí)間平均縮短 16%以上；30%：引入 Reed-Solomon 算法，優(yōu)化分布式散列數(shù)據(jù)布局，滿足文件高并發(fā)和高帶寬雙重需求同時(shí)平衡數(shù)據(jù)冗余度，浪潮采用兩副本加編碼的方式相對三副本最大可實(shí)現(xiàn) 30%空間節(jié)省

4、；50%：采用多級高速緩存，實(shí)現(xiàn)硬件加速。經(jīng)測試，1TB 數(shù)據(jù)排序測試整體訪問性能提高 50%；系列化、產(chǎn)品化系列化、產(chǎn)品化針對視頻等重載應(yīng)用、商業(yè)智能分析應(yīng)用、海量并發(fā)的輕量級線程類應(yīng)用這三類應(yīng)用場景。云海大數(shù)據(jù)一體機(jī)根據(jù)用戶應(yīng)用特點(diǎn)提供個(gè)性化解決方案；國產(chǎn)化國產(chǎn)化浪潮可提供基于飛騰處理器、浪潮云谷系統(tǒng)等產(chǎn)品的全國產(chǎn)化方案；在敏感行業(yè)、關(guān)鍵數(shù)據(jù)，保障數(shù)據(jù)核心處理平臺的自主可控；專業(yè)化服務(wù)專業(yè)化服務(wù)從業(yè)務(wù)分析、應(yīng)用移植、應(yīng)用開發(fā)到運(yùn)維服務(wù)的全環(huán)節(jié)服務(wù)保障。解決用戶在實(shí)施分布式數(shù)據(jù)理架構(gòu)面臨的軟硬件部署、二次開發(fā)等實(shí)際問題，幫助客戶實(shí)現(xiàn)由傳統(tǒng)數(shù)據(jù)倉庫向新型大數(shù)據(jù)平臺的平滑遷移。2.體系架構(gòu)體系架

5、構(gòu)大數(shù)據(jù)一體機(jī)基于 Apache Hadoop 集群架構(gòu)，由三個(gè)大的模塊構(gòu)成：底層基礎(chǔ)架構(gòu)基于浪潮的先進(jìn)硬件平臺，軟件部分則采用浪潮的專有 Hadoop 發(fā)行版來提供海量數(shù)據(jù)的存儲與處理能力，通過浪潮軟件、硬件的彼此優(yōu)化與整合，形成一套高性能的軟硬一體的平臺解決方案，并經(jīng)過大量的測試調(diào)優(yōu)來保證整體系統(tǒng)的兼容性、穩(wěn)定性和可靠性。在軟硬件之上，還架構(gòu)了一個(gè)可視化的管理界面來幫助用戶對一體機(jī)的硬件、軟件進(jìn)程進(jìn)行統(tǒng)一的管理和控制。浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 42.12.1 大數(shù)據(jù)一體機(jī)硬件組成大數(shù)據(jù)一體機(jī)硬件組成大數(shù)據(jù)一體機(jī)物理部署圖（SDA30000 主柜）如上圖所示，SDA 硬件上主要由管

6、理節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)，管理交換機(jī)，計(jì)算交換機(jī)，KVM 控制器機(jī)柜等組件構(gòu)成一體機(jī)組件一體機(jī)組件說明說明管理節(jié)點(diǎn)采用 2 臺高性能的 2 路，4 路或 8 路服務(wù)器，用來執(zhí)行集群中的文件訪問管理，數(shù)據(jù)處理任務(wù)調(diào)度，節(jié)點(diǎn)性能監(jiān)控和故障恢復(fù)等任務(wù)。兩臺服務(wù)器間互為冗余，實(shí)現(xiàn)管理節(jié)點(diǎn)的高可用性，保證集群可以持續(xù)對外提供服務(wù)。數(shù)據(jù)節(jié)點(diǎn)專用的 2 路 2U 存儲服務(wù)器，除系統(tǒng)盤外，配置了 12 塊大容量硬盤，單節(jié)點(diǎn)可以提供高達(dá) 36TB 的存儲空間和 192GB 內(nèi)存容量。數(shù)據(jù)結(jié)點(diǎn)數(shù)量可以按客戶具體需求配置，并可靈活線性擴(kuò)展。管理交換機(jī)對內(nèi)提供 24 個(gè) 10/100/1000M 自適應(yīng)電口，對外 4 個(gè) S

7、FP 非復(fù)用端口，交換容量為 208Gbps(全雙工)，包轉(zhuǎn)發(fā)率 51Mpps浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 5計(jì)算交換機(jī)對內(nèi)提供 24-48 個(gè)萬兆 SFP+端口，對外提供 4 個(gè) 40G QSFP+ 端口，支持冗余電源,支持 FcoE 接入，其中可支持 2/4/8Gbps FC 端口。交換容量 1.28T,包轉(zhuǎn)發(fā)率 960MbpsKVM 控制器1U 高度，可折疊式，整合 17LCD 液晶顯示器、切換器、鍵盤及觸控板于一體的抽拉式視頻控制模塊。機(jī)柜19、42U 專用機(jī)柜，最高靜載 1000kg；機(jī)柜兩側(cè)預(yù)留布線槽，強(qiáng)弱電分離布線，機(jī)柜上下方均可走線；前后門采用鋼制網(wǎng)孔設(shè)計(jì)，保證前后通風(fēng)，

8、頂部有通風(fēng)孔結(jié)構(gòu)；1 個(gè)承重托盤，支持并柜并帶有并柜遮條；自帶 2 個(gè)線纜槽，配置專業(yè)工業(yè)PDU,可選 220V/380V 供電環(huán)境2.22.2 大數(shù)據(jù)一體機(jī)網(wǎng)絡(luò)拓?fù)浯髷?shù)據(jù)一體機(jī)網(wǎng)絡(luò)拓?fù)浯髷?shù)據(jù)一體機(jī)網(wǎng)絡(luò)拓?fù)鋱D如圖所示，大數(shù)據(jù)一體機(jī)具有兩套相互獨(dú)立的網(wǎng)絡(luò)系統(tǒng)：管理網(wǎng)絡(luò)和計(jì)算網(wǎng)絡(luò)管理網(wǎng)絡(luò)：管理網(wǎng)絡(luò)：采用千兆以太網(wǎng)連接一體機(jī)所有節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)的配置，管理和性能監(jiān)控，并可以通過 IPMI 接口，實(shí)現(xiàn)遠(yuǎn)程開關(guān)機(jī)，虛擬設(shè)備掛載等帶外管理功能浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 6計(jì)算網(wǎng)絡(luò)計(jì)算網(wǎng)絡(luò)：采用萬兆以太網(wǎng)連接一體機(jī)所有節(jié)點(diǎn)，一體機(jī)各節(jié)點(diǎn)間的數(shù)據(jù)交換和通信通過計(jì)算網(wǎng)絡(luò)完成。文件服務(wù)器，ETL 服務(wù)器和應(yīng)

9、用服務(wù)器等相關(guān)系統(tǒng)可配備萬兆網(wǎng)卡直接連入一體機(jī)，或者通過交換機(jī)萬兆上聯(lián)端口連入一體機(jī)計(jì)算網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換和處理。2.32.3 大數(shù)據(jù)一體機(jī)軟件架構(gòu)大數(shù)據(jù)一體機(jī)軟件架構(gòu)浪潮云海大數(shù)據(jù)一體機(jī)軟件架構(gòu)在軟件架構(gòu)上，浪潮云海大數(shù)據(jù)一體機(jī)支持多種 Linux 版操作系統(tǒng)，并采用浪潮自主研發(fā)的 Hadoop 商業(yè)發(fā)行版浪潮云谷系統(tǒng)（CloudCanyon） 。浪潮云谷系統(tǒng)為用戶提供穩(wěn)定的、可靠的、易用的 Hadoop 平臺，其組件包括 HDFS文件存儲系統(tǒng)、MapReduce 框架以及 Hive 數(shù)據(jù)倉庫、Pig 數(shù)據(jù)分析平臺和HBase 數(shù)據(jù)庫等。浪潮浪潮 CloudCloud CanyonCanyon

10、 發(fā)行版產(chǎn)品功能如下發(fā)行版產(chǎn)品功能如下 : :商業(yè)套件商業(yè)套件功能詳解功能詳解浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 7分布式文件系統(tǒng)（HDFS）高帶寬集群文件存儲系統(tǒng)高可擴(kuò)展性，無需停機(jī)無縫動態(tài)擴(kuò)容高容錯(cuò)性，數(shù)據(jù)自動復(fù)制和校驗(yàn)分布式協(xié)同工作系統(tǒng)（ZooKeeper）高效的選舉算法，確保分布式系統(tǒng)一致性保證集群數(shù)據(jù)及配置同步實(shí)現(xiàn)統(tǒng)一命名服務(wù)分布式數(shù)據(jù)庫（HBase）分布式、面向列存儲的、多維度的數(shù)據(jù)系統(tǒng)數(shù)據(jù)自動切分和分布存儲高可擴(kuò)展性，高性能 并發(fā)讀寫分布式計(jì)算框架（Map/Reduce）高度并行和可擴(kuò)展的分布式批處理計(jì)算框架高容錯(cuò)能力，支持任務(wù)自動遷移和重試合理調(diào)度任務(wù)，有效降低網(wǎng)絡(luò)帶寬靈活的資

11、源分配和調(diào)度，達(dá)到資源利用最大化分布式數(shù)據(jù)倉庫（Hive）高性能分布式海量數(shù)據(jù)倉庫強(qiáng)大的查詢與分析功能類似 SQL 的查詢語言數(shù)據(jù)轉(zhuǎn)移工具（Sqoop）將關(guān)系型數(shù)據(jù)庫導(dǎo)入到 Hadoop 的 HDFS將 HDFS 的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫分布式數(shù)據(jù)處理（Pig）大規(guī)模數(shù)據(jù)分析實(shí)現(xiàn)平臺 系統(tǒng)自動化最優(yōu)策略實(shí)現(xiàn) 高可擴(kuò)展性，易于實(shí)現(xiàn)用戶需求浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 83.應(yīng)用場景應(yīng)用場景云海大數(shù)據(jù)一體機(jī)是一體化的數(shù)據(jù)分析處理平臺，可應(yīng)對多種數(shù)據(jù)類型和多種數(shù)據(jù)處理需求，包括但不限于以下四種應(yīng)用場景：海量數(shù)據(jù)存儲海量數(shù)據(jù)存儲：大數(shù)據(jù)一體機(jī)具備高性能的分布式文件系統(tǒng)，支持大吞吐量高并發(fā)訪問，具

12、有自我修復(fù)，動態(tài)擴(kuò)展等特性，硬件配備了高密度大容量的硬盤和高速的數(shù)據(jù)交換網(wǎng)絡(luò)，對外提供豐富的數(shù)據(jù)訪問接口，非常適合監(jiān)控視頻，醫(yī)療影像，科研數(shù)據(jù)等大數(shù)據(jù)集的存儲。批量數(shù)據(jù)處理批量數(shù)據(jù)處理：通過分布式計(jì)算框架 MapReduce,大數(shù)據(jù)一體機(jī)可調(diào)用所有節(jié)點(diǎn)的計(jì)算資源執(zhí)行諸如數(shù)據(jù)格式整理，數(shù)據(jù)類型轉(zhuǎn)換，圖片特征值提取，語音識別等數(shù)據(jù)數(shù)據(jù)處理任務(wù)，在處理過程中減少了數(shù)據(jù)在不同節(jié)點(diǎn)間的交換，降低了傳輸帶寬的壓力，極大的提升了處理效率。海量結(jié)構(gòu)化數(shù)據(jù)在線查詢海量結(jié)構(gòu)化數(shù)據(jù)在線查詢：大數(shù)據(jù)一體機(jī)內(nèi)置了列存數(shù)據(jù)庫 HBase,它具有高效的查詢性能和良好的橫向擴(kuò)展能力，支持高并發(fā)訪問，百億條的數(shù)據(jù)規(guī)模下進(jìn)行查詢

13、可達(dá)到毫秒級響應(yīng)，非常適合金融，電信等行業(yè)的歷史交易詳單查詢以浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 9及公安，交通等行業(yè)的道路卡口數(shù)據(jù)查詢，快速身份信息查詢等需。數(shù)據(jù)倉庫：數(shù)據(jù)倉庫：大數(shù)據(jù)一體機(jī)配備了數(shù)據(jù)倉庫工具和 ETL 工具，可實(shí)現(xiàn)將數(shù)據(jù)從多種數(shù)據(jù)庫，多個(gè)數(shù)據(jù)源抽取，轉(zhuǎn)換最終加載到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫對外提供標(biāo)準(zhǔn) SQL 接口，可對接 SAS，Congons 等傳統(tǒng)分析應(yīng)用，適合各種面向分析應(yīng)用的數(shù)據(jù)倉庫場景。4.關(guān)鍵技術(shù)特性關(guān)鍵技術(shù)特性針對企業(yè)用戶對與數(shù)據(jù)分析處理的需求，大數(shù)據(jù)一體機(jī)在硬件上進(jìn)行了定制化設(shè)計(jì)，在軟件層面也在開源 Hadoop 基礎(chǔ)之上進(jìn)行了優(yōu)化和較大的功能改進(jìn)： 1.支持高

14、速并發(fā)寫入和高并發(fā)查詢，每秒實(shí)現(xiàn) 10 萬條以上寫入和查詢（記錄大小 1K）；2.遞交請求創(chuàng)建數(shù)據(jù)表，數(shù)據(jù)表需要能靈活改變 Schema；3.靈活的表結(jié)構(gòu)，可動態(tài)改變和增加每一行的列，保證新舊數(shù)據(jù)共存；4.數(shù)據(jù)自動切分和分布，可通過增加服務(wù)器動態(tài)擴(kuò)容，擴(kuò)容過程中無需停機(jī)可持續(xù)服務(wù)；5.單臺數(shù)據(jù)庫節(jié)點(diǎn)失效會自動修復(fù)，所提供服務(wù)可自動遷移至集群中其他服務(wù)器；6.數(shù)據(jù)文件存放于分布式文件系統(tǒng)之上，可復(fù)制多份，保證數(shù)據(jù)不丟失；7.數(shù)據(jù)文件實(shí)現(xiàn)元數(shù)據(jù)備份和恢復(fù)功能，防止元數(shù)據(jù)破壞失效；8.線上動態(tài)擴(kuò)容，新加節(jié)點(diǎn)可以實(shí)現(xiàn)自動負(fù)載均衡；浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 109.節(jié)點(diǎn)數(shù)據(jù)的副本以及正確性的自

15、動檢查，盡最大限度的保證數(shù)據(jù)的高可用性；10.多副本機(jī)制，提供高并發(fā)讀性能；11.磁盤故障的自動檢測，發(fā)現(xiàn)故障磁盤，數(shù)據(jù)自動實(shí)現(xiàn)副本恢復(fù)遷移；12.提供多層容錯(cuò)機(jī)制，應(yīng)用程序故障能自動遷移重啟；13.可以實(shí)現(xiàn)表中指定列的復(fù)制份數(shù)，做到可用性和復(fù)制冗余根據(jù)需要靈活調(diào)配；14.可以實(shí)現(xiàn)表中指定列的壓縮，可根據(jù)需要實(shí)現(xiàn)存儲空間的高利用率；15.分布式數(shù)據(jù)庫自動負(fù)載均衡；16.分布式數(shù)據(jù)庫支持多級別的客戶請求過濾器，可對單個(gè)列族、多列族、行等進(jìn)行過濾；17.分布式數(shù)據(jù)庫局部性機(jī)制，減少讀寫數(shù)據(jù)時(shí)網(wǎng)絡(luò)傳輸消耗；18.分布式數(shù)據(jù)倉庫可以增加節(jié)點(diǎn)提高計(jì)算性能，擴(kuò)容無須停機(jī)；19.分布式數(shù)據(jù)倉庫需要提供靈活的

16、擴(kuò)展性，如復(fù)雜數(shù)據(jù)類型，擴(kuò)展函數(shù)和腳本等；20.分布式數(shù)據(jù)倉庫可以提供分區(qū)操作，桶操作；21.集群管理軟件提供圖形化界面對集群服務(wù)器角色，配置和狀態(tài)進(jìn)行管理；22.集群管理軟件支持分布式文件系統(tǒng)、分布式數(shù)據(jù)庫和分布式數(shù)據(jù)參數(shù)所有參數(shù)配置及用戶自定義參數(shù)配置；浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 1123.集群管理軟件支持集群服務(wù)器上分布式系統(tǒng)狀態(tài)監(jiān)控和服務(wù)器狀態(tài)監(jiān)控；24.集群管理軟件支持自定義報(bào)警；25.集群節(jié)點(diǎn)健康狀態(tài)監(jiān)控管理；26.集群組件服務(wù)狀態(tài)監(jiān)控；27.平臺支持全文檢索功能擴(kuò)展；28.提供大對象存儲能力；29.采用有效的數(shù)據(jù)冗余技術(shù)；30.提供有效的安全訪問及鑒權(quán)機(jī)制，確保合法用戶對

17、數(shù)據(jù)進(jìn)行合法訪問；31.提供獨(dú)立的遠(yuǎn)程管理控制端口；32.提供自動化的管理特性，幫助管理員簡化運(yùn)維管理；33.可根據(jù)日志數(shù)據(jù)的保存周期，設(shè)置數(shù)據(jù)生命周期策略，對不同階段的日志數(shù)據(jù)采用不同的可靠性策略，并支持自動資源回收。技術(shù)指標(biāo)技術(shù)指標(biāo)根據(jù)不同的應(yīng)用場景需求，浪潮云海大數(shù)據(jù)一體機(jī)有三個(gè)通用系列供用戶選擇，根據(jù)不同的應(yīng)用場景需求，浪潮云海大數(shù)據(jù)一體機(jī)有三個(gè)通用系列供用戶選擇，并可為用戶進(jìn)行定制化配置滿足客戶要求：并可為用戶進(jìn)行定制化配置滿足客戶要求：大數(shù)據(jù)一體機(jī)型號大數(shù)據(jù)一體機(jī)型號SDA20000SDA30000SDA60000*擴(kuò)展性擴(kuò)展性只支持單機(jī)柜,最多 14 個(gè)數(shù)據(jù)節(jié)點(diǎn) 主柜最多 14

18、個(gè)節(jié)點(diǎn)支持 1-2 個(gè)機(jī)柜，最多 30個(gè)數(shù)據(jù)節(jié)點(diǎn)主柜最多 12 個(gè)節(jié)點(diǎn)，支持多個(gè)機(jī)柜，最大支持60 節(jié)點(diǎn)應(yīng)用場景應(yīng)用場景小規(guī)模數(shù)據(jù)處理，高性價(jià)比配置，適合數(shù)據(jù)量大，浪潮云海大數(shù)據(jù)一體機(jī)產(chǎn)品白皮書頁頁 12擴(kuò)展性要求不高適合大多數(shù)數(shù)據(jù)處理場景增長速度快，數(shù)據(jù)處理性能要求高的應(yīng)用場景管理網(wǎng)絡(luò)管理網(wǎng)絡(luò)千兆以太網(wǎng)千兆以太網(wǎng)千兆以太網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)網(wǎng)絡(luò)千兆以太網(wǎng)萬兆以太網(wǎng)萬兆以太網(wǎng)整機(jī)最大計(jì)算整機(jī)最大計(jì)算 CPU168 核360 核720 核整機(jī)最大計(jì)算內(nèi)存整機(jī)最大計(jì)算內(nèi)存5096GB10920GB21840GB*整機(jī)最大存儲空間整機(jī)最大存儲空間504TB1080TB2160TB交流輸入電壓交流輸入電壓220V 或 380V 可選220V 或 380V 可選220V 或 380V 可選整柜最大功率整柜最大功率11200w1260