華為云計算與大數(shù)據(jù)

一、華為云計算

二、華為的大數(shù)據(jù)處理目錄華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第1頁!2022/12/152華為云戰(zhàn)略定位

華為云定位于運營商和企業(yè)的云服務(wù)市場，提供私有云、公有云和混合云解決方案，構(gòu)建華為“云管端”整體ICT（informationandmunicationstechnology）解決方案，面向企業(yè)、電信運營商和消費者3大業(yè)務(wù)領(lǐng)域客戶。華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第2頁!云計算是商業(yè)模式和技術(shù)理念的統(tǒng)一2022/12/153云服務(wù)-“按需取用”的商業(yè)模式+

云平臺-分布式和并行軟件系統(tǒng)華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第3頁!華為云平臺IDC整體視圖2022/12/154云服務(wù)云平臺華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第4頁!華為提供端到端云解決方案2022/12/155華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第5頁!提供系列化云硬件平臺產(chǎn)品2022/12/156華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第6頁!華為桌面云即SingleCLOUD指“1個平臺+N種應(yīng)用”的安全解決方案。1個平臺即SingleCLOUD，將軟件與某一個具體的服務(wù)器分離，這樣，所有的軟件共享所有的硬件資源，實現(xiàn)“軟件與硬件的解耦”，實現(xiàn)真正的云計算。SingleCLOUD云平臺，支持“百萬級服務(wù)器集群、百萬T的存儲能力、百T級網(wǎng)絡(luò)互連能力”，支撐海量信息的計算和存儲，并通過“Zero-Touch的自動管控”，大大降低運維成本。采用業(yè)界主流高性能桌面協(xié)議(ICA)提供桌面云規(guī)劃設(shè)計、部署、驗證等系列服務(wù)和工具。2022/12/157華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第7頁!2022/12/158華為認為的大數(shù)據(jù)挑戰(zhàn)華為提出了大數(shù)據(jù)整體架構(gòu)，并總結(jié)出當(dāng)前面臨6方面挑戰(zhàn)：云存儲、大數(shù)據(jù)技術(shù)、E2E的媒體云、虛擬桌面、HTML5和高性能計算（HPC）。華為的大數(shù)據(jù)處理華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第8頁!大數(shù)據(jù)應(yīng)用領(lǐng)域視頻轉(zhuǎn)碼3D渲染金融領(lǐng)域計算天氣預(yù)測風(fēng)洞計算地質(zhì)模擬數(shù)據(jù)挖掘仿真…2022/12/159華為的大數(shù)據(jù)處理華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第9頁!華為為公有云和私有云市場構(gòu)建統(tǒng)一的云存儲解決方案(以分布式存儲為主，也可結(jié)合虛擬化存儲)，由三個層面構(gòu)成：存儲硬件層、存儲平臺層和存儲服務(wù)層。存儲平臺層是一套基于DHT的分布式Key-Value存儲系統(tǒng)，將大規(guī)模的存儲設(shè)備資源聚合成一個具有統(tǒng)一視圖的、海量的存儲空間。存儲服務(wù)層基于平臺層提供的Key-Value接口，提供多種類型的存儲服務(wù)和接口協(xié)議，并提供存儲服務(wù)所需的訪問安全機制。存儲硬件層可以是通用的存儲服務(wù)器，也可以是定制優(yōu)化的專用硬件。華為云存儲解決方案實現(xiàn)了多種存儲服務(wù)的融合和統(tǒng)一。多種存儲服務(wù)可以采用一致的接口訪問存儲引擎，實現(xiàn)存儲容量、IO的共享，同時為各存儲服務(wù)提供不同的QoS。華為云存儲解決方案在架構(gòu)上考慮了如下要素：（1）海量的可擴展性；（2）自組織自管理；（3）強一致性；（4）高性能的塊存儲服務(wù)；（5）定制優(yōu)化的低成本、高密度存儲硬件2022/12/1510華為云存儲解決方案華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第10頁!華為大數(shù)據(jù)解決方案在大數(shù)據(jù)分析方面，華為大數(shù)據(jù)解決方案將電信領(lǐng)域在高可用、高性能、易運維、易集成的積累，注入到ApacheHadoop系統(tǒng)中，形成企業(yè)級Hadoop產(chǎn)品，降低企業(yè)應(yīng)用Hadoop技術(shù)的難度。華為Hadoop方案已應(yīng)用于電信網(wǎng)監(jiān)測和IPTV內(nèi)容推薦，并取得良好效果。另外，在實時數(shù)據(jù)處理方面，華為大數(shù)據(jù)解決方案繼承電信極高流量處理能力，基于PC服務(wù)器能夠完成數(shù)百萬每秒的事務(wù)過濾和處理，已用于云計算的物理和虛擬機集群監(jiān)控。2022/12/1511華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第11頁!華為E2E媒體云解決方案華為UVI以統(tǒng)一的架構(gòu)，將媒體注入、處理、存儲、分發(fā)推流、分析、管理等關(guān)鍵能力集于一身，形成“云管端”協(xié)同的智能媒體云解決方案。針對內(nèi)容生產(chǎn)的多格式/多速率，華為媒體云采用內(nèi)容智能分片/合并、并行轉(zhuǎn)碼、資源動態(tài)調(diào)度、硬件加速等技術(shù)，同時滿足離線與實時的媒體處理需求，為不同需求的用戶提供性價比最優(yōu)的解決方案；配合降噪與畫面增強等算法，使各種速率/格式的內(nèi)容達到視頻質(zhì)量最佳；支持內(nèi)容、語音識別等增值算法，為搜索推薦等業(yè)務(wù)提供強大的支撐。在內(nèi)容分發(fā)領(lǐng)域，華為媒體云以一套融合平臺改變煙囪狀的網(wǎng)絡(luò)現(xiàn)狀，同時支持OTT/IPTV/MBB等場景；高性能流化服務(wù)器，在功耗降低的同時，較傳統(tǒng)服務(wù)器性能提升5～10倍；高效文件系統(tǒng)結(jié)合統(tǒng)一緩存（cache）策略等技術(shù)，在提升命中率的同時，大幅縮減了存儲需求；多策略組合的智能內(nèi)容路由技術(shù)，使用戶的請求得到快速響應(yīng)；智能感知并動態(tài)調(diào)整推流碼率，以確保畫面的流暢體驗。2022/12/1512華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第12頁!華為VDI解決方案華為VDI解決方案包括兩大類功能：（1）桌面協(xié)議功能，包括：桌面協(xié)議框架的服務(wù)器和客戶端，桌面顯示的服務(wù)器和客戶端，外設(shè)重定向的服務(wù)器和客戶端，語音重定向的服務(wù)器和客戶端，VOIP定制化的服務(wù)器和客戶端，鼠標(biāo)重定向到服務(wù)器和客戶端，鍵盤重定向的服務(wù)器和客戶端，以及多媒體重定向的服務(wù)器和客戶端。（2）桌面管理系統(tǒng)功能，包括：管理服務(wù)器，駐留在虛擬機中的桌面管理代理，駐留在客戶端上的終端管理代理，以及提供操作維護界面的管理控制臺。2022/12/1513華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第13頁!華為云計算落地的兩個方面2022/12/1514云計算落地方案華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第14頁!華為提出的支持智能城市的云平臺架構(gòu)2022/12/1515華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第15頁!綠色高效的云機房建設(shè)2022/12/1516華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第16頁!提供云操作系統(tǒng)2022/12/1517華為云計算華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第17頁!一、華為云計算

二、華為的大數(shù)據(jù)處理目錄華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第18頁!華為大數(shù)據(jù)整體架構(gòu)2022/12/1519華為的大數(shù)據(jù)處理華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第19頁!云存儲-需求和挑戰(zhàn)存儲海量數(shù)據(jù)，并提供服務(wù)是云存儲的主要需求和挑戰(zhàn)。在公有云領(lǐng)域，云存儲的主要需求為：低成本和海量伸縮性、存儲的內(nèi)容為海量的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。其存儲方案一般都采用廉價的x86存儲服務(wù)器和分布式存儲軟件（GFS、Dynamo）。在企業(yè)存儲市場，以SAN和NAS為主流的存儲方案，一般采用雙控制器的專用存儲硬件。公有云和企業(yè)存儲存在很大差異：現(xiàn)有公有云存儲雖然在系統(tǒng)的伸縮性方面取得突破，但卻犧牲一些傳統(tǒng)存儲的關(guān)鍵特性，如不支持POSIX接口、不適合大量隨機小IO、不適合強一致性等要求；企業(yè)存儲系統(tǒng)如果作為云存儲平臺，其容量、可靠性、性能將無法支撐。2022/12/1520華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第20頁!大數(shù)據(jù)處理技術(shù)的趨勢與挑戰(zhàn)當(dāng)前大數(shù)據(jù)表現(xiàn)為如下兩方面主要特征：(1)大數(shù)據(jù)量十T級是入門，百T級PB級已非常常見；(2)響應(yīng)速度數(shù)據(jù)產(chǎn)生的速度越來越快，對于數(shù)據(jù)中蘊含信息的提取，以及對于提取信息的反饋，要求越來越快。由于在數(shù)據(jù)量和響應(yīng)速度兩個維度的交織，給大數(shù)據(jù)的處理帶來很大的困難。在過去五到十年，兩類技術(shù)已經(jīng)發(fā)展起來，針對性地解決上述兩個的挑戰(zhàn)。發(fā)源于金融自動交易系統(tǒng)的復(fù)雜事件處理（CEP）技術(shù)，經(jīng)過美國若干大學(xué)領(lǐng)先團隊的研究及創(chuàng)業(yè)公司的工程優(yōu)化，已走向?qū)嵱?，?shù)百萬每秒事件的處理，在工程上成為可能。隨著互聯(lián)網(wǎng)點擊流實時處理以及微博等業(yè)務(wù)的出現(xiàn)，流處理系統(tǒng)發(fā)展為分布式系統(tǒng)。雅虎和Twitter都開源了其流處理系統(tǒng)，這進一步推動了大規(guī)模流處理系統(tǒng)的應(yīng)用。發(fā)源于谷歌的開源系統(tǒng)Hadoop，隨著眾多公司的加入，已形成大數(shù)據(jù)處理的事實標(biāo)準。來自數(shù)據(jù)源的原始數(shù)據(jù)，以及經(jīng)過流處理再生成的結(jié)果數(shù)據(jù)，一起再進入Hadoop系統(tǒng)形成一個可供后處理的全量數(shù)據(jù)處理平臺，已形成經(jīng)典的大數(shù)據(jù)處理模式。2022/12/1521華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第21頁!視頻媒體面臨的挑戰(zhàn)高清、3D以及超高清，將給視頻存儲與分發(fā)帶寬帶來十到百倍以上的增長。為了適應(yīng)多終端以及網(wǎng)絡(luò)有效傳輸，視頻在碎片化的同時，需要被轉(zhuǎn)化為多種Codec以及上百種的格式/速率，傳統(tǒng)的存儲與計算方式難以應(yīng)對如此巨大的需求。用戶面對海量的視頻無從下手，大量存量內(nèi)容亟待被挖掘。2022/12/1522華為的大數(shù)據(jù)處理-核心技術(shù)華為云計算與大數(shù)據(jù)共24頁，您現(xiàn)在瀏覽的是第22頁!虛擬桌面（前面提到的桌面云的關(guān)鍵技術(shù)）業(yè)界把虛擬桌面場景分為6大類，VDI是最常見的一類，其基本原理是將所有桌面虛擬機在數(shù)據(jù)中心進行托管并統(tǒng)一管理，而用戶可以通過瘦客戶端，或移動智能終端等類似設(shè)備，在局域網(wǎng)/廣域網(wǎng)訪問，獲得與傳統(tǒng)PC一致的用戶體驗。VDI方案中，用戶的桌面應(yīng)用邏輯及其存儲運行在云端數(shù)據(jù)中心的虛擬機內(nèi)，本地只有瘦終端，處理顯示、鼠標(biāo)鍵盤事件和本地外設(shè)映射，通過遠程桌面協(xié)議傳送顯示、事件、語音和視頻等內(nèi)容。VDI應(yīng)用場景非常廣泛，包括企業(yè)辦公、行業(yè)應(yīng)用、家庭娛樂、運營商營業(yè)廳和呼叫中心等。VDI給用戶帶來的好處是（1）客戶端處理能力要求小，成本低；（2）客戶端功耗低，無噪音，符合節(jié)能減排要求；（3）客戶端無需升級維護，降低維護成本；（4）數(shù)據(jù)安全保