第章大數(shù)據(jù)發(fā)展趨勢(shì)與鯤鵬大數(shù)據(jù) 第章大數(shù)據(jù)發(fā)展趨勢(shì)與鯤鵬大數(shù)據(jù)

陳傲/cwx8602062020.04.09關(guān)文政/wx511452陳傲/cwx8602062020.04.15鄢華/ywx416015評(píng)審大數(shù)據(jù)發(fā)展趨勢(shì)與鯤鵬大數(shù)據(jù)本章為大數(shù)據(jù)的趨勢(shì)課程，主要分為兩個(gè)主要部分。第一部分為大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)，主要講述什么是大數(shù)據(jù)時(shí)代，以及身處大數(shù)據(jù)時(shí)代我們面臨的機(jī)遇與挑戰(zhàn)，以便培養(yǎng)大數(shù)據(jù)思維。而為了響應(yīng)時(shí)代的號(hào)召，助力合作伙伴更快更好地完成智能化轉(zhuǎn)型，華為提出“鯤鵬生態(tài)”戰(zhàn)略，不斷提升算力，提高數(shù)據(jù)治理能力。因此，第二部分主要介紹華為鯤鵬的解決方案，簡(jiǎn)述基于鯤鵬芯片的鯤鵬服務(wù)器、華為云鯤鵬云服務(wù)，同時(shí)簡(jiǎn)單介紹華為HCS8.0中有關(guān)大數(shù)據(jù)和數(shù)據(jù)分析處理的常用公有云服務(wù)，并介紹華為云MRS服務(wù)的優(yōu)勢(shì)及應(yīng)用場(chǎng)景。學(xué)習(xí)完本章后，您將能夠：掌握什么是大數(shù)據(jù)，大數(shù)據(jù)的4v特性，以及大數(shù)據(jù)的時(shí)代需求和挑戰(zhàn)掌握大數(shù)據(jù)技術(shù)趨勢(shì)及應(yīng)用了解華為鯤鵬解決方案了解華為大數(shù)據(jù)解決方案大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇大數(shù)據(jù)時(shí)代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)計(jì)算任務(wù)企業(yè)所面臨的挑戰(zhàn)和機(jī)遇華為鯤鵬解決方案開(kāi)啟第四次產(chǎn)業(yè)革命，迎接智能時(shí)代蒸汽時(shí)代1760s-1840s英國(guó)電氣時(shí)代1860s-1920s歐美信息時(shí)代1940s-2010s美國(guó)智能時(shí)代(?)熱力電力計(jì)算機(jī)、通信云、大、物、智歐美主要國(guó)家的大數(shù)據(jù)戰(zhàn)略美國(guó)總統(tǒng)科技顧問(wèn)委員會(huì)發(fā)布了NITRO編寫的《聯(lián)邦大數(shù)據(jù)研究和開(kāi)發(fā)戰(zhàn)略計(jì)劃》，以確保國(guó)家在研發(fā)上的持續(xù)領(lǐng)導(dǎo)；提高國(guó)家應(yīng)對(duì)社會(huì)壓力的能力以及通過(guò)研究和開(kāi)發(fā)面向國(guó)家和世界的環(huán)境問(wèn)題。由英國(guó)商務(wù)、創(chuàng)新和技能部牽頭編制的《英國(guó)數(shù)據(jù)能力發(fā)展戰(zhàn)略規(guī)劃》發(fā)布。該戰(zhàn)略旨在使英國(guó)成為大數(shù)據(jù)分析的世界領(lǐng)跑者。歐盟委員會(huì)發(fā)布《打造歐洲數(shù)據(jù)經(jīng)濟(jì)》報(bào)告，對(duì)數(shù)據(jù)驅(qū)動(dòng)型經(jīng)濟(jì)的潛力、面臨的障礙、解決方案等進(jìn)行了分析總結(jié)。澳大利亞政府信息管理辦公室大數(shù)據(jù)工作組發(fā)布了《公共服務(wù)大數(shù)據(jù)戰(zhàn)略》，旨在使澳大利亞在該領(lǐng)域躋身全球領(lǐng)先水平。日本政府經(jīng)內(nèi)閣會(huì)議決定了2014年度版《制造業(yè)白皮書》。白皮書中指出，日本制造業(yè)在積極發(fā)揮IT作用方面落后于歐美，建議轉(zhuǎn)型為利用大數(shù)據(jù)的“下一代”制造業(yè)。美國(guó)英國(guó)歐盟澳大利亞日本中國(guó)實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略加快建設(shè)數(shù)字中國(guó)：要推動(dòng)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展；要構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)；要運(yùn)用大數(shù)據(jù)提升國(guó)家治理現(xiàn)代水平；要運(yùn)用大數(shù)據(jù)促進(jìn)保障和改善民生；要切實(shí)保障國(guó)家數(shù)據(jù)安全。智能世界，從數(shù)據(jù)管理走向數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)驅(qū)動(dòng)體驗(yàn)每天1.2億數(shù)據(jù)標(biāo)簽數(shù)據(jù)決定用戶體驗(yàn)數(shù)據(jù)驅(qū)動(dòng)決策50年油田歷史數(shù)據(jù)綜合分析數(shù)據(jù)分析決定石油開(kāi)采效率數(shù)據(jù)驅(qū)動(dòng)流程每天45萬(wàn)次數(shù)據(jù)碰撞數(shù)據(jù)流動(dòng)決定流程繁簡(jiǎn)所有生意都是數(shù)據(jù)生意YourbusinessisnowadatabusinessStreamingdataisabusinessopportunityDataaboutyourcustomersisasvaluableasyourcustomersDataisthePlatformKeepdatamoving數(shù)據(jù)的生意數(shù)據(jù)和客戶同價(jià)流數(shù)據(jù)即商機(jī)數(shù)據(jù)即平臺(tái)讓數(shù)據(jù)流動(dòng)大數(shù)據(jù)時(shí)代維基百科的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過(guò)可容忍時(shí)間的數(shù)據(jù)集。4VVelocity處理速度快Value價(jià)值密度低Volume體量巨大Variety類型繁多大數(shù)據(jù)處理與傳統(tǒng)數(shù)據(jù)處理的差異從數(shù)據(jù)庫(kù)(database，DB)到大數(shù)據(jù)(bigdata，BD)“池塘捕魚”VS“大海捕魚”，“魚”是待處理的數(shù)據(jù)。大數(shù)據(jù)處理傳統(tǒng)數(shù)據(jù)處理數(shù)據(jù)規(guī)模大

(以GB、TB、PB為處理單位)小

(以MB為處理單位)數(shù)據(jù)類型繁多

(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)單一

(結(jié)構(gòu)化為主)模式和數(shù)據(jù)的關(guān)系先有數(shù)據(jù)后有模式，模式隨數(shù)據(jù)增多不斷演變先有模式后有數(shù)據(jù)

(先有池塘后有魚)處理對(duì)象“大海中的魚”，通過(guò)某些“魚”判斷其他種類的“魚”是否存在“池塘中的魚”處理工具NosizefitsallOnesizefitsall大數(shù)據(jù)已在蓬勃發(fā)展一個(gè)互聯(lián)網(wǎng)用戶1GB/天一個(gè)智慧家居10GB/天一輛自動(dòng)駕駛汽車64TB/天一架聯(lián)網(wǎng)飛機(jī)200TB/天一家數(shù)字化工廠1PB/天一家熱點(diǎn)資訊APP50PB/天我國(guó)網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。智慧交通智慧工廠智慧金融智慧安防智慧政府大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇大數(shù)據(jù)時(shí)代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)計(jì)算模式企業(yè)所面臨的挑戰(zhàn)和機(jī)遇華為鯤鵬解決方案數(shù)據(jù)，已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)領(lǐng)域，洞見(jiàn)本質(zhì)(業(yè)務(wù))、預(yù)測(cè)趨勢(shì)、指引未來(lái)是BigData時(shí)代的核心用未來(lái)牽引現(xiàn)在，用現(xiàn)在保證未來(lái)！大數(shù)據(jù)時(shí)代引領(lǐng)未來(lái)電信、金融、政府等行業(yè)數(shù)據(jù)分析的訴求強(qiáng)烈，互聯(lián)網(wǎng)已開(kāi)始應(yīng)用新技術(shù)處理價(jià)值密度低的大數(shù)據(jù)。電信、金融結(jié)構(gòu)化經(jīng)營(yíng)分析電信信令金融細(xì)賬金融票據(jù)電力調(diào)度智能電網(wǎng)經(jīng)營(yíng)類結(jié)構(gòu)化+半結(jié)構(gòu)化績(jī)效管理報(bào)表分析歷史分析社保分析納稅分析決策支持和預(yù)測(cè)管理類結(jié)構(gòu)化+半結(jié)構(gòu)化智慧交通智慧社區(qū)輿情管理銀監(jiān)會(huì)稽查食品溯源環(huán)保監(jiān)測(cè)監(jiān)管類非結(jié)構(gòu)化音視頻地震勘探氣象云圖衛(wèi)星遙感雷達(dá)數(shù)據(jù)物聯(lián)網(wǎng)專業(yè)類金融政府企、事業(yè)單位企業(yè)級(jí)大數(shù)據(jù)平臺(tái)應(yīng)用場(chǎng)景(1)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)應(yīng)用場(chǎng)景(2)營(yíng)銷分析、客戶分析和內(nèi)部運(yùn)營(yíng)管理分別是企業(yè)大數(shù)據(jù)排名前三的應(yīng)用場(chǎng)景：大數(shù)據(jù)的市場(chǎng)分析中國(guó)大數(shù)據(jù)產(chǎn)業(yè)總體規(guī)模及增速2014201520162017201820192020E預(yù)測(cè)到2020年底，大數(shù)據(jù)行業(yè)整體規(guī)模超萬(wàn)億，行業(yè)解決方案和大數(shù)據(jù)應(yīng)用占比最高：大數(shù)據(jù)細(xì)分領(lǐng)域市場(chǎng)規(guī)模占比固定時(shí)間地點(diǎn)獲取服務(wù)被動(dòng)接受數(shù)據(jù)信任市場(chǎng)信息被動(dòng)接受傳播標(biāo)準(zhǔn)化和產(chǎn)業(yè)化提供服務(wù)關(guān)注過(guò)程和步驟被動(dòng)接受信息且信息來(lái)源單一通過(guò)客戶經(jīng)理聯(lián)系客戶固定渠道單一交互隨時(shí)隨地獲取服務(wù)分析、創(chuàng)造數(shù)據(jù)尋找有意義的體驗(yàn)審視細(xì)節(jié)互動(dòng)參與內(nèi)容、產(chǎn)品和體驗(yàn)的創(chuàng)建傳統(tǒng)客戶傳統(tǒng)金融新金融機(jī)構(gòu)關(guān)注場(chǎng)景運(yùn)營(yíng)客戶服務(wù)客戶個(gè)性化的靈活服務(wù)全渠道營(yíng)銷客戶數(shù)據(jù)挖掘重要性互動(dòng)分析推薦新客戶大數(shù)據(jù)的應(yīng)用-金融5學(xué)習(xí)成績(jī)1入學(xué)率2輟學(xué)率3識(shí)字的準(zhǔn)確率5升學(xué)率4作業(yè)的正確率6考試時(shí)答題的順序11師生互動(dòng)的時(shí)長(zhǎng)與頻率回答問(wèn)題的時(shí)長(zhǎng)、正確率課堂舉手次數(shù)回答問(wèn)題的次數(shù)平均每道題花費(fèi)的時(shí)間1278910學(xué)校教育中的“大數(shù)據(jù)”現(xiàn)在，大數(shù)據(jù)分析已經(jīng)被應(yīng)用到教育的各個(gè)層面。大數(shù)據(jù)的應(yīng)用-教育公共安全場(chǎng)景-自動(dòng)預(yù)警與聯(lián)動(dòng)城市/社區(qū)監(jiān)控系統(tǒng)確認(rèn)事務(wù)處理職務(wù)部門通報(bào)上級(jí)部門自動(dòng)預(yù)警系統(tǒng)：富華大廈右側(cè)異常人群超警戒。監(jiān)管部門即時(shí)定位初期問(wèn)題。發(fā)送確認(rèn)因群體性斗毆時(shí)間引發(fā)群眾聚集圍觀。可滿足城市人口流向監(jiān)測(cè)分析。人流異常增多預(yù)警區(qū)域人流閾值>10000人區(qū)域人流閾值>2000人大數(shù)據(jù)的應(yīng)用-政府公共安全路網(wǎng)規(guī)劃公交線路規(guī)劃歷史人流量超閾值區(qū)域工體北門：人流超500/H三里屯：人流超800/H北京工體：人流1500/H結(jié)合人群的交通預(yù)測(cè)建議10％按出行方式比例分析公交地鐵汽車其他30％按人群分析20以下20-3030-4035％20％50以上35％15％40％20％交通規(guī)劃場(chǎng)景－多維度交通人群分析大數(shù)據(jù)的應(yīng)用-交通規(guī)劃大數(shù)據(jù)的應(yīng)用-

清潔能源青海連續(xù)九天清潔能源供電煤炭消耗量減少80萬(wàn)噸

數(shù)據(jù)勘測(cè)離線數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)中心“智能+數(shù)據(jù)”：讓天更藍(lán)，水更清大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇大數(shù)據(jù)時(shí)代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)計(jì)算任務(wù)企業(yè)所面臨的挑戰(zhàn)和機(jī)遇華為鯤鵬解決方案IO密集型任務(wù)(IO-Intensive)涉及到網(wǎng)絡(luò)、磁盤、內(nèi)存IO的任務(wù)都是IO密集型任務(wù)。特點(diǎn)：CPU消耗很少，任務(wù)的大部分時(shí)間都在等待IO操作完成（因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度）。對(duì)于IO密集型任務(wù)，任務(wù)越多，CPU效率越高，但也有一個(gè)限度。常見(jiàn)的大部分任務(wù)都是IO密集型任務(wù)，比如Web應(yīng)用。IO密集型任務(wù)執(zhí)行期間，99%的時(shí)間都花在IO上，花在CPU上的時(shí)間很少，因此提升網(wǎng)絡(luò)傳輸效率和讀寫效率是重中之重。計(jì)算密集型任務(wù)(CPU-Intensive)特點(diǎn)：要進(jìn)行大量的計(jì)算，消耗CPU資源。比如計(jì)算圓周率、對(duì)視頻進(jìn)行高清解碼等等，全靠CPU的運(yùn)算能力。計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成，但是任務(wù)越多，花在任務(wù)切換的時(shí)間就越多，CPU執(zhí)行任務(wù)的效率就越低，所以，要最高效地利用CPU，計(jì)算密集型任務(wù)同時(shí)進(jìn)行的數(shù)量應(yīng)當(dāng)?shù)扔贑PU的核心數(shù)。計(jì)算密集型任務(wù)由于主要消耗CPU資源，因此，代碼運(yùn)行效率至關(guān)重要。數(shù)據(jù)密集型任務(wù)(Data-Intensive)數(shù)據(jù)密集型應(yīng)用與計(jì)算密集型應(yīng)用是存在區(qū)別的，傳統(tǒng)的計(jì)算密集型應(yīng)用往往通過(guò)并行計(jì)算方式在緊耦合的超級(jí)計(jì)算機(jī)上運(yùn)行少量計(jì)算作業(yè)，即一個(gè)計(jì)算作業(yè)同時(shí)占用大量計(jì)算機(jī)節(jié)點(diǎn)；而數(shù)據(jù)密集型應(yīng)用的特點(diǎn)主要是：大量獨(dú)立的數(shù)據(jù)分析處理作業(yè)可以分布在松耦合的計(jì)算機(jī)集群系統(tǒng)的不同節(jié)點(diǎn)上運(yùn)行；高度密集的海量數(shù)據(jù)I/O吞吐需求；大部分?jǐn)?shù)據(jù)密集型應(yīng)用都有個(gè)數(shù)據(jù)流驅(qū)動(dòng)的流程。數(shù)據(jù)型密集計(jì)算的典型應(yīng)用可概括為以下三類：日志分析軟件即服務(wù)(Saas)應(yīng)用大型企業(yè)的商務(wù)智能應(yīng)用大數(shù)據(jù)應(yīng)用的主要計(jì)算模式批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批量處理。主要技術(shù)有MapReduce、Spark等流計(jì)算針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算處理。主要技術(shù)：Spark、Storm、Flink、Flume、Dstream等。圖計(jì)算針對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理。主要技術(shù)：GraphX、Gelly、Giraph、PowerGraph等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析。主要技術(shù)：Hive、Impala、Dremel、Cassandra等。Hadoop大數(shù)據(jù)生態(tài)圈User/ApplicationAccessSecurity(Kerberos)Security(Kerberos)FlinkSparkStormOozieMapReduceHadoopReal-TimeProcessingBatchProcessingIntermediatedata(HDFS+HBase)Sourcedata(HDFS+HBase)DataStorageEnterpriseApplicationDataBaseLogsOtherDataSourcesLoaderFlumeKafkaHadoop大數(shù)據(jù)生態(tài)圈Ambari(安裝部署工具)Oozie(作業(yè)流調(diào)度系統(tǒng))Hive(數(shù)據(jù)倉(cāng)庫(kù))MapReduce(批處理)Tez(DAG計(jì)算)Spark(內(nèi)存計(jì)算)Flink(流批一體)Mahout(機(jī)器學(xué)習(xí))Pig(數(shù)據(jù)分析平臺(tái))YARN(統(tǒng)一的資源調(diào)配管理器)HDFS(分布式文件管理系統(tǒng))Zookeeper(分布式協(xié)調(diào)服務(wù))HBase(分布式No-SQL數(shù)據(jù)庫(kù))Flume(日志收集)Sqoop(ETL工具)大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇大數(shù)據(jù)時(shí)代大數(shù)據(jù)的應(yīng)用領(lǐng)域大數(shù)據(jù)計(jì)算任務(wù)企業(yè)所面臨的挑戰(zhàn)和機(jī)遇華為鯤鵬解決方案海量數(shù)據(jù)的高存儲(chǔ)成本數(shù)據(jù)批量處理性能不足流式數(shù)據(jù)處理缺失有限的擴(kuò)展能力單一數(shù)據(jù)源數(shù)據(jù)資產(chǎn)對(duì)外增值數(shù)據(jù)擴(kuò)展性需求和硬件性能之間存在差距傳統(tǒng)框架：小型機(jī)＋磁陣＋商用數(shù)據(jù)倉(cāng)庫(kù)面對(duì)挑戰(zhàn)，傳統(tǒng)數(shù)據(jù)處理遭遇天花板挑戰(zhàn)一：業(yè)務(wù)部門無(wú)清晰的大數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門不了解大數(shù)據(jù)的應(yīng)用場(chǎng)景和價(jià)值，因此難以提出大數(shù)據(jù)的準(zhǔn)確需求。由于業(yè)務(wù)部門需求不清晰，大數(shù)據(jù)部門又是非盈利部門，企業(yè)決策層擔(dān)心投入產(chǎn)出比不高，在搭建大數(shù)據(jù)部門時(shí)猶豫不決，甚至由于暫時(shí)沒(méi)有應(yīng)用場(chǎng)景，刪除了很多有價(jià)值的歷史數(shù)據(jù)。挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重企業(yè)啟動(dòng)大數(shù)據(jù)最重要的挑戰(zhàn)就是數(shù)據(jù)的碎片化。在大型企業(yè)中，不同類型的數(shù)據(jù)常常散落在不同部門，使得同一企業(yè)內(nèi)部數(shù)據(jù)無(wú)法共享，無(wú)法發(fā)揮大數(shù)據(jù)的價(jià)值。挑戰(zhàn)三：數(shù)據(jù)可用性低，質(zhì)量差很多大中型企業(yè)每天會(huì)產(chǎn)生大量的數(shù)據(jù)，但很多企業(yè)在大數(shù)據(jù)的預(yù)處理階段很不重視，導(dǎo)致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預(yù)處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類型，對(duì)數(shù)據(jù)進(jìn)行清洗和去噪，以提取有效的數(shù)據(jù)等操作。Sybase的數(shù)據(jù)表明，高質(zhì)量的數(shù)據(jù)可用性提高10%，企業(yè)效益提高20%以上。挑戰(zhàn)四：數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)傳統(tǒng)的數(shù)據(jù)庫(kù)不適合處理PB級(jí)別的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)庫(kù)沒(méi)有考慮數(shù)據(jù)的多樣性，尤其對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的兼容。海量數(shù)據(jù)運(yùn)維需要保證數(shù)據(jù)穩(wěn)定，支持高并發(fā)的同時(shí)減少服務(wù)器負(fù)載。挑戰(zhàn)五：數(shù)據(jù)安全問(wèn)題網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段。如何保證用戶的信息安全成為大數(shù)據(jù)時(shí)代非常重要的課題。此外，大數(shù)據(jù)的不斷增加，對(duì)數(shù)據(jù)存儲(chǔ)的物理安全性要求會(huì)越來(lái)越高，從而對(duì)數(shù)據(jù)的多副本與容災(zāi)機(jī)制也提出更高的要求。挑戰(zhàn)六：大數(shù)據(jù)人才缺乏大數(shù)據(jù)建設(shè)的每一個(gè)環(huán)節(jié)都需要依靠專業(yè)人員完成，因此必須培養(yǎng)和造就一支掌握大數(shù)據(jù)，懂管理，有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍。全球每年將新增數(shù)十萬(wàn)個(gè)大數(shù)據(jù)相關(guān)的工作崗位，未來(lái)將會(huì)出現(xiàn)100萬(wàn)以上的人才缺口。因此高校和企業(yè)共同努力去培養(yǎng)和挖掘人才。挑戰(zhàn)七：數(shù)據(jù)開(kāi)放與隱私的權(quán)衡在大數(shù)據(jù)應(yīng)用日益重要的今天，數(shù)據(jù)資源的開(kāi)放共享已經(jīng)成為在數(shù)據(jù)大戰(zhàn)中保持優(yōu)勢(shì)的關(guān)鍵。但是數(shù)據(jù)的開(kāi)放不可避免的會(huì)侵害一些用戶的隱私。如何在推動(dòng)數(shù)據(jù)全面開(kāi)放，應(yīng)用和共享的同時(shí)有效地保護(hù)公民和企業(yè)隱私，逐步加強(qiáng)隱私立法，將是大數(shù)據(jù)時(shí)代的一個(gè)重大挑戰(zhàn)。大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)所能帶來(lái)的巨大商業(yè)價(jià)值，被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域都造成影響，包括商業(yè)、經(jīng)濟(jì)等領(lǐng)域。大數(shù)據(jù)正在促生新的藍(lán)海，催生新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，正在成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。機(jī)遇一：大數(shù)據(jù)挖掘成為商業(yè)分析的核心大數(shù)據(jù)的重心從存儲(chǔ)與傳輸已經(jīng)逐步過(guò)渡到數(shù)據(jù)的挖掘與應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式，既可直接為企業(yè)帶來(lái)盈利，也可以通過(guò)正反饋為企業(yè)帶來(lái)難以復(fù)制的競(jìng)爭(zhēng)優(yōu)勢(shì)。一方面，大數(shù)據(jù)技術(shù)可以有效地幫助企業(yè)整合、挖掘、分析其所掌握的龐大數(shù)據(jù)信息，構(gòu)建系統(tǒng)化的數(shù)據(jù)體系，完善企業(yè)自身的結(jié)構(gòu)和管理機(jī)制。另一方面，伴隨消費(fèi)者個(gè)性化需求的增長(zhǎng)，大數(shù)據(jù)在各個(gè)領(lǐng)域的應(yīng)用逐步顯現(xiàn)，已經(jīng)開(kāi)始并正在改變著大多數(shù)企業(yè)的發(fā)展途徑及商業(yè)模式。機(jī)遇二：大數(shù)據(jù)成為信息技術(shù)應(yīng)用的支撐點(diǎn)大數(shù)據(jù)處理和分析成為新一代信息技術(shù)應(yīng)用的支撐點(diǎn)：移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些技術(shù)以大數(shù)據(jù)為節(jié)點(diǎn)，不斷匯集所產(chǎn)生的信息，并通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到各種應(yīng)用中，進(jìn)一步改善用戶的使用體驗(yàn)，創(chuàng)造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。因此，大數(shù)據(jù)具有催生社會(huì)變革的能量，但是釋放這種能量，需要更嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見(jiàn)的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境。機(jī)遇三：大數(shù)據(jù)成為信息產(chǎn)業(yè)持續(xù)增長(zhǎng)的新引擎大數(shù)據(jù)的商業(yè)價(jià)值和市場(chǎng)需求成為推動(dòng)信息產(chǎn)業(yè)持續(xù)增長(zhǎng)的新引擎：隨著行業(yè)用戶對(duì)大數(shù)據(jù)價(jià)值認(rèn)可程度的增加，市場(chǎng)需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。大數(shù)據(jù)將為信息產(chǎn)業(yè)創(chuàng)建一個(gè)高增長(zhǎng)的新市場(chǎng)：在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲(chǔ)、快速讀寫、實(shí)時(shí)分析等挑戰(zhàn)，將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)；在軟件與服務(wù)領(lǐng)域，因?yàn)榇髷?shù)據(jù)中蘊(yùn)涵的巨大價(jià)值，帶來(lái)對(duì)數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場(chǎng)的空前繁榮。大數(shù)據(jù)從什么地方來(lái)？這些數(shù)據(jù)有哪些特點(diǎn)？大數(shù)據(jù)可以應(yīng)用在哪些社會(huì)領(lǐng)域？大數(shù)據(jù)面臨哪些挑戰(zhàn)？大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)華為鯤鵬解決方案鯤鵬簡(jiǎn)介鯤鵬大數(shù)據(jù)解決方案萬(wàn)物互聯(lián)-海量數(shù)據(jù)產(chǎn)生需要更高算力自動(dòng)駕駛平安城市智能家居IoT工業(yè)感應(yīng)智慧能源數(shù)據(jù)中心2018年2.5億臺(tái)下降1.3%2018年16億部增長(zhǎng)1.2%連續(xù)7年下滑連續(xù)增長(zhǎng)PC過(guò)去，PC接入現(xiàn)在，移動(dòng)智能終端接入移動(dòng)智能終端逐漸取代傳統(tǒng)PC世界正在進(jìn)入萬(wàn)物互聯(lián)的時(shí)代2018年全球連接設(shè)備數(shù)超過(guò)230億傳統(tǒng)PC向移動(dòng)智能終端轉(zhuǎn)移海量數(shù)據(jù)產(chǎn)生新的算力需求應(yīng)用智能手機(jī)物聯(lián)網(wǎng)自動(dòng)駕駛數(shù)據(jù)文本圖片語(yǔ)音視頻計(jì)算應(yīng)用和數(shù)據(jù)的多樣性需要新的計(jì)算架構(gòu)整型計(jì)算文本處理數(shù)據(jù)分析浮點(diǎn)計(jì)算科學(xué)計(jì)算視頻處理超萬(wàn)億規(guī)模的計(jì)算產(chǎn)業(yè)空間新應(yīng)用、新技術(shù)、新計(jì)算架構(gòu)，百億級(jí)聯(lián)接、爆炸式數(shù)據(jù)增長(zhǎng)將重塑ICT產(chǎn)業(yè)新格局，催生新的計(jì)算產(chǎn)業(yè)鏈條，涌現(xiàn)出新的廠家和軟硬件：硬件：服務(wù)器及部件、企業(yè)存儲(chǔ)設(shè)備。軟件：操作系統(tǒng)和虛擬化軟件、數(shù)據(jù)庫(kù)、中間件、大數(shù)據(jù)平臺(tái)、企業(yè)應(yīng)用軟件，云服務(wù)、數(shù)據(jù)中心管理服務(wù);企業(yè)應(yīng)用軟件4020億數(shù)據(jù)中心管理服務(wù)1595億服務(wù)器1121億數(shù)據(jù)庫(kù)569億大數(shù)據(jù)平臺(tái)410億公有云IaaS1410億基礎(chǔ)架構(gòu)軟件1525億中間件434億企業(yè)存儲(chǔ)311億2023年全球計(jì)算產(chǎn)業(yè)投資額（美元）鯤鵬計(jì)算產(chǎn)業(yè)優(yōu)勢(shì)和ARM共享優(yōu)勢(shì)生態(tài)，協(xié)同加速發(fā)展以中國(guó)市場(chǎng)孵化和完善行業(yè)應(yīng)用，與全球產(chǎn)業(yè)形成良性循環(huán)

優(yōu)勢(shì)21鯤鵬計(jì)算產(chǎn)業(yè)整體架構(gòu)鯤鵬計(jì)算產(chǎn)業(yè)是基于Kunpeng處理器構(gòu)建的全棧IT基礎(chǔ)設(shè)施、行業(yè)應(yīng)用及服務(wù)，包括PC、服務(wù)器、存儲(chǔ)、操作系統(tǒng)、中間件、虛擬化、數(shù)據(jù)庫(kù)、云服務(wù)、行業(yè)應(yīng)用以及咨詢管理服務(wù)等。

數(shù)據(jù)庫(kù)虛擬化中間件行業(yè)應(yīng)用存儲(chǔ)操作系統(tǒng)Kunpeng處理器服務(wù)器云服務(wù)鯤鵬計(jì)算產(chǎn)業(yè)運(yùn)營(yíng)商政府金融游戲媒體與娛樂(lè)鯤鵬ECS鯤鵬BMS鯤鵬容器鯤鵬RDS鯤鵬DWSopenEuler操作系統(tǒng)TaiShan2280均衡型服務(wù)器TaiShan5280存儲(chǔ)型服務(wù)器TaiShanX6000高密型服務(wù)器智能SSD控制器芯片智能網(wǎng)卡芯片智能管理芯片OceanStorV6/FV6存儲(chǔ)兼容豐富的操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)軟件華為鯤鵬處理器高斯數(shù)據(jù)庫(kù)……………PC鯤鵬計(jì)算產(chǎn)業(yè)的典型應(yīng)用在5G、AI、云計(jì)算、大數(shù)據(jù)等技術(shù)推動(dòng)下，各行各業(yè)對(duì)計(jì)算平臺(tái)提出端云同構(gòu)、海量多樣化數(shù)據(jù)智能處理、實(shí)時(shí)分析等需求。Kunpeng處理器提供的強(qiáng)勁算力底座，將在各行業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中發(fā)揮重要作用。

大數(shù)據(jù)分布式存儲(chǔ)數(shù)據(jù)庫(kù)原生應(yīng)用云服務(wù)CPU核數(shù)多性能提升加解密引擎壓縮時(shí)間減少IOPS提升壓縮解壓縮引擎性能提升RoCE低時(shí)延網(wǎng)絡(luò)NUMA優(yōu)化算法Arm原生同構(gòu)無(wú)性能損耗五百萬(wàn)原生應(yīng)用生態(tài)裸金屬內(nèi)存帶寬提升彈性云多核整形性能提升Kubernetes容器混合部署鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)全景開(kāi)發(fā)者生態(tài)社區(qū)建設(shè)伙伴生態(tài)產(chǎn)業(yè)生態(tài)高校合作技術(shù)生態(tài)鯤鵬生態(tài)技術(shù)生態(tài)鯤鵬計(jì)算平臺(tái)是一個(gè)開(kāi)放的技術(shù)生態(tài)，兼容業(yè)界主流操作系統(tǒng)，數(shù)據(jù)庫(kù)，中間件等軟件。高校合作校企合作，持續(xù)為計(jì)算產(chǎn)業(yè)培養(yǎng)和輸出人才，合作方式：校企聯(lián)合課程校企圖書出版高校實(shí)訓(xùn)室建設(shè)人才雙選會(huì)開(kāi)發(fā)者生態(tài)鯤鵬計(jì)算平臺(tái)鼓勵(lì)開(kāi)發(fā)者基于平臺(tái)進(jìn)行業(yè)務(wù)開(kāi)發(fā)和創(chuàng)新：鯤鵬開(kāi)發(fā)者大賽鯤鵬在線課程/云端實(shí)驗(yàn)室鯤鵬職業(yè)認(rèn)證產(chǎn)業(yè)生態(tài)與伙伴和客戶一道，共同打造面向行業(yè)的解決方案：伙伴生態(tài)三大伙伴計(jì)劃為伙伴，提供培訓(xùn)、技術(shù)、營(yíng)銷、市場(chǎng)的全面支持：鯤鵬凌云伙伴計(jì)劃鯤鵬展翅伙伴計(jì)劃鯤鵬智數(shù)伙伴計(jì)劃運(yùn)營(yíng)商政府金融游戲媒體與娛樂(lè)社區(qū)建設(shè)鯤鵬社區(qū)為客戶、伙伴、開(kāi)發(fā)者提供豐富的資源和開(kāi)放、平等的交流空間：鯤鵬論壇二維碼2021華為鯤鵬930199120052009201420162019第一顆傳輸網(wǎng)絡(luò)的ASIC芯片第一顆基于ARM的無(wú)線基站芯片第一顆基于ARM的移動(dòng)端CPU第一顆基于ARM的64位CPU業(yè)界第一顆支持多路ARMCPU業(yè)界第一顆7nm數(shù)據(jù)中心CPUK3Hi1612（鯤鵬912）華為鯤鵬916華為鯤鵬9202023華為鯤鵬950開(kāi)放生態(tài)開(kāi)放平臺(tái)，支持業(yè)界主流軟硬件；構(gòu)建鯤鵬生態(tài)，與開(kāi)發(fā)者、伙伴和產(chǎn)業(yè)組織共同打造智能計(jì)算新底座；安全可靠華為鯤鵬處理器基于自研內(nèi)核，TaiShan服務(wù)器計(jì)算芯片全自研；17年計(jì)算創(chuàng)新鑄就穩(wěn)如泰山的高品質(zhì)；高效能計(jì)算提供兼容ARM架構(gòu)的高性能華為鯤鵬處理器、TaiShan服務(wù)器和解決方案，將高效能計(jì)算帶入數(shù)據(jù)中心；基于華為鯤鵬處理器，構(gòu)建整機(jī)計(jì)算能力基于Kunpeng920處理器TaiShan200基于Kunpeng916處理器TaiShan100鯤鵬生態(tài)兼容的操作系統(tǒng)介紹社區(qū)發(fā)行版商用發(fā)行版國(guó)產(chǎn)OS國(guó)外OS…………華為云鯤鵬云服務(wù)概述全行業(yè)多場(chǎng)景覆蓋

核心基礎(chǔ)設(shè)施華為鯤鵬920高性能CPUHi181x存儲(chǔ)控制器Hi182x網(wǎng)絡(luò)控制器Hi171x服務(wù)器管理昇騰310/910高性能AI鯤鵬ECS鯤鵬CCE鯤鵬BMS鯤鵬CCI鯤鵬VPC鯤鵬ELB鯤鵬EVS鯤鵬OBS鯤鵬SFS鯤鵬NAT網(wǎng)關(guān)……政府金融互聯(lián)網(wǎng)…大企業(yè)全棧鯤鵬云服務(wù)全棧專屬云HPC大數(shù)據(jù)企業(yè)應(yīng)用原生應(yīng)用AI解決方案產(chǎn)業(yè)發(fā)展鯤鵬全系列云服務(wù)華為云鯤鵬云服務(wù)基于鯤鵬處理器等多元基礎(chǔ)設(shè)施,涵蓋裸機(jī)，虛機(jī)，容器等形態(tài)，具備多核高并發(fā)特點(diǎn)，非常適合AI、大數(shù)據(jù)、HPC、云手機(jī)/云游戲等場(chǎng)景。事物處理大數(shù)據(jù)分析數(shù)據(jù)庫(kù)科學(xué)計(jì)算云服務(wù)存儲(chǔ)移動(dòng)原生應(yīng)用OLTPOLAPMySQLCAE/CFD前端Web塊存儲(chǔ)云游戲Web

Server離線分析RedisCAD/EDA數(shù)據(jù)Cache對(duì)象存儲(chǔ)游戲開(kāi)發(fā)測(cè)試EmailAI-訓(xùn)練Gbase生命科學(xué)搜索文件存儲(chǔ)終端仿真應(yīng)用服務(wù)AI-推理Oracle分子動(dòng)力學(xué)移動(dòng)辦公ERP人大金倉(cāng)能源可在ARM運(yùn)行CRM達(dá)夢(mèng)氣象學(xué)SAP國(guó)防&安全各類業(yè)務(wù)中，開(kāi)源軟件可以在華為鯤鵬平臺(tái)上運(yùn)行，商業(yè)軟件逐步完善并行度較高或者可以并行化的應(yīng)用，具有較好的性能華為云鯤鵬云服務(wù)支持豐富場(chǎng)景大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)華為鯤鵬解決方案鯤鵬簡(jiǎn)介鯤鵬大數(shù)據(jù)解決方案華為大數(shù)據(jù)解決方案鯤鵬大數(shù)據(jù)解決方案華為安全可控鯤鵬大數(shù)據(jù)解決方案，提供一站式高性能大數(shù)據(jù)計(jì)算及數(shù)據(jù)安全解決方案，解決公共安全行業(yè)大數(shù)據(jù)智能化建設(shè)的數(shù)據(jù)安全、效率和能耗等基礎(chǔ)性難題。BigDataPro大數(shù)據(jù)解決方案該方案采用基于公有云的存儲(chǔ)與計(jì)算分離架構(gòu)，以可無(wú)限彈性擴(kuò)容的鯤鵬算力作為計(jì)算資源，以支持原生多協(xié)議的OBS對(duì)象存儲(chǔ)服務(wù)為統(tǒng)一的存儲(chǔ)數(shù)據(jù)湖，提供“存算分離、極致彈性、極致高效”的全新公有云大數(shù)據(jù)解決方案，大幅提升了大數(shù)據(jù)集群的資源利用率，大數(shù)據(jù)成本最高可降低50%。

結(jié)合華為云豐富的大數(shù)據(jù)平臺(tái)和基礎(chǔ)云服務(wù)經(jīng)驗(yàn)，為企業(yè)提供高性能、高可靠的大數(shù)據(jù)業(yè)務(wù)基礎(chǔ)資源、AI訓(xùn)練推理平臺(tái)，快速實(shí)現(xiàn)企業(yè)數(shù)據(jù)化、智能化轉(zhuǎn)型。MRS服務(wù)DWS服務(wù)TaiShan服務(wù)器大數(shù)據(jù)平臺(tái)數(shù)據(jù)集成物聯(lián)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)通信數(shù)據(jù)視頻數(shù)據(jù)警務(wù)數(shù)據(jù)社會(huì)數(shù)據(jù)社會(huì)媒體分析時(shí)空信息管理融合指揮人像/車輛大數(shù)據(jù)視圖大數(shù)據(jù)華為大數(shù)據(jù)解決方案優(yōu)勢(shì)高安全：服務(wù)器及大數(shù)據(jù)平臺(tái)自主可控；芯片級(jí)數(shù)據(jù)加密，數(shù)據(jù)不失密。高性能：比同檔通用服務(wù)器性能提升30%；超強(qiáng)算力，高并發(fā)應(yīng)用場(chǎng)景優(yōu)化；支持5000+節(jié)點(diǎn)大數(shù)據(jù)集群。高開(kāi)放：兼容ARM生態(tài)鏈、支持主流硬軟件；建立Openlab，提供軟件開(kāi)發(fā)、應(yīng)用移植、兼容認(rèn)證等服務(wù)。DWS數(shù)據(jù)倉(cāng)庫(kù)CSS云搜索服務(wù)GES圖引擎數(shù)據(jù)集成數(shù)據(jù)規(guī)范數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)治理

數(shù)據(jù)資產(chǎn)數(shù)據(jù)開(kāi)放HBaseCarbonData一站式大數(shù)據(jù)平臺(tái)-MRS服務(wù)Hive批處理SparkSQLPresto交互式查詢StreamCQL流查詢MLlib數(shù)據(jù)挖掘FlinkStormSparkStreaming流計(jì)算ORCKafkaFlumeLoader數(shù)據(jù)接入MapReduceTezSpark批處理計(jì)算企業(yè)應(yīng)用報(bào)表,儀表盤OLAP分析軌跡挖掘智慧助手視覺(jué)服務(wù)…

IOT接入

第三方工具DLV數(shù)據(jù)可視化數(shù)據(jù)服務(wù)智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)DAYUParquetTXTHDFSOBS100%兼容開(kāi)源生態(tài)+三方組件插件化管理，企業(yè)一站式平臺(tái)支持存算分離+鯤鵬優(yōu)化，性能更優(yōu)華為云大數(shù)據(jù)服務(wù)數(shù)據(jù)開(kāi)發(fā)，測(cè)試，應(yīng)用一站式服務(wù)華為云MRS服務(wù)綜述MapReduce服務(wù)(MapReduceService，簡(jiǎn)稱MRS)是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可完成部署Hadoop集群。MRS提供租戶完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開(kāi)源接口，結(jié)合華為云計(jì)算、存儲(chǔ)優(yōu)勢(shì)及大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺(tái)，輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務(wù)需要進(jìn)行定制開(kāi)發(fā)的能力，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，并通過(guò)對(duì)海量信息數(shù)據(jù)實(shí)時(shí)與非實(shí)時(shí)的分析挖掘，發(fā)現(xiàn)全新價(jià)值點(diǎn)和企業(yè)商機(jī)。華為云MRS服務(wù)的優(yōu)勢(shì)(1)高性能支持自研的CarbonData存儲(chǔ)技術(shù)，以一份數(shù)據(jù)同時(shí)支持多種應(yīng)用場(chǎng)景；通過(guò)多級(jí)索引、字典編碼、預(yù)聚合、動(dòng)態(tài)Partition、準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢等特性提升了IO掃描和計(jì)算性能，實(shí)現(xiàn)萬(wàn)億數(shù)據(jù)分析秒級(jí)響應(yīng)；支持自研增強(qiáng)型調(diào)度器Superior，突破單集群規(guī)模瓶頸，單集群調(diào)度能力超10000節(jié)點(diǎn)；基于鯤鵬處理器進(jìn)行軟硬件垂直優(yōu)化，充分釋放硬件算力，實(shí)現(xiàn)高性價(jià)比。華為云MRS服務(wù)的優(yōu)勢(shì)(2)易運(yùn)維MRS提供可視化大數(shù)據(jù)集群管理平臺(tái)，提高運(yùn)維效率；支持滾動(dòng)補(bǔ)丁升級(jí)，可視化補(bǔ)丁發(fā)布信息；無(wú)需人工干預(yù)，不停業(yè)務(wù)，保障用戶集群長(zhǎng)