現(xiàn)代通信系統(tǒng)新技術(shù) (第三版) 課件 第8章 大數(shù)據(jù)和云計(jì)算技術(shù)簡(jiǎn)介

第8章

大數(shù)據(jù)和云計(jì)算技術(shù)簡(jiǎn)介8.1大數(shù)據(jù)的概念8.2云計(jì)算的基本概念8.3大數(shù)據(jù)和云計(jì)算融合的必然趨勢(shì)小結(jié)

大數(shù)據(jù)(BigData)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策的資訊。大數(shù)據(jù)需要特殊的技術(shù)來(lái)有效地處理大量的規(guī)定時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

8.1大數(shù)據(jù)的概念

大數(shù)據(jù)是所涉及的資料量規(guī)模巨大，無(wú)法在規(guī)定時(shí)間內(nèi)通過(guò)常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行擷取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)需要滿足“4V”特征，即數(shù)據(jù)量大(Volume)、數(shù)據(jù)的種類多(Variety)、數(shù)據(jù)的增長(zhǎng)及處理速度快(Velocity)、數(shù)據(jù)蘊(yùn)藏價(jià)值大(Value)，而能滿足這4個(gè)根本特征的才能稱為大數(shù)據(jù)。

數(shù)據(jù)量大(Volume)指的是數(shù)據(jù)的采集、存儲(chǔ)和計(jì)算的量都非常大，大數(shù)據(jù)通常指10TB以上規(guī)模的數(shù)據(jù)量。造成數(shù)據(jù)量增大的原因很多，例如，監(jiān)控和傳感設(shè)備的使用，使我們感知到更多的事務(wù)，這些事務(wù)的數(shù)據(jù)將被部分或者完全存儲(chǔ)；(移動(dòng))通信設(shè)備的使用，使得交流的數(shù)據(jù)量成倍增長(zhǎng)；基于互聯(lián)網(wǎng)和社會(huì)化網(wǎng)絡(luò)的應(yīng)用的發(fā)展，數(shù)以億計(jì)的用戶每天都會(huì)產(chǎn)生大量的數(shù)據(jù)。

數(shù)據(jù)種類多(Variety)是指數(shù)據(jù)的種類和來(lái)源較多，例如多種傳感器、智能設(shè)備、社交網(wǎng)絡(luò)等，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，以及圖片、音頻、視頻、地理位置等多類型的數(shù)據(jù)，實(shí)際上就是具有多個(gè)時(shí)段(歷史的、現(xiàn)在的)、多種媒體、多個(gè)來(lái)源、異構(gòu)(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)的數(shù)據(jù)。

數(shù)據(jù)的增長(zhǎng)及處理速度快(Velocity)是指數(shù)據(jù)每分每秒都在爆炸性地增長(zhǎng)，而對(duì)數(shù)據(jù)的處理速度要求也很高，數(shù)據(jù)的快速動(dòng)態(tài)的變化使得流式數(shù)據(jù)成為大數(shù)據(jù)的重要特征，對(duì)大數(shù)據(jù)的處理要求具有較強(qiáng)的時(shí)效性，能夠?qū)崟r(shí)地查詢、分析、推薦等。

數(shù)據(jù)蘊(yùn)藏價(jià)值大(Value)是指在海量的數(shù)據(jù)中，存在著巨大的被挖掘的商業(yè)價(jià)值，然而由于數(shù)據(jù)總量的不斷增加，數(shù)據(jù)的單位價(jià)值密度卻相對(duì)較低，如何通過(guò)強(qiáng)大的數(shù)據(jù)挖掘算法，結(jié)合企業(yè)的業(yè)務(wù)邏輯來(lái)從海量數(shù)據(jù)中獲取有用的價(jià)值，是大數(shù)據(jù)要解決的重要問(wèn)題。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。

除了上述的4個(gè)根本特征外，大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)處理技術(shù)最明顯的一個(gè)區(qū)別是，大數(shù)據(jù)要求在線處理。

大數(shù)據(jù)的總體架構(gòu)包括三層：

(1)數(shù)據(jù)存儲(chǔ)層。數(shù)據(jù)有很多種分類方法，有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化，也有元數(shù)據(jù)、主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)，還可以分為GIS、視頻、文件、語(yǔ)音、業(yè)務(wù)交易類各種數(shù)據(jù)。

(2)數(shù)據(jù)處理層。數(shù)據(jù)處理層解決的核心問(wèn)題在于出現(xiàn)分布式存儲(chǔ)后，存儲(chǔ)方式的改變所帶來(lái)的數(shù)據(jù)處理上的復(fù)雜度，海量數(shù)據(jù)存儲(chǔ)則帶來(lái)了數(shù)據(jù)處理上的時(shí)效性要求。

(3)數(shù)據(jù)分析層。數(shù)據(jù)分析層的重點(diǎn)是挖掘大數(shù)據(jù)的真正價(jià)值所在，而價(jià)值的挖掘核心又在于數(shù)據(jù)分析和挖掘。

數(shù)據(jù)分析只關(guān)注兩個(gè)內(nèi)容：

一個(gè)是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)下的數(shù)據(jù)建模，在該數(shù)據(jù)模型下需要支持上面各種分析方法和分析策略；

另一個(gè)是根據(jù)業(yè)務(wù)目標(biāo)和業(yè)務(wù)需求建立的KPI指標(biāo)體系，對(duì)應(yīng)指標(biāo)體系的分析模型和分析方法。解決了這兩個(gè)問(wèn)題，就基本解決了數(shù)據(jù)分析的問(wèn)題。

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和/或虛擬化技術(shù)。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。

大數(shù)據(jù)最核心的價(jià)值在于對(duì)海量數(shù)據(jù)的存儲(chǔ)和分析。相比現(xiàn)有的其他技術(shù)，大數(shù)據(jù)具有廉價(jià)、迅速、優(yōu)化三大特點(diǎn)。

8.1.1大數(shù)據(jù)處理的六大工具

1.?Hadoop

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。

它主要有以下幾個(gè)優(yōu)點(diǎn)：

(1)高可靠性。

(2)高擴(kuò)展性。

(3)高效性。

(4)容錯(cuò)性。

2.?HPCC

高性能計(jì)算與通信(HighPerformanceComputingandCommunications，HPCC)是1993年由美國(guó)科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交的“重大挑戰(zhàn)項(xiàng)目：高性能計(jì)算與通信”的報(bào)告，也就是被稱為HPCC計(jì)劃的報(bào)告，即美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過(guò)加強(qiáng)研究與開(kāi)發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問(wèn)題。

該項(xiàng)目主要由五部分組成：

(1)高性能計(jì)算機(jī)系統(tǒng)(HPCS)，內(nèi)容包括今后幾代計(jì)算機(jī)系統(tǒng)的研究、系統(tǒng)設(shè)計(jì)工具、先進(jìn)的典型系統(tǒng)及原有系統(tǒng)的評(píng)價(jià)等。

(2)先進(jìn)軟件技術(shù)與算法(ASTA)，內(nèi)容包括巨大挑戰(zhàn)問(wèn)題的軟件支撐、新算法設(shè)計(jì)、軟件分支與工具、計(jì)算及高性能計(jì)算研究中心等。

(3)國(guó)家科研與教育網(wǎng)絡(luò)(NREN)，內(nèi)容包括中接站及10億位級(jí)傳輸?shù)难芯颗c開(kāi)發(fā)。

(4)基本研究與人類資源(BRHR)，內(nèi)容包括基礎(chǔ)研究、培訓(xùn)和課程教材，通過(guò)長(zhǎng)期的調(diào)查，在可升級(jí)的高性能計(jì)算中來(lái)增加被調(diào)查人員的創(chuàng)新意識(shí)流；通過(guò)高性能的計(jì)算訓(xùn)練和通信，增加人員之間的聯(lián)絡(luò)，以此來(lái)支持調(diào)查和研究活動(dòng)。

(5)信息基礎(chǔ)結(jié)構(gòu)技術(shù)和應(yīng)用(IITA)，目的在于保證美國(guó)在先進(jìn)信息技術(shù)開(kāi)發(fā)方面的領(lǐng)先地位。

3.?Storm

Storm是自由的開(kāi)源軟件，是一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，用于處理Hadoop的批量數(shù)據(jù)且非?？煽俊torm支持許多種編程語(yǔ)言，且易于配置及使用。Storm由Twitter開(kāi)源而來(lái)，其他知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂(lè)元素、Admaster等等。

4.?ApacheDrill

為了幫助企業(yè)用戶尋找更為有效以及加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)發(fā)起了一項(xiàng)名為Drill的開(kāi)源項(xiàng)目。ApacheDrill實(shí)現(xiàn)了Google’sDremel。

該項(xiàng)目將會(huì)創(chuàng)建出開(kāi)源版本的谷歌DremelHadoop工具(谷歌使用該工具來(lái)為Hadoop數(shù)據(jù)分析工具的互聯(lián)網(wǎng)應(yīng)用提速)。而Drill將有助于Hadoop用戶更快地查詢海量數(shù)據(jù)集。

Drill項(xiàng)目其實(shí)也是從谷歌的Dremel項(xiàng)目中獲得的靈感：該項(xiàng)目幫助谷歌實(shí)現(xiàn)海量數(shù)據(jù)集的分析處理，包括分析抓取Web文檔、跟蹤安裝在AndroidMarket上的應(yīng)用程序數(shù)據(jù)、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測(cè)試結(jié)果等等。

通過(guò)開(kāi)發(fā)DrillApache開(kāi)源項(xiàng)目，組織機(jī)構(gòu)將有望建立Drill所屬的API接口和靈活強(qiáng)大的體系架構(gòu)，從而有助于支持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語(yǔ)言。

5.?RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，其特點(diǎn)包括：

(1)拖拽建模，自帶1500多個(gè)函數(shù)，無(wú)須編程，簡(jiǎn)單易用；同時(shí)也支持各種常見(jiàn)語(yǔ)言代碼的編寫(xiě)，以符合程序員個(gè)人習(xí)慣和實(shí)現(xiàn)更多功能。

(2)?RapidMinerStudio社區(qū)版和基礎(chǔ)版免費(fèi)開(kāi)源，能連接開(kāi)源數(shù)據(jù)庫(kù)，商業(yè)版能連接幾乎所有數(shù)據(jù)源，功能更強(qiáng)大。

(3)豐富的擴(kuò)展程序，如文本處理、網(wǎng)絡(luò)挖掘、Weka擴(kuò)展、R語(yǔ)言等。

(4)數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL)功能。

(5)生成和導(dǎo)出數(shù)據(jù)、報(bào)告和可視化。

(6)為技術(shù)性和非技術(shù)性用戶設(shè)計(jì)的交互式界面。

(7)通過(guò)WebServices應(yīng)用將分析流程整合到現(xiàn)有工作流程中。

6.?PentahoBI

PentahoBI平臺(tái)不同于傳統(tǒng)的BI產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開(kāi)源軟件、API等組件集成起來(lái)，方便商務(wù)智能應(yīng)用的開(kāi)發(fā)。它的出現(xiàn)，使得一系列面向商務(wù)智能的獨(dú)立產(chǎn)品(如Jfree、Quartz等等)能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。

PentahoSDK共包含五個(gè)部分：Pentaho平臺(tái)、Pentaho示例數(shù)據(jù)庫(kù)、可獨(dú)立運(yùn)行的Pentaho平臺(tái)、Pentaho解決方案示例和一個(gè)預(yù)先配制好的Pentaho網(wǎng)絡(luò)服務(wù)器。其中Pentaho平臺(tái)是Pentaho最主要的部分，囊括了Pentaho平臺(tái)源代碼的主體；Pentaho數(shù)據(jù)庫(kù)為Pentaho平臺(tái)的正常運(yùn)行提供數(shù)據(jù)服務(wù)，包括配置信息、Solution相關(guān)的信息等，對(duì)于Pentaho平臺(tái)來(lái)說(shuō)，它不是必需的，通過(guò)配置是可以用其他數(shù)據(jù)庫(kù)取代的；可獨(dú)立運(yùn)行的Pentaho平臺(tái)是Pentaho平臺(tái)的獨(dú)立運(yùn)行模式的示例，它演示了如何使Pentaho平臺(tái)在沒(méi)有應(yīng)用服務(wù)器支持的情況下獨(dú)立運(yùn)行；Pentaho解決方案示例是一個(gè)Eclipse工程，用來(lái)演示如何為Pentaho平臺(tái)開(kāi)發(fā)相關(guān)的商業(yè)智能解決方案。

8.1.2大數(shù)據(jù)在我國(guó)的未來(lái)之路

1.大數(shù)據(jù)的基本特點(diǎn)

大數(shù)據(jù)的基本特點(diǎn)如下：

(1)數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別。

(2)數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。

(3)價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

(4)處理速度快，遵循1秒定律。這一點(diǎn)也和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

2.我國(guó)大數(shù)據(jù)的變革之路

國(guó)務(wù)院發(fā)布的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》(以下簡(jiǎn)稱“綱要”)將大數(shù)據(jù)發(fā)展確立為國(guó)家戰(zhàn)略。黨的十八屆五中全會(huì)明確提出，實(shí)施“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃，發(fā)展分享經(jīng)濟(jì)，實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略。大力發(fā)展工業(yè)大數(shù)據(jù)和新興產(chǎn)業(yè)大數(shù)據(jù)，利用大數(shù)據(jù)推動(dòng)信息化和工業(yè)化深度融合，從而推動(dòng)制造業(yè)網(wǎng)絡(luò)化和智能化，正成為工業(yè)領(lǐng)域的發(fā)展熱點(diǎn)。明確工業(yè)是大數(shù)據(jù)的主體，工業(yè)大數(shù)據(jù)的價(jià)值正是在于它為產(chǎn)業(yè)鏈提供了有價(jià)值的服務(wù)，提升了工業(yè)生產(chǎn)的附加值。工業(yè)大數(shù)據(jù)的最終作用是為工業(yè)的發(fā)展、工業(yè)企業(yè)的轉(zhuǎn)型升級(jí)提供有價(jià)值的服務(wù)。

8.2云計(jì)算的基本概念

云計(jì)算(CloudComputing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。過(guò)去在圖中往往用云來(lái)表示電信網(wǎng)，后來(lái)也用來(lái)表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。

狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；

廣義云計(jì)算指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)，這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通?？梢愿爬ǖ卣f(shuō)：云計(jì)算是通過(guò)網(wǎng)絡(luò)提供可伸縮的廉價(jià)的分布式計(jì)算能力。

8.2.1廣義的云計(jì)算和狹義的云計(jì)算

狹義的云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源(硬件、平臺(tái)、軟件)。提供資源的網(wǎng)絡(luò)被稱為“云”?！霸啤敝械馁Y源在使用者看來(lái)是可以無(wú)限擴(kuò)展的，并且可以隨時(shí)獲取、按需使用、隨時(shí)擴(kuò)展、按使用付費(fèi)。這種特性經(jīng)常被稱為像水電一樣使用IT基礎(chǔ)設(shè)施。廣義的云計(jì)算是指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其他的服務(wù)

易拓云指出云計(jì)算是技術(shù)驅(qū)動(dòng)的核心，是商業(yè)模式變革的基礎(chǔ)。云計(jì)算的IT架構(gòu)變革使得“互聯(lián)網(wǎng)+”、大數(shù)據(jù)戰(zhàn)略蓬勃發(fā)展，龐大的計(jì)算能力使得深度學(xué)習(xí)、人工智能商業(yè)化進(jìn)程加速。云計(jì)算是板塊技術(shù)驅(qū)動(dòng)的核心，其基礎(chǔ)設(shè)施建設(shè)在未來(lái)3～5年內(nèi)將維持高景氣度；同時(shí)云計(jì)算所實(shí)現(xiàn)的應(yīng)用線上化、數(shù)據(jù)資產(chǎn)化、服務(wù)生態(tài)化，也將成為商業(yè)模式變革的基礎(chǔ)。

云計(jì)算的好處是：

(1)安全。云計(jì)算提供了最可靠、最安全的數(shù)據(jù)存儲(chǔ)中心，用戶不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩。

(2)方便。它對(duì)用戶端的設(shè)備要求低，使用起來(lái)很方便。

(3)數(shù)據(jù)共享。它可以輕松實(shí)現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享。

(4)無(wú)限可能。它為人們使用網(wǎng)絡(luò)提供了無(wú)限多的可能。

8.2.2云計(jì)算的工具與服務(wù)

1.云計(jì)算的十大工具

(1)?Cloudability。工具類型為云成本分析。

(2)?S3生命周期追蹤器、EC2預(yù)留探測(cè)器、RDS預(yù)留探測(cè)器。工具類型為云優(yōu)化。

(3)?AtomSphere。工具類型為云集成。

(4)?Enstratius。工具類型為云基礎(chǔ)設(shè)施管理。

(5)?InformaticaCloud2013春季版。工具類型為云數(shù)據(jù)集成。

(6)?CloudHub。工具類型為云集成服務(wù)。

(7)?Chef。工具類型為云配置管理。

(8)?Puppet。工具類型為云配置管理。

(9)?RightScaleCloudManagement。工具類型為云管理。

(10)?AgilityPlatform。工具類型為企業(yè)云管理。

2.云計(jì)算的幾種服務(wù)

1)?IaaS

IaaS(InfrastructureasaService)：基礎(chǔ)設(shè)施即服務(wù)。消費(fèi)者通過(guò)Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施中獲得服務(wù)。

2)?PaaS

PaaS(PlatformasaService)：平臺(tái)即服務(wù)。PaaS實(shí)際上是指將軟件研發(fā)的平臺(tái)作為一種服務(wù)，以SaaS的模式提交給用戶。

3)?SaaS

SaaS(SoftwareasaService)：軟件即服務(wù)。它是一種通過(guò)Internet提供軟件的模式，用戶無(wú)須購(gòu)買(mǎi)軟件，而是向提供商租用基于Web的軟件，來(lái)管理企業(yè)經(jīng)營(yíng)活動(dòng)。

8.2.3云計(jì)算的發(fā)展前景

1．云建站

云建站是隨著云計(jì)算技術(shù)成熟而興起的一種新型整合式技術(shù)平臺(tái)，面向有初級(jí)建站經(jīng)驗(yàn)基礎(chǔ)的人員或美工，通常采用知名的IaaS提供商服務(wù)作為基礎(chǔ)設(shè)施提供網(wǎng)絡(luò)設(shè)備；同時(shí)提供云端開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)者在平臺(tái)中編寫(xiě)網(wǎng)站模板代碼，運(yùn)行在瀏覽器中的開(kāi)發(fā)器提供代碼高亮、代碼智能感知、數(shù)據(jù)接口等本地開(kāi)發(fā)中也經(jīng)常用到的輔助開(kāi)發(fā)功能。

云建站平臺(tái)是集開(kāi)發(fā)環(huán)境、分布式文件存取、服務(wù)器部署等于一體的云端Web開(kāi)發(fā)平臺(tái)。平臺(tái)通過(guò)非常簡(jiǎn)單易學(xué)的模板語(yǔ)言允許開(kāi)發(fā)者對(duì)網(wǎng)站進(jìn)行100%的前端樣式定制設(shè)計(jì)，底層架構(gòu)和基礎(chǔ)設(shè)施提供防火墻、緩存、負(fù)載均衡、故障轉(zhuǎn)移、CDN文件I/O等來(lái)保障網(wǎng)站安全性、高性能和高可用性。

開(kāi)發(fā)者可以通過(guò)開(kāi)發(fā)平臺(tái)對(duì)網(wǎng)站的所有頁(yè)面，模板源代碼，圖片添加、編輯和刪除等開(kāi)發(fā)定制操作。開(kāi)發(fā)平臺(tái)中提供完善的代碼高亮支持，常用前端類庫(kù)等大大降低了開(kāi)發(fā)者對(duì)平臺(tái)和模板語(yǔ)言的學(xué)習(xí)成本。隨著語(yǔ)法智能提示、可拖拽設(shè)計(jì)的控件庫(kù)、在線圖片處理等輔助開(kāi)發(fā)工具的推出，Web的快速開(kāi)發(fā)得到實(shí)現(xiàn)，進(jìn)一步降低了Web的開(kāi)發(fā)成本。

2．云物聯(lián)

“物聯(lián)網(wǎng)就是物物相連的互聯(lián)網(wǎng)”。這有兩層意思：

第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上延伸和擴(kuò)展的網(wǎng)絡(luò)；

第二，其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信。

物聯(lián)網(wǎng)的兩種業(yè)務(wù)模式：

(1)?MAI(M2MApplicationIntegration)，內(nèi)部MaaS；

(2)?MaaS(M2MasaService)，MMO，Multi-Tenants(多租戶模型)。

隨著物聯(lián)網(wǎng)業(yè)務(wù)量的增加，對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算量的需求將帶來(lái)對(duì)“云計(jì)算”能力的要求：

(1)云計(jì)算：仍處在從計(jì)算中心到數(shù)據(jù)中心的物聯(lián)網(wǎng)初級(jí)階段，PoP即可滿足需求；

(2)在物聯(lián)網(wǎng)高級(jí)階段，可能出現(xiàn)MVNO/MMO營(yíng)運(yùn)商(國(guó)外已存在多年)，需要虛擬化云計(jì)算技術(shù)、SOA等技術(shù)的結(jié)合實(shí)現(xiàn)互聯(lián)網(wǎng)的泛在服務(wù)：TaaS(everyThingasaService)。

3．云安全

云安全(CloudSecurity)是一個(gè)從“云計(jì)算”演變而來(lái)的新名詞。云安全的策略構(gòu)想是：使用者越多，每個(gè)使用者就越安全，因?yàn)槿绱她嫶蟮挠脩羧鹤阋愿采w互聯(lián)網(wǎng)的每個(gè)角落，只要某個(gè)網(wǎng)站被掛或某個(gè)新木馬病毒出現(xiàn)，就會(huì)立刻被截獲。

4．云存儲(chǔ)

云存儲(chǔ)是在云計(jì)算(CloudComputing)概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念，是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量的各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。目前提供云存儲(chǔ)業(yè)務(wù)的國(guó)內(nèi)企業(yè)有聯(lián)想網(wǎng)盤(pán)和燕麥企業(yè)云盤(pán)(OATOS企業(yè)網(wǎng)盤(pán))。

5．云通信

云通信(CloudCommunication)是云計(jì)算技術(shù)在通信領(lǐng)域的一種受到推廣應(yīng)用的解決方案。云通信技術(shù)主要是在對(duì)IaaS、PaaS、SaaS等云計(jì)算技術(shù)應(yīng)用層進(jìn)行分析提取的基礎(chǔ)上，將智能云、云存儲(chǔ)、云交互、云數(shù)據(jù)、彈性云計(jì)算、云分享等云計(jì)算技術(shù)應(yīng)用到傳統(tǒng)的通信行業(yè)，實(shí)現(xiàn)對(duì)傳統(tǒng)通信技術(shù)的革命性改造，讓通信技術(shù)進(jìn)入云應(yīng)用及大數(shù)據(jù)管理時(shí)代。

6．云游戲

云游戲是以云計(jì)算為基礎(chǔ)的游戲方式，在云游戲的運(yùn)行模式下，所有游戲都在服務(wù)器端運(yùn)行，并將渲染完畢后的游戲畫(huà)面壓縮后通過(guò)網(wǎng)絡(luò)傳送給用戶。在客戶端，用戶的游戲設(shè)備不需要任何高端處理器和顯卡，只需要基本的視頻解壓能力就可以了。

7．云教育

視頻云計(jì)算應(yīng)用于教育行業(yè)，流媒體平臺(tái)采用分布式架構(gòu)部署，分為Web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、直播服務(wù)器和流服務(wù)器，如有必要，可在信息中心架設(shè)采集工作站，搭建網(wǎng)絡(luò)電視或?qū)崨r直播應(yīng)用。在各學(xué)校已經(jīng)部署錄播系統(tǒng)或直播系統(tǒng)的教室配置流媒體功能組件，這樣錄播實(shí)況可以實(shí)時(shí)傳送到流媒體平臺(tái)管理中心的全局直播服務(wù)器上，與此同時(shí)錄播的學(xué)校特色課件也可以上傳存儲(chǔ)到教育局信息中心的流存儲(chǔ)服務(wù)器上，方便今后的檢索、點(diǎn)播、評(píng)估等各種應(yīng)用。

8．云會(huì)議

云會(huì)議是基于云計(jì)算技術(shù)的一種高效、便捷、低成本的會(huì)議形式。使用者只需要通過(guò)互聯(lián)網(wǎng)界面，進(jìn)行簡(jiǎn)單的操作，便可快速、高效地與全球各地團(tuán)隊(duì)及客戶同步分享語(yǔ)音、數(shù)據(jù)文件及視頻，而會(huì)議中數(shù)據(jù)的傳輸、處理等復(fù)雜技術(shù)由云會(huì)議服務(wù)商幫助使用者進(jìn)行操作。

8.3大數(shù)據(jù)和云計(jì)算融合的必然趨勢(shì)

8.3.1大數(shù)據(jù)發(fā)展現(xiàn)狀大數(shù)據(jù)行業(yè)是以數(shù)據(jù)及數(shù)據(jù)所蘊(yùn)含的信息價(jià)值為核心生產(chǎn)要素，通過(guò)數(shù)據(jù)技術(shù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)等形式，使數(shù)據(jù)與信息價(jià)值在各行業(yè)經(jīng)濟(jì)活動(dòng)中得到充分釋放的賦能型產(chǎn)業(yè)。近年來(lái)，伴隨各國(guó)家和地區(qū)大數(shù)據(jù)產(chǎn)業(yè)政策鼓勵(lì)以及數(shù)字經(jīng)濟(jì)的深入發(fā)展，全球范圍內(nèi)大數(shù)據(jù)市場(chǎng)呈快速發(fā)展態(tài)勢(shì)。

大數(shù)據(jù)的特征體現(xiàn)在多個(gè)方面：在容量上，數(shù)據(jù)的大小決定了所考慮的數(shù)據(jù)的價(jià)值和潛在的信息；在種類上，體現(xiàn)為數(shù)據(jù)類型的多樣性；在速度上，主要是指獲得數(shù)據(jù)的速度高；在可變性上，體現(xiàn)為數(shù)據(jù)的變化導(dǎo)致質(zhì)量的廣泛變化；在真實(shí)性上，體現(xiàn)為可獲得真實(shí)可靠的數(shù)據(jù)質(zhì)量；在復(fù)雜性上，體現(xiàn)為數(shù)據(jù)量巨大、來(lái)源渠道多；在價(jià)值上，體現(xiàn)為合理運(yùn)用大數(shù)據(jù)，以低成本獲得高價(jià)值。

1.行業(yè)概述

(1)大數(shù)據(jù)硬件：主要包括支撐大數(shù)據(jù)軟件和大數(shù)據(jù)服務(wù)運(yùn)行的相關(guān)網(wǎng)絡(luò)、存儲(chǔ)和計(jì)算等IT硬件，大數(shù)據(jù)專屬硬件包括超融合一體機(jī)、智能終端、高性能計(jì)算機(jī)、高性能服務(wù)器、超大存儲(chǔ)設(shè)備等。

(2)大數(shù)據(jù)軟件：主要包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析挖掘、數(shù)據(jù)應(yīng)用、數(shù)據(jù)治理、數(shù)據(jù)交易和數(shù)據(jù)安全等大數(shù)據(jù)生命周期業(yè)務(wù)流程中的相關(guān)工具、中間件、平臺(tái)、應(yīng)用等軟件產(chǎn)品。

(3)大數(shù)據(jù)服務(wù)：主要包括為金融、政府、電信、互聯(lián)網(wǎng)等行業(yè)客戶提供的基于其具體業(yè)務(wù)場(chǎng)景而開(kāi)發(fā)的各類大數(shù)據(jù)解決方案，涉及業(yè)務(wù)咨詢、設(shè)計(jì)開(kāi)發(fā)、軟硬件產(chǎn)品部署、系統(tǒng)運(yùn)維等一系列服務(wù)；服務(wù)類型主要包括數(shù)據(jù)采集和預(yù)處理服務(wù)、數(shù)據(jù)分析挖掘服務(wù)、數(shù)據(jù)治理服務(wù)、數(shù)據(jù)交易服務(wù)等。

2.全球現(xiàn)狀

1)數(shù)據(jù)量

據(jù)統(tǒng)計(jì)，2021年全球大數(shù)據(jù)儲(chǔ)量達(dá)到53.7?ZB，同比增長(zhǎng)22%。

從區(qū)域分布來(lái)看，我國(guó)國(guó)內(nèi)的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)產(chǎn)生量的23%，美國(guó)的數(shù)據(jù)產(chǎn)生量占比約為21%，EMEA(歐洲、中東、非洲)的數(shù)據(jù)產(chǎn)生量占比約為30%，APJxC(日本和亞太)數(shù)據(jù)產(chǎn)生量占比約為18%。

2)市場(chǎng)規(guī)模

當(dāng)前，數(shù)據(jù)正在成為重組全球要素資源、重塑全球經(jīng)濟(jì)結(jié)構(gòu)、改變?nèi)蚋?jìng)爭(zhēng)格局的關(guān)鍵力量。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G等信息通信技術(shù)及產(chǎn)業(yè)的不斷發(fā)展，全球數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)態(tài)勢(shì)。受益于數(shù)據(jù)量及數(shù)據(jù)應(yīng)用的快速增加，全球大數(shù)據(jù)市場(chǎng)規(guī)?？焖僭鲩L(zhǎng)。據(jù)資料顯示，2021年全球大數(shù)據(jù)行業(yè)市場(chǎng)規(guī)模為649億美元，同比增長(zhǎng)13.5%。

3.中國(guó)現(xiàn)狀

1)市場(chǎng)規(guī)模

我國(guó)是數(shù)據(jù)資源大國(guó)，大力發(fā)展大數(shù)據(jù)技術(shù)，有利于將我國(guó)數(shù)據(jù)資源優(yōu)勢(shì)轉(zhuǎn)化為國(guó)家競(jìng)爭(zhēng)優(yōu)勢(shì)，實(shí)現(xiàn)數(shù)據(jù)規(guī)模、質(zhì)量和應(yīng)用水平的同步提升。

2)企業(yè)情況

隨著近年來(lái)我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，行業(yè)相關(guān)企業(yè)數(shù)量也隨之迅速增長(zhǎng)。

3)投融資情況

隨著我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展以及價(jià)值的逐漸顯現(xiàn)，吸引了大批投資者的目光，行業(yè)投資市場(chǎng)十分火熱。

4.發(fā)展背景

1)政策

近年來(lái)隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G等信息通信技術(shù)及產(chǎn)業(yè)的不斷發(fā)展，全球數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)態(tài)勢(shì)。數(shù)據(jù)作為和土地、資本、勞動(dòng)力、技術(shù)同等重要的生產(chǎn)要素，在數(shù)字經(jīng)濟(jì)不斷深入發(fā)展的過(guò)程中，地位愈發(fā)凸顯。

2)經(jīng)濟(jì)

伴隨著新一輪科技革命和產(chǎn)業(yè)變革的持續(xù)推進(jìn)，數(shù)字經(jīng)濟(jì)已成為當(dāng)前最具活力、最具創(chuàng)新力、輻射最廣泛的經(jīng)濟(jì)形態(tài)，是國(guó)民經(jīng)濟(jì)的核心增長(zhǎng)極之一。

5.發(fā)展趨勢(shì)

1)分析方法創(chuàng)新

數(shù)據(jù)分析方法受算法、理論的限制和影響，隨著相關(guān)技術(shù)和領(lǐng)域的發(fā)展，數(shù)據(jù)分析方法也將面臨革命性的改變。

2)數(shù)據(jù)共享程度提高

數(shù)據(jù)收集是大數(shù)據(jù)技術(shù)應(yīng)用的基礎(chǔ)環(huán)節(jié)，隨著社會(huì)信息的爆發(fā)式增長(zhǎng)，數(shù)據(jù)收集工作壓力劇增。

3)大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用

大數(shù)據(jù)與商業(yè)價(jià)值開(kāi)發(fā)相掛鉤，其自身也表現(xiàn)出資源化發(fā)展的趨勢(shì)，即大數(shù)據(jù)已成為一種新的社會(huì)生產(chǎn)力。

8.3.2大數(shù)據(jù)形成條件與運(yùn)作模式

1.大數(shù)據(jù)形成的條件

大數(shù)據(jù)需要龐大的數(shù)據(jù)積累，以及深度的數(shù)據(jù)挖掘和分析。大數(shù)據(jù)的形成有兩個(gè)條件：

一是豐富的數(shù)據(jù)源；

二是強(qiáng)大的數(shù)據(jù)挖掘分析能力。

從大數(shù)據(jù)中挖掘更多的價(jià)值，需要運(yùn)用靈活的、多學(xué)科的方法。

2.大數(shù)據(jù)運(yùn)作模式

云計(jì)算技術(shù)是目前解決大數(shù)據(jù)問(wèn)題最重要且有效的手段。云計(jì)算提供了基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用在這個(gè)平臺(tái)上得以運(yùn)行。大數(shù)據(jù)是未來(lái)的行業(yè)發(fā)展趨勢(shì)，其發(fā)展已勢(shì)不可擋，而Hadoop作為更大規(guī)模分布式計(jì)算和存儲(chǔ)離線處理集群的代表。廣大開(kāi)發(fā)者應(yīng)抓住大數(shù)據(jù)機(jī)遇，選擇更適合的平臺(tái)技術(shù)，借助最優(yōu)的解決方案，利用大數(shù)據(jù)開(kāi)發(fā)出更智能、更個(gè)性化的新一代應(yīng)用，最終實(shí)現(xiàn)應(yīng)用經(jīng)濟(jì)的轉(zhuǎn)型升級(jí)。

8.3.3大數(shù)據(jù)安全

1.大數(shù)據(jù)遭遇“安全門(mén)”

大數(shù)據(jù)像一枚硬幣，有其兩面性：

一方面它將催生新型科技公司，吸納科技人才就業(yè)，并為企業(yè)發(fā)展轉(zhuǎn)型提供新機(jī)遇；

另一方面它為個(gè)人、企業(yè)甚至國(guó)家?guī)?lái)個(gè)人隱私危機(jī)，以及重構(gòu)信息安全、競(jìng)爭(zhēng)力差距拉大、數(shù)據(jù)產(chǎn)權(quán)爭(zhēng)端等諸多挑戰(zhàn)。

2.大數(shù)據(jù)安全靠管理

關(guān)于大數(shù)據(jù)的安全，坦率地講，任何一種安全，其關(guān)鍵的保障因素還是管理手段，特別是對(duì)密鑰的管理，這將影響整個(gè)加密過(guò)程。大數(shù)據(jù)的應(yīng)用訴求將促使商業(yè)模式變革，并對(duì)技術(shù)架構(gòu)形成沖擊，營(yíng)運(yùn)模式也將產(chǎn)生變化。

所以，為適應(yīng)大數(shù)據(jù)時(shí)代的到來(lái)，要盡快制定信息公開(kāi)法以加強(qiáng)網(wǎng)絡(luò)信息的保護(hù)，界定數(shù)據(jù)挖掘、利用的權(quán)限和范圍，使得大數(shù)據(jù)的挖掘和利用依法推進(jìn)。應(yīng)當(dāng)既鼓勵(lì)面向群體、服務(wù)社會(huì)的數(shù)據(jù)挖掘，又要防止侵犯?jìng)€(gè)體隱私；既提倡數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。

8.3.4大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

1.大數(shù)據(jù)帶來(lái)大變革

“大數(shù)據(jù)”正給很多不同的行業(yè)帶來(lái)深刻的變革，這些變革表現(xiàn)在創(chuàng)造透明度，通過(guò)一些可控的實(shí)驗(yàn)發(fā)現(xiàn)新的需求，對(duì)用戶進(jìn)行細(xì)分，以及為客戶定制服務(wù)等。更重要的是，大數(shù)據(jù)孕育了新的商業(yè)模式。數(shù)據(jù)會(huì)成為企業(yè)資產(chǎn)負(fù)債表上非常重要的一項(xiàng)。

大數(shù)據(jù)分析技術(shù)不僅是促進(jìn)基礎(chǔ)科學(xué)發(fā)展的強(qiáng)大杠桿，也是許多行業(yè)技術(shù)進(jìn)步和企業(yè)發(fā)展的推動(dòng)力。大數(shù)據(jù)的真正意義并不在于大帶寬和大存儲(chǔ)，而在于對(duì)容量大且種類繁多的數(shù)據(jù)進(jìn)行分析并從中獲取信息和價(jià)值。

2.大數(shù)據(jù)時(shí)代的國(guó)家戰(zhàn)略

在大數(shù)據(jù)中心建設(shè)上，應(yīng)將大數(shù)據(jù)管理上升到國(guó)家戰(zhàn)略層面，從國(guó)家戰(zhàn)略層面予以重視，因此特別要強(qiáng)調(diào)以下幾點(diǎn)：

(1)政府要由責(zé)任部門(mén)牽頭進(jìn)行專項(xiàng)研究，從國(guó)家層面通盤(pán)考慮國(guó)家大數(shù)據(jù)發(fā)展的戰(zhàn)略。

(2)大數(shù)據(jù)從數(shù)據(jù)生成、信息收集到數(shù)據(jù)的發(fā)布、分析和應(yīng)用，涉及各個(gè)層面。

(3)重視人才培養(yǎng)在大數(shù)據(jù)處理環(huán)節(jié)中的重要性，數(shù)據(jù)人才是點(diǎn)燃大數(shù)據(jù)價(jià)值的關(guān)鍵。

3.大數(shù)據(jù)時(shí)代的挑戰(zhàn)

鑒于數(shù)據(jù)的復(fù)雜性，大數(shù)據(jù)處理面臨著一系列的挑戰(zhàn)：

(1)在類似文本或視頻的非結(jié)構(gòu)化數(shù)據(jù)上，如何理解及使用數(shù)據(jù)？

(2)該如何在數(shù)據(jù)產(chǎn)生時(shí)捕獲最重要的部分，并實(shí)時(shí)地將它交付給正確的人？

(3)鑒于當(dāng)下的數(shù)據(jù)體積和計(jì)算能力，該如何儲(chǔ)存、分析及理解這些數(shù)據(jù)？

(4)人才匱乏。

(5)其他一些固有的挑戰(zhàn)，如隱私、訪問(wèn)安全以及部署。

以下是Intel發(fā)布的大數(shù)據(jù)處理在中國(guó)的短板：

(1)數(shù)據(jù)的海量性。

(2)數(shù)據(jù)處理技術(shù)。

(3)信息公開(kāi)。

(4)數(shù)據(jù)的真實(shí)性。

(5)非結(jié)構(gòu)數(shù)據(jù)的不足。

4.云計(jì)算在大數(shù)據(jù)中的作用

大數(shù)據(jù)的爆發(fā)是產(chǎn)業(yè)和經(jīng)濟(jì)信息化發(fā)展中遇到的棘手問(wèn)題。由于數(shù)據(jù)流量和體量增長(zhǎng)迅速，數(shù)據(jù)格式存在多源異構(gòu)的特點(diǎn)，而我們對(duì)數(shù)據(jù)處理又要求準(zhǔn)確、實(shí)時(shí)，以幫助我們發(fā)掘出大數(shù)據(jù)中潛在的價(jià)值，促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步。物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、移動(dòng)通信網(wǎng)絡(luò)技術(shù)在近些年來(lái)的迅猛發(fā)展，致使數(shù)據(jù)產(chǎn)生和傳輸?shù)念l度和速度都大大加快，催生了大數(shù)據(jù)問(wèn)題，而數(shù)據(jù)的二次開(kāi)發(fā)、深度循環(huán)利用則讓大數(shù)據(jù)問(wèn)題日益突出。

大數(shù)據(jù)問(wèn)題的解決，首先要從大數(shù)據(jù)的源頭開(kāi)始梳理。既然大數(shù)據(jù)源于云計(jì)算等新興IT技術(shù)，就必然有新興IT技術(shù)的基因繼承下來(lái)。按需分配、彈性擴(kuò)展、安全、開(kāi)源、泛在化等特點(diǎn)是云計(jì)算的基因，這些基因也需要體現(xiàn)在大數(shù)據(jù)上。“云”的理念、原則和手段，也是理解大數(shù)據(jù)、克服大數(shù)據(jù)、應(yīng)用大數(shù)據(jù)的制勝法寶和核心關(guān)鍵。大數(shù)據(jù)在系統(tǒng)及網(wǎng)絡(luò)結(jié)構(gòu)、資源調(diào)度管理、數(shù)據(jù)存儲(chǔ)、計(jì)算框架等領(lǐng)域都是源自于云計(jì)算也依托于云計(jì)算的。云計(jì)算為大數(shù)據(jù)提供了堅(jiān)實(shí)的基礎(chǔ)設(shè)施支撐及保障。

5.云計(jì)算與大數(shù)據(jù)的融合發(fā)展

從技術(shù)角度來(lái)說(shuō)，云計(jì)算和大數(shù)據(jù)在很大程度上已經(jīng)形成融合發(fā)展的態(tài)勢(shì)。當(dāng)前的很多云計(jì)算服務(wù)，由于其規(guī)模的擴(kuò)展，后臺(tái)都集成了大數(shù)據(jù)的存儲(chǔ)和處理。

從產(chǎn)業(yè)角度來(lái)看，云計(jì)算及大數(shù)據(jù)都已上升為中國(guó)的國(guó)家戰(zhàn)略，相關(guān)的技術(shù)和應(yīng)用已經(jīng)滲透到各個(gè)傳統(tǒng)行業(yè)及新興產(chǎn)業(yè)，國(guó)家的政策、資金引導(dǎo)力度不斷加大。

大數(shù)據(jù)上云其實(shí)有多種含義和選擇。由于大數(shù)據(jù)的特征，企業(yè)要自己搭建大數(shù)據(jù)的存儲(chǔ)及處理平臺(tái)，其投入和挑戰(zhàn)都是巨大的。

6.云計(jì)算與大數(shù)據(jù)的應(yīng)用場(chǎng)景

1)在互聯(lián)網(wǎng)金融證券業(yè)的應(yīng)用

大數(shù)據(jù)帶來(lái)的變化，首先是風(fēng)險(xiǎn)管理的理念和工具的調(diào)整。風(fēng)險(xiǎn)定價(jià)和客戶評(píng)價(jià)理念將會(huì)以真實(shí)、高效、自動(dòng)、準(zhǔn)確為基礎(chǔ)，形成客戶的精準(zhǔn)畫(huà)像。基于數(shù)據(jù)挖掘的客戶識(shí)別和分類將成為風(fēng)險(xiǎn)管理的主要手段，動(dòng)態(tài)、實(shí)時(shí)的監(jiān)測(cè)而非事后的回顧式評(píng)價(jià)將成為風(fēng)險(xiǎn)管理的主要手段。

其次，大數(shù)據(jù)能大大降低金融產(chǎn)品和服務(wù)的消費(fèi)者與提供者之間的信息不對(duì)稱現(xiàn)象。消費(fèi)者可實(shí)時(shí)獲知對(duì)某項(xiàng)金融產(chǎn)品或服務(wù)的支持和評(píng)價(jià)?；诖耍梢灾鸩綄?shí)現(xiàn)業(yè)務(wù)流程的自主信息化，結(jié)合時(shí)間、人、產(chǎn)品路徑精準(zhǔn)推送給精準(zhǔn)人群；數(shù)據(jù)挖掘能力可將金融業(yè)務(wù)做到高效率、低成本。

第三，大數(shù)據(jù)使得產(chǎn)品更加安全可控和令人滿意。精準(zhǔn)數(shù)據(jù)定位模式，對(duì)消費(fèi)者而言，是安全可控、可受的。可控，是指雙方的風(fēng)險(xiǎn)可控；可受，是指雙方的收益(或成本)和流動(dòng)性是可接受的。同時(shí)，高效貼心的服務(wù)還能提升用戶的滿意度。

最后，大數(shù)據(jù)將促進(jìn)行業(yè)的泛在化。金融供給將不再是傳統(tǒng)金融業(yè)者的專屬領(lǐng)地，許多具備大數(shù)據(jù)技術(shù)應(yīng)用能力的企業(yè)都會(huì)涉足、介入金融行業(yè)。有趨勢(shì)表明，銀行與非銀行間、證券公司與非證券公司間、保險(xiǎn)公司與非保險(xiǎn)公司間的界限將會(huì)非常模糊，金融企業(yè)與非金融企業(yè)間的跨界