從云計(jì)算、大數(shù)據(jù)到人工智能-課件

從云計(jì)算、大數(shù)據(jù)到人工智能01前言

云計(jì)算、大數(shù)據(jù)和人工智能，這三個(gè)詞現(xiàn)在非常火，并且他們之間互相有關(guān)系。

一般談云計(jì)算的時(shí)候會(huì)提到大數(shù)據(jù)、談人工智能的時(shí)候會(huì)提大數(shù)據(jù)、也會(huì)提到云計(jì)算。。。。。。感覺三者之間相輔相成又不可分割。

這里我們有必要解釋一下，三者之間的相互關(guān)系。。。

云計(jì)算最初目標(biāo)云計(jì)算最初目標(biāo)是對資源的管理，管理的主要是計(jì)算資源、網(wǎng)絡(luò)資源、存儲資源三個(gè)方面。管數(shù)據(jù)中心就像配電腦-比如你要買臺筆記本電腦，是不是要關(guān)心這臺電腦是什么樣的CPU？多大的內(nèi)存？這兩個(gè)就被我們稱為計(jì)算資源。Compute計(jì)算-家的所有的電腦、手機(jī)、平板就都可以通過路由器上網(wǎng)了。這就是網(wǎng)絡(luò)資源。Networking網(wǎng)絡(luò)-可能還會(huì)問硬盤多大？過去的硬盤都很小，大小如10G之類的；后來即使500G、1T、2T的硬盤也不新鮮了。(1T是1000G)，這就是存儲資源。Storage存儲資源運(yùn)營數(shù)據(jù)中心的人是怎么把這些設(shè)備統(tǒng)一的管理起來的呢？什么叫計(jì)算、網(wǎng)絡(luò)、存儲資源？靈活就是想怎么就怎么想什么時(shí)候要就什么時(shí)候要，需要的時(shí)候一點(diǎn)就出來了。想要多少就有多少。需要一個(gè)空間很小的電腦，可以滿足；需要一個(gè)特別大的空間例如云盤，云盤給每個(gè)人分配的空間動(dòng)不動(dòng)就很大很大，隨時(shí)上傳隨時(shí)有空間，永遠(yuǎn)用不完，也是可以滿足的。管理的目標(biāo)就是要達(dá)到時(shí)間靈活性和空間靈活性時(shí)間靈活性空間靈活性靈活就是想啥時(shí)要都有，想要多少都行云計(jì)算彈性首先是它缺乏時(shí)間靈活性。不能夠達(dá)到想什么時(shí)候要就什么時(shí)候要。其次是它的空間靈活性也不行。不能根據(jù)用戶需求設(shè)置機(jī)器大小。物理設(shè)備不靈活每個(gè)客戶只能看到自己的那一小塊，但其實(shí)每個(gè)客戶用的是整個(gè)大的設(shè)備上的一小塊。如果事先物理設(shè)備都準(zhǔn)備好，虛擬化軟件虛擬出一個(gè)電腦是非?？斓?，基本上幾分鐘就能解決。虛擬化靈活多了空間靈活性和時(shí)間靈活性，即我們常說的云計(jì)算的彈性。云計(jì)算—虛擬化需要比較復(fù)雜的人工配置影響時(shí)間靈活性和空間靈活性虛擬化的半自動(dòng)調(diào)度中心自動(dòng)在大池子里面找一個(gè)能夠滿足用戶需求的地方，把虛擬電腦啟動(dòng)起來做好配置云計(jì)算的全自動(dòng)虛擬化與云計(jì)算調(diào)度云計(jì)算—云化私有云：把虛擬化和云化的這套軟件部署在自己的數(shù)據(jù)中心里面。使用私有云的用戶往往很有錢，自己買地建機(jī)房、自己買服務(wù)器，然后讓云廠商部署在自己這里。公有云：把虛擬化和云化軟件部署在云廠商自己數(shù)據(jù)中心里面的，用戶不需要很大的投入，只要注冊一個(gè)賬號，就能在一個(gè)網(wǎng)頁上點(diǎn)一下創(chuàng)建一臺虛擬電腦。。云計(jì)算大致分兩種：一個(gè)是私有云，一個(gè)是公有云。Vmware私有云

公有云：阿里云、騰訊云、網(wǎng)易云、亞馬遜云技術(shù)開源Rackspace和美國航空航天局合作創(chuàng)辦了開源軟件OpenStack，它是一個(gè)計(jì)算compute、網(wǎng)絡(luò)networking、存儲storage的云化管理平臺。IaaS-InfranstractureAsAService隨著OpenStack的技術(shù)越來越成熟，可以管理的規(guī)模也越來越大，并且可以有多個(gè)OpenStack集群部署多套。在這個(gè)規(guī)模下，對于普通用戶的感知來講，基本能夠做到想什么時(shí)候要就什么時(shí)候要，想要多少就要多少。從感覺上來講，就實(shí)現(xiàn)了云計(jì)算的彈性。其實(shí)有點(diǎn)像銀行，給儲戶的感覺是什么時(shí)候取錢都有，只要不同時(shí)擠兌，銀行就不會(huì)垮。到了這個(gè)階段，云計(jì)算基本上實(shí)現(xiàn)了時(shí)間靈活性和空間靈活性；實(shí)現(xiàn)了計(jì)算、網(wǎng)絡(luò)、存儲資源的彈性。資源層面的靈活性云計(jì)算不光管資源，也要管應(yīng)用安裝的過程平臺幫不了你的忙，但是可以幫你做到自動(dòng)化。自己的應(yīng)用自動(dòng)安裝通用的應(yīng)用不用安裝復(fù)雜度比較高的，都在用的，例如數(shù)據(jù)庫等云計(jì)算應(yīng)用解決管理資源的以上的應(yīng)用彈性問題云計(jì)算應(yīng)用而容器是能更好地解決這個(gè)問題。容器是Container，Container另一個(gè)意思是集裝箱，其實(shí)容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點(diǎn)：一是封裝，二是標(biāo)準(zhǔn)云計(jì)算不光管資源，也要管應(yīng)用雖說腳本的方式能夠解決自己的應(yīng)用的部署問題，然而不同的環(huán)境千差萬別，一個(gè)腳本往往在一個(gè)環(huán)境上運(yùn)行正確，到另一個(gè)環(huán)境就不正確了。云計(jì)算—容器有了集裝箱以后，所有的貨物都打包在一起了，船員再也不用上岸長時(shí)間耽擱了沒有集裝箱的時(shí)候，每次換船，船員們都要在岸上待幾天才能走云計(jì)算--PaaS容器如何對應(yīng)用打包呢？還是要學(xué)習(xí)集裝箱。首先要有個(gè)封閉的環(huán)境，將貨物封裝起來，讓貨物之間互不干擾、互相隔離，這樣裝貨卸貨才方便。好在Ubuntu中的LXC技術(shù)早就能做到這一點(diǎn)。封閉的環(huán)境主要使用了兩種技術(shù)：看起來是隔離的技術(shù)，稱為

Namespace，也即每個(gè)Namespace中的應(yīng)用看到的是不同的IP地址、用戶空間、程號等。用起來是隔離的技術(shù)，稱為Cgroups，也即明明整臺機(jī)器有很多的

CPU、內(nèi)存，而一個(gè)應(yīng)用只能用其中的一部分。有了容器，使得PaaS層對于用戶自身應(yīng)用的自動(dòng)部署變得快速而優(yōu)雅。大數(shù)據(jù)擁抱云計(jì)算結(jié)構(gòu)化數(shù)據(jù)有固定格式和有限長度的數(shù)據(jù)。例如填的表格就是結(jié)構(gòu)化的數(shù)據(jù)，國籍：中華人民共和國，民族：漢，性別：男，這都叫結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)現(xiàn)在非結(jié)構(gòu)化的數(shù)據(jù)越來越多，就是不定長、無固定格式的數(shù)據(jù)，例如網(wǎng)頁，有時(shí)候非常長，有時(shí)候幾句話就沒了；例如語音，視頻都是非結(jié)構(gòu)化的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)是一些XML或者HTML的格式的，不從事技術(shù)的可能不了解，但也沒有關(guān)系。數(shù)據(jù)類型在PaaS層中一個(gè)復(fù)雜的通用應(yīng)用就是大數(shù)據(jù)平臺。大數(shù)據(jù)4V特征結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，對數(shù)據(jù)的處理能力提出了更高要求實(shí)時(shí)獲取需要的信息比如：在客戶每次瀏覽頁面，每次下訂單過程中都會(huì)對用戶進(jìn)行實(shí)時(shí)的推薦，決策已經(jīng)變得實(shí)時(shí)數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB

時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB

的數(shù)據(jù)量沙里淘金，價(jià)值密度低雖然數(shù)據(jù)量很大，但是價(jià)值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價(jià)值“提純”，是目前大數(shù)據(jù)亟待解決的難題大數(shù)據(jù)產(chǎn)品市場價(jià)值解決方案轉(zhuǎn)化1.

海量（Volume）3.速度（

Velocity）4.

價(jià)值（value）2.

多樣（Variety）軟件是大數(shù)據(jù)的引擎和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力.軟件改變世界!大數(shù)據(jù)擁抱云計(jì)算數(shù)據(jù)的應(yīng)用分這四個(gè)步驟：數(shù)據(jù)、信息、知識、智慧你每天跑步帶個(gè)手環(huán)收集的也是數(shù)據(jù)，網(wǎng)上這么多網(wǎng)頁也是數(shù)據(jù)，我們稱為Data數(shù)據(jù)數(shù)據(jù)十分雜亂，經(jīng)過梳理和清洗，才能夠稱為信息信息信息會(huì)包含很多規(guī)律，我們需要從信息中將規(guī)律總結(jié)出來，稱為知識（Knowledge），而知識改變命運(yùn)。知識有了知識，然后利用這些知識去應(yīng)用于實(shí)戰(zhàn)，有的人會(huì)做得非常好，這個(gè)東西叫做智慧智慧大數(shù)據(jù)升華為智慧數(shù)據(jù)的處理分以下幾個(gè)步驟，完成了才最后會(huì)有智慧：數(shù)據(jù)收集數(shù)據(jù)傳輸數(shù)據(jù)存儲數(shù)據(jù)處理和分析數(shù)據(jù)檢索和挖掘大數(shù)據(jù)升華為智慧當(dāng)數(shù)據(jù)量很小的時(shí)候，很少的幾臺機(jī)器就能解決。慢慢的當(dāng)數(shù)據(jù)量越來越大，最牛的服務(wù)器都解決不了問題的時(shí)候，就想怎么辦呢？要聚合多臺機(jī)器的力量，大家齊心協(xié)力一起把這個(gè)事搞定，眾人拾柴火焰高。大數(shù)據(jù)升華為智慧智慧形成大數(shù)據(jù)獲取當(dāng)數(shù)據(jù)量很小時(shí)，很少的幾臺機(jī)器就能解決當(dāng)數(shù)據(jù)量越來越大，這時(shí)就要聚合多臺機(jī)器的力量對于數(shù)據(jù)的收集：就IoT來講，外面部署著成千上萬的檢測設(shè)備，將大量的溫度、濕度、監(jiān)控、電力等數(shù)據(jù)統(tǒng)統(tǒng)收集上來；就互聯(lián)網(wǎng)網(wǎng)頁的搜索引擎來講，需要將整個(gè)互聯(lián)網(wǎng)所有的網(wǎng)頁都下載下來。多臺機(jī)器組成網(wǎng)絡(luò)爬蟲系統(tǒng)，每臺機(jī)器下載一部分，同時(shí)工作，才能在有限的時(shí)間內(nèi)，將海量的網(wǎng)頁下載完畢。大數(shù)據(jù)調(diào)度對于數(shù)據(jù)的傳輸：一個(gè)內(nèi)存里面的隊(duì)列肯定會(huì)被大量的數(shù)據(jù)擠爆掉，于是就產(chǎn)生了基于硬盤的分布式隊(duì)列，這樣隊(duì)列可以多臺機(jī)器同時(shí)傳輸，隨你數(shù)據(jù)量多大，只要我的隊(duì)列足夠多，管道足夠粗，就能夠撐得住。大數(shù)據(jù)存儲對于數(shù)據(jù)的存儲：一臺機(jī)器的文件系統(tǒng)肯定是放不下的，所以需要一個(gè)很大的分布式文件系統(tǒng)來做這件事情，把多臺機(jī)器的硬盤打成一塊大的文件系統(tǒng)。大數(shù)據(jù)處理與分析分布式計(jì)算的方法，將大量的數(shù)據(jù)分成小份，每臺機(jī)器處理一小份，多臺機(jī)器并行處理，很快就能算完。例如著名的Terasort對1個(gè)TB的數(shù)據(jù)排序，相當(dāng)于1000G，如果單機(jī)處理，怎么也要幾個(gè)小時(shí)，但并行處理209秒就完成了。大數(shù)據(jù)分析流程大數(shù)據(jù)分析-挖掘建模使用廣義角度分類聚類估值預(yù)測關(guān)聯(lián)規(guī)則···數(shù)理基礎(chǔ)角度機(jī)器學(xué)習(xí)方法統(tǒng)計(jì)方法神經(jīng)網(wǎng)絡(luò)方法決策樹基于范例學(xué)習(xí)規(guī)則歸納遺傳算法···回歸分析時(shí)間序列分析關(guān)聯(lián)分析聚類分析粗糙集探索性分析支持向量機(jī)最近鄰分析···模糊集前向神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)···感知機(jī)可視化數(shù)據(jù)挖掘工具Weka軟件SPSS軟件Clementine軟件RapidMiner軟件其他數(shù)據(jù)挖掘軟件大數(shù)據(jù)技術(shù)體系大數(shù)據(jù)擁抱云計(jì)算大數(shù)據(jù)擁抱云計(jì)算所以說什么叫做大數(shù)據(jù)？說白了就是一臺機(jī)器干不完，大家一起干?？墒请S著數(shù)據(jù)量越來越大，很多不大的公司都需要處理相當(dāng)多的數(shù)據(jù)，這些小公司沒有這么多機(jī)器可怎么辦呢？大數(shù)據(jù)需要云計(jì)算，云計(jì)算需要大數(shù)據(jù)說到這里，大家想起云計(jì)算了吧。當(dāng)想要干這些活時(shí)，需要很多的機(jī)器一塊做，真的是想什么時(shí)候要就什么時(shí)候要，想要多少就要多少。例如大數(shù)據(jù)分析公司的財(cái)務(wù)情況，可能一周分析一次，如果要把這一百臺機(jī)器或者一千臺機(jī)器都在那放著，一周用一次非常浪費(fèi)。那能不能需要計(jì)算的時(shí)候，把這一千臺機(jī)器拿出來；不算的時(shí)候，讓這一千臺機(jī)器去干別的事情？誰能做這個(gè)事兒呢？只有云計(jì)算，可以為大數(shù)據(jù)的運(yùn)算提供資源層的靈活性。而云計(jì)算也會(huì)部署大數(shù)據(jù)放到它的PaaS平臺上，作為一個(gè)非常非常重要的通用應(yīng)用。因?yàn)榇髷?shù)據(jù)平臺能夠使得多臺機(jī)器一起干一個(gè)事兒，這個(gè)東西不是一般人能開發(fā)出來的，也不是一般人玩得轉(zhuǎn)的，怎么也得雇個(gè)幾十上百號人才能把這個(gè)玩起來。所以說就像數(shù)據(jù)庫一樣，還是需要有一幫專業(yè)的人來玩這個(gè)東西?，F(xiàn)在公有云上基本上都會(huì)有大數(shù)據(jù)的解決方案了。一個(gè)小公司需要大數(shù)據(jù)平臺的時(shí)候，不需要采購一千臺機(jī)器，只要到公有云上一點(diǎn)，這一千臺機(jī)器都出來了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺，只要把數(shù)據(jù)放進(jìn)去算就可以了。云計(jì)算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計(jì)算，二者就這樣結(jié)合了。人工智能擁抱大數(shù)據(jù)機(jī)器什么時(shí)候才能懂人心雖說有了大數(shù)據(jù)，人的欲望卻不能夠滿足。雖說在大數(shù)據(jù)平臺里面有搜索引擎這個(gè)東西，想要什么東西一搜就出來了。但也存在這樣的情況：我想要的東西不會(huì)搜，表達(dá)不出來，搜索出來的又不是我想要的。例如音樂軟件推薦了一首歌，這首歌我沒聽過，當(dāng)然不知道名字，也沒法搜。但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當(dāng)人們使用這種應(yīng)用時(shí)，會(huì)發(fā)現(xiàn)機(jī)器知道我想要什么，而不是說當(dāng)我想要時(shí)，去機(jī)器里面搜索。這個(gè)機(jī)器真像我的朋友一樣懂我，這就有點(diǎn)人工智能的意思了。人們很早就在想這個(gè)事情了。最早的時(shí)候，人們想象，要是有一堵墻，墻后面是個(gè)機(jī)器，我給它說話，它就給我回應(yīng)。如果我感覺不出它那邊是人還是機(jī)器，那它就真的是一個(gè)人工智能的東西了。讓機(jī)器學(xué)會(huì)推理如何讓機(jī)器學(xué)會(huì)推理？讓機(jī)器具有學(xué)習(xí)的功能從各種各樣的數(shù)據(jù)中快速獲取有價(jià)值信息的能力機(jī)器更智能，具有分析能力計(jì)算機(jī)利用經(jīng)驗(yàn)改善自身性能的行為機(jī)器學(xué)習(xí)的最終目的是從數(shù)據(jù)中獲取知識由計(jì)算機(jī)代替人去挖掘信息，獲取知識人工智能淺析模擬大腦的工作方式人類的腦子里面不是存儲著大量的規(guī)則，也不是記錄著大量的統(tǒng)計(jì)數(shù)據(jù)，而是通過神經(jīng)元的觸發(fā)實(shí)現(xiàn)的，每個(gè)神經(jīng)元有從其它神經(jīng)元的輸入，當(dāng)接收到輸入時(shí)，會(huì)產(chǎn)生一個(gè)輸出來刺激其它神經(jīng)元。于是大量的神經(jīng)元相互反應(yīng)，最終形成各種輸出的結(jié)果。人工智能淺析用一個(gè)數(shù)學(xué)單元模擬神經(jīng)元。這個(gè)神經(jīng)元有輸入，有輸出，輸入和輸出之間通過一個(gè)公式來表示，輸入根據(jù)重要程度不同(權(quán)重)，影響著輸出。將n個(gè)神經(jīng)元通過像一張神經(jīng)網(wǎng)絡(luò)一樣連接在一起。n這個(gè)數(shù)字可以很大很大，所有的神經(jīng)元可以分成很多列，每一列很多個(gè)排列起來。每個(gè)神經(jīng)元對于輸入的權(quán)重可以都不相同，從而每個(gè)神經(jīng)元的公式也不相同。當(dāng)人們從這張網(wǎng)絡(luò)中輸入一個(gè)東西的時(shí)候，希望輸出一個(gè)對人類來講正確的結(jié)果。人工智能淺析神經(jīng)網(wǎng)絡(luò)的普遍性定理是這樣說的，假設(shè)某個(gè)人給你某種復(fù)雜奇特的函數(shù)，f(x)不管這個(gè)函數(shù)是什么樣的，總會(huì)確保有個(gè)神經(jīng)網(wǎng)絡(luò)能夠?qū)θ魏慰赡艿妮斎離，其值f(x)（或者某個(gè)能夠準(zhǔn)確的近似）是神經(jīng)網(wǎng)絡(luò)的輸出。如果在函數(shù)代表著規(guī)律，也意味著這個(gè)規(guī)律無論多么奇妙，多么不能理解，都是能通過大量的神經(jīng)元，通過大量權(quán)重的調(diào)整，表示出來的。聽起來也沒有那么有道理，但的確能做到，就是這么任性！人工智能淺析人工智能擁抱云計(jì)算由于人工智能算法多是依賴于大量的數(shù)據(jù)的，這些數(shù)據(jù)往往需要面向某個(gè)特定的領(lǐng)域(例如電商，郵箱)進(jìn)行長期的積累。如果沒有數(shù)據(jù)，就算有人工智能算法也白搭，所以人工智能程序很少像前面的IaaS和PaaS一樣，將人工智能程序給某個(gè)客戶安裝一套，讓客戶去用。因?yàn)榻o某個(gè)客戶單獨(dú)安裝一套，客戶沒有相關(guān)的數(shù)據(jù)做訓(xùn)練，結(jié)果往往是很差的。但云計(jì)算廠商往往是積累了大量數(shù)據(jù)的，于是就在云計(jì)算廠商里面安裝一套，暴露一個(gè)服務(wù)接口。比如您想鑒別一個(gè)文本是不是涉及黃色和暴力，直接用這個(gè)在線服務(wù)就可以了。這種形勢的服務(wù)，在云計(jì)算里面稱為軟件即服務(wù)，SaaS(SoftwareASAService)于是人工智能程序作為SaaS平臺進(jìn)入了云計(jì)算。人工智能一覽表

應(yīng)用領(lǐng)域技術(shù)體系人工智能內(nèi)容人工智能的六大關(guān)鍵技術(shù)什么是深度學(xué)習(xí)深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層、甚至10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而分類或預(yù)測更加容易。人工智能崛起人工智能機(jī)器學(xué)習(xí)算法是實(shí)現(xiàn)人工智能落地的引擎機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)/強(qiáng)化學(xué)習(xí)促成了人工智能與商業(yè)場景的結(jié)合深度學(xué)習(xí)對并行計(jì)算單位時(shí)間數(shù)據(jù)吞吐能力有更高要求GPU/FPGA的發(fā)展及計(jì)算能力的提升使得云計(jì)算平臺可以快速計(jì)算、處理大量的數(shù)據(jù)大量實(shí)時(shí)產(chǎn)生的數(shù)據(jù)為人工智能的落地應(yīng)用奠定了基礎(chǔ)