機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別

1、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別第1頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四2016是人工智能爆發(fā)的一年，各種層出不窮的新技術(shù)、新概念讓人眼花繚亂。很多人都分不清人工智能（Artificial Intelligence，簡稱AI）、機(jī)器學(xué)習(xí)（Machine Learning，簡稱ML）以及深度學(xué)習(xí)（Deep Learning，簡稱DL）概念之間的不同。本文為理解機(jī)器學(xué)習(xí)和深度學(xué)習(xí)提供了不同的視角。第2頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四由于AI的大熱，媒體上關(guān)于AI的文章狂轟亂炸，人工智能似乎已經(jīng)成為游戲的改變者，企業(yè)們也紛紛下注。對于AI領(lǐng)域的從業(yè)者來說，人工智能、機(jī)

2、器學(xué)習(xí)和深度學(xué)習(xí)之間的差別應(yīng)該非常清楚。人工智能是一個大概念，從有效的老式人工智能（GOFAI）到聯(lián)結(jié)主義結(jié)構(gòu)，無所不包。而機(jī)器學(xué)習(xí)則是人工智能領(lǐng)域的一個小分支，如果說AI是一個合集，那么ML就是AI的子集。任何通過數(shù)據(jù)訓(xùn)練的學(xué)習(xí)算法的相關(guān)研究都屬于機(jī)器學(xué)習(xí)，包括很多已經(jīng)發(fā)展多年的技術(shù)，比如線性回歸（Linear Regression）、K均值（K-means，基于原型的目標(biāo)函數(shù)聚類方法）、決策樹（Decision Trees，運(yùn)用概率分析的一種圖解法）、隨機(jī)森林（Random Forest，運(yùn)用概率分析的一種圖解法）、PCA（Principal Component Analysis，主成分分

3、析）、SVM（Support Vector Machine，支持向量機(jī)）以及ANN（Artificial Neural Networks，人工神經(jīng)網(wǎng)絡(luò)）。而人工神經(jīng)網(wǎng)絡(luò)則是深度學(xué)習(xí)的起源。第3頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四一些之前接觸過人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)從業(yè)者對深度學(xué)習(xí)的第一印象很可能是：這不過就是多層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)而已。此外，深度學(xué)習(xí)成功的主要原因是大量可用的數(shù)據(jù)以及像GPU這樣更強(qiáng)大的計算引擎的出現(xiàn)。這當(dāng)然是事實(shí)，深度學(xué)習(xí)的出現(xiàn)基本要?dú)w因于這兩方面的進(jìn)展。但是，如果就此下結(jié)論說深度學(xué)習(xí)不過是比支持向量機(jī)或者決策樹更好的算法而已，那就真的是一葉障目，不見泰山了

4、。借用Andreesen的話“軟件正在占領(lǐng)全世界”，那么深度學(xué)習(xí)就正在取代機(jī)器學(xué)習(xí)。兩篇來自不同機(jī)器學(xué)習(xí)領(lǐng)域的從業(yè)者很好的解釋了為什么深度學(xué)習(xí)正在占領(lǐng)全世界。神經(jīng)語言程序?qū)W（NLP）的專家Chris Manning這樣形容“深度學(xué)習(xí)海嘯”：深度學(xué)習(xí)的浪潮在幾年前就已經(jīng)抵達(dá)計算語言學(xué)的海岸，但是2015似乎是這場海嘯全面沖擊各大自然語言處理（NLP）會議的一年。一些專家預(yù)言，最終的沖擊將會更大。Nicholas Paragios則寫了一篇名為“計算機(jī)視覺研究：大蕭條”的文章，以下是文章節(jié)選：在高度復(fù)雜以及很大程度由圖片的自由度決定的問題上，深度學(xué)習(xí)一旦被賦予大量被標(biāo)記的數(shù)據(jù)以及不可想象（直到最近

5、）的計算能力，就能解決所有的計算機(jī)視覺問題。如果是這樣的話，那么深度學(xué)習(xí)占領(lǐng)業(yè)界，計算機(jī)視覺研究成為邊緣學(xué)科并走上計算機(jī)圖形的老路（學(xué)術(shù)研究的活躍度和數(shù)量）將只是時間問題。第4頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四這兩篇文章都強(qiáng)調(diào)了深度學(xué)習(xí)相對機(jī)器學(xué)習(xí)是有顛覆性的意義的。當(dāng)然，深度學(xué)習(xí)在商用領(lǐng)域也具備同樣的顛覆性。但是讓人震驚和困惑的是，就連Gartner也沒能分清機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的差別。這里是Gartner于2016年8月份發(fā)布的發(fā)展規(guī)律周期圖（Hyper Cycle），深度學(xué)習(xí)甚至沒有被提及：第5頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四盡管被Gartne

6、r忽視了，深度學(xué)習(xí)依然持續(xù)火熱。目前對深度學(xué)習(xí)的炒作主要是：我們已經(jīng)擁有了可以商用的機(jī)器，只要給它們足夠多的數(shù)據(jù)和足夠長的時間，它們就能夠自己學(xué)習(xí)。這要么是夸大了深度學(xué)習(xí)的現(xiàn)有技術(shù)水平，要么就是將深度學(xué)習(xí)的實(shí)踐過于簡化了。在過去的幾年里，深度學(xué)習(xí)產(chǎn)生了大量的想法和技術(shù)，這些在以前要么是未知的，要么是站不住腳的。起初，這些概念是碎片化而且毫無關(guān)聯(lián)的，但是隨著時間的推移，大量的模式和方法開始涌現(xiàn)，深度學(xué)習(xí)設(shè)計模式這一領(lǐng)域也變得熱鬧起來。第6頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四今天的深度學(xué)習(xí)不僅僅是具備多層架構(gòu)的感知器，而是一系列能夠用來構(gòu)建可組合可微分的體系結(jié)構(gòu)的技術(shù)和方法。這些

7、具有超強(qiáng)能力的機(jī)器學(xué)習(xí)系統(tǒng)只不過是我們目前所能看到的冰山一角。關(guān)鍵在于，雖然深度學(xué)習(xí)目前看起來像點(diǎn)金術(shù)，但是總有一天我們會學(xué)會如何像操控化學(xué)一樣操控它。有了這個基礎(chǔ)，我們將能夠更好的預(yù)測機(jī)器學(xué)習(xí)未來所能具備的能力。第7頁，共8頁，2022年，5月20日，2點(diǎn)20分，星期四機(jī)器學(xué)習(xí)對比深度學(xué)習(xí)在深入探討數(shù)據(jù)學(xué)習(xí)與機(jī)器學(xué)習(xí)之間的區(qū)別前，我們先簡單討論下機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別。機(jī)器學(xué)習(xí)一系列在數(shù)據(jù)集上進(jìn)行訓(xùn)練的算法，來做出預(yù)測或采取形同從而對系統(tǒng)進(jìn)行優(yōu)化。例如，基于歷史數(shù)據(jù)，監(jiān)督分類算法就被用來分類潛在的客戶或貸款意向。根據(jù)給定任務(wù)的不同（例如，監(jiān)督式聚類），用到的技術(shù)也不同：樸素貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、ensembles、關(guān)聯(lián)規(guī)則、決策樹、邏輯回歸或多種方法之間的結(jié)合。這些都是數(shù)據(jù)科學(xué)的分支。當(dāng)這些算法被用于自動化的時候，就像在