深度學(xué)習(xí)理論與實(shí)踐 課件 第1章 深度學(xué)習(xí)簡介

第1章

深度學(xué)習(xí)簡介深度學(xué)習(xí)簡介2計(jì)算機(jī)視覺強(qiáng)化學(xué)習(xí)

深度學(xué)習(xí)是一種基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。和傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)模型一般需要更豐富的數(shù)據(jù)、更強(qiáng)大的計(jì)算資源，同時(shí)也能達(dá)到更高的準(zhǔn)確率。目前，深度學(xué)習(xí)方法被廣泛應(yīng)用于計(jì)算機(jī)視覺、自然語言處理、強(qiáng)化學(xué)習(xí)等領(lǐng)域。本章將依次進(jìn)行介紹。自然語言處理目錄3計(jì)算機(jī)視覺的定義和基本任務(wù)仿生學(xué)和深度學(xué)習(xí)自然語言處理的基本問題傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的對比強(qiáng)化學(xué)習(xí)算法簡介強(qiáng)化學(xué)習(xí)的應(yīng)用第一節(jié)第二節(jié)第三節(jié)第四節(jié)第五節(jié)第六節(jié)第一節(jié)計(jì)算機(jī)視覺的定義和基本任務(wù)計(jì)算機(jī)視覺的定義6計(jì)算機(jī)視覺是使用計(jì)算機(jī)及相關(guān)設(shè)備對生物視覺的一種模擬。它的主要任務(wù)是通過對采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場景的三維信息。計(jì)算機(jī)視覺是一門關(guān)于如何運(yùn)用照相機(jī)和計(jì)算機(jī)來獲取我們所需的，被拍攝對象的數(shù)據(jù)與信息的學(xué)問。形象地說，就是給計(jì)算機(jī)安裝上眼睛（照相機(jī)）和大腦（算法），讓計(jì)算機(jī)能夠感知環(huán)境。計(jì)算機(jī)視覺的基本任務(wù)7

計(jì)算機(jī)視覺的基本任務(wù)包含圖像處理、模式識別或圖像識別、景物分析、圖像理解等。除了圖像處理和模式識別之外，它還包括空間形狀的描述，幾何建模以及認(rèn)識過程。實(shí)現(xiàn)圖像理解是計(jì)算機(jī)視覺的終極目標(biāo)。實(shí)現(xiàn)圖像理解是計(jì)算機(jī)視覺的終極目標(biāo)！圖像處理技術(shù)8通過處理使輸出圖像有較高的信噪比圖像處理技術(shù)可以把輸入圖像轉(zhuǎn)換成具有所希望特性的另一幅圖像，例如：通過增強(qiáng)處理突出圖像的細(xì)節(jié)在計(jì)算機(jī)視覺研究中經(jīng)常利用圖像處理技術(shù)進(jìn)行預(yù)處理和特征抽取。語義網(wǎng)絡(luò)表示法9

模式識別技術(shù)根據(jù)從圖像抽取的統(tǒng)計(jì)特性或結(jié)構(gòu)信息，把圖像分成預(yù)定的類別。例如，文字識別或指紋識別。

在計(jì)算機(jī)視覺中模式識別技術(shù)經(jīng)常用于對圖像中的某些部分，例如分割區(qū)域的識別和分類。圖像理解技術(shù)圖像理解技術(shù)是對圖像內(nèi)容信息的理解。

給定一幅圖像，圖像理解程序不僅描述圖像本身，而且描述和解釋圖像所代表的景物，以便對圖像代表的內(nèi)容做出決定。圖像理解技術(shù)是對圖像內(nèi)容信息的理解。計(jì)算機(jī)視覺的傳統(tǒng)算法1101020304GOAL圖像預(yù)處理特征感知特征提取特征篩選推理預(yù)測與識別

在深度學(xué)習(xí)算法出現(xiàn)之前，對于計(jì)算機(jī)視覺算法來說，大致可以分為以下5個(gè)步驟：1.缺乏對特征的重視2.圖像特征提取需要人力3.依賴特征算子缺點(diǎn)1.指紋識別算法2.基于Haar的人臉檢測算法3.基于HoG特征的物體檢測成功例子計(jì)算機(jī)視覺的傳統(tǒng)算法第二節(jié)仿生學(xué)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)示例輸入：圖片輸出：標(biāo)簽

發(fā)現(xiàn)人：DavidHubel視覺功能劃分

時(shí)間：1981

意義：證明大腦的可視皮層是分級的。視覺系統(tǒng)信息處理機(jī)制

抽象：把非常具體的形象的元素抽象出來形成有意義的概念。

迭代：把有意義的概念往上迭代，變成更加抽象，人可以感知到的抽象概念。抽象與迭代的過程案例說明人腦感知?dú)馇蚰M識別人臉識別摩托車現(xiàn)代深度學(xué)習(xí)17卷積神經(jīng)網(wǎng)絡(luò)（CNN）：卷積神經(jīng)網(wǎng)絡(luò)是一種對人腦比較精準(zhǔn)的模擬，它模擬了人腦識別圖片時(shí)感知圖片中的局部特征，之后將局部特征綜合起來再得到整張圖的全局信息的過程。其卷積層通常是堆疊的，低層的卷積層可以提取到圖片的局部特征，高層的卷積能夠從低層的卷積層中學(xué)到更復(fù)雜的特征，從而實(shí)現(xiàn)到圖片的分類和識別。現(xiàn)代深度學(xué)習(xí)的過程18

用學(xué)習(xí)好的卷積和對圖像進(jìn)行掃描，然后每一個(gè)卷積和會生成一個(gè)掃描的響應(yīng)圖，我們叫responsemap，或者叫featuremap。如果有多個(gè)卷積和，就有多個(gè)featuremap。也就說從一個(gè)最開始的輸入圖像（RGB三個(gè)通道）可以得到256個(gè)通道的featuremap，因?yàn)橛?56個(gè)卷積和，每個(gè)卷積和代表一種統(tǒng)計(jì)抽象的方式。卷積就是兩個(gè)函數(shù)之間的相互關(guān)系。在計(jì)算機(jī)視覺里面，可以把卷積當(dāng)作一個(gè)抽象的過程，就是把小區(qū)域內(nèi)的信息統(tǒng)計(jì)抽象出來。現(xiàn)代深度學(xué)習(xí)的過程19池化操作。池化操作在統(tǒng)計(jì)上的概念更明確，就是一個(gè)對一個(gè)小區(qū)域內(nèi)求平均值或者求最大值的統(tǒng)計(jì)操作。帶來的結(jié)果是，如果之前輸入有兩個(gè)通道的，或者256通道的卷積的響應(yīng)featuremap，每一個(gè)featuremap都經(jīng)過一個(gè)求最大的一個(gè)池化層，會得到一個(gè)比原來featuremap更小的256的featuremap。LeNet網(wǎng)絡(luò)2004030201輸入圖像是大小為32×32像素的灰度圖。第一層經(jīng)過了一組卷積和，生成了6個(gè)28×28的featuremap，然后經(jīng)過一個(gè)池化層，得到6個(gè)14×14的featuremap。然后再經(jīng)過一個(gè)卷積層，生成了16個(gè)10×10的卷積層，再經(jīng)過池化層生成16個(gè)5×5的featuremap。16個(gè)大小為5×5的featuremap再經(jīng)過3個(gè)全連接層，即可得到最后的輸出結(jié)果。輸出就是標(biāo)簽空間的輸出。AlexNet網(wǎng)絡(luò)：LeNet“放大版”21輸入：大小為224X224像素的圖片。特征：第一層，都是一些填充的塊狀物和邊界等特征中間的層開始學(xué)習(xí)一些紋理特征；而在接近分類器的高層，則可以明顯看到的物體形狀的特征。最后的一層，即分類層，不同物體的主要特征已經(jīng)被完全提取出來。第三節(jié)自然語言處理的基本問題自然語言23自然語言，區(qū)別于計(jì)算機(jī)所使用的機(jī)器語言和程序語言，是指人類用于日常交流的語言。而自然語言處理的目的卻是要讓計(jì)算機(jī)來理解和處理人類的語言。自然語言的一個(gè)句子背后往往包含著不直接表述出來的常識和邏輯。這使得計(jì)算機(jī)在試圖處理自然語言的時(shí)候不能從字面上獲取所有的信息。因此自然語言處理的難度更大，它的發(fā)展與應(yīng)用相比于計(jì)算機(jī)視覺也往往呈現(xiàn)出滯后的情況。為了將深度學(xué)習(xí)引入自然語言處理領(lǐng)域，研究者嘗試了許多方法來表示和處理自然語言的表層信息（如詞向量、更高層次、帶上下文信息的特征表示等），也嘗試過許多方法來結(jié)合常識與直接感知（如知識圖譜、多模態(tài)信息等）。這些研究都富有成果，其中的許多都已應(yīng)用于現(xiàn)實(shí)中，甚至用于社會管理、商業(yè)、軍事的目的。030102ThreeTwoOne自然語言處理的基本問題自然語言處理主要研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法，其主要任務(wù)包括：語言建模：計(jì)算一個(gè)句子在一個(gè)語言中出現(xiàn)的概率。中文分詞：將中文句子恰當(dāng)?shù)厍蟹譃閱蝹€(gè)的詞。句法分析：通過明確句子內(nèi)兩個(gè)或多個(gè)詞的關(guān)系來了解整個(gè)句子的結(jié)構(gòu)。最終句法分析的結(jié)果是一棵句法樹。情感分類：給出一個(gè)句子，判斷這個(gè)句子表達(dá)的情感。機(jī)器翻譯：最常見的是把源語言的一個(gè)句子翻譯成目標(biāo)語言的一個(gè)句子，最終預(yù)測出來的整個(gè)目標(biāo)語言句子必須與給定的源語言句子具有完全相同的含義。閱讀理解：有許多形式。有時(shí)候是輸入一個(gè)段落，一個(gè)問題，生成一個(gè)回答，或者在原文中標(biāo)定一個(gè)范圍作為回答，有時(shí)候是輸出一個(gè)分類。自然語言處理的發(fā)展趨勢越來越自動化模型越來越通用一開始，人們試圖減少和去除人類專家知識的參與。因此就有了大量的網(wǎng)絡(luò)參數(shù)、復(fù)雜的架構(gòu)設(shè)計(jì)，這些都是通過在概率模型中提供潛在變量，使得模型具有捕捉和表達(dá)復(fù)雜規(guī)則的能力。0102之后，人們覺得每一次為新的自然語言處理任務(wù)設(shè)計(jì)一個(gè)新的模型架構(gòu)并從頭訓(xùn)練的過程過于煩瑣，于是試圖開發(fā)利用這些任務(wù)底層所共享的語言特征。在這一背景下，遷移學(xué)習(xí)逐漸發(fā)展。03現(xiàn)在人們希望神經(jīng)網(wǎng)絡(luò)的架構(gòu)都可以不需要設(shè)計(jì)，而是根據(jù)具體的任務(wù)和數(shù)據(jù)來搜索得到。這一新興領(lǐng)域方興未艾，可以預(yù)見隨著研究的深入，自然語言處理的自動化程度一定會得到極大提高。第四節(jié)傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的對比傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的比較27維度數(shù)據(jù)量商業(yè)策略人工參與程度......可解釋性人的參與程度越來越低，但系統(tǒng)的效果越來越好。這是合乎直覺的，因?yàn)槿藢τ谑澜绲恼J(rèn)識和建?？偸瞧娴?、有局限性的。如果可以將自然語言處理系統(tǒng)的構(gòu)建自動化，將其基于對世界的觀測點(diǎn)（即數(shù)據(jù)集），所建立的模型和方法一定會比人類的認(rèn)知更加符合真實(shí)的世界。人工參與程度的降低帶來的另一個(gè)問題是模型的可解釋性越來越低。在理想狀況下，如果系統(tǒng)非常有效，人們根本不需要關(guān)心黑盒系統(tǒng)的內(nèi)部構(gòu)造，但事實(shí)是自然語言處理系統(tǒng)的狀態(tài)離完美還有相當(dāng)?shù)牟罹?。隨著自然語言處理系統(tǒng)中人工參與的程度越來越低，系統(tǒng)的細(xì)節(jié)就需要更多的信息來決定，這些信息只能來自于更多的數(shù)據(jù)。第五節(jié)強(qiáng)化學(xué)習(xí)算法簡介強(qiáng)化學(xué)習(xí)29強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，它與非監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)并列為機(jī)器學(xué)習(xí)的三類主要學(xué)習(xí)方法。強(qiáng)化學(xué)習(xí)強(qiáng)調(diào)如何基于環(huán)境行動，以取得最大化的預(yù)期利益，所以強(qiáng)化學(xué)習(xí)可以被理解為決策問題。它是多學(xué)科多領(lǐng)域交叉的產(chǎn)物，其靈感來自于心理學(xué)的行為主義理論，即有機(jī)體如何在環(huán)境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。強(qiáng)化學(xué)習(xí)的應(yīng)用范圍非常廣泛，各領(lǐng)域?qū)λ难芯恐攸c(diǎn)各有不同。030102ThreeTwoOne監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)30監(jiān)督學(xué)習(xí)是通過帶有標(biāo)簽或?qū)?yīng)結(jié)果的樣本訓(xùn)練得到一個(gè)最優(yōu)模型，再利用這個(gè)模型將所有輸入映射為相應(yīng)輸出，以實(shí)現(xiàn)分類非監(jiān)督學(xué)習(xí)是在樣本的標(biāo)簽未知的情況下，根據(jù)樣本之間的相似性對樣本集進(jìn)行聚類，使類內(nèi)差距最小化，學(xué)習(xí)出分類器強(qiáng)化學(xué)習(xí)的四個(gè)因素31智能體在每一個(gè)時(shí)間節(jié)點(diǎn)，智能體所處的環(huán)境的表示即為環(huán)境狀態(tài)。在每一個(gè)環(huán)境狀態(tài)中，智能體可以采取的動作即為行動。智能體是執(zhí)行任務(wù)的客體，只能通過與環(huán)境互動來提升策略。環(huán)境狀態(tài)行動反饋每到一個(gè)環(huán)境狀態(tài)，智能體就有可能會收到一個(gè)反饋。強(qiáng)化學(xué)習(xí)的目標(biāo)32

強(qiáng)化學(xué)習(xí)算法的目標(biāo)就是獲得最多的累計(jì)獎勵（正反饋）。以“幼童學(xué)習(xí)走路”為例：幼童需要自主學(xué)習(xí)走路，沒有人指導(dǎo)他應(yīng)該如何完成“走路”，他需要通過不斷的嘗試和外界對他的反饋來學(xué)習(xí)走路。強(qiáng)化學(xué)習(xí)的特征33R010203沒有監(jiān)督者，只有一個(gè)反饋信號。反饋是延遲的，不是立即生成的。另外，強(qiáng)化學(xué)習(xí)是序列學(xué)習(xí)，時(shí)間在強(qiáng)化學(xué)習(xí)中具有重要的意義；Agent的行為會影響以后所有的決策。強(qiáng)化學(xué)習(xí)算法簡介34強(qiáng)化學(xué)習(xí)算法Model-Free(無模型的)Model-based(有模型的)如果agent不需要去理解或計(jì)算出環(huán)境模型，算法就是Model-Free的；相應(yīng)地，如果需要計(jì)算出環(huán)境模型，那么算法就是Model-Based的?；诟怕驶谒惴∕odel-BasedVSModel-Free35Model-Free的算法看似隨意，但這恰好更易于研究者們?nèi)?shí)現(xiàn)和調(diào)整。Model-Free算法agent可以根據(jù)模型預(yù)測下一步的結(jié)果，并提前規(guī)劃行動路徑。但真實(shí)模型和學(xué)習(xí)到的模型是有誤差的，這種誤差會導(dǎo)致agent雖然在模型中表現(xiàn)很好，但是在真實(shí)環(huán)境中可能打不到預(yù)期結(jié)果。Model-Based算法基于概率VS基于價(jià)值36基于概率的算法直接輸出下一步要采取的各種動作的概率,然后根據(jù)概率采取行動。每種動作都有可能被選中,只是可能性不同。基于概率的算法的代表算法為policy-gradient?；诟怕实乃惴?/p>

基于價(jià)值的算法輸出的則是所有動作的價(jià)值,然后根據(jù)最高價(jià)值來選擇動作,相比基于概率的方法,基于價(jià)值的決策部分更為死板——只選價(jià)值最高的，而基于概率的,即使某個(gè)動作的概率最高,但是還是不一定會選到它。基于價(jià)值的算法的代表算法為Q-Learning?；趦r(jià)值的算法第六節(jié)強(qiáng)化學(xué)習(xí)的應(yīng)用強(qiáng)化學(xué)習(xí)算法的應(yīng)用38R

交互性檢索是在檢索用戶不能構(gòu)建良好的檢索式（關(guān)鍵詞）的情況下，通過與檢索平臺交流互動并不斷修改檢索式，從而獲得較準(zhǔn)確檢索結(jié)果的過程。

新聞推薦需要：獲取用戶請求，召回候選新聞，對候選新聞進(jìn)行排序，最終給用戶推出新聞。

將用戶持續(xù)瀏覽新聞的推薦過程看成一個(gè)決策過程，通過強(qiáng)化學(xué)習(xí)學(xué)習(xí)每一次推薦的最佳策略，提