人工智能基礎(chǔ)及應(yīng)用（微課版） 課件 第7章 深度學(xué)習

電子信息工程系第七章深度學(xué)習主講人：柳長源哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation引言BP神經(jīng)網(wǎng)絡(luò)(5.8)近年來，深度神經(jīng)網(wǎng)絡(luò)在模式識別和機器學(xué)習領(lǐng)域得到了成功的應(yīng)用。其中深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是目前研究和應(yīng)用都比較廣泛的深度學(xué)習結(jié)構(gòu)。本節(jié)重點介紹CNN，CNN是一種深度監(jiān)督學(xué)習下的機器學(xué)習模型。其深度學(xué)習算法可以利用空間相對關(guān)系減少參數(shù)從而提高訓(xùn)練性能。CNN是一類包含卷積運算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork）。相比前邊提到的BP神經(jīng)網(wǎng)絡(luò)，CNN最重要的特性在于“局部感知”與“參數(shù)共享”，自2012年設(shè)計的AlexNet開始，CNN已多次成為ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ImageNetLargeScaleVisualRecognitionChallenge，ILSVRC）的優(yōu)勝算法，至此，CNN開始大放異彩，成了眾多科學(xué)領(lǐng)域的研究重點之一。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)CNN基本概述(5.8)CNN

已經(jīng)成為計算機視覺領(lǐng)域中最具影響力的革新的一部分。1984年，日本學(xué)者Fukushima基于感受野概念提出了神經(jīng)認知機，這種神經(jīng)認知機被認為是CNN的第一個實現(xiàn)網(wǎng)絡(luò)。隨后，國內(nèi)外的研究人員提出了多種形式的CNN，并在郵政編碼識別、在線的手寫識別以及人臉識別方面等圖像處理領(lǐng)域得到了成功的應(yīng)用。經(jīng)典的CNN由輸入層、卷積層、池化層（也稱下采樣層）、全連接層及輸出層組成。更為詳細的CNN工作指的是挑一張圖像，讓它歷經(jīng)一系列卷積層、非線性層、池化層和全連接層，最終得到輸出。CNN在圖像分類問題中應(yīng)用廣泛。CNN結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)卷積層(5.8)CNN的第一層通常是卷積層（ConvolutionalLayer），用它來進行特征提取。1．卷積運算（1）求點積（2）滑動窗口（3）重復(fù)操作哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)卷積工作原理(5.8)過濾器與感受野想象有一束手電筒光正從圖像的左上角照過。假設(shè)手電筒光可以覆蓋5×5的區(qū)域，想象一下手電筒光照過輸入圖像的所有區(qū)域。在機器學(xué)習術(shù)語中，這束手電筒光被叫作過濾器［Filter，有時候也被稱為神經(jīng)元（Neuron）或卷積核（Kernel）］，被照過的區(qū)域被稱為感受野（ReceptiveField）。過濾器同樣也是一個數(shù)組（其中的數(shù)字被稱作權(quán)重或參數(shù)）。以過濾器所在的第一個位置為例，即圖像的左上角。當篩選值在圖像上滑動（卷積運算）時，過濾器中的值會與圖像中的原始像素值相乘（又稱為計算點積）。這些乘積被加在一起（從數(shù)學(xué)上來說，一共會有75個乘積）。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)步幅和填充(5.8)要改變每一層的行為，有兩個主要參數(shù)是可以調(diào)整的。選擇了過濾器的尺寸以后，還需要選擇步幅（Stride）和填充（Padding）。過濾器移動的距離就是步幅。步幅的設(shè)置通常要確保輸出內(nèi)容是一個整數(shù)而非分數(shù)。步幅為1步幅為2正常情況下，程序員如果想讓接受域重疊得更少并且想要更小的空間維度（spatialdimensions）時，他們會增加步幅。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)填充(5.8)在網(wǎng)絡(luò)的早期層中，我們想要盡可能多地保留原始輸入內(nèi)容的信息，這樣我們就能提取出那些低層的特征。比如說我們想要應(yīng)用同樣的卷積層，但又想讓輸出量維持為32×32×3。為做到這點，我們可以對這個層應(yīng)用大小為2的零填充（zeropadding）。零填充在輸入內(nèi)容的邊界周圍補充零。如果用兩個零填充，得到36×36×3的輸入。如果你的步幅為1，而且把零填充設(shè)置為K是過濾器尺寸，那么輸入和輸出內(nèi)容就總能保持一致的空間維度。計算任意給定卷積層的輸出的大小的公式是其中O是輸出尺寸，K是過濾器尺寸，P是填充，S是步幅。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.1卷積神經(jīng)網(wǎng)絡(luò)池化層(5.8)為了描述大的圖像，一個很自然的想法就是對不同位置的特征進行聚合統(tǒng)計，這些統(tǒng)計到的特征不僅具有低得多的維度（相比使用所有提取得到的特征），同時還會改善結(jié)果（不容易過擬合）。這種聚合的操作就叫作池化（pooling）。1）池化的原理和特性池化的作用是在語義上把相似的特征合并起來，從而達到降維目的。池化有4個重要特性：（1）池化沒有需要學(xué)習的參數(shù)。（2）池化運算后圖像的高度和寬度被壓縮，但通道數(shù)不會改變。（3）降低了數(shù)據(jù)特征，擴大了卷積核的感受野。（4）微小的位置變化具有魯棒性。2）池化的方法均值池化（averagepooling）最大池化（maxPooling）最大池化全連接層全連接層指每個神經(jīng)元與前一層所有的神經(jīng)元全部連接，

而卷積神經(jīng)網(wǎng)絡(luò)只和輸入數(shù)據(jù)中的一個局部區(qū)域連接，并且輸出的神經(jīng)元每個深度切片共享參數(shù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習的基本框架(5.8)

深度學(xué)習（deeplearning）是機器學(xué)習的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進行表征學(xué)習的算法。

深度學(xué)習是機器學(xué)習的一個研究方向，它是相對于淺層神經(jīng)網(wǎng)絡(luò)而言的。

深度學(xué)習是機器學(xué)習研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機制來解釋數(shù)據(jù)。深度學(xué)習源于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習強調(diào)模型結(jié)構(gòu)的深度，與普通的單隱藏層神經(jīng)網(wǎng)絡(luò)的不同主要在于“深度”，“深度”指的是節(jié)點層的數(shù)量。也就是說，深度神經(jīng)網(wǎng)絡(luò)擁有多個層，數(shù)據(jù)要通過這些層，進行逐層特征變換，將樣本在原空間的特征表示變換到一個新的特征空間，“深度模型”是手段，“特征學(xué)習”是目的。與淺層學(xué)習相比，深度學(xué)習利用大數(shù)據(jù)學(xué)習特征，更能刻畫數(shù)據(jù)的豐富內(nèi)在信息。

深度學(xué)習是使用深層架構(gòu)的機器學(xué)習方法，研究者需要從中抽象出一種數(shù)學(xué)模型，即建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANNs）。ANNs對輸入信息進行逐層提取和篩選，利用反向傳播算法來指導(dǎo)機器修改內(nèi)部參數(shù)，使計算機在使用特征的同時，找到數(shù)據(jù)隱含在內(nèi)部的關(guān)系，學(xué)習如何提取特征。深度學(xué)習使學(xué)習到的特征更具有表達力，最終通過計算機實現(xiàn)人工智能。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習的基本框架(5.8)深度學(xué)習框架目前主流的深度學(xué)習框架有

TensorFlow、Caffe、Theano、Keras、Torch等。這些深度學(xué)習框架被應(yīng)用于圖像處理、語音識別、目標檢測與生物信息學(xué)等領(lǐng)域，并取得了很好的效果。Theano

Theano是一個Python庫，是第一個有較大影響力的Python深度學(xué)習框架。它可用于定義、優(yōu)化和計算數(shù)學(xué)表達式，特別是多維數(shù)組（numpy.ndarray）。

對需要將每一種不同的數(shù)學(xué)表達式都計算一遍的情況，Theano可以最小化編譯、解析的計算量，但仍然會給出如自動微分那樣的符號特征。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習的基本框架(5.8)Tensorflow與Theano相近的設(shè)計理念，都是基于計算圖實現(xiàn)自動微分系統(tǒng)。TensorFlow編程接口支持Python和C++。TensorFlow由GoogleBrain團隊的研究人員和工程師開發(fā)，它是深度學(xué)習領(lǐng)域中最常用的軟件庫。制作TensorFlow有很多組件，其中比較突出的兩個是：①TensorBoard：使用數(shù)據(jù)流圖幫助實現(xiàn)有效的數(shù)據(jù)可視化；

②TensorFlow：用于快速部署新算法/實驗。常見用例：（1）基于文本的應(yīng)用程序：語言檢測、文本摘要；（2）圖像識別：圖像字幕、人臉識別、物體檢測；（3）聲音識別；（4）時間序列分析；（5）視頻分析。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習的基本框架(5.8)CaffeCaffe的全稱是ConvolutionalArchitectureforFastFeatureEmbedding。它是一個清晰、高效的深度學(xué)習框架，核心語言是C++。Caffe脫穎而出的是處理和學(xué)習圖像的速度，這很容易成為主要的USP（USP指的是UniqueSellingProposition，又稱創(chuàng)意理論）。Caffe的優(yōu)點是簡潔快速，缺點是少靈活性。Caffe為C、C++、Python、Matlab等接口以及傳統(tǒng)的命令行提供了堅實的支持。這些模型適用于以下任務(wù)：（1）簡單回歸；（2）大規(guī)模的視覺分類；（3）用于圖像相似性的暹羅網(wǎng)絡(luò)（SiameseNetworks）；（4）語音和機器人應(yīng)用；哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.2深度學(xué)習的基本框架(5.8)TorchTorch是腳本語言Lua的擴展庫，其目標是為機器學(xué)習系統(tǒng)的設(shè)計和訓(xùn)練提供靈活的環(huán)境。Torch是一個獨立、完備的框架，高度便攜、跨平臺（如Windows、Mac、Linux和Android），且其腳本在各種平臺上運行時無需經(jīng)過任何修改。PyTorch是Torch深度學(xué)習框架的一個端口，可用于構(gòu)建深度神經(jīng)網(wǎng)絡(luò)和執(zhí)行Tensor計算。你可以使用PyTorch處理各種深度學(xué)習挑戰(zhàn)，包括：（1）圖像（檢測、分類等）；（2）文本；

（3）強化學(xué)習。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類以序列（Sequence）數(shù)據(jù)為輸入，在序列的演進方向進行遞歸（Recursion）且所有節(jié)點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡(luò)（RecursiveNeuralNetwork）。RNN概述RNN是近來使用較為廣泛的一種深度學(xué)習架構(gòu)，是時間遞歸神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)的總稱。RNN的基本思想將輸入的時序類型信息納入考慮，所有循環(huán)單元按鏈式連接，遞歸方向與演進方向相同。RNN的參數(shù)在不同時刻也是共享的，RNN在模型的不同部分共享參數(shù)和其他前饋神經(jīng)網(wǎng)絡(luò)不同，RNN可以保存一種上下文的狀態(tài)RNN擅長解決序列數(shù)據(jù)問題RNN廣泛應(yīng)用在和序列有關(guān)的場景中，如一幀幀圖像組成的視頻、一個個片段組成的音頻和一個個詞匯組成的句子。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的基本結(jié)構(gòu)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型RNN模型RNN隱藏層的節(jié)點之間有連接，是主要用于對序列數(shù)據(jù)進行分類、預(yù)測等處理的神經(jīng)網(wǎng)絡(luò)。RNN的輸入和輸出可以是不定長且不等長的，哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的基本結(jié)構(gòu)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型RNN模型RNN隱藏層的節(jié)點之間有連接，是主要用于對序列數(shù)據(jù)進行分類、預(yù)測等處理的神經(jīng)網(wǎng)絡(luò)。RNN的輸入和輸出可以是不定長且不等長的，哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)n-to-n結(jié)構(gòu)是最為經(jīng)典的RNN結(jié)構(gòu),輸入和輸出都是等長的序列。RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)one-to-none-to-one結(jié)構(gòu)one-to-n結(jié)構(gòu)one-to-n結(jié)構(gòu)輸入的是一個獨立數(shù)據(jù)，需要輸出一個序列數(shù)據(jù)，常見的任務(wù)類型有基于圖像生成文字描述，基于類別生成一段語言、文字描述。n-to-nn-to-n結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)(5.8)RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)h1的計算h2的計算h2、h3的計算h1的f變換哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的四種網(wǎng)絡(luò)結(jié)構(gòu)n-to-one結(jié)構(gòu)常見任務(wù)：文本情感分析、文本分類。n-to-one結(jié)構(gòu)n-to-m結(jié)構(gòu)n-to-m結(jié)構(gòu)輸入序列和輸出序列不等長，也就是Encoder-Decoder

結(jié)構(gòu)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)n-to-n結(jié)構(gòu)的RNN要求序列等長，然而實際遇到的大部分問題序列都是不等長的Encoder-Decoder結(jié)構(gòu)先將輸入數(shù)據(jù)編碼成一個上下文語義向量c語義向量

c的輸出c

當作每一步的輸入哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)（1）最大的局限性（2）語義向量c無法完全表達整個序列的信息；（3）先輸入的內(nèi)容攜帶的信息，會被后輸入的信息稀釋掉，或者被覆蓋掉；（4）輸入序列越長，這樣的現(xiàn)象越嚴重，這樣使得在Decoder中解碼時一開始就沒有獲得足夠的輸入序列信息，解碼效果會打折扣。Encoder-Decoder結(jié)構(gòu)也存在一定的缺點RNN具有環(huán)狀結(jié)構(gòu)，可以使信息得以維持。一個含有內(nèi)部環(huán)的RNN輸入為Xt，輸出為Ot的神經(jīng)網(wǎng)絡(luò)。圖中，x代表輸入層的輸入數(shù)據(jù)。s代表隱藏層結(jié)構(gòu)。U是輸入層到隱藏層的連接權(quán)重。O代表輸出層。V代表隱藏層神經(jīng)元與輸出層神經(jīng)元之間的連接權(quán)重。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的梯度爆炸和梯度消失問題RNN中的隱藏層節(jié)點雖然可以記憶時序信息，但隨著輸入序列的遞增，遠端序列的信息在傳遞過程中必然會有衰減，并導(dǎo)致信息丟失，同時在網(wǎng)絡(luò)訓(xùn)練過程中，梯度也會隨著時序而逐漸消失，這種現(xiàn)象就是梯度消失或爆炸問題。三段時間的序列RNN則RNN最簡單的前向傳播過程如下：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的梯度爆炸和梯度消失問題現(xiàn)在假設(shè)時間序列只有三段：t1、t2、t3，只對t3時刻的Wx、Ws、Wo

求偏導(dǎo)（其他時刻類似）哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.3循環(huán)神經(jīng)網(wǎng)絡(luò)激活函數(shù)tanhtanh和它的導(dǎo)數(shù)圖像想要解決梯度消失和梯度爆炸問題可以使目前解決梯度消失和梯度爆炸問題的主要方案如下：（1）避免使用極大值或極小值初始化網(wǎng)絡(luò)權(quán)重。（2）采用ReLu函數(shù)等激活函數(shù)替代sigmoid函數(shù)和tanh。（3）改進RNN結(jié)構(gòu)，例如，長短時記憶網(wǎng)絡(luò)。梯度爆炸和梯度消失的原因是鏈式法則求導(dǎo)導(dǎo)致梯度呈指數(shù)級衰減哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長短時記憶網(wǎng)絡(luò)LSTM概述長短時間記憶網(wǎng)絡(luò)（LongShort-TermMemory,LSTM），是一種時間遞歸神經(jīng)網(wǎng)絡(luò)（RNN），主要是為了解決長序列訓(xùn)練過程中的梯度消失和梯度爆炸問題。LSTM區(qū)別于RNN的地方，主要就在于它在算法中加入了一個判斷信息有用與否的“處理器”，這個處理器作用的結(jié)構(gòu)被稱為cell，LSTM的cell框圖哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長短時記憶網(wǎng)絡(luò)LSTM的基本結(jié)構(gòu)RNN中重復(fù)神經(jīng)網(wǎng)絡(luò)模塊LSTM中重復(fù)神經(jīng)網(wǎng)絡(luò)模塊哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.4長短時記憶網(wǎng)絡(luò)LSTM的變體coupled忘記門和輸入門peephole連接GatedRecurrentUnit（GRU）它增加了添加了窺視孔連接(peepholeconnection)，這意味著可以上門層查看cell狀態(tài)。它同時做出決定，只在輸入相同位置信息的時候遺忘當前的信息。它將忘記門和輸入門合成了一個單一的更新門。同樣還混合了細胞狀態(tài)和隱藏狀態(tài)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的基本框架哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

在當前的人工智能熱潮下，GAN的提出滿足了許多領(lǐng)域的研究和應(yīng)用需求,同時為這些領(lǐng)域注入了新的發(fā)展動力。GAN應(yīng)用領(lǐng)域GAN在圖像處理和計算機視覺方面應(yīng)用最為廣泛，例如圖像翻譯、圖像生成、圖像超分辨率、目標檢測、視頻生成等領(lǐng)域的應(yīng)用。1.圖像2.序列GAN也逐漸被應(yīng)用于序列數(shù)據(jù)上，比如自然語言、音樂、語音、音頻等序列數(shù)據(jù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的優(yōu)點主要有一下幾點：（1）GAN是一種生成式模型，相比較其他生成模型（玻爾茲曼機和GSNs）只用到了反向傳播，而不需要復(fù)雜的馬爾科夫鏈；（2）GAN可以產(chǎn)生更加清晰，真實的樣本；（3）GAN采用的是一種無監(jiān)督的學(xué)習方式訓(xùn)練，可以被廣泛用在無監(jiān)督學(xué)習和半監(jiān)督學(xué)習領(lǐng)域；（4）相比于變分自編碼器，GANs沒有引入任何決定性偏置(deterministicbias)，變分方法引入決定性偏置，因為他們優(yōu)化對數(shù)似然的下界，而不是似然度本身，這看起來導(dǎo)致了VAEs生成的實例比GANs更模糊（5）相比VAE，GANs沒有變分下界，如果鑒別器訓(xùn)練良好，那么生成器可以完美的學(xué)習到訓(xùn)練樣本的分布。換句話說，GANs是漸進一致的，但是VAE是有偏差的（6）GAN應(yīng)用到一些場景上，比如圖片風格遷移，超分辨率，圖像補全，去噪，避免了損失函數(shù)設(shè)計的困難。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN概述GenerativeAdversarialNetworks

GAN的缺點主要有一下幾點：（1）訓(xùn)練GAN需要達到納什均衡，還沒有找到很好的達到納什均衡的方法，所以訓(xùn)練GAN相比VAE或者PixelRNN是不穩(wěn)定的；（2）GAN不適合處理離散形式的數(shù)據(jù)，比如文本；（3）GAN存在訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰的問題。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖D的輸入數(shù)據(jù)是真實樣本xG輸入數(shù)據(jù)是隨機噪聲zG(z)代表判別器生成的盡可能逼近真實數(shù)據(jù)分布的樣本D的目標是判別出輸入數(shù)據(jù)的真假G的目標是使自己生成的假樣本GAN的目標函數(shù)：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練訓(xùn)練過程圖G的訓(xùn)練是希望趨近于1，也就是正類，這樣G的loss就會最小。而D的訓(xùn)練就是一個2分類，目標是分清楚真實數(shù)據(jù)和生成數(shù)據(jù)，也就是希望真實數(shù)據(jù)的D輸出趨近于1，而生成數(shù)據(jù)的輸出即趨近于0，或是負類。這里就是體現(xiàn)了對抗的思想。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformationGAN的變體DCGAN（DeepConvolutionalGenerativeAdversarialNetworks）：它是在GAN的基礎(chǔ)上增加深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，專門生成圖像樣本。DCGAN中的D、G的含義以及損失都和原始GAN中完全一致，但是它在D和G中采用了較為特殊的結(jié)構(gòu)，以便對圖片進行高效建模。對于判別器D，它的輸入是一張圖像，輸出是這張圖像為真實圖像的概率。在DCGAN中，判別器D的結(jié)構(gòu)是一個卷積神經(jīng)網(wǎng)絡(luò)，輸入的圖像經(jīng)過若干層卷積后得到一個卷積特征，將得到的特征送入Logistic函數(shù)，輸出可以看作是概率。7.5生成對抗網(wǎng)絡(luò)哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)DCGAN中生成器G的網(wǎng)絡(luò)結(jié)構(gòu)G、D還有其他的實現(xiàn)細節(jié)：（1）不采用任何池化層，在判別器D中，用帶有步長的卷積來代替池化層；（2）在G、D中均使用BatchNormalization幫助模型收斂；（3）在D中，激活函數(shù)都使用LeakyReLU作為激活函數(shù)；（5）G網(wǎng)絡(luò)中使用ReLU作為激活函數(shù)，最后一層使用tanh。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN的變體ConditionalGAN：因為原始的GAN過于自由，訓(xùn)練會很容易失去方向，從而導(dǎo)致不穩(wěn)定又效果差。而ConditionalGAN就是在原來的GAN模型中加入一些先驗條件，使得GAN變得更加的可控制。(5.8)ConditionalGAN整體架構(gòu)ConditionalGAN的目標函數(shù)：相比原始GAN，就是多了把噪聲z和條件y作為輸入同時送進生成器，把數(shù)據(jù)x和條件y作為輸入同時送進判別器，這樣在外加限制條件的情況下生成圖片。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.5生成對抗網(wǎng)絡(luò)GAN的變體ACGAN(AuxiliaryClassifierGAN）：在GAN的基礎(chǔ)上，把類別標簽同時輸入給生成器和判別器，由此不僅可以在生成圖像樣本時生成指定類別的圖像，同時該類別標簽也能幫助判別器擴展損失函數(shù)，提升整個對抗網(wǎng)絡(luò)的性能。(5.8)ACGAN的整體架構(gòu)（1）通過在判別器D的輸出部分添加具有一個輔助功能的分類器，進而提高ConditionalGAN的性能。（2）利用InceptionAccuracy標準評判圖像合成模型性能。（3）引進MS-SSIM判斷模型生成圖片的多樣性。對GAN的改進具有三點重要意義：哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的定義及研究目標(5.8)遷移學(xué)習，是指利用數(shù)據(jù)、任務(wù)、或模型之間的相似性，將在舊領(lǐng)域?qū)W習過的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習過程。

(a)傳統(tǒng)的機器學(xué)習(b)多任務(wù)學(xué)習(c)遷移學(xué)習右圖直觀地展示了傳統(tǒng)的機器學(xué)習、多任務(wù)學(xué)習、遷移學(xué)習的進程。從中我們可以清楚地看出傳統(tǒng)的機器學(xué)習是從同一領(lǐng)域中學(xué)習模型的過程，多任務(wù)學(xué)習是多個不同領(lǐng)域互相學(xué)習的過程，遷移學(xué)習則是從一個或多個領(lǐng)域中學(xué)習目標領(lǐng)域模型的過程。傳統(tǒng)的機器學(xué)習與遷移學(xué)習和多任務(wù)學(xué)習的區(qū)別主要在于學(xué)習知識的來源是否與目標領(lǐng)域是同一領(lǐng)域；多任務(wù)學(xué)習與遷移學(xué)習的區(qū)別則主要在于學(xué)習知識的方向是否指向同一目標。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習主要解決的是以下兩個問題:在遷移學(xué)習中，我們有以下三個主要研究問題有三個：①遷移什么，②如何遷移，③何時遷移。遷移學(xué)習的定義及研究目標1）解決小數(shù)據(jù)問題。傳統(tǒng)機器學(xué)習存在一個嚴重弊端：假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)服從相同的數(shù)據(jù)分布(但許多情況并不滿足這種假設(shè)，通常需要眾包來重新標注大量數(shù)據(jù)以滿足訓(xùn)練要求，有時還會造成數(shù)據(jù)的浪費)。當訓(xùn)練數(shù)據(jù)過少時，經(jīng)典監(jiān)督學(xué)習會出現(xiàn)嚴重過擬合問題，而遷移學(xué)習可從源域的小數(shù)據(jù)中抽取并遷移知識，用來完成新的學(xué)習任務(wù)。2）解決個性化問題。當需要專注于某個目標領(lǐng)域時，源領(lǐng)域范圍太廣卻不夠具體．例如專注于農(nóng)作物識別時，源領(lǐng)域ImageNet太廣而不適用，利用遷移學(xué)習可以將ImageNet上的預(yù)訓(xùn)練模型特征遷移到目標域，實現(xiàn)個性化。遷移學(xué)習存在兩個重要的根本難題需要解決：①如何避免負遷移問題，②研究原始領(lǐng)域與目標領(lǐng)域或任務(wù)之間的可遷移度（transferability）。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習中的基本概念(5.8)定義1定義2“領(lǐng)域”(D)包含兩個部分：特征空間x和邊緣概率分布P(X)，其中

。故領(lǐng)域D可表示為D={x,P(X)}。

“任務(wù)”(T)：對給定一個領(lǐng)域D={x,P(X)}而言，它也包含兩個部分：類別空問y和目標預(yù)測函數(shù)h(.)。其中可以用來預(yù)測實例的類別標記，也可以寫成概率的形式。故可將任務(wù)T表示為。定義3對給定領(lǐng)域D={x,P(X)}和任務(wù),則該領(lǐng)域可用數(shù)據(jù)集將其表示成為：。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習中的基本概念(5.8)定義4遷移學(xué)習(transferlearning)給定原始領(lǐng)域D={x,P(X)}和學(xué)習任務(wù)，目標領(lǐng)域和學(xué)習任務(wù)，遷移學(xué)習的目的是通過利用和中的知識，來加強的目標預(yù)測函數(shù)的學(xué)習。其中，或者。定義5歸納遷移學(xué)習(inductivetransferlearning)給定原始領(lǐng)域和學(xué)習任務(wù)、目標領(lǐng)域和學(xué)習任務(wù)，歸納遷移學(xué)習的目的是通過利用和中的知識，來增強的目標預(yù)測函數(shù)的學(xué)習。其中。定義6直推遷移學(xué)習（transductivetransferlearning）給定原始領(lǐng)域和學(xué)習任務(wù)、目標領(lǐng)域和學(xué)習任務(wù)，歸納遷移學(xué)習的目的是通過利用和中的知識，來增強的目標預(yù)測函數(shù)的學(xué)習。其中且。此外，在訓(xùn)練過程中，一些目標領(lǐng)域未標記數(shù)據(jù)必須是可利用的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習中的基本概念(5.8)定義7無監(jiān)督遷移學(xué)習(unsupervisedtransferlearning)給定原始領(lǐng)域和學(xué)習任務(wù)、目標領(lǐng)域和相應(yīng)學(xué)習任務(wù)，無監(jiān)督遷移學(xué)習目的是通過利用和中的知識,來增強的目標預(yù)測函數(shù)的學(xué)習。其中且，是不可見的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類(5.8)傳統(tǒng)機器學(xué)習與遷移學(xué)習各個分支之間的關(guān)系同時可將遷移學(xué)習進一步細分為三個分支：歸納遷移學(xué)習、無監(jiān)督遷移學(xué)習、直推遷移學(xué)習。歸納遷移學(xué)習類似于自學(xué)習。在自學(xué)習背景下，原始領(lǐng)域和目標領(lǐng)域的類別空間可能不同，這意味著原始領(lǐng)域的信息可能不能夠直接加以利用，故它與歸納遷移學(xué)習中原始領(lǐng)域標記數(shù)據(jù)不可用的情況類似。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類(5.8)在歸納遷移學(xué)習中，目標任務(wù)不同于原始任務(wù)，但原始領(lǐng)域和目標領(lǐng)域可以相同也可不同。此時，需要目標領(lǐng)域的部分標記數(shù)據(jù)來“歸納”出目標領(lǐng)域的目標預(yù)測模型。根據(jù)原始領(lǐng)域中有無標記數(shù)據(jù)，可進一步將歸納遷移學(xué)習分為以下兩種情況：原始領(lǐng)域有大量標記數(shù)據(jù)可供利用原始領(lǐng)域沒有標記數(shù)據(jù)可供利用在這種情況下，歸納遷移學(xué)習背景類似于多任務(wù)學(xué)習背景。不同的是，歸納遷移學(xué)習從原始任務(wù)中遷移知識僅為了獲得高性能的目標任務(wù)，而多任務(wù)則是試圖同時學(xué)習目標和原始任務(wù)。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類在直推遷移學(xué)習中,原始任務(wù)和目標任務(wù)是相同的，但兩個領(lǐng)域卻不相同。此時，目標領(lǐng)域無標記數(shù)據(jù)可供利用而原始領(lǐng)域中有大量標記數(shù)據(jù)可供利用。根據(jù)原始領(lǐng)域和目標領(lǐng)域的不同情況，可以進一步將直推遷移學(xué)習分成以下兩種情況：（1）原始領(lǐng)域和目標領(lǐng)域的特征空間不同，即；（2）原始領(lǐng)域和目標領(lǐng)域的特征空間相同，但輸入數(shù)據(jù)的邊緣分布概率不同，即但，這種情況與文本分類、樣本選擇偏差或者協(xié)方差轉(zhuǎn)換中知識遷移的領(lǐng)域適應(yīng)問題相關(guān)，因為它們的假設(shè)是相似的。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類在無監(jiān)督遷移學(xué)習中，目標任務(wù)與原始任務(wù)不同但相關(guān)，其他方面與歸納遷移學(xué)習相同。不過，無監(jiān)督遷移學(xué)習主要解決目標領(lǐng)域的無監(jiān)督學(xué)習任務(wù)，如聚類、維數(shù)約減、密度評估等。在這種情況下，原始領(lǐng)域和目標領(lǐng)域在訓(xùn)練時均無標記數(shù)據(jù)可供利用。不同遷移學(xué)習與相關(guān)領(lǐng)域的關(guān)系如下表所示：遷移學(xué)習的分類與相關(guān)領(lǐng)域哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習根據(jù)遷移學(xué)習過程中從源領(lǐng)域遷移到目標領(lǐng)域的具體內(nèi)容劃分，還可以把遷移學(xué)習方法劃分為四種：遷移學(xué)習的分類實例遷移學(xué)習方法特征遷移學(xué)習方法參數(shù)遷移學(xué)習方法關(guān)系遷移學(xué)習方法哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類實例遷移學(xué)習方法：實例遷移法(instancetransfer)的主要思想是根據(jù)某個相似度匹配原則從源域數(shù)據(jù)集中挑選出和目標域數(shù)據(jù)相似度比較高的實例，并把這些實例遷移到目標域中幫助目標域模型的學(xué)習，從而解決目標域中有標簽樣本不足或無標簽樣本的學(xué)習問題。特征遷移學(xué)習方法：特征遷移法(featurerepresentationtransfer)主要是在源域和目標域之間尋找典型特征代表來進一步弱化兩個域之間的差異從而實現(xiàn)知識的跨領(lǐng)域遷移和復(fù)用。該遷移方法根據(jù)是否在原有特征中進行選擇進一步的又可分為特征選擇遷移學(xué)習方法和特征映射遷移學(xué)習方法。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的分類關(guān)系遷移學(xué)習方法：關(guān)系遷移學(xué)習方法假定源領(lǐng)域數(shù)據(jù)之間的關(guān)系和目標領(lǐng)域數(shù)據(jù)之間的關(guān)系存在一定的相關(guān)性，通過建立源領(lǐng)域數(shù)據(jù)的關(guān)系模型與目標領(lǐng)域數(shù)據(jù)的關(guān)系模型的映射模型來實現(xiàn)關(guān)系知識的遷移?；诙A馬爾可夫邏輯形式的關(guān)系遷移學(xué)習方法基于二階馬爾可夫邏輯形式參數(shù)遷移學(xué)習方法：在參數(shù)遷移法(parametertransfer)中，源域數(shù)據(jù)和目標域數(shù)據(jù)可以通過某些函數(shù)表示，而這些函數(shù)之間存在某些共同的參數(shù)。參數(shù)遷移法就是尋找源域數(shù)據(jù)和目標域數(shù)據(jù)之間可以共享的參數(shù)信息從而可以把已獲得的參數(shù)知識遷移。哈爾濱理工大學(xué)HarbinUniversityof

Science

and

Technology電子信息工程系DepartmentofElectronicInformation7.6遷移學(xué)習遷移學(xué)習的應(yīng)用領(lǐng)域自然語言處理：遷移學(xué)習應(yīng)用于自然語言處理的原因是自然語言領(lǐng)域標注和內(nèi)容數(shù)據(jù)稀缺，可以利用源域（例如英語）中標注的樣本集來對目標域(例如法語)