機(jī)器學(xué)習(xí)及應(yīng)用-第11章-深度學(xué)習(xí)初步

第11章深度學(xué)習(xí)初步自編碼器模型受限玻爾茲曼機(jī)模型卷積神經(jīng)網(wǎng)絡(luò)模型TensorFlow的基本使用11.1引言2006年，GeoffreyHinton在《Science》上提出了深度學(xué)習(xí)的概念；在語(yǔ)音識(shí)別和信號(hào)處理、圖像目標(biāo)識(shí)別以及自然語(yǔ)言處理等研究方向，深度學(xué)習(xí)的應(yīng)用都帶來(lái)了具有突破性的結(jié)果。深度學(xué)習(xí)的提出，引發(fā)了機(jī)器學(xué)習(xí)研究者們?cè)诒硎?、學(xué)習(xí)、優(yōu)化、認(rèn)知等方面的進(jìn)一步思考。11.2表示問(wèn)題深度學(xué)習(xí)可以通過(guò)一種深層的非線(xiàn)性網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)復(fù)雜函數(shù)的無(wú)限逼近。這就解決了淺層學(xué)習(xí)在有限數(shù)量的樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)表示能力有限的問(wèn)題。簡(jiǎn)言之，深度學(xué)習(xí)多層表示的好處就是能夠用較少的參數(shù)表征十分復(fù)雜的函數(shù)。深層表示方式的優(yōu)勢(shì)：一方面深度結(jié)構(gòu)能夠逐漸學(xué)習(xí)出更加抽象的特征，另一方面深度結(jié)構(gòu)可以提供一種更具表現(xiàn)力的分布式表示方式，在深度學(xué)習(xí)采用的多層表示中，如果深度不夠?qū)?huì)帶來(lái)一定的問(wèn)題。與此同時(shí)，如何決定深層表示的層數(shù)以及需要多少計(jì)算資源才能夠訓(xùn)練出足夠好的深層網(wǎng)絡(luò)模型都是研究表示時(shí)值得探究的問(wèn)題。用于堆疊的單層學(xué)習(xí)模塊主要分為兩類(lèi)。一類(lèi)是以受限玻爾茲曼機(jī)為代表的概率模型構(gòu)建模塊，另一類(lèi)是以自動(dòng)編碼器及其變形為代表的神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊。11.2表示問(wèn)題在深度學(xué)習(xí)模型中，前者被解釋成描述某種概率圖模型，隱藏單元被視為隱隨機(jī)變量；后者則被解釋成描述某種計(jì)算圖，隱藏單元被視為計(jì)算結(jié)點(diǎn)。從

參數(shù)的編碼路徑方面講，概率模型利用推理和訓(xùn)練方案直接參數(shù)化生成路徑，也就是解碼過(guò)程；而基于神經(jīng)網(wǎng)絡(luò)的模型直接參數(shù)化編碼路徑。有向圖模型經(jīng)常會(huì)導(dǎo)致explainingaway的問(wèn)題;11.2表示問(wèn)題許多經(jīng)典的特征表示方法都能夠賦予概率模型的解釋?zhuān)鞒煞址治鯬CA以及稀疏編碼能夠與有向圖模型分別參數(shù)化似然度和先驗(yàn)概率來(lái)構(gòu)建聯(lián)合分布相對(duì)應(yīng)；稀疏編碼這種表示的簡(jiǎn)潔性以及計(jì)算的高效性使其很快成為特征表示的一種常用方法，并在自然圖像建模、語(yǔ)音分類(lèi)、自然語(yǔ)言處理等方面實(shí)現(xiàn)了成功的應(yīng)用；在無(wú)向概率圖模型中，玻爾茲曼分布是一類(lèi)馬爾可夫隨機(jī)場(chǎng)的特殊形式;受限玻爾茲曼機(jī)，RBM能夠很好地消除explainingaway現(xiàn)象，得到了廣泛的應(yīng)用，包括圖像分類(lèi)、運(yùn)動(dòng)和空間變換、協(xié)同過(guò)濾以及自然圖像建模。11.3學(xué)習(xí)問(wèn)題在深度學(xué)習(xí)提出以前，先將輸入數(shù)據(jù)進(jìn)行預(yù)處理，然后進(jìn)行特征提取、特征選擇，最后進(jìn)行推理、預(yù)測(cè)或識(shí)別；選取特征的過(guò)程也就是特征表示的過(guò)程，這也是對(duì)算法的性能起到?jīng)Q定性作用的階段。有相當(dāng)一部分算法利用人工設(shè)計(jì)的特征取得了良好的效果，手工選取特征不僅需要相當(dāng)?shù)膶?zhuān)業(yè)領(lǐng)域知識(shí)，并且合適的特征設(shè)計(jì)是一件十分費(fèi)力的事情。深度學(xué)習(xí)別名，叫做非監(jiān)督的特征學(xué)習(xí)。深度學(xué)習(xí)的學(xué)習(xí)過(guò)程可以簡(jiǎn)要概括為：首先逐層無(wú)監(jiān)督地預(yù)訓(xùn)練單層學(xué)習(xí)模塊，然后每次都將上一層的輸出結(jié)果作為下一層訓(xùn)練模塊的輸入，最后訓(xùn)練完所有層后利用有監(jiān)督的方式微調(diào)整個(gè)網(wǎng)絡(luò)。在無(wú)監(jiān)督預(yù)訓(xùn)練階段，希望輸入數(shù)據(jù)經(jīng)過(guò)整個(gè)深層網(wǎng)絡(luò)后得到的輸出結(jié)果仍然等于輸入；11.3學(xué)習(xí)問(wèn)題深度學(xué)習(xí)的過(guò)程就是獲得在給定觀(guān)察數(shù)據(jù)條件下隱藏變量的概率分布?？梢苑譃橐韵∈杈幋a為代表的有向圖模型以及以受限玻爾茲曼機(jī)為代表的無(wú)向圖模型。另一種非概率特征學(xué)習(xí)的模型是基于神經(jīng)網(wǎng)絡(luò)的模型。這類(lèi)模型的主要思想是將自動(dòng)編碼器堆疊起來(lái)，建立一種深層的架構(gòu)。也可以用一些正則化的自動(dòng)編碼器替換標(biāo)準(zhǔn)的自動(dòng)編碼器，獲得一些改進(jìn)的版本。現(xiàn)有的模型主要包括稀疏自動(dòng)編碼器（SparseAutoEncoders，SAE）、降噪自動(dòng)編碼器（DenoisingAutoEncoders，DAE）、收縮自動(dòng)編碼器（ContractiveAuto-Encoders，CAE）；SAE引入了一種稀疏正則化的形式，表示的稀疏性可以通過(guò)懲罰隱藏單元的偏置項(xiàng)獲得；11.3學(xué)習(xí)問(wèn)題稀疏編碼與自動(dòng)編碼器結(jié)合的另一類(lèi)有效的變形是PSD，PSD在識(shí)別階段通過(guò)一個(gè)快速非迭代的近似替代原本高成本且高度非線(xiàn)性的編碼步驟，并應(yīng)用在圖像、視頻與音頻中的目標(biāo)識(shí)別中。DAE對(duì)含有人工噪聲的數(shù)據(jù)進(jìn)行降噪，通過(guò)降噪處理，學(xué)習(xí)模型能夠獲得與RBM特征相當(dāng)或者更優(yōu)的特征并且提高分類(lèi)的性能；CAE強(qiáng)調(diào)學(xué)習(xí)一種更加收縮的編碼器，即使得編碼器的導(dǎo)數(shù)盡可能的小。這樣帶來(lái)的好處是能降低表示的有效自由度，使得特征對(duì)于輸入空間的無(wú)窮小變形具有很好的魯棒性。11.4優(yōu)化問(wèn)題傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型利用反向傳播BP算法來(lái)優(yōu)化多層網(wǎng)絡(luò)的權(quán)值。當(dāng)面臨深度學(xué)習(xí)所需要的深層網(wǎng)絡(luò)時(shí)，繼續(xù)隨機(jī)初始化網(wǎng)絡(luò)后采用BP算法進(jìn)行優(yōu)化經(jīng)常會(huì)陷入局部極小值而使得訓(xùn)練變得異常困難。2006年，Hinton提出了優(yōu)化深層神經(jīng)網(wǎng)絡(luò)的有效方法首先，從網(wǎng)絡(luò)的輸入層開(kāi)始，自底而上逐層地進(jìn)行非監(jiān)督訓(xùn)練網(wǎng)絡(luò)權(quán)值。其次，當(dāng)無(wú)監(jiān)督訓(xùn)練完所有層之后，利用自頂向下的監(jiān)督學(xué)習(xí)對(duì)整個(gè)網(wǎng)絡(luò)權(quán)值進(jìn)行微調(diào)，利用無(wú)監(jiān)督初始化參數(shù)的過(guò)程，能使得網(wǎng)絡(luò)的權(quán)值更加接近于全局最優(yōu)，這就保證了后續(xù)優(yōu)化工作的順利進(jìn)行。Hinton雙向的wake-sleep算法對(duì)深層網(wǎng)絡(luò)進(jìn)行優(yōu)化。各層之間采用雙向的權(quán)值，自底而上的稱(chēng)作認(rèn)知權(quán)值，自上而下的稱(chēng)作生成權(quán)值。算法分為wake階段和sleep階段。在wake階段，自底而上利用每層的輸入和認(rèn)知權(quán)值逐層生成抽象特征，并且用梯度下降算法不斷修改生成權(quán)值；在sleep階段，自頂而下利用學(xué)習(xí)到的特征以及生成權(quán)值逐層生成低層輸入，并不斷修改認(rèn)知權(quán)值。11.5認(rèn)知問(wèn)題人工智能、機(jī)器學(xué)習(xí)等學(xué)科通過(guò)模擬或?qū)崿F(xiàn)人類(lèi)認(rèn)知規(guī)律，解析其內(nèi)在機(jī)理，并用機(jī)器來(lái)實(shí)現(xiàn)，以此開(kāi)發(fā)智能化的信息處理模式。支持深度學(xué)習(xí)最強(qiáng)有力的證據(jù)是人腦具有一個(gè)深層次（即深度）的結(jié)構(gòu)。大腦皮層結(jié)構(gòu)示意圖11.5認(rèn)知問(wèn)題人腦的深度結(jié)構(gòu)決定了人類(lèi)認(rèn)知過(guò)程的逐層進(jìn)行；深度學(xué)習(xí)從某種程度上模擬了人類(lèi)逐層進(jìn)行、逐步抽象的認(rèn)知過(guò)程。認(rèn)知具有感知、識(shí)別、學(xué)習(xí)、聯(lián)想、記憶、推理等功能，是人類(lèi)最基本的心理過(guò)程。深層神經(jīng)網(wǎng)絡(luò)在神經(jīng)元數(shù)目一定的情況下，相比于傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，具有更強(qiáng)大的學(xué)習(xí)能力，能夠從原始輸入中自動(dòng)提取出具有高度抽象含義的特征。深度學(xué)習(xí)算法圖形處理單元使得深層神經(jīng)網(wǎng)絡(luò)在訓(xùn)練速度上得到了極大地改善。因此，深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像序列分析、自然語(yǔ)言處理等方面都取得了具有突破性的進(jìn)展。深度學(xué)習(xí)逐層自動(dòng)抽取高級(jí)抽象特征的能力與人腦的認(rèn)知過(guò)程相吻合，無(wú)疑將成為實(shí)現(xiàn)人工智能的一項(xiàng)重要途徑。11.6基本模型

11.6.1自編碼器11.6基本模型

11.6.2受限玻爾茲曼機(jī)11.6基本模型圖示說(shuō)明（a）受限玻爾茲曼機(jī)本身是基于二分圖的無(wú)向圖模型，可以構(gòu)造稀疏連接的RBM（b）深度信念網(wǎng)絡(luò)是涉及有向和無(wú)向連接的混合圖模型；與RBM一樣，它也沒(méi)有層內(nèi)連接，DBN隱藏單元之間的連接在分開(kāi)的層中；（c）深度玻爾茲曼機(jī)是具有幾層潛變量的無(wú)向圖模型。與RBM和DBN一樣，DBM也缺少層內(nèi)連接。DBM與RBM的聯(lián)系不如DBN緊密。當(dāng)從RBM堆棧初始化DBM時(shí)，有必要對(duì)RBM的參數(shù)稍作修改。某些種類(lèi)的DBM可以直接訓(xùn)練，而不用先訓(xùn)練一組RBM。11.6.2受限玻爾茲曼機(jī)11.6基本模型

11.6.3卷積神經(jīng)網(wǎng)絡(luò)11.6基本模型

11.6.3卷積神經(jīng)網(wǎng)絡(luò)11.6基本模型11.6.3卷積神經(jīng)網(wǎng)絡(luò)11.7TensorFlow的簡(jiǎn)介與安裝谷歌面向人工智能領(lǐng)域發(fā)布的開(kāi)源軟件庫(kù)，提供了豐富的機(jī)器學(xué)習(xí)中常用的基本數(shù)值計(jì)算方法及模型組件，使得研究者能夠快搭建算法模型并進(jìn)行驗(yàn)證，不需要特殊硬件配合，能夠部署在常見(jiàn)的、不同平臺(tái)上，最新版本的TensorFlow1.4提供了不同語(yǔ)言的支持，如：Python，C++，Java和Go等。11.7TensorFlow的簡(jiǎn)介與安裝11.7.1創(chuàng)建Python3環(huán)境選擇ANACONDAPython集成開(kāi)發(fā)環(huán)境查看安裝已組件：在A(yíng)nacondaPrompt下，鍵入condalist11.7TensorFlow的簡(jiǎn)介與安裝11.7.2安裝TensorFlow注：TensorFlow目前在Windows下只支持Python3.5版本。（1）打開(kāi)AnacondaPrompt，輸入清華倉(cāng)庫(kù)鏡像，這樣更新會(huì)快一些：condaconfig--addchannels/anaconda/pkgs/free/condaconfig--setshow_channel_urlsyes（2）同樣在A(yíng)nacondaPrompt中利用Anaconda創(chuàng)建一個(gè)python3.5的環(huán)境，環(huán)境名稱(chēng)為tensorflow，輸入下面命令：condacreate-ntensorflowpython=3.511.7TensorFlow的簡(jiǎn)介與安裝11.7.2安裝TensorFlow運(yùn)行

開(kāi)始菜單

Anaconda3

AnacondaNavigator，點(diǎn)擊左側(cè)Environments，可以看到tensorflow的環(huán)境已經(jīng)創(chuàng)建好了。

11.7TensorFlow的簡(jiǎn)介與安裝11.7.2安裝TensorFlow（3）在A(yíng)nacondaPrompt中啟動(dòng)tensorflow環(huán)境：activatetensorflow（4）安裝cpu版本的TensorFlowpipinstall--upgrade--ignore-installedtensorflow11.7TensorFlow的簡(jiǎn)介與安裝11.7.3驗(yàn)證>>>importtensorflowastf>>>tc=tf.constant('Hello,TensorFlow!')>>>sess=tf.Session()>>>print(sess.run(tc))11.8TensorFlow的基本使用數(shù)據(jù)流圖以結(jié)點(diǎn)表示數(shù)學(xué)運(yùn)算操作，邊表示結(jié)點(diǎn)之間數(shù)據(jù)傳遞關(guān)系的有向圖；在TensorFlow中，數(shù)據(jù)流圖的結(jié)點(diǎn)稱(chēng)作Operation，邊是尺寸可以動(dòng)態(tài)調(diào)整的多維數(shù)組，即張量tensor；首先根據(jù)具體問(wèn)題，利用各種基本運(yùn)算單元構(gòu)建結(jié)點(diǎn)，設(shè)計(jì)結(jié)點(diǎn)之間的操作對(duì)象Tensor，以構(gòu)建出一個(gè)計(jì)算圖Graph，然后在會(huì)話(huà)Session中啟動(dòng)Graph。下圖是一個(gè)用TensorFlow完成兩個(gè)常量相加的示意圖tf.constantttf.constantttf.add11.8TensorFlow的基本使用importtensorflowastf#第一步,構(gòu)建計(jì)算圖#使用tf.constant構(gòu)建兩個(gè)基本結(jié)點(diǎn)，每個(gè)結(jié)點(diǎn)分別輸出一個(gè)常量Tensorct0=tf.constant([0,1])ct1=tf.constant([1,0])#創(chuàng)建一個(gè)加法結(jié)點(diǎn)at=tf.add(ct0,ct1)

#第二步：創(chuàng)建會(huì)話(huà)并在會(huì)話(huà)中啟動(dòng)計(jì)算圖#創(chuàng)建會(huì)話(huà)sess=tf.Session()#啟動(dòng)圖result=sess.run(at)在TensorFlow中，主要操作的數(shù)據(jù)結(jié)構(gòu)是張量tensor。11.8TensorFlow的基本使用從類(lèi)型定義上看，TensorFlow定義了兩種基本類(lèi)型表示一個(gè)tensor：tf.Tensor對(duì)象表示一個(gè)結(jié)點(diǎn)的輸出的tensor，即計(jì)算圖中的邊，tf.Variable對(duì)象用于記錄計(jì)算圖運(yùn)行過(guò)程中的狀態(tài)，可以認(rèn)為是一個(gè)全局變量。tensor可以分為如下三種基本類(lèi)型：常量類(lèi)型的tensor，使用tf.constant操作創(chuàng)建變量類(lèi)型的tensor，用于表示模型中待學(xué)習(xí)的參數(shù)；一般使用tf.get_variable操作創(chuàng)建，在啟動(dòng)圖前，需要根據(jù)需求調(diào)用initializer初始化所有定義的tf.Variable對(duì)象，如：#創(chuàng)建一個(gè)常量tensor，類(lèi)型是tf.Tensorct=tf.constant([0,1])#創(chuàng)建一個(gè)tf.Variable實(shí)例:vtvt=tf.get_variable('vt',[5,6],dtype=tf.float32)sess=tf.Session()#初始化tf.Variable實(shí)例sess.run(tf.global_variables_initializer())11.8TensorFlow的基本使用參數(shù)類(lèi)型的tensor，用于計(jì)算圖接收用戶(hù)輸入數(shù)據(jù)，使用tf.placeholder創(chuàng)建需要指定tensor的形狀；tensor在圖運(yùn)行前通過(guò)Session.run()、Tensor.eval()或Operation.run()中的參數(shù)feed_dict指定具體值：importnumpyasnp…#創(chuàng)建一個(gè)參數(shù)變量ph=tf.placeholder(tf.float32,[10,10])…sess=tf.Session()val=np.random.rand(10,10)sess.run(feed_dict={ph:val})TensorFlow封裝了一些常用的計(jì)算方法，如：不同的梯度下降計(jì)算模型、不同的損失函數(shù)計(jì)算模型等；封裝出了很多更高階的模型，這些模型封裝了構(gòu)建計(jì)算圖和創(chuàng)建會(huì)話(huà)并啟動(dòng)計(jì)算圖等基本步驟。11.9基于卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫(xiě)體識(shí)別實(shí)驗(yàn)input：4維的Tensor，訓(xùn)練圖像數(shù)據(jù)，四個(gè)維度用于說(shuō)明訓(xùn)練圖像數(shù)量batch_size，圖像高度in_height，圖像寬度in_width和圖像通道數(shù)in_channels；每個(gè)維度對(duì)應(yīng)的內(nèi)容有data_format參數(shù)確定。filter：4維的Tensor卷積核，其shape為[filter_height，filter_width，in_channels，out_channels]，其中，filter_height，filter_width分別表示卷積核的高度和寬帶，in_channels表示訓(xùn)練圖像的通道數(shù)，out_channels表示輸出特征圖的個(gè)數(shù)，即使用的卷積核數(shù)。11.9.1conv2d函數(shù)tf.nn.conv2d(input,filter,strides,padding,use_cudnn_on_gpu=True,data_format='NHWC',name=None)11.9基于卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫(xiě)體識(shí)別實(shí)驗(yàn)strides：1維的Tensor，包含4個(gè)值，每個(gè)值分別指示卷積核在input上每個(gè)維度滑動(dòng)的距離。use_cudnn_on_gpu：Bool值，默認(rèn)參數(shù)值為T(mén)rue。用于指定是否使用GPU。data_format：字符串，取值為“NHWC”“NCHW”之一，默認(rèn)參數(shù)值為“NHWC”。用于決定如何解析input。name：字符串，可選，默認(rèn)參數(shù)值為None。指定Operation的名稱(chēng)。11.9.1conv2d函數(shù)11.9基于卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫(xiě)體識(shí)別實(shí)驗(yàn)value：4維的Tensor，即conv2d的輸出。ksize：1維的Tensor，4個(gè)值，指定value每個(gè)維度池化的范圍。strides：1維的Tensor，4個(gè)值，指示池化窗口在各個(gè)維度的移動(dòng)距離，一般設(shè)置與ksize相同。padding：字符串，取值為“SAME”“VALID”之一。設(shè)定不同的卷積方式，指定邊界處理方法。data_format：字符串，取值為“NHWC”“NCHW”“NCHW_VECT_C”之一，默認(rèn)參數(shù)值為“NHWC”。用于決定如何解析input。name：字符串，可選，默認(rèn)參數(shù)值為None。指定Operation的名稱(chēng)。11.9.2max_pool函數(shù)tf.nn.max_pool(value,ksize,strides,padding,data_format='NHWC',name=None)11.9基于卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫(xiě)體識(shí)別實(shí)驗(yàn)定義（創(chuàng)建）卷積核（權(quán)值矩陣）和偏置向量。11.9.3示例程序#定義一個(gè)卷積核tf.Variabledefweights(shape) initial=tf.truncated_normal(shape,stddev=0.1) returntf.Variable(initial)#定義一個(gè)偏置tf.Variabledefbias(shape) initial=tf.constant(0.1,shape=shape) returntf.Variable(initial)11.9基于卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫(xiě)體識(shí)別實(shí)驗(yàn)定義卷積操作conv和池化操作pool。定義CNN卷積層conv_layer。11.9.3示例程序defconv(x,W,strides=[1,1,1,1],padding='SAME'):returntf.nn.conv2d(x,W,s