第1章 1.1 深度學習簡介

深度學習簡介1深度學習常見應用目錄深度學習的定義2深度學習目前在很多領域的表現(xiàn)都優(yōu)于過去的方法，在圖像分類與識別、語音識別與合成、人臉識別、視頻分類與行為識別等領域都有著不俗的表現(xiàn)。除此以外，深度學習還涉及到與生活相關的紋理識別、行人檢測、場景標記、門牌識別等領域。人臉識別采用深度學習方法后的識別率超過了目前非深度學習算法以及人類的識別率，深度學習技術在語音識別領域更是取得了突破性的進展，在大規(guī)模圖像分類問題上也遠超傳統(tǒng)方法。深度學習的定義深度學習（DeepLearning，DL）是機器學習（MachineLearning，ML）領域中一個新的研究方向，深度學習被引入機器學習使其更接近于最初的目標——人工智能（ArtificialIntelligence，AI）。深度學習的目標是學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次。在2015年第9期《自然》雜志中，存在與深度學習定義相關的內(nèi)容：深度學習方法是具有多層次特征描述的特征學習，通過一些簡單但非線性的模塊將每一層特征描述（從未加工的數(shù)據(jù)開始）轉化為更高一層的、更為抽象一些的特征描述。深度學習的定義深度學習的關鍵在于這些層次的特征不是由人工設計的，而是使用一種通用的學習步驟從數(shù)據(jù)中學習獲取的。這些學習過程中獲得的信息對文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。深度學習在搜索技術、數(shù)據(jù)挖掘、機器翻譯、多媒體學習、語音識別、推薦和個性化技術以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步，最終目標是讓機器能夠像人一樣具有分析學習能力。深度學習的定義20世紀80、90年代，由于計算機計算能力有限和相關技術的限制，可用于分析的數(shù)據(jù)量太小，深度學習在模式分析中并沒有表現(xiàn)出優(yōu)異的識別性能。在2002年，杰弗里·辛頓（GeoffreyHinton）等提出受限玻耳茲曼機（RestrictedBoltzmannMachines，RBM）的一個快速學習算法，即對比散度算法（ContrastiveDivergence，CD-K）以后，啟發(fā)了被廣泛使用的深度信念網(wǎng)絡（DeepBeliefNets，DBN）等深度網(wǎng)絡的出現(xiàn)。與此同時，能自動從數(shù)據(jù)中提取特征的稀疏編碼技術也被應用于深度學習中。近年來，隨著深度學習技術在圖像領域上的應用，能夠提取局部區(qū)域特征的卷積神經(jīng)網(wǎng)絡方法被大量研究。深度學習的定義1深度學習常見應用目錄深度學習的定義2深度學習的常見應用有圖像分類、圖像分割、圖像生成、圖像標題的生成、圖像風格變換、目標檢測、物體測量、物體分揀、視覺定位、情感分析、無人駕駛、機器翻譯、文本到語音轉換、手寫文字轉錄和音頻生成。深度學習常見應用圖像分類的核心是從給定的分類集合中，給圖像分配一個標簽的任務。實際上，圖像分類是分析一個輸入圖像并返回一個將圖像分類的標簽。標簽總是來自預定義的可能類別集。利用深度學習算法可以實現(xiàn)對貓的圖像進行分類，如下圖所示。圖像分類圖像分割就是將圖像分成若干個特定的、具有獨特性質(zhì)的區(qū)域并提出感興趣目標的技術和過程，它是由圖像處理到圖像分析的關鍵步驟。從數(shù)學角度來看，圖像分割是將數(shù)字圖像劃分成互不相交的區(qū)域的過程。圖像分割的過程也是一個標記過程，即把屬于同一區(qū)域的像素賦予相同的編號。圖像分割對街道車輛圖像進行分割的結果，如下圖所示。圖像分割有一種新的研究，能實現(xiàn)在生成圖像的過程中不需要另外輸入任何圖像，只要前期使用大量的真實圖像讓網(wǎng)絡進行學習，即可由網(wǎng)絡自動生成新的圖像。目前常見的生成模型有VAE系列、GAN系列等。其中GAN系列算法近年來取得了巨大的進展，最新GAN模型產(chǎn)生的圖片效果達到了肉眼難辨真?zhèn)蔚某潭?。圖像生成GAN模型生成的假動漫人物圖像如下圖所示。圖像生成神經(jīng)圖像標題（NeuralImageCaption，NIC）模型會自動生成介紹輸入圖像的文字。該模型由深層的卷積神經(jīng)網(wǎng)絡和自然語言語言處理的循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork，RNN）構成。卷積神經(jīng)網(wǎng)絡提取圖像特征，RNN生成文本。圖像標題生成輸入的原圖像如下圖所示，可以生成諸如“一群人正在騎馬”或“一群人正在草原上騎馬”或“一群人正在藍天白云下的草原上享受騎馬”等標題。圖像標題生成圖像風格的變換是利用了卷積神經(jīng)網(wǎng)絡可以提取高層特征的效果，不在像素級別進行損失函數(shù)的計算，而是將原圖像和生成圖像都輸入至一個已經(jīng)訓練好的神經(jīng)網(wǎng)絡里，在得到的某種特征表示上計算歐式距離（內(nèi)容損失函數(shù)）。這樣得到的圖像與原圖內(nèi)容相似，但像素級別不一定相似，且所得圖像更具魯棒性。輸入兩個圖像，計算機會生成一個新的圖像。圖像風格轉換兩個輸入圖像中，一個稱為“內(nèi)容圖像”，如圖1-5所示；另外一個稱為“風格圖像”，如圖1-6所示。如果將梵高的繪畫風格應用于內(nèi)容圖像上，那么深度學習會按照要求繪制出新風格，其輸出圖像如圖1-7所示。圖像風格轉換目標檢測就是從圖像中確定物體的位置，并對物體進行分類。根據(jù)騎行圖像對騎行者進行檢測，如下圖所示。目標檢測目標檢測是機器視覺領域最主要的應用之一，例如，汽車違規(guī)行駛的檢測會為了保障行車、行人的安全在路口安裝交通檢測系統(tǒng)，檢測汽車的行駛速度是否超過限制、是否存在違規(guī)變道行為、是否存在闖紅燈行為、是否遮擋車牌、是否系安全帶等。而人工檢測存在著較多的弊端，如準確率低，長時間工作準確性更是無法保障，而且檢測速度慢，容易出現(xiàn)錯判和漏判。因此，機器視覺在目標檢測的應用方面也就顯得非常重要。目標檢測目標檢測比物體識別更難。原因在于目標檢測需要從圖像中確定物體的位置，有時還有可能存在多個物體。對于這樣的問題，人們提出了多個基于卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks，CNN）的方法，這些方法有著非常優(yōu)秀的性能。在使用卷積神經(jīng)網(wǎng)絡進行目標檢測的方法中，區(qū)域卷積神經(jīng)網(wǎng)絡（Region-ConvolutionalNeuralNetworks，R-CNN）較早地運用在目標檢測上，因此該算法較為成熟。R-CNN算法在提高訓練和測試的速度的同時提高了檢測精度。目標檢測在日常生活中，物體測量通常是對物體的質(zhì)量、長度、高度、體積等進行測量。在機器視覺應用中，使用光的反射進行非接觸式測量，如右圖所示，是某款手機使用非接觸光學測量方法對桌子進行的測量。物體測量技術多用于工業(yè)方面，主要包括對汽車零部件、齒輪、半導體元件管腳、螺紋等進行測量。物體測量物體分揀是建立在識別、檢測之后的一個環(huán)節(jié)，通過機器視覺對圖像中的目標進行檢測和識別，實現(xiàn)自動分揀，如下圖所示。物體分揀在工業(yè)應用領域常用于食品分揀、零件表面瑕疵自動分揀、棉花纖維分揀等。同時，物體分揀在物流、倉庫中的運用更為廣泛，在分揀過程中，機器通過按照物品種類、物品大小、出入庫的先后順序等方法對物體進行分揀。物體分揀視覺定位要求機器能夠快速準確地找到被測零件并確認其位置，如下圖所示。在半導體封裝領域，設備需要根據(jù)機器視覺取得芯片位置信息、調(diào)整拾取頭、準確拾取芯片并進行綁定，這就是視覺定位在機器視覺工業(yè)領域最基本的應用。視覺定位情感分析最核心的問題就是從一段文字中判斷作者對主體的評價是好評還是差評。針對通用場景下帶有主觀描述的中文文本，利用深度學習算法自動判斷該文本的情感極性類別并給出相應的置信度，情感極性分為積極、消極、中性或更多維的情緒，情感分析的例子如下圖所示。情感分析無人駕駛被認為是強化學習短期內(nèi)能技術落地的一個應用方向，很多公司投入大量資源在無人駕駛上，其中百度的無人巴士“阿波龍”已經(jīng)在北京、武漢等地展開試運營，自動無人駕駛的行車視野如下圖所示。未來生活中，深度學習算法在交通領域的應用，可能會創(chuàng)造出一個完全智能調(diào)度的移動出行網(wǎng)絡。無人駕駛機器翻譯技術的發(fā)展一直與計算機技術、信息論、語言學等學科的發(fā)展緊密相隨。從早期的詞典匹配，到詞典結合語言學專家知識的規(guī)則翻譯，再到基于語料庫的統(tǒng)計機器翻譯，隨著計算機運算能力的提升和多語言信息資源的爆發(fā)式增長，機器翻譯技術逐漸開始為普通用戶提供實時便捷的翻譯服務。1954年，英俄機器翻譯試驗的成功，向公眾和科學界展示了機器翻譯的可行性，從而拉開了機器翻譯研究的序幕。1966年，機器翻譯研究因各種原因陷入了近乎停滯的僵局。70年代后，計算機科學、語言學研究的發(fā)展，從技術層面推動了機器翻譯研究的復蘇。機器翻譯隨著互聯(lián)網(wǎng)的普遍應用，世界經(jīng)濟一體化進程的加速以及國際社會交流的日漸頻繁，傳統(tǒng)的人工作業(yè)的方式已經(jīng)遠遠不能滿足迅猛增長的翻譯需求，機器翻譯迎來了一個新的發(fā)展機遇。機器翻譯的效果如下圖所示，左邊為需要翻譯成英文的中文文本，右邊是由機器翻譯出來的英文文本。機器翻譯基于文本生成人工合成的語音，通常被稱為文本轉語音（TTS），它有許多的應用，如語音驅動的設備、導航系統(tǒng)和視力障礙者設備中不可缺少的工具。從根本上說，TTS能讓人在不需要視覺交互的情況下與技術進行互動。百度研究院發(fā)布的DeepVoice是一個文本到語音轉換系統(tǒng)，完全由深度神經(jīng)網(wǎng)絡構建。文本到語音的轉換將自然語言的文本很自然流暢地變?yōu)檎Z音，也因此出現(xiàn)了語音小說，免去了讀者閱讀的麻煩。文本到語音轉換自動識別用戶手寫體文字，并將其直接轉化為計算機可以識別的文字。對用戶手寫字體字形進行提取，其中包括利用文本行的水平投影進行行切分，以及利用文本列的垂直投影進行列切分；將提取的用戶手寫體字形特征向量與計算機的字形特征向量進行匹配，并建立用戶手寫體與計算機字體的對應關系，生成計算機可