深度學(xué)習(xí)及自動駕駛應(yīng)用 課件 第8、9章 基于Transformer的自動駕駛目標檢測理論與實踐、生成對抗網(wǎng)絡(luò)及自動駕駛應(yīng)用

基于Transformer的自動駕駛目標檢測理論與實踐第八章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第2頁8.4Transformer自動駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實踐項目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第3頁8.1Transformer概述為什么要用TransformerDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第4頁8.1Transformer概述Seq2Seq任務(wù)：指的是輸入和輸出都是序列，且輸出長度不確定時采用的模型;這種情況一般是在機器翻譯的任務(wù)中出現(xiàn)，將一句中文翻譯成英文，那么這句英文的長度有可能會比中文短，也有可能會比中文長，所以輸出的長度就不確定了。輸入的中文長度為4，輸出的英文長度為2Seq2Seq任務(wù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第5頁8.1Transformer概述如何處理Seq2Seq任務(wù)其實在之前我們使用的是RNN（或者是其的單向或者雙向變種LSTM/GRU等）來作為編解碼器，RNN模塊每次只能夠吃進一個輸入token和前一次的隱藏狀態(tài)，然后得到輸出。它的時序結(jié)構(gòu)使得這個模型能夠得到長距離的依賴關(guān)系，但是這也使得它不能夠并行計算，模型效率十分低。在沒有transformer的時候，我們都是用什么來完成這系列的時序任務(wù)的呢？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第6頁8.1Transformer概述Encoder-Decoder模型Seq2Seq任務(wù)最常見的是使用Encoder+Decoder的模式，先將一個序列編碼成一個上下文矩陣，在使用Decoder來解碼。當(dāng)然，我們僅僅把contextvector作為編碼器到解碼器的輸入。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第7頁8.1Transformer概述Attention注意力機制在介紹什么是注意力機制之前，先讓大家看一張圖片。當(dāng)大家看到右邊這張圖片，會首先看到什么內(nèi)容？當(dāng)過加載信息映入眼簾時，我們的大腦會把注意力放在主要的信息上，這就是大腦的注意力機制。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第8頁8.1Transformer概述Attention注意力機制DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第9頁8.1Transformer概述Transformer整體模型架構(gòu)2017年google的機器翻譯團隊在NIPS上發(fā)表了Attentionisallyouneed的文章，開創(chuàng)性地提出了在序列轉(zhuǎn)錄領(lǐng)域，完全拋棄CNN和RNN，只依賴Attention-注意力結(jié)構(gòu)的簡單的網(wǎng)絡(luò)架構(gòu)，名為Transformer；論文實現(xiàn)的任務(wù)是機器翻譯。Multi-HeadAttentionAdd&NormInputEmbeddingOutputEmbeddingFeedForwardAdd&NormMaskedMulti-HeadAttentionAdd&NormMulti-HeadAttentionAdd&NormFeedForwardAdd&NormLinearSoftmaxInputsOutputs(shiftedright)PositionalEncodingPositionalEncodingTransformer結(jié)構(gòu)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第10頁8.1Transformer概述每個詞的Attention計算每個詞的Q會跟整個序列中每一個K計算得分，然后基于得分再分配特征Q:

query，要去查詢的K:

key，等著被查的V:

value，實際的特征信息DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第11頁8.4Transformer自動駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實踐項目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第12頁8.1Transformer概述Attention的優(yōu)點1.參數(shù)少：相比于CNN、RNN，其復(fù)雜度更小，參數(shù)也更少。所以對算力的要求也就更小。2.速度快：Attention解決了RNN及其變體模型不能并行計算的問題。Attention機制每一步計算不依賴于上一步的計算結(jié)果，因此可以和CNN一樣并行處理。3.效果好：在Attention機制引入之前，有一個問題大家一直很苦惱：長距離的信息會被弱化，就好像記憶能力弱的人，記不住過去的事情是一樣的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第13頁8.2Transformer基本理論Transformer模型黑盒模式從宏觀的視角開始首先將這個模型看成是一個黑箱操作。在機器翻譯中，就是輸入一種語言，輸出另一種語言。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第14頁8.2Transformer基本理論Transformer模型Encoder-Decoder架構(gòu)模式那么拆開這個黑箱，我們可以看到它是由編碼組件、解碼組件和它們之間的連接組成。編碼組件部分由一堆編碼器（encoder）構(gòu)成（論文中是將6個編碼器疊在一起）。解碼組件部分也是由相同數(shù)量（與編碼器對應(yīng)）的解碼器（decoder）組成的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第15頁8.2Transformer基本理論DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第16頁8.2Transformer基本理論編碼器所有的編碼器在結(jié)構(gòu)上都是相同的，但它們沒有共享參數(shù)。每個編碼器都可以分解成兩個子層。每個編碼器由兩個子層組成：Self-Attention層（自注意力層）和Position-wiseFeedForwardNetwork（前饋網(wǎng)絡(luò)）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第17頁8.2Transformer基本理論解碼器從編碼器輸入的句子首先會經(jīng)過一個自注意力（self-attention）層，這層幫助編碼器在對每個單詞編碼時關(guān)注輸入句子的其他單詞。自注意力層的輸出會傳遞到前饋（feed-forward）神經(jīng)網(wǎng)絡(luò)中。每個位置的單詞對應(yīng)的前饋神經(jīng)網(wǎng)絡(luò)都完全一樣（譯注：另一種解讀就是一層窗口為一個單詞的一維卷積神經(jīng)網(wǎng)絡(luò)）。解碼器中也有編碼器的自注意力（self-attention）層和前饋（feed-forward）層。除此之外，這兩個層之間還有一個注意力層，用來關(guān)注輸入句子的相關(guān)部分（和seq2seq模型的注意力作用相似）。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第18頁8.2Transformer基本理論每個單詞都被嵌入為512維的向量，詞嵌入過程只發(fā)生在最底層的編碼器中。所有的編碼器都有一個相同的特點，即它們接收一個向量列表，列表中的每個向量大小為512維。在底層（最開始）編碼器中它就是詞向量，但是在其他編碼器中，它就是下一層編碼器的輸出（也是一個向量列表）。各種向量或張量是怎樣在模型的不同部分中，將輸入轉(zhuǎn)化為輸出的？像大部分NLP應(yīng)用一樣，我們首先將每個輸入單詞通過詞嵌入算法轉(zhuǎn)換為詞向量。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第19頁8.2Transformer基本理論Transformer的一個核心特性，在這里輸入序列中每個位置的單詞都有自己獨特的路徑流入編碼器。在自注意力層中，這些路徑之間存在依賴關(guān)系。而前饋(feed-forward)層沒有這些依賴關(guān)系。因此在前饋(feed-forward)層時可以并行執(zhí)行各種路徑將輸入序列進行詞嵌入之后，每個單詞都會流經(jīng)編碼器中的兩個子層。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第20頁8.2Transformer基本理論編碼過程編碼器會接收一個向量作為輸入。編碼器首先將這些向量傳遞到Self-Attention層，然后傳遞到前饋網(wǎng)絡(luò)，最后將輸出傳遞到下一個編碼器。輸入序列的每個單詞都經(jīng)過自編碼過程。然后，它們各自通過前向傳播神經(jīng)網(wǎng)絡(luò)：完全相同的網(wǎng)絡(luò)，而每個向量都分別通過它。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第21頁8.2Transformer基本理論編碼過程假如，我們要翻譯下面這個句子：Theanimaldidn’tcrossthestreetbecauseitwastootired.這個句子中的it指的是什么？是指animal還是street？對人來說，這是一個簡單的問題，但是算法來說卻不那么簡單。當(dāng)模型在處理it時，Self-Attention機制使其能夠?qū)t和animal關(guān)聯(lián)起來。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第22頁8.2Transformer基本理論當(dāng)我們在編碼器（堆棧中的頂部編碼器）中對單詞”it“進行編碼時，有一部分注意力集中在”Theanimal“上，并將它們的部分信息融入到”it“的編碼中。編碼過程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第23頁8.2Transformer基本理論編碼過程計算自注意力的第一步就是從每個編碼器的輸入向量（每個單詞的詞向量）中生成三個向量。也就是說對于每個單詞，我們創(chuàng)造一個查詢向量(Q)、一個鍵向量(K)和一個值向量(V)。這三個向量是通過詞嵌入與三個權(quán)重矩陣后相乘創(chuàng)建的。X1與WQ權(quán)重矩陣相乘得到q1,就是與這個單詞相關(guān)的查詢向量。最終使得輸入序列的每個單詞的創(chuàng)建一個查詢向量Q、一個鍵向量K和一個值向量V。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第24頁8.2Transformer基本理論

計算得分

將每個值向量乘以softmax分數(shù)(這是為了準備之后將它們求和)。

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第25頁8.2Transformer基本理論通過矩陣運算實現(xiàn)自注意力機制

x矩陣中的每一行對應(yīng)于輸入句子中的一個單詞。我們再次看到詞嵌入向量(512，或圖中的4個格子)和q/k/v向量(64，或圖中的3個格子)的大小差異。最后，由于我們處理的是矩陣，我們可以用一個公式來計算自注意力層的輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第26頁8.2Transformer基本理論“多頭”注意力（“multi-headed”attention）機制一組Q,K,V得到了一組當(dāng)前詞的特征表達類似卷積神經(jīng)網(wǎng)絡(luò)中的filter提取多種特征？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第27頁8.2Transformer基本理論可以看到Multi-HeadAttention輸出的矩陣Z與其輸入的矩陣X的維度是一樣的。“多頭”注意力（“multi-headed”attention）機制DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第28頁8.2Transformer基本理論“multi-headed”attention全部流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第29頁8.2Transformer基本理論使用位置編碼表示序列的順序到目前為止，我們對模型的描述缺少了一種理解輸入單詞順序的方法。為了解決這個問題，Transformer為每個輸入的詞嵌入添加了一個向量。這些向量遵循模型學(xué)習(xí)到的特定模式，這有助于確定每個單詞的位置，或序列中不同單詞之間的距離。這里的直覺是，將位置向量添加到詞嵌入中使得它們在接下來的運算中，能夠更好地表達的詞與詞之間的距離。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第30頁8.2Transformer基本理論使用位置編碼表示序列的順序為了讓模型理解單詞的順序，我們添加了位置編碼向量，這些向量的值遵循特定的模式。如果我們假設(shè)詞嵌入的維數(shù)為4，則實際的位置編碼如下：DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第31頁8.2Transformer基本理論DecoderDecoder和Encoder中的模塊類似，都包含Attention層、前饋網(wǎng)絡(luò)層、融合歸一化層，不同的是Decoder中多了一個Encoder-DecoderAttention層。

Decoder模塊的輸入輸出和解碼過程：DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第32頁8.2Transformer基本理論DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第33頁8.4Transformer自動駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實踐項目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第34頁8.3VisionTransformer介紹DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第35頁8.3VisionTransformer介紹圖片分類的原理背景知識DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第36頁8.3VisionTransformer介紹背景知識為什么需要用transformerCNN（如ResNet）是圖像分類的最佳解決方案。如果預(yù)訓(xùn)練的數(shù)據(jù)集足夠大（至少一億張圖像），則VisionTransformer（ViT）將擊敗CNN（小幅度）VisionTransformer（ViT）實際上就是Transformer的encode網(wǎng)絡(luò)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第37頁8.3VisionTransformer介紹VisionTransformer(ViT)提出ViT模型的這篇文章題名為AnImageisWorth16x16Words:TransformersforImageRecognitionatScale，發(fā)表于2020年10月份，雖然相較于一些Transformer的視覺任務(wù)應(yīng)用模型(如DETR)提出要晚了一些，但作為一個純Transformer結(jié)構(gòu)的視覺分類網(wǎng)絡(luò)，其工作還是有較大的開創(chuàng)性意義的。論文下載鏈接：/abs/2010.11929

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第38頁8.3VisionTransformer介紹VisionTransformer(ViT)對于一個標準的Transformer模塊，要求輸入的是token(向量)序列，即二維矩陣[num_token,token_dim]。對于一個圖像數(shù)據(jù)而言，其數(shù)據(jù)格式為三維矩陣[H,W,C]，這明顯不是Transformer想要的，所以我們需要進行一個圖像預(yù)處理步驟。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第39頁8.3VisionTransformer介紹VisionTransformer(ViT)先將圖片分成NxN的patch塊(原始論文是16x16)patch塊可以重疊(上圖沒有重疊，是9x9的patch塊)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第40頁8.3VisionTransformer介紹VisionTransformer(ViT)將patch打平，對每個patch進行線性映射，提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第41頁8.3VisionTransformer介紹VisionTransformer(ViT)提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第42頁8.3VisionTransformer介紹VisionTransformer(ViT)類似NLP問題，我們給PatchEmbedding加上了一個位置編碼PositionEmbedding。接著我們進行Transformer編碼操作，就能反饋得到很多輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第43頁8.3VisionTransformer介紹VisionTransformer(ViT)將位置編碼信息加入提取的特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第44頁8.3VisionTransformer介紹VisionTransformer(ViT)將位置編碼信息加入提取的特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第45頁8.3VisionTransformer介紹VisionTransformer(ViT)結(jié)論:編碼有用,但是怎么編碼影響不大,干脆用簡單的得了2D(分別計算行和列的編碼,然后求和)的效果還不如1D的每一層都加共享的位置編碼也沒啥太大用位置編碼信息對準確率的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第46頁8.3VisionTransformer介紹VisionTransformer(ViT)

Transformer提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第47頁8.3VisionTransformer介紹VisionTransformer(ViT)

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第48頁8.3VisionTransformer介紹VisionTransformer(ViT)

至于這個TransformerEncoder，實際上是一個標準的Transformer。

當(dāng)你有這些patch的時候，先進來做一次LayerNorm，然后再做Multi-HeadAttention，然后再LayerNorm，再做一個MLP，這就是一個Transformerblock。然后我們可以把它疊加L次，就得到了我們的TransformerEncoder。

所以說從整體上來看，VisionTransformer的架構(gòu)還是相當(dāng)簡潔的，它的特殊之處就在于如何把一個圖片變成這里的一系列的token。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第49頁8.3VisionTransformer介紹VisionTransformer模型整體思路1.圖片切分為patch2.patch轉(zhuǎn)化為embedding3.位置embedding和tokensembedding相加4.輸入到Transformer模型5.CLS輸出做多分類任務(wù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第50頁8.3VisionTransformer介紹VisionTransformer(ViT)輸入輸入輸入注意力注意力注意力來自輸入空間的注意力表達DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第51頁8.3VisionTransformer介紹DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第52頁8.4Transformer自動駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實踐項目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第53頁8.4Transformer自動駕駛應(yīng)用目標檢測DETR

：End-to-EndObjectDetectionwithTransformers第一步是通過一個CNN對輸入圖片抽取特征，然后將特征圖拉直輸入TransformerEncoder-Decoder;第二步的TransformerEncoder部分就是使得網(wǎng)絡(luò)更好地去學(xué)習(xí)全局的特征；第三步使用TransformerDecoder以及ObjectQuery從特征中學(xué)習(xí)要檢測的物體；第四步就是將ObjectQuery的結(jié)果和真值進行二分圖匹配（Set-to-SetLoss），最后在匹配上的結(jié)果上計算分類Loss和位置回歸Loss;DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第54頁8.4Transformer自動駕駛應(yīng)用目標檢測DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第55頁8.4Transformer自動駕駛應(yīng)用語義分割StratifiedTransformerfor3DPointCloudSegmentation第一步：輸入的三維點云數(shù)據(jù)首先通過第一層點嵌入模塊，以聚合每個點的局部信息;第二步：對于每個查詢點，對附近的點進行密集采樣，并以分層方式稀疏采樣遠點作為其關(guān)鍵點；第三步：使用抽樣密鑰來計算每個查詢點的注意力權(quán)重，這些權(quán)重用于聚合按鍵中的信息；第四步：聚合信息通過多層Transformer網(wǎng)絡(luò)傳遞，以捕獲長期依賴關(guān)系并生成最終的分段結(jié)果DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第56頁8.4Transformer自動駕駛應(yīng)用語義分割DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第57頁8.4Transformer自動駕駛應(yīng)用點云目標檢測Pointformer

：3DObjectDetectionwithPointformer第一步：將三維點云作為輸入，并將其通過LocalTransformer模塊，LocalTransformer模塊對局部區(qū)域中點之間的交互進行建模，該模塊在對象級別學(xué)習(xí)上下文相關(guān)的區(qū)域特征；第二步：使用Local-GlobalTransformer，將局部特征與分辨率更高的全局特征集成在一起，以捕捉多尺度表示之間的依賴關(guān)系；第三步：使用GlobalTransformer，旨在學(xué)習(xí)場景級別的情境感知表現(xiàn)形式。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第58頁8.4Transformer自動駕駛應(yīng)用點云目標檢測DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第59頁8.4Transformer自動駕駛應(yīng)用BEV感知BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers第一步：將多攝像機圖像作為輸入，首先由主干網(wǎng)絡(luò)處理以提取特征。與此同時，提取前一個時間戳的BEV特征；第二步：在每一個encoder層，首先通過時間自注意模塊去查詢前一個時間戳的BEV特征。然后，通過空間交叉注意模塊從多攝像頭特征?中查詢空間特征。第三步：經(jīng)過前饋，encoder層輸出細化的BEV特征，作為下一個encoder層的輸入，經(jīng)過6個疊加的encoder層后得到統(tǒng)一的BEV特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第60頁8.4Transformer自動駕駛應(yīng)用BEV感知DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第61頁8.4Transformer自動駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實踐項目目錄ContentThanks!DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第62頁第八章注意力機制與Transformer謝謝！本章總結(jié)與答疑生成對抗網(wǎng)絡(luò)及自動駕駛應(yīng)用第九章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第64頁9.4實踐項目9.1生成式對抗網(wǎng)絡(luò)概述9.3生成對抗網(wǎng)絡(luò)應(yīng)用9.2生成式對抗網(wǎng)絡(luò)基本理論目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第65頁9.1生成式對抗網(wǎng)絡(luò)概述什么是對抗？在射雕英雄傳中，老頑童周伯通被困在桃花島，閑的無聊，自創(chuàng)了左右手互搏術(shù)，左手打右手，右手打左手，雙手的武功不斷精進。這就是對抗在現(xiàn)實世界里沒有左右手互搏術(shù)，但在人工智能的世界里卻有，這就是GAN，中文名字：生成對抗網(wǎng)絡(luò)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第66頁9.1生成式對抗網(wǎng)絡(luò)概述生成對抗網(wǎng)絡(luò)能干啥？2018年10月，一幅肖像畫在紐約佳士得以43萬美元的高價被成功拍賣作者為GANDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第67頁9.1生成式對抗網(wǎng)絡(luò)概述生成對抗網(wǎng)絡(luò)能干啥？如果將GAN比作一個人的話，書法、作畫、譜曲，樣樣都可以做到精通，就像他的名字“生成對抗網(wǎng)絡(luò)”一樣，他的誕生就是為了生成、為了創(chuàng)作。GAN有哪些應(yīng)用？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第68頁9.1生成式對抗網(wǎng)絡(luò)概述深度學(xué)習(xí)中常見生成式模型自編碼（AE）其隱變量z是一個單值映射：z=f(x)變分自編碼（VAE）其隱變量z是一個正態(tài)分布的采樣生成式對抗網(wǎng)絡(luò)（GAN）條件生成式對抗網(wǎng)絡(luò)（CGAN）在生成器和判別器中添加某一標簽信息深度卷積生成式對抗網(wǎng)絡(luò)（DCGAN）判別器和生成器都使用了卷積神經(jīng)網(wǎng)絡(luò)（CNN）來替代GAN

中的多層感知機DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第69頁9.1生成式對抗網(wǎng)絡(luò)概述GAN起源GAN(GenerativeAdversarialNetworks)，中文翻譯為生成式對抗網(wǎng)絡(luò)，是IanGoodfellow等在2014年提出的一種生成式模型。GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構(gòu)成,通過對抗學(xué)習(xí)的方式來訓(xùn)練.目的是估測數(shù)據(jù)樣本的潛在分布并生成新的數(shù)據(jù)樣本。2001年，TonyJebara在畢業(yè)論文中以最大熵形式將判別模型與生成模型結(jié)合起來聯(lián)合學(xué)習(xí)2007年，ZhuowenTu提出將基于boosting分類器的判別模型與基于采樣的生成模型相結(jié)合，來產(chǎn)生出服從真實分布的樣本。2012年，JunZhu將最大間隔機制與貝葉斯模型相結(jié)合進行產(chǎn)生式模型的學(xué)習(xí)。2014年，IanGoodfellow等人提出生成式對抗網(wǎng)絡(luò)，迎合了大數(shù)據(jù)需求和深度學(xué)習(xí)熱潮，給出了一個大的理論框架及理論收斂性分析。起源發(fā)展DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第70頁9.1生成式對抗網(wǎng)絡(luò)概述

GAN的核心思想來源于博弈論的納什均衡它設(shè)定參與游戲雙方分別為一個生成器(Generator)和一個判別器(Discriminator)，生成器的目的是盡量去學(xué)習(xí)真實的數(shù)據(jù)分布，而判別器的目的是盡量正確判別輸入數(shù)據(jù)是來自真實數(shù)據(jù)還是來自生成器；為了取得游戲勝利，這兩個游戲參與者需要不斷優(yōu)化，各自提高自己的生成能力和判別能力，這個學(xué)習(xí)優(yōu)化過程就是尋找二者之間的一個納什均衡。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第71頁9.1生成式對抗網(wǎng)絡(luò)概述DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第72頁9.4實踐項目9.1生成式對抗網(wǎng)絡(luò)概述9.3生成對抗網(wǎng)絡(luò)應(yīng)用9.2生成式對抗網(wǎng)絡(luò)基本理論目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第73頁9.2生成式對抗網(wǎng)絡(luò)基本理論生成對抗模型的特性——博弈生成器的目標：接收隨機向量，生成與真實樣本盡可能相似的樣本。判別器的目標：接收生成器生成的樣本和真實樣本，盡可能地判斷兩者之間的真假。納什均衡：生成器和判別器都能得到最多的好處DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第74頁9.2生成式對抗網(wǎng)絡(luò)基本理論GAN應(yīng)用的一般框架隨機變量+真實數(shù)據(jù)+生成器+判別器

一般為二分類網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)生成內(nèi)容定義DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第75頁9.2生成式對抗網(wǎng)絡(luò)基本理論訓(xùn)練過程訓(xùn)練過程中，固定一方，更新另一方的網(wǎng)絡(luò)權(quán)重，交替迭代。那么先訓(xùn)練誰呢？生成器學(xué)生：負責(zé)產(chǎn)出內(nèi)容判別器老師：負責(zé)評判分數(shù)先訓(xùn)練判別器。1、樣本直接輸入到判別器之中。2、只有判別器具有一定的判斷能力后，生成器的訓(xùn)練才有意義。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第76頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟建立模型生成器和判別器網(wǎng)絡(luò)訓(xùn)練過程損失函數(shù)參數(shù)學(xué)習(xí)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第77頁9.2生成式對抗網(wǎng)絡(luò)基本理論常用：交叉熵損失函數(shù)判別器目標函數(shù):對于真實樣本，其標簽值為1，那么其單個樣本損失函數(shù)就是同理可得生成器輸出樣本的總體損失函數(shù)，判別器的目標函數(shù)定義如下其中，D(x)表示判別器輸出的真實圖像的概率分布,D(G(z))表示判別器輸出的生成器生成圖像的概率分布。

真實樣本的總體損失函數(shù)是

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第78頁9.2生成式對抗網(wǎng)絡(luò)基本理論模型總目標函數(shù)對于判別器，我們盡可能地希望其分類正確，但是對于生成器而言，我們又希望D(G(z))越接近1越好，所以GAN網(wǎng)絡(luò)的目標函數(shù)如下所示

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第79頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟GAN的主要分支-CGANCGAN--條件生成對抗網(wǎng)絡(luò)，為了防止訓(xùn)練崩塌將前置條件加入輸入數(shù)據(jù)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第80頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第81頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟GAN的主要分支-DCGANDCGAN--深度卷積生成對抗網(wǎng)絡(luò)，提出了能穩(wěn)定訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，更易于工程實現(xiàn)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第82頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟GAN的主要分支-CGANCGAN--條件生成對抗網(wǎng)絡(luò)，為了防止訓(xùn)練崩塌將前置條件加入輸入數(shù)據(jù)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第83頁9.2生成式對抗網(wǎng)絡(luò)基本理論使用步驟DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第84頁9.4實踐項目9.1生成式對抗網(wǎng)絡(luò)概述9.3生成對抗網(wǎng)絡(luò)應(yīng)用9.2生成式對抗網(wǎng)絡(luò)基本理論目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第85頁9.3生成對抗網(wǎng)絡(luò)應(yīng)用GAN的應(yīng)用

圖像和視覺領(lǐng)域語音和語言領(lǐng)域其他領(lǐng)域作為一個具有“無限”生成能力的模型,GAN的直接應(yīng)用就是建模,生成與真實數(shù)據(jù)分布一致的數(shù)據(jù)樣本，GAN可以用于解決標注數(shù)據(jù)不足時的學(xué)習(xí)問題。其可以應(yīng)用于：DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第86頁9.3生成對抗網(wǎng)絡(luò)應(yīng)用圖像和視覺領(lǐng)域GAN能夠生成與真實數(shù)據(jù)分布一致的圖像。一個典型應(yīng)用是利用GAN來將一個低清模糊圖像變換為具有豐富細節(jié)的高清圖像。用VGG網(wǎng)絡(luò)作為判別器，用參數(shù)化的殘差網(wǎng)絡(luò)表示生成器，實驗結(jié)果如圖所示，可以看到GAN生成了細節(jié)豐富的圖像。Deep