深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第6、7章 基于CNN的自動(dòng)駕駛場(chǎng)景語義分割理論與實(shí)踐、循環(huán)神經(jīng)網(wǎng)絡(luò)及自動(dòng)駕駛車輛換道行為預(yù)測(cè)

Chapter6基于CNN的自動(dòng)駕駛場(chǎng)景語義分割理論與實(shí)踐第六章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁6.4DeepLab系列6.1圖像分割概述6.3U-Net/Seg-Net6.2FCN全卷積神經(jīng)網(wǎng)絡(luò)6.5圖卷積網(wǎng)絡(luò)方法目錄Content6.6自動(dòng)駕駛圖像分割技術(shù)應(yīng)用及案例介紹6.7實(shí)踐項(xiàng)目DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第3頁6.1圖像分割概述本節(jié)內(nèi)容：

（1）圖像分割的基本介紹

（2）圖像分割的發(fā)展

（3）數(shù)據(jù)格式與評(píng)估指標(biāo)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第4頁圖像分割的基本介紹把圖像按照一定規(guī)則分割成“有意義”的多個(gè)區(qū)域的技術(shù)叫做圖像分割，圖像分割是計(jì)算機(jī)視覺領(lǐng)域里一項(xiàng)重要的基礎(chǔ)技術(shù)。與目標(biāo)檢測(cè)不同，目標(biāo)檢測(cè)的最終輸出是“輸入的圖像里面有哪些我關(guān)心的目標(biāo)”，以及其所在的矩形范圍；而圖像分割的最終輸出是一幅圖片的逐像素的分類結(jié)果，其類別數(shù)量更多，不同類別的物體之間位置要求精確到像素。因此，圖像分割對(duì)于類別數(shù)、位置精確度的要求更高，模型更復(fù)雜。根據(jù)任務(wù)和輸入數(shù)據(jù)類型的不同，圖像分割可以細(xì)化為以下三種具體任務(wù)：語義分割、實(shí)例分割、全景分割DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第5頁圖像分割的發(fā)展語義分割是圖像分割方法的基礎(chǔ)，實(shí)例分割、全景分割在某種程度上其實(shí)是語義分割與目標(biāo)檢測(cè)算法融合的應(yīng)用。因此，本章接下來所說的圖像分割與圖像分割方法，若無特殊說明，均指語義分割和語義分割方法。圖像分割算法與目標(biāo)檢測(cè)算法一樣，存在著傳統(tǒng)圖像分割算法與基于深度學(xué)習(xí)的圖像分割算法兩大類，如右圖所示DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第6頁數(shù)據(jù)格式與評(píng)估指標(biāo)與目標(biāo)檢測(cè)任務(wù)相同，圖像分割任務(wù)主流的數(shù)據(jù)格式仍然是PASCALVOC格式和COCO格式。這兩種數(shù)據(jù)集都被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)、圖像分割任務(wù)中。評(píng)價(jià)一個(gè)圖像分割算法的好壞，常用兩個(gè)指標(biāo)：mIoU（meanIntersectionoverUnion，平均交并比）和mAcc（meanAccuracy，平均準(zhǔn)確率）。指標(biāo)mAcc表征的是預(yù)測(cè)結(jié)果與真實(shí)結(jié)果之間的差距。由于圖像分割任務(wù)通常是逐像素的分類問題，因此該值計(jì)算的是圖像上類別預(yù)測(cè)正確的像素?cái)?shù)量占圖像像素總數(shù)的比率。mAcc越大，說明越多的像素被正確預(yù)測(cè)，預(yù)測(cè)的準(zhǔn)確性越高。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第7頁評(píng)價(jià)指標(biāo)mIoU指標(biāo)mIoU表征的是圖像上所有類別的交并比的總和，此處IoU的概念與第五章相同，都是某一類的預(yù)測(cè)區(qū)域與真實(shí)區(qū)域所占面積的比值如下圖所示，左邊是圖像分割的真實(shí)值，右邊是圖像分割輸出的預(yù)測(cè)值。對(duì)于右圖中每一個(gè)類別分別求IoU，再求平均數(shù)，即為mIoU。mIoU越大，說明每個(gè)類別都被較好的預(yù)測(cè)，預(yù)測(cè)的準(zhǔn)確性越好。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第8頁6.2FCN全卷積神經(jīng)網(wǎng)絡(luò)本節(jié)內(nèi)容：

（1）FCN網(wǎng)絡(luò)結(jié)構(gòu)

（2）上采樣過程

（3）特征融合DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第9頁SDS方法（基于DCNN）在FCN提出之前，便已經(jīng)有了一系列圖像分割的DCNN算法，如SDS方法（SimultaneousDetectionandSegmentation，協(xié)同檢測(cè)和分割），其利用RCN網(wǎng)絡(luò)框架對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，抽取輸入圖片中的多個(gè)“似物性推薦區(qū)域（proposal）”，保留與人工標(biāo)注區(qū)域交叉的部分作為前景區(qū)域，根據(jù)每個(gè)proposal的類別信息進(jìn)行訓(xùn)練，得到了用于圖像分割的DCNN。SDS整體上的架構(gòu)為：MCG+AlexNet+SVM+NMS。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第10頁FCN網(wǎng)絡(luò)結(jié)構(gòu)FCN網(wǎng)絡(luò)即全卷積神經(jīng)網(wǎng)絡(luò)（FullyConvolutionalNetworks），F(xiàn)CN網(wǎng)絡(luò)的結(jié)構(gòu)右圖所示。FCN與DCNN的區(qū)別在于，F(xiàn)CN中沒有全連接層（FC層）。由于僅有卷積層，輸出的是特征圖。FCN中對(duì)于FC的處理是，使用C個(gè)通道的1×1的卷積核對(duì)FC層進(jìn)行替換（1×1卷積核的作用在于，不改變輸入的長(zhǎng)和寬的情況下，將輸出的通道數(shù)調(diào)整為C；該過程也被稱作“降維”或“升維”）。接下來，在通過上采樣過程，將特征圖還原到輸入圖像的大小，每個(gè)位置的值即為對(duì)應(yīng)像素的類別，對(duì)該特征圖進(jìn)行可視化。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第11頁上采樣過程：雙線性插值經(jīng)過了一系列的卷積層后，特征圖的尺寸變得很小，此時(shí)需要進(jìn)行上采樣過程將特征圖還原到輸入圖像的尺寸。常見的上采樣方式有：雙線性插值、上池化、反卷積等。雙線性插值（BilinearInterpolation）的計(jì)算過程如右圖所示，已知Q11、Q12、Q21、Q22四個(gè)點(diǎn)的像素值，如果想在內(nèi)部一點(diǎn)進(jìn)行雙線性插值，首先假定矩形的每條邊上點(diǎn)的像素值變化都為線性過渡。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第12頁上采樣過程：上池化（NearestNeighbor、BedofNails）Un-pooling為上池化，即Pooling的反向操作，其目的是對(duì)特征圖的尺寸進(jìn)行放大，例如從2×2大小擴(kuò)為4×4大小。Un-pooling常見的操作有NearestNeighbor、BedofNails等方式，如下圖所示。除此之外，常用的還有MaxUnpooling，其是MaxPooling的反向操作（見下頁）。但需要注意的是，進(jìn)行MaxPooling時(shí)需要先記住池化后的元素在原圖像上的位置。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第13頁上采樣過程：上池化（MaxUnpooling）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第14頁上采樣過程：反卷積TransposeConvolution是第三種上采樣方式，顧名思義，其是卷積過程的反向操作。卷積的過程如下圖左邊所示，對(duì)于一個(gè)6×6大小的輸入，通過一個(gè)3×3大小的卷積核，在不加Padding的情況下可以得到一個(gè)4×4的特征圖。而反卷積如下圖右邊所示，就是以4×4大小的特征圖為輸入，通過一個(gè)3×3大小的卷積核，得到一個(gè)6×6大小的特征圖。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第15頁上采樣過程：反卷積的計(jì)算過程反卷積具體的計(jì)算過程如下圖所示。首先將3×3的卷積核進(jìn)行翻轉(zhuǎn)，接下來令其以下圖的方式，在2×2的特征圖上滑動(dòng)，重合處的數(shù)字相乘、所有乘積相加，便得到了所需位置處的輸出值。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第16頁特征融合FCN中采用了多尺度特征圖融合的方式，使最后的特征圖能夠得到更多信息。如下圖所示，F(xiàn)CN對(duì)conv7的進(jìn)行一次上采樣，并使其與pool4層的特征進(jìn)行融合；對(duì)conv7的進(jìn)行兩次上采樣，并使其與pool3層的特征進(jìn)行融合；最后對(duì)融合后的特征圖進(jìn)行上采樣，得到整個(gè)網(wǎng)絡(luò)輸出的結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第17頁FCN雖然FCN訓(xùn)練和預(yù)測(cè)的速度比同時(shí)期的傳統(tǒng)圖像分割算法較慢，

但其移植方便、適應(yīng)性極強(qiáng)，使深度學(xué)習(xí)首次引入了圖像分割領(lǐng)域。FCN的缺點(diǎn)主要有：

（1）分割結(jié)果不夠精細(xì)；

（2）且由于其是對(duì)各個(gè)像素進(jìn)行分類，沒有考慮像素與像素之間的關(guān)系，導(dǎo)致輸出結(jié)果中像素所屬類別在空間上的分布較為零碎，一致性差。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第18頁6.3U-Net/Seg-Net本節(jié)內(nèi)容：

（1）U-Net

（2）Seg-NetDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第19頁U-Net網(wǎng)絡(luò)結(jié)構(gòu)U-Net最初是為了解決生物醫(yī)學(xué)圖像方面的問題而提出的。U-Net是基于Encoder-Decoder的U型結(jié)構(gòu)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第20頁U-Net過程在U-Net中，Encoder負(fù)責(zé)特征提取、Decoder負(fù)責(zé)恢復(fù)圖像的原始分辨率。對(duì)于一幅大小為572×572的輸入圖像，在Encoder部分，通過五次“3×3卷積+ReLU、3×3卷積+ReLU、2×2最大值池化”的操作，得到一張大小為28×28像素、1024通道的特征圖。在Decoder部分，通過四次“上采樣、特征融合（拼接操作）、3×3卷積+ReLU、3×3卷積+ReLU”的操作，得到與338×338大小、64通道的特征圖；最后再使用1×1卷積，將通道數(shù)量設(shè)定為類別數(shù)量，得到最終的特征圖。該特征圖通過Softmax和Argmax操作，輸出最終的圖像分割結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第21頁特征融合方式：拼接上述過程中，特征融合采用的方式是“拼接”，即把Encode中不同尺寸卷積層的輸出復(fù)制并裁剪（copyandcrop）出一個(gè)與Decoder中待拼接的上采樣結(jié)果尺寸相同的部分，直接進(jìn)行“拼接”。該方式能夠使不同尺寸的特征較好的融合，減少了細(xì)節(jié)的丟失。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第22頁U-Net損失函數(shù)設(shè)計(jì)U-Net的損失函數(shù)使用的是關(guān)于類別的交叉熵，如下式所示。其中，w(x)是權(quán)重變量。原論文是醫(yī)學(xué)細(xì)胞檢測(cè)，因此不同細(xì)胞之間的交界比較明顯，某一像素點(diǎn)距離細(xì)胞邊界第一近和第二近的距離為d1、d2。的設(shè)置可以使距離邊界越近的像素懲罰越大、越遠(yuǎn)的懲罰越小。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第23頁Seg-Net網(wǎng)絡(luò)結(jié)構(gòu)Seg-Net的結(jié)構(gòu)如下圖所示，其同樣是一個(gè)Encoder-Decoder結(jié)構(gòu)。Encoder部分是一個(gè)與VGG16類似的網(wǎng)絡(luò)模型，主要由卷積層（Conv）、歸一化層（BatchNormal，BN層）、激活函數(shù)層（ReLU）、池化層（Pooling）組成。其中，卷積層負(fù)責(zé)提取區(qū)域特征；池化層對(duì)特征圖進(jìn)行下采樣并傳送到下一層；而BN層則對(duì)特征圖的數(shù)值進(jìn)行分布?xì)w一化，加速訓(xùn)練過程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第24頁Seg-Net網(wǎng)絡(luò)的Decoder部分Decoder部分主要由上采樣層（Upsampling）、卷積層（Conv）組成。其中，上采樣層與以往的網(wǎng)絡(luò)不同，其是借助“池化索引”來進(jìn)行上采樣的，如下圖所示。池化索引，就是指在Encoder部分的MaxPooling過程中，建立一個(gè)矩陣來記錄最大值所在的位置；在Decoder部分的上采樣過程中，根據(jù)池化索引矩陣的記錄來填寫原來位置上的新的特征值，空缺的位置用0填充，這種上采樣方式得到的是一個(gè)稀疏特征圖。后續(xù)再繼續(xù)通過卷積層得到稠密特征圖，再進(jìn)行上采樣，循環(huán)往復(fù)，直到特征圖的大小與輸入圖像一致。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第25頁6.4DeepLab系列本節(jié)內(nèi)容：

（1）DeepLabV1

（2）DeepLabV2

（3）DeepLabV3

（4）DeepLabV3+DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第26頁DCNN類圖像分割網(wǎng)絡(luò)的不足在DeepLabV1出現(xiàn)之前，圖像分割所使用一類DCNN網(wǎng)絡(luò)，存在兩個(gè)問題：

首先，最大池化等采樣方式會(huì)導(dǎo)致圖像中的細(xì)節(jié)丟失；

其次，分類器使用以對(duì)象為中心的決策，依賴于特征圖變換的空間不變性，該特點(diǎn)限制了DCNN的空間精度。因此，DeepLabV1針對(duì)上述兩個(gè)問題，分別使用“空洞卷積”、“條件隨機(jī)場(chǎng)（CRF）”的方式，解決了分辨率下降的問題、提高了模型捕獲細(xì)節(jié)的能力。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第27頁DeepLabV1DeepLabV1的整體結(jié)構(gòu)如右圖所示。

圖中的5個(gè)VGGlayer與以往不同，其內(nèi)部的卷積層使用的是空洞卷積，F(xiàn)C6同樣使用了空洞卷積，F(xiàn)C7使用的是一個(gè)1×1的普通卷積。6個(gè)Classification內(nèi)部有三個(gè)卷積層，其作用是通過雙線性插值統(tǒng)一特征圖大小、通過卷積操作使輸出特征圖的通道數(shù)等于類別數(shù)。最后，進(jìn)行按像素疊加、按原圖大小進(jìn)行插值縮放，得到最終的輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第28頁空洞卷積空洞卷積是一種能夠增大感受野的卷積方法，而感受野是指計(jì)算特征圖上某個(gè)點(diǎn)的像素值時(shí)，計(jì)算使用的像素值的在輸入圖片上覆蓋范圍。上圖中，輸出的每一個(gè)像素點(diǎn)，其感受野的范圍都是3×3。而空洞卷積是指在不改變計(jì)算量（9個(gè)像素值）的情況下，對(duì)特征圖上的原始區(qū)域進(jìn)行卷積時(shí)，沒有逐像素進(jìn)行計(jì)算、而是間隔一定步長(zhǎng)來進(jìn)行計(jì)算。下圖中，輸出的每一個(gè)像素點(diǎn)，其感受野的范圍都是5×5。普通卷積：感受野3×3空洞卷積：感受野5×5DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第29頁條件隨機(jī)場(chǎng)（CRF）條件隨機(jī)場(chǎng)（CRF）是一種無向圖，圖中的頂點(diǎn)代表隨機(jī)變量，頂點(diǎn)之間的連線代表相互關(guān)系。上圖展示了CRF在DeepLabV1整體網(wǎng)絡(luò)結(jié)構(gòu)中的作用。下圖展示了CRF比其他方法更能使分類結(jié)果的邊緣更加精細(xì)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第30頁DeepLabV2DeepLabV2是DeepLabV1的改進(jìn)版，其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。首先，V2使用ResNet替換了V1所使用的VGG網(wǎng)絡(luò)。其次，引入了一個(gè)ASPP（AtrousSpatialPyramidPooling，空間空洞金字塔池化）層，使不同尺寸的特征圖都擴(kuò)大了自身的感受野，獲得了更多的上下文信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第31頁ASPP層ASPP層的作用在于，其使用不同感受野的卷積核，如圖所示。具體來說，就是將輸入的特征圖，以四個(gè)不同擴(kuò)張率（rate）的3×3卷積核進(jìn)行空洞卷積的計(jì)算，以此獲得了多尺度、不同感受野的上下文信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第32頁DeepLabV3DeepLabV3直接去除了CRF的過程，并引入了Multi-Grid策略、優(yōu)化ASPP的結(jié)構(gòu)，僅憑卷積網(wǎng)絡(luò)便達(dá)到了DeepLabV2的效果。DeepLabV3的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。輸入的圖像經(jīng)過4個(gè)ResNet后，進(jìn)入ASPP’（即改進(jìn)后的ASPP），再進(jìn)行后續(xù)的圖像分割過程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第33頁空洞卷積的弊端越高層的空洞卷積，擴(kuò)張率越大，其對(duì)輸入的采樣就會(huì)越稀疏，很多局部信息就會(huì)被丟失，使得輸出的特征圖出現(xiàn)gridding問題，如圖所示。第一行是真實(shí)值，第二行是具有g(shù)ridding問題的特征圖。該現(xiàn)象的產(chǎn)生源自于空洞卷積使用了相同間隔的膨脹率，導(dǎo)致其在某一特定像素的周圍總是對(duì)相對(duì)固定位置的那些像素進(jìn)行多次采樣，造成過擬合，導(dǎo)致失真。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第34頁Multi-Grid策略DeepLabV3中便采用了Multi-Grid策略，其在一個(gè)ResBlock中連續(xù)使用多個(gè)不同擴(kuò)張率的空洞卷積。

即在不同的空洞卷積層上，使用不同間隔的膨脹率來替代固定間隔的膨脹率。如圖所示，膨脹率rate不再固定間隔的增加（如2,4,6,8），而是非等間隔的增加（如2,4,8,16）。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第35頁BN（BatchNormalization）層BN層能夠均衡特征圖上的像素值分布情況，減輕計(jì)算壓力、進(jìn)而減少訓(xùn)練和預(yù)測(cè)的總時(shí)間。此外，作者發(fā)現(xiàn)，膨脹率越大，卷積核中的有效權(quán)重越少；當(dāng)膨脹率足夠大時(shí)，只有卷積核最中間的權(quán)重是有效的，此時(shí)卷積核退化成了1×1卷積核，此時(shí)空洞卷積便丟失了預(yù)期的上下文信息。因此，作者對(duì)最后一層的特征圖進(jìn)行全局池化，經(jīng)過256個(gè)1×1卷積核和BN層，使用雙線性插值得到最終所需維度的特征圖。綜上，改進(jìn)后的ASPP即ASPP’，如圖所示，其融合了Multi-grid策略、BN層、全局池化，使模型訓(xùn)練的時(shí)間更短、效果也更好。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第36頁DeepLabV3+在圖像分割的方法中，對(duì)于上下文信息的提取主要有兩種思路：一種是利用空間金字塔池化（SPP）結(jié)構(gòu)（如圖(a)）、另一種是編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)（如圖(b)）。而DeepLabV3+則是DeepLabV3的改進(jìn)版，其融合了上述兩種思路，即在Encoder-Decoder結(jié)構(gòu)的基礎(chǔ)上，加入了SPP模塊，如圖(c)所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第37頁DeepLabV3+因此，DeepLabV3+很好的融合了上述兩種結(jié)構(gòu)的優(yōu)點(diǎn)：通過SPP來利用多種感受野池化不同分辨率的特征來挖掘上下文信息；通過Encoder-Decoder來逐步重構(gòu)空間信息來捕捉物體的邊緣。引入空洞卷積后，Encoder-Decoder模型的運(yùn)行時(shí)間有所減少。DeepLabV3+的運(yùn)行時(shí)間和輸出精度，是可以通過空洞卷積的膨脹率等參數(shù)來進(jìn)行動(dòng)態(tài)調(diào)整的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第38頁6.5圖卷積網(wǎng)絡(luò)方法本節(jié)內(nèi)容：

（1）圖卷積的定義

（2）BeyondGrids

（3）GloRe

（4）GINetDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第39頁圖卷積的定義圖是由節(jié)點(diǎn)（node）和邊（edge）構(gòu)成的，節(jié)點(diǎn)表示實(shí)體，而邊描述了實(shí)體與實(shí)體之間的關(guān)系。圖有四種基本類型，如無向圖、有向圖、加權(quán)圖、混合圖等。實(shí)際上，根據(jù)圖的形狀和特點(diǎn)，圖還可以細(xì)分為更多種類，規(guī)則簡(jiǎn)單的類別有樹、環(huán)、軌道等；規(guī)則復(fù)雜的類別有連通圖、偶圖、邊圖、弦圖、歐拉圖、哈密頓圖等。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第40頁復(fù)習(xí)：卷積的定義復(fù)習(xí)二維平面卷積運(yùn)算的定義：

其計(jì)算過程就是利用卷積核，在輸入圖像上滑動(dòng)，將圖像上點(diǎn)的像素值與卷積核上對(duì)應(yīng)位置的數(shù)值相乘，再將所有乘積相加求和，作為輸出特征圖上卷積核中間位置的特征值，重復(fù)該過程直到遍歷完輸入圖片上所有的像素。圖卷積則與之類似，將每個(gè)節(jié)點(diǎn)描述為一個(gè)特征向量，通過設(shè)計(jì)一個(gè)可以遍歷全部節(jié)點(diǎn)的矩陣運(yùn)算，該運(yùn)算方法便命名為圖卷積。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第41頁圖卷積的一種定義圖中，節(jié)點(diǎn)1共有5個(gè)鄰居，對(duì)于節(jié)點(diǎn)1進(jìn)行圖卷積，則就是對(duì)節(jié)點(diǎn)1及其鄰居節(jié)點(diǎn)的信息進(jìn)行聚合。其中，每個(gè)節(jié)點(diǎn)都用一個(gè)向量來表示，所有的節(jié)點(diǎn)向量則構(gòu)成了節(jié)點(diǎn)矩陣n×c維的矩陣（n是節(jié)點(diǎn)數(shù)量，c是節(jié)點(diǎn)向量的維度）；A是n×n維的鄰接矩陣，Aij=1表示節(jié)點(diǎn)i與節(jié)點(diǎn)j相鄰、Aij=0表示不相鄰；I是單位矩陣；D是對(duì)角矩陣，其作為歸一化的因子參與矩陣乘積運(yùn)算；W是可學(xué)習(xí)的參數(shù)矩陣。本質(zhì)上，圖卷積也是一種消息傳遞網(wǎng)絡(luò)：L描述了節(jié)點(diǎn)間消息的傳遞過程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第42頁BeyondGrids在BeyondGrids提出之前，應(yīng)用于圖像分割的深度學(xué)習(xí)網(wǎng)絡(luò)大多數(shù)都是通過堆疊多個(gè)卷積層、池化層來增大感受野，進(jìn)而獲得目標(biāo)與場(chǎng)景的上下文關(guān)系。實(shí)際上，這種方法得到的有效感受野非常有限，并不能很好的對(duì)上下文進(jìn)行建模。因此，BeyondGrids方法定義了GCU（GraphConvolutionUnit，圖卷積單元）來處理相關(guān)問題。一個(gè)GCU由三部分構(gòu)成：GraphProjection、GraphConvolution、GraphRe-Projection。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第43頁BeyondGrids的GCU單元其中，GraphProjection為特征投影過程，即將2維特征圖投影到圖G=(V,E)上（V是節(jié)點(diǎn)的集合，E是節(jié)點(diǎn)間相互關(guān)系的集合）。對(duì)于V中的各個(gè)節(jié)點(diǎn)，其都是通過特征聚合的方式得到的。GraphConvolution為圖卷積過程，其采用上一節(jié)所述的公式進(jìn)行運(yùn)算，通過訓(xùn)練的方式來學(xué)習(xí)參數(shù)W。GraphRe-Projection為反投影過程，將經(jīng)過圖卷積運(yùn)算的圖表征重新投影到2維空間。下圖展示了一個(gè)GCU的處理過程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第44頁BeyondGrids的GCU單元DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第45頁GloRe的交互空間GloRe提出了一種推理方法：將坐標(biāo)空間（CoordinateSpace）的像素級(jí)特征聚合投影到交互空間（InteractionSpace）中，經(jīng)過一系列運(yùn)算后再投回到原始的坐標(biāo)空間。圖(b)描述了坐標(biāo)空間下的區(qū)域劃分，同種顏色的區(qū)域內(nèi)部，其像素是相似的，即根據(jù)像素的相似性劃分坐標(biāo)空間中的區(qū)域；(c)描述了坐標(biāo)空間與交互空間中區(qū)域的投影與反投影關(guān)系。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第46頁GloRe的流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第47頁GloRe的流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第48頁GINet的語義上下文之前的方法都是基于視覺圖像來表征、推理上下文的方式，但GINet的作者認(rèn)為上下文信息僅靠其他像素點(diǎn)的信息來捕捉并不夠，于是作者引入了語義上下文的概念，如圖中的GraphInteraction過程所示。GINet仍然是一種圖交互網(wǎng)絡(luò)，其提出了一種基于數(shù)據(jù)集的語義知識(shí)的圖交互單元GIUnit來進(jìn)行上下文的推理建模；同時(shí)提出了上下文損失SC-loss來增強(qiáng)訓(xùn)練過程，強(qiáng)調(diào)出現(xiàn)在場(chǎng)景中的類別，抑制沒有出現(xiàn)在場(chǎng)景中的類別。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第49頁GINet網(wǎng)絡(luò)框架GINet方法的框架如下頁ppt所示，其過程大致分為五個(gè)步驟。第一步，將經(jīng)過預(yù)訓(xùn)練的ResNet作為骨干網(wǎng)絡(luò)，對(duì)給定的輸入圖像進(jìn)行提取特征，即視覺特征（VisualRepresentation）。與此同時(shí)，根據(jù)分類網(wǎng)絡(luò)或先驗(yàn)信息得到該輸入圖片中的類別信息，將其以文本的形式提取出來經(jīng)過WordEmbedding，將單詞映射為方便處理的多維向量，即語義信息（LinguisticKnowledge）。第二步，將視覺特征和語義信息，通過GIUnit進(jìn)行投影，得到視覺圖（VisG）和語義圖（SemG）。其中，視覺圖中的節(jié)點(diǎn)表示原圖像中某一區(qū)域的特征，邊表示區(qū)域之間的關(guān)系；語義圖中的節(jié)點(diǎn)表示文本特征，邊表示相互關(guān)系。第三步，在GIUnit中通過GraphInteraction過程來進(jìn)行圖推理。其中，語義圖用于在視覺圖中促進(jìn)上下文關(guān)系，指導(dǎo)視覺圖的生成；視覺圖反過來又可以強(qiáng)化語義圖中語義之間的聯(lián)系。第四步，由GIUnit生成的視覺圖通過反投影操作，回到原特征空間上，來增強(qiáng)每個(gè)局部視覺表示的區(qū)分能力；語義圖則在訓(xùn)練過程中根據(jù)上下文損失（SC-loss）不斷進(jìn)行更新。最后，使用1×1卷積、上采樣，得到最終的圖像分割結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第50頁GINet網(wǎng)絡(luò)框架DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第51頁GINet的損失函數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第52頁6.6自動(dòng)駕駛圖像分割技術(shù)應(yīng)用及案例介紹本節(jié)內(nèi)容：

（1）自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述

（2）礦區(qū)自動(dòng)駕駛路面特征提取案例介紹

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第53頁自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述在自動(dòng)駕駛場(chǎng)景下，圖像分割需要能夠準(zhǔn)確識(shí)別和分割出道路上不同的物體和區(qū)域，如車道線、行人、交通標(biāo)志、車輛等。傳統(tǒng)的圖像分割方法，本質(zhì)上是基于規(guī)則的語義分割算法，至于規(guī)則如何設(shè)定，完全由方法的提出者進(jìn)行設(shè)計(jì)，其主觀因素極強(qiáng)，泛化能力較差；且每一種規(guī)則僅對(duì)某種特定的分割場(chǎng)景有效，人工設(shè)計(jì)分割規(guī)則的效率也十分低下。因此，傳統(tǒng)圖像分割方法很難應(yīng)用到自動(dòng)駕駛領(lǐng)域中。本文以閾值法、邊緣檢測(cè)法來介紹傳統(tǒng)圖像分割方法在自動(dòng)駕駛領(lǐng)域中的應(yīng)用。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第54頁自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述閾值法是指使用圖像的灰度特征來計(jì)算灰度值，通過與設(shè)定的閾值相比較，來將特定的像素分類到相應(yīng)的類別。以自動(dòng)駕駛場(chǎng)景中的行人區(qū)域分割為例，由于人體的表面溫度高于周圍環(huán)境，因此使用紅外檢測(cè)設(shè)備或算法，可以檢測(cè)圖像中的熱源區(qū)域，進(jìn)而從圖像或熱成像中分割出行人區(qū)域。Ge等人提出了一種基于自適應(yīng)局部雙閾值分割的感興趣區(qū)域（RegionofRegion）提取方法，其通過計(jì)算同一水平線上的行人亮度比背景亮度高的假設(shè)來計(jì)算局部閾值，進(jìn)而將行人從圖像中分離出來。邊緣檢測(cè)法是目標(biāo)對(duì)象的邊緣線往往具有相似的灰度、顏色、紋理等特點(diǎn)，其主要通過微分算子來進(jìn)行檢測(cè)。使用Sobel算子進(jìn)行圖像分割便是一個(gè)典型的應(yīng)用。劉瓊等人提出了一種加權(quán)Sobel算子的方法來強(qiáng)化行人的豎直邊緣，以此來更好的分割道路場(chǎng)景下的行人區(qū)域。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第55頁自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述FCN網(wǎng)絡(luò)已經(jīng)提出，便展現(xiàn)了其在自動(dòng)駕駛領(lǐng)域中應(yīng)用的潛力：其實(shí)現(xiàn)了端到端的輸出，可以幫助自動(dòng)駕駛系統(tǒng)理解場(chǎng)景并做出合理的決策。但FCN并不能對(duì)駕駛場(chǎng)景的上下文進(jìn)行充分利用，因此并沒有真正地應(yīng)用于自動(dòng)駕駛。Zhao等人通過一個(gè)金字塔集合模塊，對(duì)輸入圖像進(jìn)行多尺度的特征提取，再通過一個(gè)帶有上采樣層的解碼器來恢復(fù)原始分辨率。這種方式極大地方便和簡(jiǎn)化了自動(dòng)駕駛的數(shù)據(jù)圖像輸入過程。然而重復(fù)的池化和下采樣操作會(huì)導(dǎo)致輸入圖像的細(xì)節(jié)丟失和畸變，因此Chen等人在PSPNet基礎(chǔ)上引入了DeepLab，引入了ASPP模塊。該模塊通過不同擴(kuò)張率的卷積濾波器，提取了多尺度的特征；同時(shí)，DeepLab還通過跳躍連接的方式將ASPP模塊輸出的特征圖與不同層級(jí)的解碼器輸出進(jìn)行融合，使得車道線的邊緣更加的精細(xì)和完整，更有利于車輛自身位置的確定。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第56頁自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述胡航等人基于編碼器-解碼器模型，使用HRNet(High-ResolutionNet)保持高分辨率特征，同引入OCRNet(Object-ContextualRepresentationsforSemanticSegmentation)增強(qiáng)對(duì)象級(jí)別的語義信息。車子軒等人針對(duì)城市街景中的小目標(biāo)分割問題，采用特征加權(quán)和多尺度特征融合改進(jìn)SOLO實(shí)例分割算法，提出F-SOLO（FeatureEnhancementSOLO）實(shí)例分割算法。其在特征提取網(wǎng)絡(luò)之后對(duì)特征通道進(jìn)行加權(quán)重構(gòu)，提升算法對(duì)重要特征的利用率；陳善繼等人提出了一種基于計(jì)算機(jī)視覺的高速路面狀態(tài)檢測(cè)方法。該方法首先將融合了空間注意力機(jī)制和通道注意力機(jī)制。注意力模塊與具有高分割精度的U-net網(wǎng)絡(luò)相結(jié)合，對(duì)路面區(qū)域圖像進(jìn)行分割提取；之后實(shí)現(xiàn)了一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的路面陰影消除算法，對(duì)已經(jīng)提取的路面圖像進(jìn)行陰影消除；最后基于殘差結(jié)構(gòu)構(gòu)建了路面狀態(tài)分類器，實(shí)現(xiàn)高準(zhǔn)確率的路面狀態(tài)檢測(cè)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第57頁礦區(qū)路面特征提取案例：背景介紹車輛在礦區(qū)非結(jié)構(gòu)化路面上行駛時(shí)，由于路面翻漿及路面積水區(qū)域具有凹凸不平的特點(diǎn)，在這種路面狀態(tài)下行駛時(shí)，車輛抗沖擊性能很高，導(dǎo)致其劇烈振動(dòng)，容易損壞部件，還會(huì)因機(jī)械故障引發(fā)事故。自動(dòng)駕駛車輛有效對(duì)礦區(qū)非結(jié)構(gòu)化路面的道路翻漿（凸起）區(qū)域（左圖）以及路面積水（右圖）等路面狀態(tài)進(jìn)行檢測(cè)并輸出相應(yīng)的路面狀態(tài)屬性（高度、面積）能夠提升礦區(qū)自動(dòng)駕駛車輛前向感知能力，為車輛決策、規(guī)劃、控制提供保障。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第58頁礦區(qū)路面特征提取案例：技術(shù)路線單一傳感器信息對(duì)于自動(dòng)駕駛車輛環(huán)境感知具有一定的局限性，多傳感器信息融合不僅可以彌補(bǔ)單一傳感器多維信息的不足，還可以形成一定的信息冗余增強(qiáng)環(huán)境感知結(jié)果的可靠性。本案例采用長(zhǎng)焦相機(jī)和激光雷達(dá)傳感器信息融合感知技術(shù)對(duì)礦區(qū)非結(jié)構(gòu)化路面狀態(tài)進(jìn)行研究：激光雷達(dá)傳感器可以彌補(bǔ)圖像沒有深度信息的不足，圖像可以為點(diǎn)云提供路面狀態(tài)的語義信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第59頁礦區(qū)路面特征提取案例：礦區(qū)路面數(shù)據(jù)集的構(gòu)建本案例將激光雷達(dá)點(diǎn)云和長(zhǎng)焦相機(jī)的圖像作為整體算法的輸入，首先運(yùn)用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像中具體的路面特征進(jìn)行分割與提取，然后根據(jù)圖像與點(diǎn)云的關(guān)系對(duì)應(yīng)地獲得不同路面狀態(tài)的點(diǎn)云信息，最后提出一種路面狀態(tài)輸出算法實(shí)現(xiàn)路面狀態(tài)的感知，完成關(guān)于礦區(qū)路面狀態(tài)的檢測(cè)與輸出。圖像與點(diǎn)云聯(lián)合標(biāo)定的過程如右圖所示。為了使得所采集的礦區(qū)圖像及點(diǎn)云數(shù)據(jù)中的路面特征能夠更好的匹配，多模態(tài)數(shù)據(jù)需要在時(shí)間上進(jìn)行同步，空間上進(jìn)行對(duì)齊處理。同時(shí)，點(diǎn)云測(cè)量的是物體到激光雷達(dá)中心的距離，則在同一幀點(diǎn)云中不同激光點(diǎn)的坐標(biāo)系不同，因此需要把采集過程中的雷達(dá)的運(yùn)動(dòng)計(jì)算出來進(jìn)行點(diǎn)云去畸變處理。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第60頁礦區(qū)路面特征提取案例：礦區(qū)路面數(shù)據(jù)集的構(gòu)建DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第61頁礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取本案例中，采取了編碼器-解碼器結(jié)構(gòu)的DeepLabV3+作為圖像語義分割框架，在此基礎(chǔ)上進(jìn)行優(yōu)化來獲取圖片的像素級(jí)類別信息?；诟倪M(jìn)的DeepLabv3+語義分割網(wǎng)絡(luò)主要是由通道注意力模塊、混合注意力模塊以及改進(jìn)DeepLabv3+網(wǎng)絡(luò)模型，改進(jìn)的DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第62頁礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取本案例中，所采用的數(shù)據(jù)按照PASCALVOC2007數(shù)據(jù)集格式進(jìn)行標(biāo)注，用實(shí)際應(yīng)用場(chǎng)景來檢驗(yàn)改進(jìn)網(wǎng)絡(luò)的性能。在所構(gòu)建的礦區(qū)非結(jié)構(gòu)化路面數(shù)據(jù)集中，主要包含行駛主路徑直道、彎道以及礦區(qū)作業(yè)區(qū)等場(chǎng)景，場(chǎng)景中的路面主要是車輛來回碾壓過在松軟路面上形成的翻漿等凸起以及在下雨天氣下在凹坑中的積水等路面狀態(tài)。標(biāo)注的類別主要有：非結(jié)構(gòu)化道路路邊擋墻、非結(jié)構(gòu)化路面翻漿（凸起）區(qū)域、路面積水區(qū)域以及其它非有效區(qū)域等四類區(qū)域，DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第63頁礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取為驗(yàn)證基于DeepLabv3+網(wǎng)絡(luò)的基礎(chǔ)上所添加模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，對(duì)在網(wǎng)絡(luò)中相同位置分別添加ECA注意力機(jī)制和CBAM混合注意力機(jī)制模塊與同時(shí)添加兩種模塊的改進(jìn)網(wǎng)絡(luò)進(jìn)行對(duì)比。本案例中，基于DeepLabv3+網(wǎng)絡(luò)添加ECA注意力機(jī)制以及CBAM混合注意力機(jī)制的改進(jìn)網(wǎng)絡(luò)在mIoU和mPA指標(biāo)上，相對(duì)于DeepLabv3+網(wǎng)絡(luò)本身以及分別添加不同注意力模塊的網(wǎng)絡(luò)相比表現(xiàn)良好，選取訓(xùn)練過程中得到的最優(yōu)權(quán)重，加載最優(yōu)權(quán)重對(duì)礦區(qū)路面進(jìn)行分割可以得到所分割的路面狀態(tài)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第64頁礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取在經(jīng)過圖像分割獲得礦區(qū)路面狀態(tài)特征后，為確定感興趣區(qū)域需要對(duì)相應(yīng)路面狀態(tài)進(jìn)行輪廓提取。圖像二值化操作使圖像變得簡(jiǎn)單，同時(shí)減少數(shù)據(jù)量，有利于圖像進(jìn)一步處理。在獲得二值化的圖像后，為了實(shí)現(xiàn)填補(bǔ)目標(biāo)區(qū)域中的某些空洞以及消除包含在目標(biāo)區(qū)域中的小顆粒噪聲的目標(biāo)，需要對(duì)二值化圖像進(jìn)行圖像膨脹操作。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第65頁礦區(qū)路面特征提取案例：基于點(diǎn)云與圖像的路面特征融合及狀態(tài)輸出在獲得礦區(qū)非結(jié)構(gòu)化路面狀態(tài)的圖像信息后，為了進(jìn)一步對(duì)路面翻漿（凸起）區(qū)域的高度及路面積水區(qū)域的面積等路面狀態(tài)屬性信息進(jìn)行有效感知，還需要基于相對(duì)應(yīng)路面狀態(tài)區(qū)域的三維點(diǎn)云信息進(jìn)行分析。此步驟中根據(jù)小孔成像模型以及激光雷達(dá)與相機(jī)的相對(duì)位置關(guān)系將路面激光點(diǎn)云與圖像進(jìn)行后融合，并結(jié)合圖像中路面狀態(tài)的輪廓信息獲得相對(duì)應(yīng)區(qū)域的點(diǎn)云，經(jīng)過后校準(zhǔn)得到最終的融合效果，如圖所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第66頁礦區(qū)路面特征提取案例：基于點(diǎn)云與圖像的路面特征融合及狀態(tài)輸出本案例運(yùn)用相對(duì)應(yīng)路面狀態(tài)區(qū)域的點(diǎn)云信息提出了一種面向礦區(qū)非結(jié)構(gòu)化路面狀態(tài)感知算法并對(duì)礦區(qū)相應(yīng)的路面狀態(tài)進(jìn)行輸出，路面狀態(tài)輸出算法的流程如圖所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第67頁礦區(qū)路面特征提取案例：結(jié)果與分析右圖所示為礦區(qū)路面翻漿（凸起）檢測(cè)效果圖。圖中以自適應(yīng)多邊形的形式對(duì)路面翻漿（凸起）區(qū)域進(jìn)行檢測(cè)，同時(shí)對(duì)于翻漿區(qū)域的高度屬性進(jìn)行階梯輸出（如圖中左上角高度值）。在測(cè)試時(shí)，本研究將礦區(qū)路面翻漿大于0.1m區(qū)域以及大于0.2m區(qū)域都進(jìn)行輸出（點(diǎn)云藍(lán)色部分以及紅色多邊形區(qū)域）。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第68頁礦區(qū)路面特征提取案例：結(jié)果與分析右圖所示為礦區(qū)路面積水區(qū)域檢測(cè)效果圖，以自適應(yīng)多邊形對(duì)路面積水區(qū)域進(jìn)行檢測(cè)同時(shí)輸出積水區(qū)域面積屬性（如圖中左上角面積值），同時(shí)將路面積水區(qū)域點(diǎn)云用綠色表示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第69頁6.6自動(dòng)駕駛圖像分割技術(shù)應(yīng)用及案例介紹本節(jié)內(nèi)容：

（1）基于DeepLabV3＋的自動(dòng)駕駛數(shù)據(jù)集圖像分割

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第70頁基于DeepLabV3＋的自動(dòng)駕駛數(shù)據(jù)集圖像分割本實(shí)踐項(xiàng)目基于Paddlepaddle框架，使用DeepLabV3＋網(wǎng)絡(luò)對(duì)真實(shí)礦區(qū)數(shù)據(jù)集圖像進(jìn)行圖像分割，用的和前面幾章同一個(gè)數(shù)據(jù)集，包含礦卡、轎車（皮卡）、和其它類別標(biāo)簽的數(shù)據(jù)集，標(biāo)簽包括Mine_truck，Car和Others；同樣得益于Paddlepaddle平臺(tái)的良好封裝，依然可以拿到預(yù)訓(xùn)練模型可以直接使用，DeepLabV3＋有效縮短了訓(xùn)練時(shí)間并提升了圖像分割效果。訓(xùn)練之后對(duì)最后得到的模型進(jìn)行評(píng)估和推理.最終分割效果如下頁所示，可見分割精度較高。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第71頁基于DeepLabV3＋的自動(dòng)駕駛數(shù)據(jù)集圖像分割Thanks!DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第72頁第六章基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割謝謝！本章總結(jié)與答疑Chapter7循環(huán)神經(jīng)網(wǎng)絡(luò)及自動(dòng)駕駛車輛換道行為預(yù)測(cè)第七章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第74頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第75頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：連接存在層與層之間，每層的節(jié)點(diǎn)之間是無連接的。（無循環(huán)）輸入和輸出的維數(shù)都是固定的，不能任意改變。無法處理變長(zhǎng)的序列數(shù)據(jù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第76頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：假設(shè)每次輸入都是獨(dú)立的，也就是說每次網(wǎng)絡(luò)的輸出只依賴于當(dāng)前的輸入。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第77頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述有限狀態(tài)自動(dòng)機(jī)（FiniteAutomata）如何用FNN去模擬一個(gè)有限狀態(tài)自動(dòng)機(jī)？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第78頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述圖靈機(jī)一種抽象數(shù)學(xué)模型，可以用來模擬任何可計(jì)算問題。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第79頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述可計(jì)算問題可計(jì)算問題函數(shù)

有限狀態(tài)機(jī)圖靈機(jī)前饋網(wǎng)絡(luò)需要記憶能力通用近似定理如何給網(wǎng)絡(luò)增加記憶能力？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第80頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？延時(shí)神經(jīng)網(wǎng)絡(luò)（TimeDelayNeuralNetwork，TDNN）建立一個(gè)額外的延時(shí)單元，用來存儲(chǔ)網(wǎng)絡(luò)的歷史信息（可以包括輸入、輸出、隱狀態(tài)等）這樣，前饋網(wǎng)絡(luò)就具有了短期記憶的能力。/publication/12314435_Neural_system_identification_model_of_human_sound_localizationDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第81頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第82頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述非線性自回歸模型/publication/12314435_Neural_system_identification_model_of_human_sound_localization/publication/234052442_Braking_torque_control_using_reccurent_neural_networksDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第83頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）/publication/12314435_Neural_system_identification_model_of_human_sound_localization循環(huán)神經(jīng)網(wǎng)絡(luò)通過使用帶自反饋的神經(jīng)元，能夠處理任意長(zhǎng)度的時(shí)序數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)比前饋神經(jīng)網(wǎng)絡(luò)更加符合生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在語音識(shí)別、語言模型以及自然語言生成等任務(wù)上活性值狀態(tài)第84頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）按時(shí)間展開第85頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述簡(jiǎn)單循環(huán)網(wǎng)絡(luò)（SimpleRecurrentNetwork，SRN）狀態(tài)更新：一個(gè)完全連接的循環(huán)網(wǎng)絡(luò)是任何非線性動(dòng)力系統(tǒng)的近似器。第86頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機(jī)器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲(chǔ)器聯(lián)想記憶模型第87頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機(jī)器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲(chǔ)器聯(lián)想記憶模型DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第88頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content第89頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別同步的序列到序列模式異步的序列到序列模式第90頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別第91頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別：情感分類…我覺太得好了帶著愉悅的心情看了這部電影這部電影太糟了這部電影很棒Positive(正面)Negative(負(fù)面)Positive(正面)…第92頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式第93頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：中文分詞他說實(shí)的在理確SSESBEB第94頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)從無結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化的信息，形成知識(shí)小米創(chuàng)始人雷軍表示，該公司2015年?duì)I收達(dá)到780億元人民幣，較2014年的743億元人民幣增長(zhǎng)了5%。第95頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”語音識(shí)別第96頁7.2應(yīng)用到機(jī)器學(xué)習(xí)異步的序列到序列模式第97頁7.2應(yīng)用到機(jī)器學(xué)習(xí)異步的序列到序列模式：機(jī)器翻譯learningmachine機(jī)習(xí)器學(xué)。第98頁7.2應(yīng)用到機(jī)器學(xué)習(xí)參數(shù)學(xué)習(xí)機(jī)器學(xué)習(xí)給定一個(gè)訓(xùn)練樣本(x,y)，其中x=(x1,…,xT)為長(zhǎng)度是T的輸入序列，y=(y1,…,yT)是長(zhǎng)度為T