深度學(xué)習(xí)與信號(hào)處理：原理與實(shí)踐 課件 第7章 生成生成對(duì)抗網(wǎng)絡(luò)

PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

7.1生成對(duì)抗網(wǎng)絡(luò)7.2條件生成對(duì)抗網(wǎng)絡(luò)7.3小波生成對(duì)抗網(wǎng)絡(luò)7.4多尺度生成對(duì)抗網(wǎng)絡(luò)7.5基于深度殘差生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)模糊圖像復(fù)原第七章深度生成對(duì)抗網(wǎng)絡(luò)7.1.1網(wǎng)絡(luò)結(jié)構(gòu)7.1生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)(GAN)由生成器(generator，G)和判別器(discriminator，D)組成，如上圖所示。G通過隨機(jī)噪聲z生成圖像G(z)。D負(fù)責(zé)對(duì)輸入的樣本進(jìn)行判別，判斷樣本是真實(shí)的數(shù)據(jù)還是生成的數(shù)據(jù)G(z)。訓(xùn)練過程中，生成模型G的任務(wù)是盡量生成真實(shí)的圖片以達(dá)到欺騙判別模型D的目的，而判別模型D則需要盡量將生成模型G生成的圖片與真實(shí)圖片區(qū)分開，二者構(gòu)成了一個(gè)動(dòng)態(tài)的博弈，直至達(dá)到均衡。網(wǎng)絡(luò)結(jié)構(gòu)7.1生成對(duì)抗網(wǎng)絡(luò)GAN目標(biāo)函數(shù)定義為：式中，表示隨機(jī)噪式中，表示隨機(jī)噪聲的概率密度，表示參數(shù)數(shù)據(jù)x的概率密度。聲的概率密度，表示參數(shù)數(shù)據(jù)x的概率密度。最大化的目標(biāo)函數(shù)為：給定任意生成器G，判別器D的訓(xùn)練準(zhǔn)則都是使Loss(D,G)最大化。最優(yōu)判別器的計(jì)算公式為：網(wǎng)絡(luò)結(jié)構(gòu)7.1生成對(duì)抗網(wǎng)絡(luò)將最優(yōu)判別器代入目標(biāo)函數(shù)Loss(D,G)中，消去D，獲得G的目標(biāo)函數(shù)為

當(dāng)﹐D=0.5時(shí)判別器無法區(qū)分真實(shí)樣本和生成樣本，此時(shí)目標(biāo)函數(shù)Loss(G)=-log(4)。將目標(biāo)函數(shù)轉(zhuǎn)換為KL散度的形式，得

將目標(biāo)函數(shù)中的兩個(gè)KL散度轉(zhuǎn)換為JS散度，得由于兩個(gè)分布之間的JS散度始終是非負(fù)的﹐并且只有當(dāng)它們完全重合時(shí)值為零，因此的最小值為，唯一的解是。此時(shí)生成器完美地復(fù)制了數(shù)據(jù)生成過程。57.1生成對(duì)抗網(wǎng)絡(luò)5具體步驟步驟1：G接收一個(gè)隨機(jī)的噪聲z并生成數(shù)據(jù)，D判斷生成的數(shù)據(jù)是不是“真實(shí)的”。步驟2：計(jì)算生成模型G的損失函數(shù)。其中，G(z)表示生成模型的輸出，D(G(z)）表示判別模型D判斷生成模型G生成的數(shù)據(jù)是否為真實(shí)的概率。步驟3:計(jì)算判別模型D的損失函數(shù)。其中，x表示輸入?yún)?shù)，即真實(shí)樣本數(shù)據(jù)，D(x)表示判別模型的輸出，即輸入x為真實(shí)數(shù)據(jù)的概率。步驟4:計(jì)算優(yōu)化函數(shù)步驟5：在訓(xùn)練過程當(dāng)中，G盡可能生成真實(shí)的數(shù)據(jù)去欺騙D，而D則盡量把G生成的數(shù)據(jù)和真實(shí)的數(shù)據(jù)區(qū)分開來，最終生成模型和判別模型形成了一個(gè)動(dòng)態(tài)的“博弈過程”。步驟6：判斷D是否能判別G所生成的數(shù)據(jù)為真實(shí)，若能，則得到訓(xùn)練好的數(shù)據(jù)，否則，需要調(diào)整輸入?yún)?shù)x后繼續(xù)執(zhí)行步驟2。步驟7：理想狀態(tài)下，G生成足以“以假亂真”的G(z)，對(duì)于D而言，無法判定G所生成的數(shù)據(jù)是否真實(shí)，即D(G(z))=0.5。7.1.2實(shí)現(xiàn)框架67.2條件生成對(duì)抗網(wǎng)絡(luò)工作原理CGAN是GAN的早期變體之一，是在GAN基礎(chǔ)上的改進(jìn)，通過將額外信息添加到原始GAN的生成器G和判別器D中，將類別標(biāo)簽引入生成對(duì)抗網(wǎng)絡(luò)，其中額外信息是類別標(biāo)簽之類的輔助信息。原始GAN生成器的輸入是隨機(jī)噪聲，CGAN的生成器可以將類別標(biāo)簽與隨機(jī)噪聲組合起來作為隱含層輸入。原始GAN判別器的輸入是圖片數(shù)據(jù)，CGAN判別器的輸入是類別標(biāo)簽和圖片數(shù)據(jù)拼接以后的結(jié)果，將其作為判斷是生成器生成的數(shù)據(jù)還是實(shí)際數(shù)據(jù)的基礎(chǔ)。7由于卷積核大小的限制，GAN的生成器只能捕獲局部區(qū)域的關(guān)系。傳統(tǒng)的卷積GAN生成高分辨率細(xì)節(jié)﹐并且其只能作為低分辨率特征映射中局部點(diǎn)的函數(shù)來使用。自注意力機(jī)制可以為圖像生成任務(wù)提供基于自注意力的遠(yuǎn)程依賴關(guān)系建模。在自注意力機(jī)制中，來自所有要素位置的信息可用于生成詳細(xì)信息。另外，判別器可以檢查圖像中距離較遠(yuǎn)的高分辨率細(xì)節(jié)特征是否一致。同時(shí)﹐對(duì)生成模型進(jìn)行調(diào)整將影響GAN整體的性能。7.2條件生成對(duì)抗網(wǎng)絡(luò)7.2.1條件生成對(duì)抗網(wǎng)絡(luò)工作原理8SA-CGAN的網(wǎng)絡(luò)結(jié)構(gòu)將w定義為額外信息，則可以得到SA-CGAN的目標(biāo)函數(shù)，即7.2條件生成對(duì)抗網(wǎng)絡(luò)97.2條件生成對(duì)抗網(wǎng)絡(luò)基于自注意機(jī)制的CGAN架構(gòu)For訓(xùn)練迭代次數(shù)doFor第t步訓(xùn)練do來自數(shù)據(jù)集的小批量m個(gè)正樣本來自數(shù)據(jù)分布的小批量m個(gè)噪聲樣本生成數(shù)據(jù)來自數(shù)據(jù)集的小批量樣本更新鑒別器參數(shù)通過最大化更新參數(shù)Endfor小批量m個(gè)噪聲樣本小批量m個(gè)條件通過最大化來更新生成器更新參數(shù)Endfor10深度強(qiáng)化學(xué)習(xí)(deepreinforcementlearning，DRL)是一種以試錯(cuò)機(jī)制與環(huán)境交互并最大化累積回報(bào)獲得最優(yōu)策略的機(jī)器學(xué)習(xí)范式。為得到最優(yōu)策略，DRL要求智能體能夠?qū)χ車h(huán)境有所認(rèn)知、理解并根據(jù)任務(wù)要求做出符合環(huán)境情境的決策動(dòng)作。根據(jù)學(xué)習(xí)過程中環(huán)境模型是否可用，強(qiáng)化學(xué)習(xí)可分為模型化強(qiáng)化學(xué)習(xí)(model-basedreinforcementlearning，Mb-RL)和模型強(qiáng)化學(xué)習(xí)(modelfreereinforcementlearning，Mf-RL)。7.2條件生成對(duì)抗網(wǎng)絡(luò)7.2.2基于條件生成對(duì)抗網(wǎng)絡(luò)的模型化強(qiáng)化學(xué)習(xí)117.2.2基于條件生成對(duì)抗網(wǎng)絡(luò)的模型化強(qiáng)化學(xué)習(xí)7.2條件生成對(duì)抗網(wǎng)絡(luò)1.模型化強(qiáng)化學(xué)習(xí)與模型強(qiáng)化學(xué)習(xí)環(huán)境模型即系統(tǒng)動(dòng)力學(xué)模型，是對(duì)狀態(tài)轉(zhuǎn)移函數(shù)的描述。在Mf-RL方法中，環(huán)境模型是未知的，智能體必須與真實(shí)環(huán)境進(jìn)行大量交互獲得足夠多的訓(xùn)練樣本才能保證智能體的決策性能，樣本收集過程還對(duì)系統(tǒng)硬件配置提出了較高要求，甚至存在損壞智能系統(tǒng)的風(fēng)險(xiǎn)；另外，訓(xùn)練樣本不足會(huì)導(dǎo)致智能體無法從少量訓(xùn)練樣本中提取有用信息進(jìn)行準(zhǔn)確策略更新。因此，Mf-RL方法樣本利用率較低。相比之下，Mb-RL方法在對(duì)環(huán)境精準(zhǔn)建模后，智能體無需與真實(shí)環(huán)境互動(dòng)就可以進(jìn)行策略學(xué)習(xí)，可直接與環(huán)境模型交互生成所需訓(xùn)練樣本，從而在一定程度上緩解強(qiáng)化學(xué)習(xí)在實(shí)際應(yīng)用中學(xué)習(xí)效率低、樣本利用率低的問題。模型化強(qiáng)化學(xué)習(xí)方法(Mb-RL)的基本思想是首先對(duì)環(huán)境動(dòng)態(tài)建模，學(xué)習(xí)環(huán)境模型參數(shù)，當(dāng)模型參數(shù)訓(xùn)練收斂得到穩(wěn)定環(huán)境模型后，智能體便可直接與預(yù)測(cè)環(huán)境模型交互進(jìn)行策略學(xué)習(xí)。整個(gè)過程中，僅在學(xué)習(xí)模型參數(shù)時(shí)需要一定的訓(xùn)練樣本，樣本需求量相對(duì)較小。然而，受環(huán)境噪聲、系統(tǒng)動(dòng)態(tài)性等因素影響，預(yù)測(cè)的環(huán)境模型通常難以準(zhǔn)確描述真實(shí)環(huán)境，即學(xué)到的環(huán)境模型與真實(shí)環(huán)境間存在模型誤差。使用存在模型誤差的環(huán)境模型生成數(shù)據(jù)進(jìn)行策略學(xué)習(xí)將會(huì)產(chǎn)生更大誤差，最終導(dǎo)致任務(wù)失敗。為減小模型誤差、提高環(huán)境模型準(zhǔn)確性方法，研究者針對(duì)不同的應(yīng)用場(chǎng)景提出了一系列基于Mb-RL的環(huán)境模型，但面向大規(guī)模復(fù)雜動(dòng)態(tài)環(huán)境如何得到準(zhǔn)確環(huán)境模型，仍是該領(lǐng)域亟待解決的問題。借助生成對(duì)抗網(wǎng)絡(luò)(GAN)在數(shù)據(jù)生成方面的優(yōu)勢(shì)，研究了一種基于GAN的環(huán)境模型強(qiáng)化學(xué)習(xí)方法。該方法是將CGAN與Mb-RL結(jié)合，應(yīng)用于學(xué)習(xí)狀態(tài)轉(zhuǎn)移模型；將CGAN與擅長(zhǎng)處理連續(xù)動(dòng)作空間的策略搜索方法結(jié)合，得到基于CGAN的模型化策略搜索方法。127.2.2基于條件生成對(duì)抗網(wǎng)絡(luò)的模型化強(qiáng)化學(xué)習(xí)7.2條件生成對(duì)抗網(wǎng)絡(luò)2.問題模型強(qiáng)化學(xué)習(xí)是指智能體在未知環(huán)境中，通過不斷與環(huán)境交互，學(xué)習(xí)最優(yōu)策略的學(xué)習(xí)范式．智能體是具有決策能力的主體，通過狀態(tài)感知、動(dòng)作選擇和接收反饋與環(huán)境互動(dòng)。通常，智能體與環(huán)境的交互過程可建模為馬爾可夫決策過程(Markovdecisionprocess，MDP)，一個(gè)完整的MDP由狀態(tài)、動(dòng)作、狀態(tài)轉(zhuǎn)移函數(shù)、回報(bào)構(gòu)成的五元組(S、A、P、P0、R)表示，其中S表示狀態(tài)空間，是所有狀態(tài)的集合；為k時(shí)刻所處狀態(tài)；A表示動(dòng)作空間，是所有動(dòng)作的集合，為k時(shí)刻所選擇的動(dòng)作；P表示狀態(tài)轉(zhuǎn)移概率，即環(huán)境模型，根據(jù)狀態(tài)轉(zhuǎn)移概率是否已知，強(qiáng)化學(xué)習(xí)方法分為Mb-RL和Mf-RL；P0表示初始狀態(tài)概率，是隨機(jī)選擇某一初始狀態(tài)的可能性表示；R表示智能體的累積回報(bào)；為k時(shí)刻的瞬時(shí)回報(bào)。在每個(gè)時(shí)間步k，智能體首先觀察當(dāng)前環(huán)境狀態(tài)，并根據(jù)當(dāng)前策略函數(shù)決策選擇并采取動(dòng)作，所采取動(dòng)作一方面與環(huán)境交互，依據(jù)狀態(tài)轉(zhuǎn)移概率實(shí)現(xiàn)狀態(tài)轉(zhuǎn)移，另一方面獲得瞬時(shí)回報(bào)，該過程不斷迭代次直至最終狀態(tài)，得到一條路徑。7.2.2基于條件生成對(duì)抗網(wǎng)絡(luò)的模型化強(qiáng)化學(xué)習(xí)7.2條件生成對(duì)抗網(wǎng)絡(luò)2.問題模型強(qiáng)化學(xué)習(xí)的目標(biāo)是找到最優(yōu)策略，從而最大化期望累積回報(bào)。當(dāng)?shù)玫揭粭l路徑后，便可計(jì)算該路徑的累積回報(bào)式中，，決定回報(bào)的時(shí)間尺度。累積回報(bào)的期望衡量策略好壞，累積回報(bào)期望為式中，為發(fā)生路徑的概率密度函數(shù)。強(qiáng)化學(xué)習(xí)的目標(biāo)是找到最優(yōu)策略，最大化期望回報(bào)。7.2.2基于條件生成對(duì)抗網(wǎng)絡(luò)的模型化強(qiáng)化學(xué)習(xí)7.2條件生成對(duì)抗網(wǎng)絡(luò)3.策略搜索方法策略搜索方法是一種策略優(yōu)化方法，能直接對(duì)策略進(jìn)行學(xué)習(xí)，適用于解決具有連續(xù)動(dòng)作空間的復(fù)雜決策任務(wù)。策略搜索方法的學(xué)習(xí)目的是找到可最大化累積回報(bào)期望值的參數(shù)，即最優(yōu)策略參數(shù)為式中，θ是策略參數(shù)，累積回報(bào)期望J(θ)是策略參數(shù)θ的函數(shù)。式中，，，決定回報(bào)的時(shí)間尺度。15

Mb-RL方法需要首先學(xué)習(xí)得到精準(zhǔn)的狀態(tài)轉(zhuǎn)移模型，策略學(xué)習(xí)階段便利用該模型生成所需樣本，減少智能體與環(huán)境的交互次數(shù)。而基于CGAN的模型化策略搜索方法，首先通過用CGAN學(xué)習(xí)序列數(shù)據(jù)，得到狀態(tài)轉(zhuǎn)移函數(shù)的預(yù)測(cè)，即。之后，當(dāng)輸入一個(gè)狀態(tài)動(dòng)作對(duì)時(shí)，無需等待真實(shí)環(huán)境反饋，可直接利用學(xué)到的狀態(tài)轉(zhuǎn)移函數(shù)預(yù)測(cè)下一狀態(tài)。基于CGAN-MbRL算法架構(gòu)如下：步驟1：收集真實(shí)狀態(tài)轉(zhuǎn)移樣本。步驟2：利用CGAN對(duì)狀態(tài)轉(zhuǎn)移函數(shù)進(jìn)行建模，利用樣本進(jìn)行模型訓(xùn)練。步驟3：智能體與狀態(tài)轉(zhuǎn)移模型交互，得到足夠多的樣本序列進(jìn)行策略學(xué)習(xí)。步驟4：更新策略模型中的參數(shù)直至收斂，最終得到最優(yōu)策略。7.2條件生成對(duì)抗網(wǎng)絡(luò)1）算法實(shí)現(xiàn)架構(gòu)167.2條件生成對(duì)抗網(wǎng)絡(luò)2）基于CGAN的環(huán)境模型學(xué)習(xí)策略狀態(tài)轉(zhuǎn)移函數(shù)中下一狀態(tài)受當(dāng)前狀態(tài)和當(dāng)前狀態(tài)下采取動(dòng)作的限定，是一個(gè)條件概率密度模型，表示為。因此，將當(dāng)前狀態(tài)和當(dāng)前狀態(tài)下采取動(dòng)作作為CGAN的條件變量y對(duì)生成器G和判別器D同時(shí)增加限定，指導(dǎo)下一狀態(tài)生成，該條件變量y和隨機(jī)變量z同時(shí)作為生成器G的輸入，此時(shí)生成器G的輸出是當(dāng)前狀態(tài)下執(zhí)行動(dòng)作到達(dá)的下一狀態(tài)。將該輸出與真實(shí)樣本數(shù)據(jù)連同條件變量y同時(shí)輸入到判別器D中，可估計(jì)一個(gè)樣本來自于訓(xùn)練數(shù)據(jù)的概率。上述過程的損失函數(shù)可表示為上述過程的損失函數(shù)可表示為7.2條件生成對(duì)抗網(wǎng)絡(luò)3）策略搜索方法在得到穩(wěn)定高效的狀態(tài)轉(zhuǎn)移模型，選擇經(jīng)典近端策略優(yōu)化(proximalpolicyoptimization，PPO)方法進(jìn)行策略的學(xué)習(xí)。PPO方法是策略梯度方法的改進(jìn)，傳統(tǒng)策略梯度方法存在參數(shù)更新慢，每次更新均需重新采樣的問題，而PPO方法結(jié)構(gòu)簡(jiǎn)單，一次采樣可多次更新策略參數(shù)，樣本利用率高，且能夠自動(dòng)調(diào)整參數(shù)空間步長(zhǎng)達(dá)到策略空間均勻變化的目的，其期望累積回報(bào)為式中，為策略參數(shù)；為期望；為常數(shù)，通常取0.1或0.2；為新策略與舊策略的比值；為K時(shí)刻的優(yōu)越性；clip項(xiàng)使得不偏離所定義的區(qū)間。綜上，在將CGAN與PPO結(jié)合尋找最優(yōu)策略中，CGAN將狀態(tài)動(dòng)作空間模型化為狀態(tài)轉(zhuǎn)移模型，隨后利用學(xué)到的狀態(tài)轉(zhuǎn)移模型生成樣本用于PPO的策略學(xué)習(xí)，從而得到最優(yōu)策略。187.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.1深度卷積生成對(duì)抗網(wǎng)絡(luò)DCGAN四點(diǎn)架構(gòu)設(shè)計(jì)規(guī)則(1)使用卷積層替代池化層。(2)去除全連接層。(3)使用批歸一化(BatchNormalization)。(4)使用恰當(dāng)?shù)募せ詈瘮?shù)。生成器中使用ReLU函數(shù)，判別器中使用LReLU函數(shù)。生成器G的輸入是1個(gè)100維的隨機(jī)數(shù)據(jù)z，服從在[-1，1]的均勻分布。生成器G網(wǎng)絡(luò)的第一層為全連接層，其任務(wù)是將100維的噪聲向量變成4×4×1024維的向量，并從第二層開始使用步長(zhǎng)卷積做上采樣操作，逐步減少通道數(shù)，最終的輸出為64×64×3的圖像。DCGAN中生成器G的網(wǎng)絡(luò)結(jié)構(gòu)197.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.2小波深度卷積生成對(duì)抗網(wǎng)絡(luò)1.小波函數(shù)構(gòu)造小波變換具有多分辨分析的特點(diǎn)，在時(shí)頻兩域都具有表征信號(hào)局部特征的能力，在DCGAN網(wǎng)絡(luò)的生成模型中，為了獲得原始圖像的更多局部特征，用非線性小波基取代了DCGAN生成模型第一個(gè)卷積層激活函數(shù)，在小波函數(shù)的選取上考慮傳統(tǒng)激活函數(shù)有相似性質(zhì)的小波基。小波中母小波種類很多，其中Morlet小波振幅光滑且連續(xù)，如果選擇Morlet小波作為激活函數(shù)來構(gòu)建小波深度卷積生成對(duì)抗網(wǎng)絡(luò)，其函數(shù)表達(dá)式為式中，C是重構(gòu)時(shí)的歸一化常數(shù)。Morlet小波沒有尺度函數(shù)，而且是非正交分解，時(shí)域波形，如右圖所示。207.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.2小波深度卷積生成對(duì)抗網(wǎng)絡(luò)1.小波函數(shù)構(gòu)造為了更好地適應(yīng)激活函數(shù)的特征，將Morlet小波系數(shù)修改為其相應(yīng)時(shí)域波形修改的小波時(shí)域圖217.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.2小波深度卷積生成對(duì)抗網(wǎng)絡(luò)2.小波函數(shù)生成模型將修改的小波函數(shù)加入到生成器中的第一個(gè)卷積層，代替激活函數(shù)。加入小波函數(shù)的生成器結(jié)構(gòu)227.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)1.圖像補(bǔ)全GAN網(wǎng)絡(luò)在圖像識(shí)別任務(wù)中，遮擋物覆蓋了真實(shí)圖像區(qū)域，導(dǎo)致識(shí)別的信息有缺損，網(wǎng)絡(luò)無法做出準(zhǔn)確判斷。而圖像補(bǔ)全可以在一定程度上彌補(bǔ)這種信息缺損，讓網(wǎng)絡(luò)對(duì)完整的圖像信息進(jìn)行識(shí)別。如果考慮的遮擋區(qū)域相對(duì)固定，則在訓(xùn)練網(wǎng)絡(luò)時(shí)，可預(yù)先定義遮擋物的位置，而不考慮對(duì)遮擋物的識(shí)別與定位。圖像補(bǔ)全GAN網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成。其中，生成網(wǎng)絡(luò)的目標(biāo)是將有遮擋的圖像補(bǔ)全成完整的圖像，如上圖所示。(1)圖像補(bǔ)全生成器網(wǎng)絡(luò)結(jié)構(gòu)。237.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)1.圖像補(bǔ)全GAN網(wǎng)絡(luò)圖中，K表示網(wǎng)絡(luò)卷積核大小，N表示通道數(shù)目，S表示卷積核的步長(zhǎng)，D表示空洞率。編碼層的設(shè)計(jì)是為了縮小網(wǎng)絡(luò)輸入圖像的空間尺寸，保證后續(xù)的網(wǎng)絡(luò)運(yùn)算能夠在較小的空間尺寸下進(jìn)行，提升網(wǎng)絡(luò)的運(yùn)行效率。因?yàn)榭臻g尺寸的縮小伴隨著一定的量化誤差，誤差越小生成的圖像質(zhì)量越好，所以編碼層先采用K7N64S1的結(jié)構(gòu)設(shè)計(jì)，即卷積核大小為7×7×64，步長(zhǎng)為1的卷積層在不縮小網(wǎng)絡(luò)空間尺寸大小時(shí)提取圖像全局特征。之后再使用兩個(gè)卷積核空間大小為4×4，步長(zhǎng)為2的卷積層將網(wǎng)絡(luò)尺寸縮小4倍同時(shí)模塊采用空洞率為2的空洞卷積代替常規(guī)卷積，增加了網(wǎng)絡(luò)的感受野，增強(qiáng)網(wǎng)絡(luò)感受全局特征的能力。247.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)1.圖像補(bǔ)全GAN網(wǎng)絡(luò)判別器是一個(gè)二分類網(wǎng)絡(luò)，如上圖所示。輸入是原始完整的圖像或者生成器生成的圖像；輸出為一個(gè)二分類結(jié)果，判斷是原始圖像還是生成圖像。(2)判決器設(shè)計(jì)。257.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)2.損失函數(shù)(1)總損失設(shè)計(jì)設(shè)為真實(shí)樣本圖像，為掩膜，使用掩膜掩蓋真實(shí)樣本圖像得到部分區(qū)域缺失的圖像，即式中，表示矩陣元素逐點(diǎn)對(duì)應(yīng)相乘。將作為生成網(wǎng)絡(luò)輸入，得到一個(gè)填充缺失區(qū)域后的彩色圖像，其分辨率與輸入圖像相同，即網(wǎng)絡(luò)訓(xùn)練的總損失函數(shù)L定義為式中，、β、γ、μ、δ為損失系數(shù);表示重構(gòu)的損失。267.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)2.損失函數(shù)(1)總損失設(shè)計(jì)除重構(gòu)的損失外，在網(wǎng)絡(luò)訓(xùn)練的過程中對(duì)抗損失定義保證了生成對(duì)抗的過程，使補(bǔ)全后的圖片更加接近原圖，即式中，表示真實(shí)樣本的分布；表示判決器的輸出；表示生成補(bǔ)全圖像后的生成樣本分布。為感知損失，它是以預(yù)訓(xùn)練網(wǎng)絡(luò)中特征圖之間的距離度量作為在感知上生成圖與真實(shí)圖上不同的懲罰，定義為式中，為預(yù)訓(xùn)練網(wǎng)絡(luò)中第層網(wǎng)絡(luò)輸出的特征圖，如使用在ImageNet上預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)的ReLU層輸出的特征圖。同時(shí)這些特征圖還用于計(jì)算風(fēng)格損失，對(duì)于給定的特征圖尺寸，風(fēng)格損失使用Gram矩陣計(jì)算:277.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)2.損失函數(shù)像素方式的損失有損失和均方誤差(MSE)損失，然而在實(shí)現(xiàn)較高的峰值信噪比(PSNR)的同時(shí)，往往缺乏圖像的高頻信息，從而導(dǎo)致生成圖像的紋理過度平滑，生成出的圖像在視覺上不滿意。針對(duì)這一問題，利用基于小波分解定義一個(gè)高頻小波損失，如右圖所示。(2)小波損失287.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)2.損失函數(shù)設(shè)一個(gè)二維圖像為，其中和分別是二維圖像的寬和高的像素，現(xiàn)利用小波對(duì)二維圖像進(jìn)行一層分解，得式中，表示輸入圖像的像素總數(shù);和表示小波分解后的系數(shù);為尺度函數(shù);、和分別是沿水平、垂直和對(duì)角方向的敏感小波。三個(gè)方向敏感的小波系數(shù)、、分別表示原圖像沿水平、垂直和對(duì)角方向的細(xì)節(jié)部分信息，即原二維圖像可以分解得到水平、垂直和對(duì)角方向的高頻信息。同樣，尺度系數(shù)表示原圖像分解后的近似297.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)3.網(wǎng)絡(luò)訓(xùn)練架構(gòu)兩個(gè)網(wǎng)絡(luò)的訓(xùn)練架構(gòu)如下：輸入：初始化判別器和生成器網(wǎng)絡(luò)參數(shù)、，全圖像（無遮擋）數(shù)據(jù)data。輸出：判別器D和生成器G。步驟1：從全圖像數(shù)據(jù)data中采樣作為一個(gè)批量；遮擋下半圖像，得到經(jīng)過生成器G得到補(bǔ)全后的全圖像數(shù)據(jù)，其中。將全圖像數(shù)據(jù)和補(bǔ)全后的全圖像數(shù)據(jù)通過判別器更新判別器D的網(wǎng)絡(luò)參數(shù)。步驟2：從全圖像數(shù)據(jù)data中采樣作為一個(gè)批量；遮擋下半圖像，得到，經(jīng)過生成器G得到補(bǔ)全后的全圖數(shù)據(jù)，再經(jīng)過判別器D，更新生成器G的網(wǎng)絡(luò)參數(shù)。307.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)4.評(píng)價(jià)指標(biāo)圖像補(bǔ)全的通用指標(biāo)衡量模型生成圖像的質(zhì)量，包括結(jié)構(gòu)相似性指數(shù)(SSIM)、峰值信噪比(PSNR)和平均絕對(duì)誤差(MAE)。假設(shè)像素間相互獨(dú)立性，結(jié)構(gòu)相似性指數(shù)定義為式中，和分別表示真實(shí)圖像和補(bǔ)全圖像的的均值;和分別表示和的標(biāo)準(zhǔn)差；和分別表示和的方差；表示和的協(xié)方差；和是常數(shù)。C、W、H分別為圖像的通道數(shù)、寬和高，峰值信噪比由均方誤差(MSE)進(jìn)行定義為317.3小波生成對(duì)抗網(wǎng)絡(luò)7.3.3高頻小波生成對(duì)抗網(wǎng)絡(luò)網(wǎng)絡(luò)4.評(píng)價(jià)指標(biāo)同時(shí)，真實(shí)圖像和補(bǔ)全圖像的平均絕對(duì)誤差定義為準(zhǔn)確率和召回率分別定義為式中，TP表示正確判斷為真；FP表示錯(cuò)誤的判斷為真；TN表示正確判斷為假；FN表示錯(cuò)誤的判斷為假；AllSamples表示樣本數(shù)量。327.4多尺度生成多抗網(wǎng)絡(luò)恢復(fù)退化圖像工作原理7.4.1湍流退化圖像在訓(xùn)練過程中，將湍流退化圖像作為生成器G的輸入，并將生成圖像與訓(xùn)練數(shù)據(jù)中的清晰圖像共同作為判別器D的輸入。判別器與生成器采取單獨(dú)交替訓(xùn)練的訓(xùn)練方式，通過誤差回傳更新網(wǎng)絡(luò)參數(shù)，直至設(shè)定的迭代次數(shù)。湍流退化過程的數(shù)學(xué)模型式中，為需要復(fù)原的清晰圖像，為成像設(shè)備獲取的湍流退化圖像；為圖像中像素的空間位置；H為傳感器光學(xué)模糊算子；為湍流畸變算子，包含局部形變和空間模糊；為加性噪聲。由于湍流畸變算子同時(shí)包含模糊和形變兩種模糊核，使用卷積神經(jīng)網(wǎng)絡(luò)提取像素特征時(shí)，需要設(shè)計(jì)足夠大的感受野來覆蓋像素區(qū)域，對(duì)提取的特征進(jìn)行動(dòng)態(tài)權(quán)重調(diào)節(jié)有助于模型關(guān)注重要信息。337.4多尺度生成多抗網(wǎng)絡(luò)1.多尺度GAN結(jié)構(gòu)7.4.2多尺度GAN結(jié)構(gòu)針對(duì)湍流圖像復(fù)原任務(wù)需要同時(shí)去除幾何畸變和模糊，采用多尺度生成對(duì)抗網(wǎng)絡(luò)模型，如上圖所示。生成器是一個(gè)對(duì)稱的U-Net網(wǎng)絡(luò)結(jié)構(gòu)，判別器采用PatchGAN結(jié)構(gòu)，由4個(gè)卷積核大小為4×4的卷積層構(gòu)成。多尺度網(wǎng)絡(luò)模型表現(xiàn)為：(1)在圖像特征提取上，多尺度注意力特征提取單元使用不同大小的卷積核在更大的感受野范圍內(nèi)提取多尺度特征信息；(2)在模型結(jié)構(gòu)上，多層次特征融合單元對(duì)不同比例的特征圖進(jìn)行權(quán)重調(diào)節(jié)的動(dòng)態(tài)融合，挖掘不同級(jí)別的語義信息。347.4多尺度生成多抗網(wǎng)絡(luò)生成器網(wǎng)絡(luò)結(jié)構(gòu)7.4.2多尺度GAN結(jié)構(gòu)如右上圖所示。U-Net網(wǎng)絡(luò)全卷積部分由預(yù)訓(xùn)練卷積模塊和多尺度注意力特征提取單元組成，預(yù)訓(xùn)練卷積模塊使用Inception-ResNet-v2網(wǎng)絡(luò)中的卷積層與最大池化層，多尺度注意力特征提取單元提供多尺度特征信息并使用特征注意來挖掘通道的相關(guān)性。上采樣部分由卷積層與上采樣層組成，插入多比例特征動(dòng)態(tài)融合單元將不同比例的特征圖上采樣到相同的輸入大小，并動(dòng)態(tài)調(diào)節(jié)權(quán)重連接成一個(gè)張量，加強(qiáng)不同尺度特征圖的信息共享。在U-Net網(wǎng)絡(luò)執(zhí)行編碼解碼過程中會(huì)損失圖像的細(xì)節(jié)特征，增加跳躍連接作為分層語義指導(dǎo)，將具有更多局部信息的淺層網(wǎng)絡(luò)與對(duì)應(yīng)的深層網(wǎng)絡(luò)結(jié)合起來，更加充分的利用高層特征的語義信息和底層特征的細(xì)粒度特征，提升重建圖像的視覺細(xì)節(jié)特征。生成器引入了一個(gè)直接從輸入到輸出跳躍連接，促使模型重點(diǎn)學(xué)習(xí)殘差。357.4多尺度生成多抗網(wǎng)絡(luò)2.多尺度注意力特征提取單元7.4.2多尺度GAN結(jié)構(gòu)如右上圖所示的多尺度注意力特征提取單元由多分支卷積層和注意力層連接而成。多分支卷積層對(duì)應(yīng)不同尺寸的感受野，能夠提取到多種特征，注意力層充分學(xué)習(xí)到退化圖像中的重要信息，保證重建圖像的準(zhǔn)確清晰。多分支卷積層由不同尺寸的空洞卷積并列組成，三條支路的感受野分別為3×3、7×7和15×15，同時(shí)對(duì)輸入特征圖進(jìn)行特征提取，獲得不同尺度的信息特征圖后，通過卷積操作將級(jí)聯(lián)的特征圖重新調(diào)整為輸入尺寸。367.4多尺度生成多抗網(wǎng)絡(luò)3.多層次特征動(dòng)態(tài)融合單元在生成器網(wǎng)絡(luò)的上采樣部分，不同層次的特征圖蘊(yùn)含著不同的實(shí)例信息。為了加強(qiáng)不同層次特征圖之間的信息傳遞，采用多層次特征融合單元。不同層次特征圖對(duì)應(yīng)區(qū)域的激活程度存在較大差異，進(jìn)行多層次特征圖融合時(shí)，不同層次特征之間的沖突會(huì)干擾信息傳遞，降低特征融合的有效性。針對(duì)不同層次特征沖突的問題，采用動(dòng)態(tài)融合的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)對(duì)特征圖的空間位置分配不同權(quán)重，通過學(xué)習(xí)篩選有效特征和過濾矛盾信息。7.4.2多尺度GAN結(jié)構(gòu)377.4多尺度生成多抗網(wǎng)絡(luò)3.多層次特征動(dòng)態(tài)融合單元7.4.2多尺度GAN結(jié)構(gòu)首先把不同尺度的特征圖上采樣調(diào)整的到相同的尺寸，并在融合時(shí)對(duì)不同層次的特征圖設(shè)置空間權(quán)重，尋找最優(yōu)融合策略，具體可表示為式中，代表第i個(gè)特征圖經(jīng)過上采樣調(diào)整到統(tǒng)一尺寸后的標(biāo)準(zhǔn)特征圖，所有層次的特征經(jīng)過自適應(yīng)權(quán)重分配的動(dòng)態(tài)融合輸出最后的特征圖。權(quán)重的學(xué)習(xí)方式，如多層次特征動(dòng)態(tài)融合單元結(jié)構(gòu)圖所示。標(biāo)準(zhǔn)特征圖的空間信息經(jīng)過下采樣卷積層被壓縮，將對(duì)應(yīng)的四個(gè)不同層次特征圖的壓縮卷積層級(jí)聯(lián)起來，使用1×1的卷積映射同一位置的特征信息，最后通過Softmax函數(shù)標(biāo)準(zhǔn)化網(wǎng)絡(luò)參數(shù)得到空間權(quán)重信息，即經(jīng)過學(xué)習(xí)得到的特征圖自適應(yīng)空間權(quán)重且總和為1。387.4多尺度生成多抗網(wǎng)絡(luò)4.損失函數(shù)7.4.2多尺度GAN結(jié)構(gòu)在訓(xùn)練過程中，損失函數(shù)衡量生成圖像與真實(shí)圖像的差別，GAN損失函數(shù)包括對(duì)抗損失與內(nèi)容損失。其中對(duì)抗損失采用LSGAN中的對(duì)抗損失，即式中，代表真實(shí)圖像，代表生成圖像。在圖像重建的內(nèi)容損失上，選擇生成圖像和目標(biāo)圖像的均方差損失以獲得較高的峰值信噪比，同時(shí)為了消除偽影，促進(jìn)圖像高頻細(xì)節(jié)的恢復(fù)，使得重構(gòu)圖像具有較高的視覺逼真度，引入視覺損失。感官損失是通過預(yù)先訓(xùn)練的VGG19網(wǎng)絡(luò)實(shí)現(xiàn)的，將生成圖像和目標(biāo)圖像分別輸入到VGG網(wǎng)絡(luò)中，然后計(jì)算經(jīng)過VGG網(wǎng)絡(luò)后對(duì)應(yīng)特征圖的歐氏距離。式中，代表預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)?？偟膿p失函數(shù)定義為397.5實(shí)例：基于深度殘差生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)模糊圖像復(fù)原通常根據(jù)模糊核是否已知，將圖像去模糊問題分為兩類：圖像非盲去模糊和圖像盲去模糊。圖像非盲去模糊即已知某些先驗(yàn)信息，如模糊核K，這時(shí)可以通過依靠一些經(jīng)典算法，如Lucy-Richardson算法，Wiener濾波或Tikhonov濾波，利用反卷積運(yùn)算獲得對(duì)清晰圖像I的估計(jì)，實(shí)現(xiàn)圖像復(fù)原。在圖像成像過程中，相機(jī)或者物體的運(yùn)動(dòng)軌跡未知時(shí)，模糊圖像的復(fù)原過程叫做圖像盲去模糊。由于圖像盲去模糊缺少圖像的先驗(yàn)信息，因此比非盲去模糊具有更高的病態(tài)性。在一般退化模型中，清晰圖像里所有像素點(diǎn)都和相同的模糊核進(jìn)行卷積，這就表明圖像的模糊程度是全局一致的，但Levin等提出的全局一致模糊核的假設(shè)與相機(jī)或者物體抖動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊并不一致，實(shí)際生活中的模糊大多都是非均勻模糊。因此，本例題主要研究非均勻模糊圖像的盲復(fù)原問題。因此，基于生成對(duì)抗網(wǎng)絡(luò)(GenerativeAdversarialNetworks，GAN)的卷積神經(jīng)網(wǎng)絡(luò)模型，采用端對(duì)端(end-to-end)的方式，輸入模糊圖像可以直接得到復(fù)原圖像，避免了模糊核估計(jì)不準(zhǔn)確的問題，同時(shí)利用CNN去模糊不再局限于特定的模糊模型。407.5實(shí)例：基于深度殘差生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)模糊圖像復(fù)原一般退化圖像退化模型早期模糊圖像復(fù)原問題往往假設(shè)退化模型已知，通過搭建數(shù)學(xué)模型和算法來解決。一般圖像退化模型，如上圖所示。式中，表示模糊圖像，表示清晰圖像，表示模糊核，為卷積操作，表示噪聲。417.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)7.5實(shí)例：基于深度殘差生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)模糊圖像復(fù)原在GAN模型中，生成網(wǎng)絡(luò)G捕捉樣本數(shù)據(jù)x的分布，用服從某一分布（均勻分布，高斯分布等）的噪聲z生成一個(gè)類似真實(shí)訓(xùn)練數(shù)據(jù)的樣本，追求效果是越像真實(shí)樣本越好；鑒別網(wǎng)絡(luò)D是一個(gè)二分類器，估計(jì)一個(gè)樣本來自于訓(xùn)練數(shù)據(jù)（而非生成數(shù)據(jù)）的概率，如果樣本來自于真實(shí)的訓(xùn)練數(shù)據(jù)，D輸出大概率；否則，D輸出小概率。利用經(jīng)典生成對(duì)抗網(wǎng)絡(luò)模型設(shè)計(jì)的深度殘差生成對(duì)抗網(wǎng)絡(luò)模型，如右圖所示。421.生成網(wǎng)絡(luò)在生成網(wǎng)絡(luò)中，將原始模糊圖像替換為隨機(jī)噪聲輸入到網(wǎng)絡(luò)中，并且圖像維度在整個(gè)網(wǎng)絡(luò)中保持不變。保持圖像維度不變雖然會(huì)占用較多的計(jì)算機(jī)內(nèi)存，但是可以避免圖像由于使用反卷積操作而產(chǎn)生棋盤效應(yīng)。本節(jié)所設(shè)計(jì)的生成網(wǎng)絡(luò)如下圖所示，采用U-net編碼自編碼的網(wǎng)絡(luò)結(jié)構(gòu)，主要包括Resblock、Eblock和Dblock三個(gè)部分。7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)43本節(jié)ResBlock的結(jié)構(gòu)與傳統(tǒng)的殘差塊結(jié)構(gòu)，如下圖所示。在ResBlock中，去除傳統(tǒng)殘差塊中的BatchNormalization，并且由于模糊和清晰的圖像對(duì)的值相似，通過殘差網(wǎng)絡(luò)可以學(xué)習(xí)到模糊圖像和清晰圖像之間的映射關(guān)系。此外，將移除原始?xì)埐顗K的快捷連接后的整流線性單元，可以提高訓(xùn)練時(shí)的收斂速度。7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)44Eblock與Dblock組成了一個(gè)U-net網(wǎng)絡(luò)結(jié)構(gòu)，其中Eblock主要由一個(gè)卷積層和三個(gè)Resblock組成。Dblock與Eblock相對(duì)應(yīng)，由三個(gè)Resblock和一個(gè)解卷積層組成。采用U-net結(jié)構(gòu)，可以利用Eblock與Dblock之間的跳躍連接(SkipConnection)組合特征映射之間的信息，并且有利于梯度傳播和加速模型收斂。生成網(wǎng)絡(luò)均采用的卷積核，每層卷積核的個(gè)數(shù)分別為前三層的卷積核個(gè)數(shù)為32，Eblock1卷積核個(gè)數(shù)為64，Eblock2卷積核個(gè)數(shù)為128，Dblock1卷積核個(gè)數(shù)為128，Dblock2卷積核個(gè)數(shù)為64，最后四層卷積核的個(gè)數(shù)為32。在生成網(wǎng)絡(luò)中，有兩處采用跳躍連接(SkipConnection)，目的是防止網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的梯度彌散與退化。7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)452.鑒別網(wǎng)絡(luò)鑒別網(wǎng)絡(luò)是一個(gè)二分類器，用來估計(jì)一個(gè)樣本來自于訓(xùn)練數(shù)據(jù)(而非生成數(shù)據(jù))的概率。鑒別網(wǎng)絡(luò)結(jié)構(gòu)，如下表所示。本節(jié)鑒別網(wǎng)絡(luò)一共有5個(gè)卷積層，每個(gè)卷積層后面都包含批標(biāo)準(zhǔn)化BN，激活函數(shù)采用LReLU。前三層采用大小為的卷積核，步長(zhǎng)為2，第四層的卷積核大小不變，步長(zhǎng)變?yōu)?，第五層采用的卷積核并且步長(zhǎng)為1，接著通過Sigmoid激活函數(shù)的到一個(gè)0或1的分類標(biāo)簽。7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)卷積層卷積核個(gè)數(shù)卷積核大小Stride激活函數(shù)Conv16442Leaky-ReLUConv212842Leaky-ReLUConv325642Leaky-ReLUConv451241Leaky-ReLUConv551211Leaky-ReLUSigmoid----463.損失函數(shù)GAN中的生成網(wǎng)絡(luò)可以產(chǎn)生清晰逼真的圖像，然后通過鑒別網(wǎng)絡(luò)判斷一張圖片是否是“真實(shí)的”。將真實(shí)圖像的輸出作為鑒別網(wǎng)絡(luò)的輸入，并根據(jù)是清晰圖像還是去模糊圖像進(jìn)行分類。在整個(gè)訓(xùn)練過程中，生成網(wǎng)絡(luò)的目標(biāo)就是盡量生成真實(shí)的圖片去欺騙鑒別網(wǎng)絡(luò)。而鑒別網(wǎng)絡(luò)的目標(biāo)就是盡量辨別出生成網(wǎng)絡(luò)生成的假圖像和真實(shí)的圖像。生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)構(gòu)成了一個(gè)動(dòng)態(tài)的“博弈過程”，最終的達(dá)到一個(gè)平衡點(diǎn)。因此本節(jié)的損失函數(shù)主要由生成損失和鑒別損失兩部分構(gòu)成。7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)鑒別網(wǎng)絡(luò)損失為式中，取值為0.001，表示清晰真實(shí)圖像，表示鑒別網(wǎng)絡(luò)判斷圖片是否真實(shí)的概率；B表示模糊圖像，表示鑒別網(wǎng)絡(luò)對(duì)生成網(wǎng)絡(luò)生成的圖片的是否真實(shí)的概率。473.損失函數(shù)7.5.1深度殘差生成對(duì)抗網(wǎng)絡(luò)生成網(wǎng)絡(luò)損失為：式中，取值為，表示生成器生