計算機視覺應用開發(fā)課件：SRCNN

SRCNNSRCNN的提出01任務網(wǎng)絡結構02任務學習目標了解SRCNN超分辨率重建網(wǎng)絡的由來掌握SRCNN超分辨率重建網(wǎng)絡的網(wǎng)絡結構1SRCNN的提出1SRCNN的提出SRCNN是由香港中文大學ChaoDong等人提出的基于深度學習對圖像進行重建的方法。該團隊提出的SRCNN算法是首次使用深度學習（CNN）用來進行圖像重建的，所以被稱為是深度學習在圖像重建領域的“開山制作”。2網(wǎng)絡結構2網(wǎng)絡結構SRCNN的網(wǎng)絡結構非常簡單，僅僅用了三個卷積層，網(wǎng)絡結構如圖所示：2網(wǎng)絡結構SRCNN首先使用雙三次(bicubic)插值將低分辨率圖像放大成目標尺寸，這三次插值分別為：1.LR特征提?。≒atchextractionandrepresentation），這個階段主要是對LR進行特征提取，并將其特征表征為一些featuremaps；2.特征的非線性映射（Non-linearmapping），這個階段主要是將第一階段提取的特征映射至HR所需的featuremaps；3.HR重建（Reconstruction），這個階段是將第二階段映射后的特征恢復為HR圖像。接著通過三層卷積網(wǎng)絡擬合非線性映射，最后輸出高分辨率圖像結果。利用三層卷積層分別實現(xiàn)：1.圖像的圖像塊抽取與稀疏字典建立；2.圖像高、低分辨率特征之間的非線性映射；3.高分辨率圖像塊的重建。2網(wǎng)絡結構Patchextraction：提取圖像Patch，進行卷積提取特征，類似于稀疏編碼中的將圖像patch映射到低分辨率字典中。其目的是找到一組可以表達之前預處理后所得到圖像塊的一組“基”，這些基是沿著不同方向的邊緣，稀疏系數(shù)就是分配給各個基的權重。這部分可以轉化為一定數(shù)量的濾波器（卷積核）來代替。Non-linearmapping：將低分辨率的特征映射為高分辨率特征，類似于字典學習中找到圖像patch對應的高分辨字典。將第一步得到的表達圖像塊的高維向量映射到另外一個高維向量中，通過這個高維向量表達高分辨率圖像塊，用于最后的重建。這一步驟可以使用1×1的卷積來實現(xiàn)向量維數(shù)的變換。2網(wǎng)絡結構Reconstruction：根據(jù)高分辨率特征進行圖像重建。類似于字典學習中的根據(jù)高分辨率字典進行圖像重建。將最后得到的高分辨率圖像塊進行聚合（重合的位置取平均）形成最后的高分辨率圖像。這一部分可以看成是一種線性運算，可以構造一個線性函數(shù)（不加激活函數(shù)）來實現(xiàn)。基于卷積神經(jīng)網(wǎng)絡的超分辨率算法將這三個步驟都統(tǒng)一到一個模型中，顯著地提高了模型效率。相對于傳統(tǒng)方法提高了圖像重建質(zhì)量。但計算量