計算機視覺應用開發(fā)課件：損失計算

損失計算內(nèi)容損失01任務(wù)風格損失02任務(wù)總損失03任務(wù)學習目標掌握內(nèi)容損失和風格損失的計算方式掌握風格遷移的總損失計算方式1內(nèi)容損失1內(nèi)容損失在風格轉(zhuǎn)移任務(wù)中，想讓圖像盡量在內(nèi)容不變的情況下進行風格遷移。為了平衡這種關(guān)系，需要分別計算內(nèi)容損失和風格損失，最后再通過系數(shù)相關(guān)計算出總損失。在網(wǎng)絡(luò)中更靠近頂層的輸出包含圖像更加全局、更加抽象的信息（如羽毛，眼睛，房屋等），這也就對應上了原始圖片上的內(nèi)容信息。因此，內(nèi)容損失很好的選擇就是使用原始圖像和生成圖像在網(wǎng)絡(luò)中較為頂層的輸出（激活）的L2范數(shù)（也就是用原始圖像在較為頂層中的輸出和生成圖像在較為頂層中的輸出進行比較）。1內(nèi)容損失L2范數(shù)，是反映估計量與被估計量之間差異的一種度量，計算的是預測值與真實值之差的平方和的平均值。數(shù)學公式如下：1內(nèi)容損失這里我們可以定義內(nèi)容損失函數(shù)為：2風格損失2風格損失相反，由紋理、顏色、視覺圖案所表示的風格就在網(wǎng)絡(luò)中較為底層的輸出中。但是風格在網(wǎng)絡(luò)中分布的較為廣泛（風格是多尺度的），單單選擇一層是不夠的（內(nèi)容損失就可以選擇一層在稍微頂層的層中能提取到）。對于風格損失，在這里將使用層激活的格拉姆矩陣，即特征圖的內(nèi)積。這個內(nèi)積可以被理解為一層特征圖之間的映射關(guān)系，也就是抓住了圖片特征的規(guī)律（即想索取的風格），可以在它身上找到想要的紋理外觀。2風格損失風格總代價分為兩個步驟：識別風格圖像的風格，從所有卷積層中獲取特征向量，將這些向量與另一層中的特征向量進行比較（查找其相關(guān)性）；原始（原始風格圖像）和生成的圖像之間的風格代價。為了找到風格，可以通過將特征圖乘以其轉(zhuǎn)置來捕獲相關(guān)性，從而生成gram矩陣。先將提取的特征（生成的風格特征與風格參考圖像的風格特征）進行g(shù)ram矩陣計算，之后再對計算后的結(jié)果進行均方誤差計算。2風格損失風格遷移中的Gram矩陣衡量的是不同特征之間的相關(guān)關(guān)系，計算流程如下：定義風格圖片在網(wǎng)絡(luò)第n層的Gram矩陣為Sn，內(nèi)容圖片（即待遷移圖片）的Gram矩陣為Cn，則風格損失可以定義為：3總損失3總損失總損失的計算方式如下：其中l(wèi)oss_content，loss_style分別是內(nèi)容損失和風格損失，

和

是平衡內(nèi)容損失和風格損失的超參數(shù)。如果