深度學習理論與實踐 習題及答案 第6章

第6章選擇題：通過池化降低空間維度的做法不但降低了計算開銷，還使得卷積神經網絡對于噪聲具有（A）。健壯性靜態(tài)性局部性準確性（B）的主要問題是最后的3層全連接層的參數量過于龐大。InceptionNetVCG網絡ResNetAlexNet（C）的殘差結構解決了深度學習模型的退化問題，在ImageNet的數據集上，其Top5準確率達到了95.51%。InceptionNetVCG網絡ResNetD.AlexNet在InceptionNet中，使用（D）和單層的全連接層替換掉了VCG的三層全連接層。全局最大池化層全局最小池化層卷積層全局平均池化層如果前一層有M個節(jié)點，后一層有N個節(jié)點，通過參數共享，兩層之間的連接權值減少為c個，前向傳播和后向傳播過程中，計算開銷與內存開銷分別為（A）：O（n）和O（c）O（c）和O（n）O（n）和O（n）O（c）和O（c）判斷題：人們通常采用在輸出張量邊界上填充0的方式，使得卷積核的中心可以從邊界上開始掃描，從而保持卷積操作輸入張量和輸出張量大小不變。（×）VCG網絡在ImageNet的Top5準確率為93.3%，不僅準確率高于InceptionNet，推斷速度也更勝一籌。（×）最大池化是指在池化區(qū)域中，取卷積特征值最大的作為所得池化特征值。（√）神經網絡越深，對復雜特征的表示能力就越強。（√）兩個步長為1的3*3的卷積核和一個7*7大小的卷積核的感受是一致的。（×）填空題：傳統(tǒng)BP神經網絡，以全局連接方式，前一層有M個節(jié)點，后一層有N個節(jié)點，就會有M*N個連接權值，每一輪后向傳播更新權值的時候都要對這些權值進行重新計算，造成了O(M*N)=O(n2)的計算與內存開銷局部連接方式把連接限制在空間中相鄰的c個節(jié)點，把連接權值降到了c*N，計算內存與開銷就降低到了O（c*N）=O（n）離散的卷積操作滿足了局部連接和參數共享的性質。網絡在達到一定深度后，模型訓練的準確率也不會再提升，甚至會開始下降，這種現象稱為訓練準確率的退化問題。ResNet提出了殘差學習的方法，用于解決深度學習模型的退化問題。簡答題：1.畫出一個最基本卷積神經網絡。輸出非線性變換池化層卷積層輸入2.局部連接與全局變量的區(qū)別是什么？局部連接：連接權值為c*N，計算與內存開銷為O（c*n）=O（n）全局連接：連接權值為M*N，計算與內存開銷為O（M*N）=O（n2）3.池化的作用是什么？降低特征空間的維度，還使得卷積神經網絡對于噪聲具有健壯性。4.簡述卷積操作。卷積核從輸入向量左邊開始掃描，權值在第一個位置分別與對應輸入值相乘求和，得到卷積特征值向量的第一個值，接下來移動一個步長，到達第二個位置，進行相同的操作，以此類推。5.比較AlexNet與VCG網絡VCG全3*3卷積核，AlexNet有大卷積核，兩者整體結構一致，都是先用5層卷積層提取圖像特征，再用3層全連接層作為分類器，VCG的層是由幾個3*3的卷積層疊加起來的，而AlexNet是一個大卷積層為一層，所以AlexNet只有八層，而VCG網絡可多達19層。應用題下表為輸入的三維張量，請你給出其經過一個大小為2*2，步幅為2，無填充的平均匯聚層后的結果。輸入層：123456789卷積層：1001LeNet是一個十分經典的卷積神經網絡，下圖給出了LeNet的簡化版本，請你在下圖相應層之后寫出每一層的輸出形狀，其中卷積層的輸出格式為(a,b,c)，其中a為輸出的通道數，bc為圖片的長和寬；全連接層的輸出格式為(a,b)其中a為輸出通道數，b為輸出向量的長度。（下圖中括號內的數字為輸出的通道數，卷積層除特殊說明外，步幅為1、無填充，匯聚層無填充，最后一個匯聚層和全連接層之間有一個展平層圖中沒有體現不需要給出計算結果）答案1．輸出層的大小為2×2，如下所示：1×1+2×0+4×0+5×1=62×1+3×0+5×0+6×1=84×1+5×0+7×0+8×1=125×1+6×0+8×0+9×1=146812142.從下到上依次為：