《計算機視覺》教學課件-第08章1-神經網絡和深度學習1

人工智能視覺課程

神經網絡和深度學習01引言02神經網絡和深度學習簡史03神經網絡基本概念04深度學習基本概念05使用和訓練神經網絡引言2024/11/53圖像分類圖像分割目標檢測我們已經學過了很多傳統(tǒng)方法2024/11/54SVM自適應閾值Otsu分水嶺KNNK-MeansSIFT深度學習方法2024/11/55自2012年以來，深度學習在各個方面的任務中，效果逐步超越了傳統(tǒng)算法人臉檢測人臉識別醫(yī)療圖像識別核磁共振成像和X射線檢測癌癥部分任務的準確度超過了人類水平自動駕駛成為可能......01引言02神經網絡和深度學習簡史03神經網絡基本概念04深度學習基本概念05使用和訓練神經網絡深度學習基礎2024/11/57神經網絡和深度學習簡史2024/11/58前面我們講了計算機視覺簡史跟神經網絡和深度學習簡史有部分重疊但顯然不完全一樣1943年心里學家WarrenMacCulloch和數學邏輯學家WalterPitts發(fā)表論文《神經活動中內在思想的邏輯演算》提出了MP（W.S.McCulloch和W.Pitts）模型神經網絡和深度學習簡史2024/11/59MP模型模仿神經元的結構和工作原理，構建出一個基于神經網絡的數學模型本質上是一種“模擬人類大腦”的神經元模型沒有訓練的概念作為人工神經網絡的起源，開創(chuàng)了人工神經網絡的新時代，也奠定了神經網絡模型的基礎神經網絡和深度學習簡史2024/11/5101949年加拿大著名心理學家DonaldHebb在《行為的組織》中提出了一種基于無監(jiān)督學習的規(guī)則——Hebb學習規(guī)則神經網絡和深度學習簡史2024/11/511Hebb學習規(guī)則模仿人類認知世界的過程建立一種“網絡模型”該網絡模型針對訓練集進行大量的訓練并提取訓練集的統(tǒng)計特征然后按照樣本的相似程度進行分類把相互之間聯系密切的樣本分為一類Hebb學習規(guī)則與“條件反射”機理一致為以后的神經網絡學習算法奠定了基礎，具有重大的歷史意義神經網絡和深度學習簡史2024/11/512巴普洛夫的條件反射實驗2024/11/513Hebb的理論認為在同一時間被激發(fā)的神經元間的聯系會被強化比如，鈴聲響時一個神經元被激發(fā)在同一時間食物的出現會激發(fā)附近的另一個神經元那么這兩個神經元間的聯系就會強化，從而記住這兩個事物之間存在著聯系相反，如果兩個神經元總是不能同步激發(fā)，那么它們間的聯系將會越來越弱神經網絡和深度學習簡史2024/11/5141957年FrankRosenblatt感知機神經網絡和深度學習簡史2024/11/5151969年MarvinMinsky和SeymourPapert共同編寫了一本書籍《Perceptrons》在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）并且認為即使是多層感知機網絡也無法解決異或問題（這一觀點不正確）對神經網絡的發(fā)展產生了巨大消極影響直到80年代反向傳播算法的提出，才得以消除1987年《Perceptrons》被修訂新書名叫《Perceptrons-ExpandedEdition》神經網絡和深度學習簡史2024/11/5161982年著名物理學家JohnHopfield發(fā)明了Hopfield神經網絡神經網絡和深度學習簡史2024/11/517Hopfield神經網絡是一種結合存儲系統(tǒng)和二元系統(tǒng)的循環(huán)神經網絡可以模擬人類的記憶根據激活函數的選取不同，有連續(xù)型和離散型兩種類型，分別用于優(yōu)化計算和聯想記憶容易陷入局部最小值的缺陷，該算法并未在當時引起很大的轟動神經網絡和深度學習簡史2024/11/5181986年深度學習之父GeoffreyHinton提出了一種適用于多層感知器的反向傳播算法Backpropation算法BP算法神經網絡和深度學習簡史2024/11/519BP算法在傳統(tǒng)神經網絡正向傳播的基礎上，增加了誤差的反向傳播過程反向傳播過程不斷地調整神經元之間的權值和閾值直到輸出的誤差達到減小到允許的范圍之內，或達到預先設定的訓練次數為止BP算法完美的解決了非線性分類問題，讓人工神經網絡再次的引起了人們廣泛的關注神經網絡和深度學習簡史2024/11/520GeoffreyHinton的困境八十年代計算機的硬件水平有限當神經網絡的規(guī)模增大時，使用BP算法會出現“梯度消失”的問題九十年代中期，以SVM為代表的其它淺層機器學習算法被提出，并在分類、回歸問題上均取得了很好的效果神經網絡和深度學習簡史2024/11/5212006年GeoffreyHinton以及他的學生RuslanSalakhutdinov（蘋果首任AI總監(jiān)）正式提出了深度學習的概念他們在《Science》發(fā)表的一篇文章中詳細的給出了“梯度消失”問題的解決方案通過無監(jiān)督學習逐層訓練，再使用有監(jiān)督的反向傳播進行調優(yōu)神經網絡和深度學習簡史2024/11/5222009年ImageNet圖像分類、目標檢測1400萬+幅圖像21841個類別比賽（子集，100萬+圖像）神經網絡和深度學習簡史2024/11/5232012年ImageNet比賽SuperVision,UniversityofTorontoGeoffreyHinton領導AlexNet神經網絡和深度學習簡史2024/11/524神經網絡和深度學習簡史2024/11/525ImageNet比賽里程碑2014年UniversityofMontrealGAN網絡生成器判別器神經網絡和深度學習簡史2024/11/5262014年Facebook人臉識別準確率：97.25%達到人類水平神經網絡和深度學習簡史2024/11/5272016-2017年Google的AlphaGo4:1的比分戰(zhàn)勝了國際頂尖圍棋高手李世石隨后戰(zhàn)勝了一眾高手AlphaGo升級版AlphaGoZero“從零開始”、“無師自通”的學習模式以100:0的比分輕而易舉打敗了之前的AlphaGo神經網絡和深度學習簡史2024/11/52801引言02神經網絡和深度學習簡史03神經網絡基本概念04深度學習基本概念05使用和訓練神經網絡深度學習之前2024/11/530在講深度學習之前神經網絡基本概念–生物神經網絡2024/11/531生物神經網絡一般指生物的大腦神經元、細胞、觸點等組成的網絡用于產生生物的意識幫助生物進行思考和行動神經網絡基本概念–人工神經網絡2024/11/532人工神經網絡ArtificialNeuralNetworks（ANNs）神經網絡（NNs）連接模型（ConnectionModel）類神經網絡一般都是一回事神經網絡基本概念–人工神經網絡2024/11/533人工神經網絡是一種模仿動物神經網絡行為特征（類似于大腦神經突觸聯接的結構），進行信息處理的數學模型這種網絡通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的神經網絡基本概念–神經網絡中的層2024/11/534層輸入層隱藏層輸出層每層由并行的節(jié)點組成通常同一層不具有連接兩個相鄰層完全連接(每一層的每一個神經元到另一層的每個神經元)神經網絡基本概念–神經網絡中的其他構件2024/11/535節(jié)點類似于生物神經網絡神經元的概念位于層中神經網絡基本概念–神經網絡中的其他構件2024/11/536權重表示每個神經網絡層與其下方的層之間的關系下方的層可能是另一個神經網絡層，也可能是其他類型的層神經網絡基本概念–神經網絡中的其他構件2024/11/537偏差每個節(jié)點一個偏差神經網絡基本概念–神經網絡中的其他構件2024/11/538激活函數對層中每個節(jié)點的輸出進行轉換不同的層可能擁有不同的激活函數神經網絡基本概念–線性模型2024/11/539藍色圓圈輸入特征綠色圓圈各個輸入的加權和神經網絡基本概念–線性模型2024/11/540藍色圓圈輸入特征添加了一個表示中間值的“隱藏層”隱藏層中的每個黃色節(jié)點均是藍色輸入節(jié)點值的加權和綠色圓圈黃色節(jié)點的加權和仍然是一個線性模型神經網絡基本概念–線性模型2024/11/541藍色圓圈輸入特征添加了兩個表示中間值的“隱藏層”將輸出表示為輸入的函數并進行簡化時只是獲得輸入的另一個加權和仍然是一個線性模型無法解決非線性問題神經網絡基本概念–非線性問題2024/11/542“非線性”意味著無法使用形式為“b+w1x1+w2x2”的模型準確預測標簽“決策面”不是直線一種解決方案：特征組合神經網絡基本概念–非線性模型2024/11/543對非線性問題進行建?？梢灾苯右敕蔷€性函數用非線性函數將每個隱藏層節(jié)點像管道一樣連接起來在隱藏層1中的各個節(jié)點的值傳遞到下一層進行加權求和之前，采用一個非線性函數對其進行了轉換這種非線性函數稱為激活函數神經網絡基本概念–激活函數2024/11/544神經網絡基本概念–激活函數2024/11/545所有數學函數均可作為激活函數假設σ表示我們的激活函數ReLU、S型函數等等網絡中節(jié)點的值為：σ(w*x+b)神經網絡基本概念–激活函數2024/11/546Sigmoid函數適用于網絡可能輸出多個正確答案的分類問題多標簽分類神經網絡基本概念–Sigmoid函數2024/11/547Sigmoid函數是一個閾值函數不管x取什么值，對應的Sigmoid函數值總是0<sigmoid(x)<1Sigmoid函數嚴格單調遞增而且其反函數也單調遞增Sigmoid函數連續(xù)Sigmoid函數光滑Sigmoid函數關于點(0,0.5)對稱Sigmoid函數的導數是以它本身為因變量的函數f(x)'=F(f(x))神經網絡基本概念–Sigmoid函數2024/11/548對于二分類問題y=b*1+θ1x1+θ2x2+...+θnxn

=θ0x0+θ1x1+θ2x2+...+θnxn

=θTxy∈{0,1}1表示正例0表示負例在線性函數θTx輸出預測實際值的基礎上，尋找一個假設函數hθ(x)=g(θTx)，將實際值映射到0，1之間神經網絡基本概念–Sigmoid函數2024/11/549使用Sigmoid函數，則可以使用0.5作為決策邊界Sigmoid函數關于點(0,0.5)對稱hθ(x)=g(θTx)如果hθ(x)>=0.5，則預測y=1，即y屬于正例如果hθ(x)<0.5，則預測y=0，即y屬于負例神經網絡基本概念–激活函數2024/11/550Softmax函數適用于網絡只輸出一個正確答案的分類問題多類別分類神經網絡基本概念–梯度爆炸2024/11/551如果網絡中的權重過大，則較低層的梯度會涉及許多大項的乘積在這種情況下，梯度就會爆炸梯度過大導致難以收斂批標準化可以降低學習速率，因而有助于防止梯度爆炸基于反向傳播2024/11/552總結：從深層網絡角度來講，不同的層學習的速度差異很大，表現為網絡中靠近輸出的層學習的情況很好，靠近輸入的層學習的很慢，有時甚至訓練了很久，前幾層的權值和剛開始隨機初始化的值差不多。因此，梯度消失、爆炸，其根本原因在于反向傳播訓練法則，本質在于方法問題，另外對于人來說，在大腦的思考機制里是沒有反向傳播的。Hinton提出capsule的原因就是為了徹底拋棄目前基于反向傳播的深度學習算法，如果真能大范圍普及，那真是一個革命。神經網絡基本概念–梯度消失2024/11/553深度學習中，較低層（更接近輸入）的梯度可能會變得非常小在深度網絡中，計算這些梯度時，可能涉及許多小項的乘積當較低層的梯度逐漸消失到0時，這些層的訓練速度會非常緩慢，甚至不再訓練如果我們的網絡太過深入，信噪比隨著越來越深入模型而變差，那么學習速度可能會變得非常慢這種情況下，ReLU函數可能會有用一般來講，需要考慮盡量將模型的深度限制為最小的有效深度神經網絡基本概念–激活函數2024/11/554線性整流函數RectifiedLinearUnit（ReLU）max(0,x)計算速度快收斂速度快神經網絡基本概念–ReLU單元消失2024/11/555一旦ReLU單元的加權和低于0它會輸出對網絡輸出沒有任何貢獻的0激活ReLU單元就可能會停滯而梯度在反向傳播算法期間將無法再從中流過由于梯度的來源被切斷，ReLU的輸入可能無法作出足夠的改變來使加權和恢復到0以上降低學習速率有助于防止ReLU單元消失另外一個辦法就是使用LeakyReLU神經網絡基本概念–激活函數2024/11/556LeakyRectifiedLinearUnit（LeakyReLU）f(x)=max(0.01x,x)解決ReLU單元停滯的問題神經網絡基本概念–激活函數2024/11/557雙曲正切函數HyperbolicTangent（Tanh）輸出值向下移動，外觀上與sigmoid函數相似神經網絡基本概念–反向傳播算法2024/11/558反向傳播算法是最常見的一種神經網絡訓練算法借助這種算法，梯度下降法在多層神經網絡中將成為可行方法反向傳播算法的前提事物必須是可微的，這樣我們才能夠進行學習我們需要可微函數，從而能夠使用神經網絡進行學習各種函數中存在一兩個小的間斷點沒關系知識問答2024/11/559右圖中的神經網絡有幾個輸入節(jié)點、輸出節(jié)點、隱藏層？神經網絡基本概念–反向傳播算法2024/11/560假設有如圖所示的神經網絡一個輸入節(jié)點一個輸出節(jié)點兩個隱藏層（每個隱藏層分別有兩個節(jié)點）相鄰的層中，節(jié)點通過權重wij相關聯這些權重是神經網絡的參數神經網絡基本概念–反向傳播算法2024/11/561每個節(jié)點都有一個總輸入x一個激活函數f(x)一個輸出y=f(x)f(x)必須是非線性函數，否則神經網絡就只能學習線性模型比如Sigmoid函數神經網絡基本概念–反向傳播算法2024/11/562目標根據數據自動學習網絡的權重以便讓所有輸入xinput的預測輸出youtput接近目標ytarget為了衡量與該目標的差距，使用一個誤差函數E也叫損失函數例如E(youtput,ytarget)=1/2(youtput?ytarget)2神經網絡基本概念–反向傳播算法2024/11/563首先進行正向傳播取一個輸入樣本(xinput,ytarget)并更新網絡的輸入層為保持一致性將輸入視為與其他任何節(jié)點相同但不具有激活函數以便讓其輸出與輸入相等即y1=xinput神經網絡基本概念–反向傳播算法2024/11/564更新第一個隱藏層取上一層節(jié)點的輸出y使用權重來計算下一層節(jié)點的輸入x神經網絡基本概念–反向傳播算法2024/11/565更新第一個隱藏層中節(jié)點的輸出使用激活函數f(x)y=f(x)使用上述兩個公式可以傳播到網絡的其余內容并獲得網絡的最終輸出神經網絡基本概念–反向傳播算法2024/11/566反向傳播算法會對特定樣本的預測輸出和理想輸出比較然后確定網絡每個權重的更新幅度基于梯度下降的思想需要計算誤差相對于每個權重（dE/dwij）的變化情況注意回顧導數、偏導數、梯度的知識點鏈式法則（自行查資料）神經網絡基本概念–反向傳播算法2024/11/567更新權重的方法α是一個常數，也就是學習速率（學習率）α是我們調參的熱門選項如果權重提高后誤差降低了（dE/dwij<0），則提高權重如果權重提高后誤差提高了（dE/dwij>0），則降低權重神經網絡基本概念–反向傳播算法2024/11/568為了計算dE/dwij需要計算節(jié)點的總輸入，dE/dx需要計算節(jié)點的輸出，dE/dy即誤差隨上述兩項的變化情況神經網絡基本概念–反向傳播算法2024/11/569終于可以開始反向傳播了反向傳播的是誤差導數輸入樣本的預測輸出已知（已經正向傳播過了）計算誤差隨該預測輸出的變化情況假設誤差函數為E=1/2(youtput-ytarget)2可以得到神經網絡基本概念–反向傳播算法2024/11/570根據鏈式法則計算dE/dxdE/dy剛才已求出神經網絡基本概念–反向傳播算法2024/11/571得到相對于某節(jié)點總輸入的誤差導數之后可以計算相對于進入該節(jié)點權重的誤差導數神經網絡基本概念–反向傳播算法2024/11/572根據鏈式法則計算上一層的dE/dy形成了一個完整循環(huán)神經網絡基本概念–反向傳播算法2024/11/573重復上述步驟直到完成整個網絡所有節(jié)點的計算神經網絡基本概念–神經網絡的黑盒特性2024/11/574神經網絡像是黑盒我們可以訓練它們，得到結果，增強它們但實際的決定路徑大多數我們都是不可見的結束了嗎?2024/11/575神經網絡基本概念–神經網絡的種類2024/11/576神經網絡基本概念–神經網絡的種類2024/11/577神經網絡基本概念–神經網絡的類型2024/11/578感知機Perceptron最簡單和最古老的神經元模型接收一些輸入，把它們加起來，通過激活函數傳遞到輸出層神經網絡基本概念–神經網絡的類型2024/11/579前饋神經網絡Feedforwardneuralnetworks，FF或FFNN起源于50年代所有節(jié)點都完全連接激活從輸入層流向輸出，無回環(huán)輸入和輸出之間有一層隱藏層往往使用反向傳播方法進行訓練神經網絡基本概念–神經網絡的類型2024/11/580RBF神經網絡激活函數是徑向基函數的FF前饋神經網絡邏輯函數將某個任意值映射到[0,...1]范圍內來，回答“是或否”問題邏輯函數適用于分類決策系統(tǒng)，不適用于連續(xù)變量徑向基函數能顯示“我們距離目標有多遠”徑向基函數適用于函數逼近和機器控制（例如作為PID控制器的替代）神經網絡基本概念–神經網絡的類型2024/11/581深度前饋神經網絡不止一個隱藏層在訓練傳統(tǒng)的前饋神經網絡時，我們只向上一層傳遞了少量的誤差信息堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網絡非常不實用00年代初開發(fā)了一系列有效的訓練深度前饋神經網絡的方法現在它們構成了現代機器學習系統(tǒng)的核心神經網絡基本概念–神經網絡的類型2024/11/582全連接層上層的任意一個節(jié)點，都和當前層的所有節(jié)點連接全連接網絡所有層都是全連接層的神經網絡神經網絡基本概念–神經網絡的類型2024/11/583RNN遞歸神經網絡遞歸神經元這種類型的第一個網絡被稱為約旦網絡（JordanNetwork）每個隱含神經元會收到它自己的在固定延遲（一次或多次迭代）后的輸出與普通的模糊神經網絡非常相似區(qū)別在于如傳遞狀態(tài)到輸入節(jié)點、可變延遲等神經網絡基本概念–神經網絡的類型2024/11/584RNN遞歸神經網絡用在上下文很重要的時候即過去的迭代結果和樣本產生的決策會對當前產生影響最常見的上下文的例子是文本一個單詞只能在前面的單詞或句子的上下文中進行分析神經網絡基本概念–神經網絡的類型2024/11/585長短時記憶網絡引入了一個存儲單元這個特殊的單元當數據有時間間隔（或滯后）時可以處理數據遞歸神經網絡可以通過“記住”前十個詞來處理文本LSTM可以通過“記住”許多幀之前發(fā)生的事情處理視頻幀廣泛用于寫作和語音識別神經網絡基本概念–神經網絡的類型2024/11/586長短時記憶網絡存儲單元實際上由一些元素組成，稱為門它們是遞歸性的，并控制信息如何被記住和遺忘神經網絡基本概念–神經網絡的類型2024/11/587長短時記憶網絡下圖中，“x”是門，擁有自己的權重，有時也有激活函數在每個樣本上，門決定是否傳遞數據，擦除記憶等輸入門決定上一個樣本有多少信息將保存在內存中輸出門調節(jié)傳輸到下一層的數據量遺忘門控制存儲記憶的損失率神經網絡基本概念–神經網絡的類型2024/11/588門控循環(huán)單元LSTM的一種變體沒有輸入門、輸出門、遺忘門只有更新門和復位門神經網絡基本概念–神經網絡的類型2024/11/589門控循環(huán)單元更新門確定從上一個狀態(tài)保留多少信息以及有多少來自上一層的信息得以保留復位門的功能很像LSTM的遺忘門，但位置略有不同復位門總是發(fā)出全部狀態(tài)在大多數情況下，它們與LSTM的功能非常相似最大的區(qū)別在于GRU稍快，運行容易(但表達能力更差)神經網絡基本概念–神經網絡的類型2024/11/590自動編碼器無監(jiān)督學習反向傳播目標值等于輸入值用于分類、聚類和特征壓縮神經網絡基本概念–神經網絡的類型2024/11/591自動編碼器假設某個自編碼神經網絡的輸入x是一張10×10圖像（共100個像素）的像素灰度值其隱藏層中有50個隱藏神經元輸出也是100維迫使自編碼神經網絡去學習輸入數據的壓縮表示（只有50個隱藏神經元）它必須從50維的隱藏神經元激活度向量中重構出100維的像素灰度值輸入x神經網絡基本概念–神經網絡的類型2024/11/592變分自編碼器與一般自編碼器相比，它壓縮的是概率，而不是特征一般自編碼器只能回答當“我們如何歸納數據？變分自編碼器回答了“兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？”的問題神經網絡基本概念–神經網絡的類型2024/11/593降噪自動編碼器自動編碼器有時找不到最魯棒的特征，而只是適應輸入數據（過擬合）DAE在輸入單元上增加了一些噪聲通過隨機位來改變數據，隨機切換輸入中的位等一個強制DAE從一個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特征神經網絡基本概念–神經網絡的類型2024/11/594稀疏自編碼器有時候可以抽離出數據中一些隱藏分組樣式的自動編碼的形式結構和AE一樣隱藏單元的數量大于輸入或輸出單元的數量神經網絡基本概念–神經網絡的類型2024/11/595馬爾可夫鏈每一個端點都存在一種可能性搭建像“在單詞hello之后有0.0053％的概率會出現dear，有0.03551%的概率出現you”這樣的文本結構可以被用作基于概率的分類（像貝葉斯過濾）、聚類（對某些類別而言）、有限狀態(tài)機不是典型的神經網絡神經網絡基本概念–神經網絡的類型2024/11/596霍普菲爾得網絡離散型、連續(xù)型對一套有限的樣本進行訓練它們用相同的樣本對已知樣本作出反應神經網絡基本概念–神經網絡的類型2024/11/597霍普菲爾得網絡在訓練前，每一個樣本都作為輸入樣本在訓練中作為隱藏樣本使用過之后被用作輸出樣本在HN試著重構受訓樣本的時候，他們可以用于給輸入值降噪和修復輸入如果給出一半圖片或數列用來學習，它們可以反饋全部樣本神經網絡基本概念–神經網絡的類型2024/11/598波爾滋曼機和HN類似有些單元被標記為輸入同時也是隱藏單元在隱藏單元更新其狀態(tài)時，輸入單元就變成了輸出單元在訓練時，BM和HN一個一個的更新單元，而非并行神經網絡基本概念–神經網絡的類型2024/11/599波爾滋曼機這是第一個成功保留模擬退火方法的網絡拓撲多層疊的波爾滋曼機可以用于深度信念網絡深度信念網絡可以用作特征檢測和抽取神經網絡基本概念–神經網絡的類型2024/11/5100限制型波爾滋曼機在結構上，限制型波爾滋曼機和BM很相似受限RBM被允許像前饋神經網絡一樣用反向傳播來訓練唯一的不同的是在反向傳播經過數據之前RBM會經過一次輸入層神經網絡基本概念–神經網絡的類型2024/11/5101深度信念網絡實際上是許多波爾滋曼機（被變分自動編碼器包圍）他們能被連在一起（在一個神經網絡訓練另一個的時候）并且可以用已經學習過的樣式來生成數據神經網絡基本概念–神經網絡的類型2024/11/5102深度卷積網絡具有卷積單元（或者池化層）和內核卷積核用來處理輸入的數據池化層用來簡化它們，來減少不必要的特征池化層大多數情況是用非線性方程，比如max神經網絡基本概念–神經網絡的類型2024/11/5103深度卷積網絡它們在圖片的一小部分上運行輸入窗口一個像素一個像素的沿著圖像滑動然后數據流向卷積層卷積層形成一個漏斗（壓縮被識別的特征）深度前饋神經網絡（全連接層）通常被接在卷積層的末端方便未來的數據處理神經網絡基本概念–神經網絡的類型2024/11/5104深度卷積網絡DCN通常被用來做圖像識別從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀以此類推，直到特定的物體那一級神經網絡基本概念–神經網絡的類型2024/11/5105包含卷積層的神經網絡神經網絡基本概念–神經網絡的類型2024/11/5106卷積層每一層的每張?zhí)卣鲌D都通過上一層的特征圖進行卷積操作得到圖像卷積神經網絡基本概念–神經網絡的類型2024/11/5107卷積層三維卷積第一個三維卷積核神經網絡基本概念–神經網絡的類型2024/11/5108池化（pooling）壓縮特征圖的長和寬，以減少網絡中參數的數量和計算量最大池化（max

pooling），平均池化（average

pooling）最大池化神經網絡基本概念–神經網絡的類型2024/11/5109去卷積網絡將卷積網絡顛倒過來DN能在獲取貓的圖片之后生成向量例如（狗：0，蜥蜴：0，馬：0，貓：1）DCN能在得到這個向量之后，能畫出一只貓神經網絡基本概念–神經網絡的類型2024/11/5110深度卷積反轉圖像網絡是一個自動編碼器DCN和DN并不是作為兩個分開的網絡，而是承載網絡輸入和輸出的間隔區(qū)神經網絡基本概念–神經網絡的類型2024/11/5111深度卷積反轉圖像網絡可以被用作圖像處理，并且可以處理他們以前沒有被訓練過的圖像由于其抽象化的水平很高，可以用于將某個事物從一張圖片中移除、重畫，或者將一匹馬換成一個斑馬神經網