Bengio和LeCun在NIPS2016上的演講

1、選自 NIPS2016 機器之心整理編輯： 杜夏德 NIPS 2016 召開至今，干貨滿滿， Google 、吳恩達、 IanGoodfellow 等 公司和學者的演講、展示的材料不斷放出。今天小編又給大 家?guī)韮晌恢匕跫墝W者 Yoshua Bengio 和 Yann LeCun 在 NIPS2106 上的講演材料。 Bengio 主要介紹從生物學角度介 紹了深度學習， 而 LeCun 講解了基于能量的 GAN 及其對抗 訓練的方法。點擊閱讀原文即可下載兩份材料的 PDF1 【生 物學可信深度學習】 Towards biologically plausible deep learning by

2、 Yoshua BengioP2-5. 深度學習的核心議題是信 用分配也就是，隱藏層要做什么才能對其他層及該網(wǎng)絡更大 的目標有用？現(xiàn)有的方法是反向傳播算法及玻爾茲曼機中 的隨機松弛。但是強化學習不行，因為方差會隨著神經(jīng)元獲 得的信用數(shù)量呈線性上升。那么大腦有時如何做的呢？生物 學上可信的反向傳播。連續(xù) Hopfield 神經(jīng)網(wǎng)絡的能量函數(shù) 變異 P6-9. 作為推理的神經(jīng)計算需要對稱性， 巧合的是沒有 強制對稱的自動編碼器最終會有對稱權重。反向傳播不需要 嚴格的對稱。 P10-13 如何在負相中進行快速推理（后驗采 樣）。對于深度生成網(wǎng)絡的快速推理前饋初始化在生物學上 是可信的。誤差的傳遞是件

3、好事，因為它能實現(xiàn)一種和諧。 而誤差的傳遞其實就是增量目標的傳遞。 P15-22 我們如何訓練一個執(zhí)行計算的物理系統(tǒng)？首先要實現(xiàn)動態(tài)平衡P23-26STDP 連接平衡傳播產(chǎn)生 STDP 一個微分對比的 Hebbian 更新 P27. 繼承反向傳播的特性 P28. 誤差傳遞等 于增量目標的傳遞 P29-30. 平衡傳播包括作為前饋網(wǎng)絡中 一個特例的一般反向傳播 P31. 開放性的問題擺脫能量公式 的局部極小值，同時泛化到被其動力學限制的系統(tǒng)中，還要 學習過渡算子( transition operator )，這樣就可以避免權重 對稱約束將這些想法推廣到無監(jiān)督學習中一段時間后反向 傳播會怎么樣呢？

4、 P32. STDP vs 反 STDP ：可能嗎？ P33. Variational WalkbackP34.GAN 在大腦中的部署和 Actor-Critic 算法：質疑單一目標優(yōu)化 Dogma2. 【能量 GAN 與對抗方法】 Energy-Based GANs & other Adversarial things by Yann LeCunP2. 無監(jiān)督學習 P3. 基于能量的無 監(jiān)督學習學習一個滿足以下兩個條件的能量函數(shù)在數(shù)據(jù)流 形上取值較低在其他地方取值較高 P4-5. 在帶有能量函數(shù) 的變量之間撲捉相關性 ( dependencies )P6. 學習該能量函 數(shù) P7-9. 塑造能量函數(shù)的 7 個策略 P10-22 對抗訓練。難 點是在不確定的情況下預測?；谀芰康臒o監(jiān)督學習對抗訓 練：一個可訓練的目標函數(shù)基于能量的 GAN 。 EBGAN 損 失函數(shù) EBGAN 的解決方法是納什均衡 ENGAN 中的 D 是一個梯形網(wǎng)絡基于能量的EBGAN 在128 X 128像素的ImagNet上訓練的結果?；谀芰康?EBGAN 在256 X 256像素的 ImagNet 上訓練的結果。 P23-34 視頻預測(經(jīng)過 對抗訓練)用于視頻預測的多尺度卷積網(wǎng)絡不能使用平方誤 差：模糊預測預測的無監(jiān)督學習視頻預測：預測