深度學(xué)習論文解讀

1、Character-based Parsing with Convolutional Neural Network基于特征的卷積神經(jīng)網(wǎng)絡(luò)分析復(fù)旦大學(xué)xiaoqing zheng基本結(jié)構(gòu) 句法分析 神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò) 基于特征的卷積神經(jīng)網(wǎng)絡(luò) 實驗分析句法分析-定義圖靈測試 人工智能實現(xiàn)的關(guān)鍵在于對自然語言的分析和處理，而如何讓計算機“理解”所接受到的自然語言，并且根據(jù)“分析”生成相應(yīng)的回答是人工智能所面臨的兩大挑戰(zhàn)。從語言學(xué)角度看 語言學(xué)家不得不面對著這樣一個問題：到底人類頭腦中的語法結(jié)構(gòu)和語言知識是如何獲得的，一派是以喬姆斯基為代表的理性主義者；另一派是經(jīng)驗主義者，經(jīng)驗主義和統(tǒng)計自然語言處

2、理成為當前研究的主流。句法分析的定義 給定相應(yīng)的語法體系，自動推導(dǎo)出句子的語法結(jié)構(gòu)，將句子轉(zhuǎn)化成對應(yīng)相應(yīng)語法體系的句法分析樹，其中包含了句子中不同的句法單位以及之間的關(guān)系句法分析-句法分析樹句法分析樹 句子“政府鼓勵民營企業(yè)家投資國家基礎(chǔ)設(shè)施”的句法分析結(jié)果 (a) CTB中的句子分析樹 (b) 二叉樹 句法分析-研究現(xiàn)狀句法分析研究現(xiàn)狀 句法分析，就是在給定的語法體系下，對于給定的句子，自動推導(dǎo)出句子的語法結(jié)構(gòu)，將句子轉(zhuǎn)化成相應(yīng)語法結(jié)構(gòu)的句法分析樹，要解決以下三個問題。 1.用怎樣的語法體系來對句法結(jié)構(gòu)表示，選取時所需要衡量的因素是什么？ 例如： 漢語： “一個 穿黑衣服的 男人 在河邊 走

3、。 ” 英語： “A man dressed in black walk by the river.” 衡量的因素包括：語料庫的構(gòu)建成本，計算成本，應(yīng)用需求，語言特點 句法分析-研究現(xiàn)狀 2.對于給定的語法體系，可能出現(xiàn)同一句子對應(yīng)不同的句法結(jié)構(gòu)，如何進行消歧？ 基于規(guī)則的消歧被基于統(tǒng)計模型消歧取代，統(tǒng)計建模的兩個步驟：第一是構(gòu)建模型，也就是將設(shè)計的模型形式化表示出來。第二是模型參數(shù)估計，也就是從樹庫中通過學(xué)習得到所需的參數(shù) 3.如何在有限的時間內(nèi)得到句子的句法結(jié)構(gòu)？ 如何在有限的時間內(nèi)給出最優(yōu)的句法分析樹是句法分析算法所要考慮的問題，研究者們針對這些問題做了大量的研究，其中應(yīng)用動態(tài)規(guī)劃方法到

4、句法分析算法中是最普遍的做法。句法分析-語料庫語料庫大部分的句法分析模型都是通過有指導(dǎo)的學(xué)習方式從已標注好的語料庫中學(xué)習模型，參數(shù)標注規(guī)模和標注質(zhì)量直接影響句法分析的性能。漢 語 樹 庫 CTB (ChineseTreebank) CTB6大約有80萬個詞。神經(jīng)網(wǎng)絡(luò)-感知器訓(xùn)練法則我們主要考慮兩種算法 感知器法則 delta法則 1.感知器訓(xùn)練法則其中 iiiwwwiixotw)( 神經(jīng)網(wǎng)絡(luò)-感知器訓(xùn)練法則 2. delta法則克服感應(yīng)器法則的不足，在線性不可分的訓(xùn)練樣本上，收斂到 目標概念的最佳近似delta法則的關(guān)鍵思想是，使用梯度下降來搜索可能的權(quán)向量的假設(shè)空間，以找到最佳擬合訓(xùn)練樣例的

5、權(quán)向量delta法則為反向傳播算法提供了基礎(chǔ)，而反向傳播算法能夠?qū)W習多個單元的互連網(wǎng)絡(luò)把delta訓(xùn)練法則理解為訓(xùn)練一個無閾值的感知器指定一個度量標準來衡量假設(shè)相對于訓(xùn)練樣例的訓(xùn)練誤差xwxo)(DdddotwE2)(21)(神經(jīng)網(wǎng)絡(luò)-反向傳播算法 用來學(xué)習多層網(wǎng)絡(luò)的權(quán)值 采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標值之間的誤差平方 網(wǎng)絡(luò)的誤差定義公式，對所有網(wǎng)絡(luò)輸出的誤差求和 DdoutpuskkdkdotwE2)(21)(卷積神經(jīng)網(wǎng)絡(luò)前言-深度學(xué)習深度學(xué)習（deep learning） 深度學(xué)習是機器學(xué)習領(lǐng)域一個新的研究方向,近年來在語音識別、計算機視覺等多類應(yīng)用中取得突破性的進展，其動機在

6、于建立模型模擬人類大腦的神經(jīng)連接結(jié)構(gòu),在處理圖像、聲音和文本這些信號時,通過多個變換階段分層對數(shù)據(jù)特征進行描述 ,進而給出數(shù)據(jù)的解釋。 深度學(xué)習之所以被稱為“深度”,是相對支撐向量機 ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“淺層學(xué)習”方法而言的,深度學(xué)習所學(xué)得的模型中,非線性操作的層級數(shù)更多。卷積神經(jīng)網(wǎng)絡(luò)前言-深度學(xué)習 深度神經(jīng)網(wǎng)絡(luò)(deep neuralnetworks, DNN)由多個單層非線性網(wǎng)絡(luò)疊加而成的，常見的單層網(wǎng)絡(luò)按照編碼解碼情況分為3 類:只包含編碼器部分、只包含解碼器部分、既有編碼器部分也有解碼器部分。

7、前饋深度網(wǎng)絡(luò)卷積卷積神經(jīng)網(wǎng)絡(luò)-基本結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN) 屬于深度神經(jīng)網(wǎng)絡(luò)中前饋深度網(wǎng)絡(luò)，在這種網(wǎng)絡(luò)中,信息只沿一個方向流動,從輸入單元通過一個或多個隱層到達輸出單元,在網(wǎng)絡(luò)中沒有封閉環(huán)路。 卷積神經(jīng)網(wǎng)絡(luò)是由多個單層卷積神經(jīng)網(wǎng)絡(luò)組成的，每個單層卷積神經(jīng)網(wǎng)絡(luò)包括卷積、非線性變換和下采樣 3 個階段。卷積神經(jīng)網(wǎng)絡(luò)-卷積階段卷積階段,通過提取信號的不同特征實現(xiàn)輸入信號進行特定模式的觀測，其觀測模式也稱為卷積核，每個卷積核檢測輸入特征圖上所有位置上的特定特征,實現(xiàn)同一個輸入特征圖上的權(quán)值共享。卷積階段的輸入是由 n 1 個 n 2 n

8、3 大小的二維特征圖構(gòu)成的三維數(shù)組，每個特征圖記為 xi ，該階段的輸出 y 也是個三維數(shù)組,由 m 1 個 m 2 m 3 大小的特征圖構(gòu)成在卷積階段,連接輸入特征圖 x i 和輸出特征圖 yj 的權(quán)值記為 wij ，即可訓(xùn)練的卷積核，卷積核的大小為 k 2 k 3 。輸出特征圖為：卷積神經(jīng)網(wǎng)絡(luò)-非線性變換階段非線性階段,對卷積階段得到的特征按照一定的原則進行篩選,篩選原則通常采用非線性變換的方式,以避免線性模型表達能力不夠的問題.非線性階段將卷積階段提取的特征作為輸入,進行非線性映射 R = h(y)。 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中非線性操作采用 sigmoid、tanh 或 softsign 等飽

9、和非線性(saturating nonlinearities)函數(shù) ，如下為sigmoid函數(shù)圖像及公式：卷積神經(jīng)網(wǎng)絡(luò)-網(wǎng)絡(luò)模型 將單層的卷積神經(jīng)網(wǎng)絡(luò)進行多次堆疊，前一層的輸出作為后一層的輸入，便構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)。其中每 2 個節(jié)點間的連線，代表輸入節(jié)點經(jīng)過卷積、非線性變換、下采樣 3 個階段變?yōu)檩敵龉?jié)點，一般最后一層的輸出特征圖后接一個全連接層和分類器。 在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時,最常用的方法是采用反向傳播法則以及有監(jiān)督的訓(xùn)練方式。卷積神經(jīng)網(wǎng)絡(luò)-應(yīng)用及趨勢 1.深度學(xué)習在大規(guī)模圖像數(shù)據(jù)集中的應(yīng)用深度學(xué)習在大規(guī)模圖像數(shù)據(jù)集中的應(yīng)用 A. Krizhevsky 等 首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于 Imag

10、eNet 大規(guī)模視覺識別挑戰(zhàn)賽中，所訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)在 ILSVRC2012 挑戰(zhàn)賽中，取得了圖像分類和目標定位任務(wù)的第一，其中，圖像分類任務(wù)中錯誤率為 15. 3%，遠低于第 2 名的 26. 2% 的錯誤率。 2. 深度學(xué)習在人臉識別中的應(yīng)用深度學(xué)習在人臉識別中的應(yīng)用 采用基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習方法，香港中文大學(xué)的 DeepID2 項目將人臉識別率提高到了99.15%,超過目前所有領(lǐng)先的深度學(xué)習和非深度學(xué)習算法在 LFW 數(shù)據(jù)庫上的識別率以及人類在該數(shù)據(jù)庫的識別率。 3. 深度學(xué)習問題及趨勢深度學(xué)習問題及趨勢 單一的深度學(xué)習方法,往往并不能帶來最好的效果，通常融合其他方法或多種方法進

11、行平均打分，會帶來更高的精確率。因此,深度學(xué)習方法與其他方法的融合，具有一定的研究意義?；谔卣鞯木矸e神經(jīng)網(wǎng)絡(luò) 摘要 KMCNN(a convolutional neural network with k-max pooling layer)網(wǎng)絡(luò)結(jié)構(gòu) 實驗分析基于特征的卷積神經(jīng)網(wǎng)絡(luò)-摘要 描述了一種新的K-MAX匯集層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠成功地恢復(fù)漢語句子的結(jié)構(gòu)。這個網(wǎng)絡(luò)可以捕獲不可見部分有效特征衡量該部分多大可能成為構(gòu)成句子部分。給定一個輸入的句子，在所有可能部分的分數(shù)被計算后，一個有效的動態(tài)規(guī)劃算法被用來發(fā)現(xiàn)最優(yōu)分析樹。類似的網(wǎng)絡(luò)被應(yīng)用到解析樹每個節(jié)點預(yù)測語法分類。在與最新的方法在CTB

12、-5上做測試我們的方法具有優(yōu)勢?；谔卣鞯木矸e神經(jīng)網(wǎng)絡(luò)-網(wǎng)絡(luò)結(jié)構(gòu)輸入=“政府鼓勵.”特征矩陣表第一層卷積第二層卷積隱藏層輸出第二層k-Max第一層k-Max基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟一步驟一：把句子映射為二進制特征向量 步驟二步驟二：每個字只與周圍字有關(guān)，通過卷積層計算特征 是矩陣是二進制向量，是字符詞典，是句子中一個字，是句子，MeDcckiin: 1函數(shù)是帶有可訓(xùn)練參數(shù)其中winf是特征檢測值是訓(xùn)練權(quán)重，bw基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟三步驟三：k-Max匯聚層產(chǎn)生下面矩陣步驟四步驟四：選擇sigmoid函數(shù)做仿射變換，抽取非線性特征，輸出塊分數(shù)列行第第是jiffconjicon,值子序列（）是具有最高kkmaxyey11)(基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟五步驟五：動態(tài)規(guī)劃解碼-得到最優(yōu)