深度學(xué)習(xí)論文解讀

1、Character-based Parsing with Convolutional Neural Network基于特征的卷積神經(jīng)網(wǎng)絡(luò)分析復(fù)旦大學(xué)xiaoqing zheng基本結(jié)構(gòu) 句法分析 神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò) 基于特征的卷積神經(jīng)網(wǎng)絡(luò) 實(shí)驗(yàn)分析句法分析-定義圖靈測(cè)試 人工智能實(shí)現(xiàn)的關(guān)鍵在于對(duì)自然語言的分析和處理，而如何讓計(jì)算機(jī)“理解”所接受到的自然語言，并且根據(jù)“分析”生成相應(yīng)的回答是人工智能所面臨的兩大挑戰(zhàn)。從語言學(xué)角度看 語言學(xué)家不得不面對(duì)著這樣一個(gè)問題：到底人類頭腦中的語法結(jié)構(gòu)和語言知識(shí)是如何獲得的，一派是以喬姆斯基為代表的理性主義者；另一派是經(jīng)驗(yàn)主義者，經(jīng)驗(yàn)主義和統(tǒng)計(jì)自然語言處

2、理成為當(dāng)前研究的主流。句法分析的定義 給定相應(yīng)的語法體系，自動(dòng)推導(dǎo)出句子的語法結(jié)構(gòu)，將句子轉(zhuǎn)化成對(duì)應(yīng)相應(yīng)語法體系的句法分析樹，其中包含了句子中不同的句法單位以及之間的關(guān)系句法分析-句法分析樹句法分析樹 句子“政府鼓勵(lì)民營(yíng)企業(yè)家投資國(guó)家基礎(chǔ)設(shè)施”的句法分析結(jié)果 (a) CTB中的句子分析樹 (b) 二叉樹 句法分析-研究現(xiàn)狀句法分析研究現(xiàn)狀 句法分析，就是在給定的語法體系下，對(duì)于給定的句子，自動(dòng)推導(dǎo)出句子的語法結(jié)構(gòu)，將句子轉(zhuǎn)化成相應(yīng)語法結(jié)構(gòu)的句法分析樹，要解決以下三個(gè)問題。 1.用怎樣的語法體系來對(duì)句法結(jié)構(gòu)表示，選取時(shí)所需要衡量的因素是什么？ 例如： 漢語： “一個(gè) 穿黑衣服的 男人 在河邊 走

3、。 ” 英語： “A man dressed in black walk by the river.” 衡量的因素包括：語料庫的構(gòu)建成本，計(jì)算成本，應(yīng)用需求，語言特點(diǎn) 句法分析-研究現(xiàn)狀 2.對(duì)于給定的語法體系，可能出現(xiàn)同一句子對(duì)應(yīng)不同的句法結(jié)構(gòu)，如何進(jìn)行消歧？ 基于規(guī)則的消歧被基于統(tǒng)計(jì)模型消歧取代，統(tǒng)計(jì)建模的兩個(gè)步驟：第一是構(gòu)建模型，也就是將設(shè)計(jì)的模型形式化表示出來。第二是模型參數(shù)估計(jì)，也就是從樹庫中通過學(xué)習(xí)得到所需的參數(shù) 3.如何在有限的時(shí)間內(nèi)得到句子的句法結(jié)構(gòu)？ 如何在有限的時(shí)間內(nèi)給出最優(yōu)的句法分析樹是句法分析算法所要考慮的問題，研究者們針對(duì)這些問題做了大量的研究，其中應(yīng)用動(dòng)態(tài)規(guī)劃方法到

4、句法分析算法中是最普遍的做法。句法分析-語料庫語料庫大部分的句法分析模型都是通過有指導(dǎo)的學(xué)習(xí)方式從已標(biāo)注好的語料庫中學(xué)習(xí)模型，參數(shù)標(biāo)注規(guī)模和標(biāo)注質(zhì)量直接影響句法分析的性能。漢 語 樹 庫 CTB (ChineseTreebank) CTB6大約有80萬個(gè)詞。神經(jīng)網(wǎng)絡(luò)-感知器訓(xùn)練法則我們主要考慮兩種算法 感知器法則 delta法則 1.感知器訓(xùn)練法則其中 iiiwwwiixotw)( 神經(jīng)網(wǎng)絡(luò)-感知器訓(xùn)練法則 2. delta法則克服感應(yīng)器法則的不足，在線性不可分的訓(xùn)練樣本上，收斂到 目標(biāo)概念的最佳近似delta法則的關(guān)鍵思想是，使用梯度下降來搜索可能的權(quán)向量的假設(shè)空間，以找到最佳擬合訓(xùn)練樣例的

5、權(quán)向量delta法則為反向傳播算法提供了基礎(chǔ)，而反向傳播算法能夠?qū)W習(xí)多個(gè)單元的互連網(wǎng)絡(luò)把delta訓(xùn)練法則理解為訓(xùn)練一個(gè)無閾值的感知器指定一個(gè)度量標(biāo)準(zhǔn)來衡量假設(shè)相對(duì)于訓(xùn)練樣例的訓(xùn)練誤差xwxo)(DdddotwE2)(21)(神經(jīng)網(wǎng)絡(luò)-反向傳播算法 用來學(xué)習(xí)多層網(wǎng)絡(luò)的權(quán)值 采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標(biāo)值之間的誤差平方 網(wǎng)絡(luò)的誤差定義公式，對(duì)所有網(wǎng)絡(luò)輸出的誤差求和 DdoutpuskkdkdotwE2)(21)(卷積神經(jīng)網(wǎng)絡(luò)前言-深度學(xué)習(xí)深度學(xué)習(xí)（deep learning） 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究方向,近年來在語音識(shí)別、計(jì)算機(jī)視覺等多類應(yīng)用中取得突破性的進(jìn)展，其動(dòng)機(jī)在

6、于建立模型模擬人類大腦的神經(jīng)連接結(jié)構(gòu),在處理圖像、聲音和文本這些信號(hào)時(shí),通過多個(gè)變換階段分層對(duì)數(shù)據(jù)特征進(jìn)行描述 ,進(jìn)而給出數(shù)據(jù)的解釋。 深度學(xué)習(xí)之所以被稱為“深度”,是相對(duì)支撐向量機(jī) ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“淺層學(xué)習(xí)”方法而言的,深度學(xué)習(xí)所學(xué)得的模型中,非線性操作的層級(jí)數(shù)更多。卷積神經(jīng)網(wǎng)絡(luò)前言-深度學(xué)習(xí) 深度神經(jīng)網(wǎng)絡(luò)(deep neuralnetworks, DNN)由多個(gè)單層非線性網(wǎng)絡(luò)疊加而成的，常見的單層網(wǎng)絡(luò)按照編碼解碼情況分為3 類:只包含編碼器部分、只包含解碼器部分、既有編碼器部分也有解碼器部分。

7、前饋深度網(wǎng)絡(luò)卷積卷積神經(jīng)網(wǎng)絡(luò)-基本結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN) 屬于深度神經(jīng)網(wǎng)絡(luò)中前饋深度網(wǎng)絡(luò)，在這種網(wǎng)絡(luò)中,信息只沿一個(gè)方向流動(dòng),從輸入單元通過一個(gè)或多個(gè)隱層到達(dá)輸出單元,在網(wǎng)絡(luò)中沒有封閉環(huán)路。 卷積神經(jīng)網(wǎng)絡(luò)是由多個(gè)單層卷積神經(jīng)網(wǎng)絡(luò)組成的，每個(gè)單層卷積神經(jīng)網(wǎng)絡(luò)包括卷積、非線性變換和下采樣 3 個(gè)階段。卷積神經(jīng)網(wǎng)絡(luò)-卷積階段卷積階段,通過提取信號(hào)的不同特征實(shí)現(xiàn)輸入信號(hào)進(jìn)行特定模式的觀測(cè)，其觀測(cè)模式也稱為卷積核，每個(gè)卷積核檢測(cè)輸入特征圖上所有位置上的特定特征,實(shí)現(xiàn)同一個(gè)輸入特征圖上的權(quán)值共享。卷積階段的輸入是由 n 1 個(gè) n 2 n

8、3 大小的二維特征圖構(gòu)成的三維數(shù)組，每個(gè)特征圖記為 xi ，該階段的輸出 y 也是個(gè)三維數(shù)組,由 m 1 個(gè) m 2 m 3 大小的特征圖構(gòu)成在卷積階段,連接輸入特征圖 x i 和輸出特征圖 yj 的權(quán)值記為 wij ，即可訓(xùn)練的卷積核，卷積核的大小為 k 2 k 3 。輸出特征圖為：卷積神經(jīng)網(wǎng)絡(luò)-非線性變換階段非線性階段,對(duì)卷積階段得到的特征按照一定的原則進(jìn)行篩選,篩選原則通常采用非線性變換的方式,以避免線性模型表達(dá)能力不夠的問題.非線性階段將卷積階段提取的特征作為輸入,進(jìn)行非線性映射 R = h(y)。 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中非線性操作采用 sigmoid、tanh 或 softsign 等飽

9、和非線性(saturating nonlinearities)函數(shù) ，如下為sigmoid函數(shù)圖像及公式：卷積神經(jīng)網(wǎng)絡(luò)-網(wǎng)絡(luò)模型 將單層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多次堆疊，前一層的輸出作為后一層的輸入，便構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)。其中每 2 個(gè)節(jié)點(diǎn)間的連線，代表輸入節(jié)點(diǎn)經(jīng)過卷積、非線性變換、下采樣 3 個(gè)階段變?yōu)檩敵龉?jié)點(diǎn)，一般最后一層的輸出特征圖后接一個(gè)全連接層和分類器。 在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí),最常用的方法是采用反向傳播法則以及有監(jiān)督的訓(xùn)練方式。卷積神經(jīng)網(wǎng)絡(luò)-應(yīng)用及趨勢(shì) 1.深度學(xué)習(xí)在大規(guī)模圖像數(shù)據(jù)集中的應(yīng)用深度學(xué)習(xí)在大規(guī)模圖像數(shù)據(jù)集中的應(yīng)用 A. Krizhevsky 等 首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于 Imag

10、eNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽中，所訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)在 ILSVRC2012 挑戰(zhàn)賽中，取得了圖像分類和目標(biāo)定位任務(wù)的第一，其中，圖像分類任務(wù)中錯(cuò)誤率為 15. 3%，遠(yuǎn)低于第 2 名的 26. 2% 的錯(cuò)誤率。 2. 深度學(xué)習(xí)在人臉識(shí)別中的應(yīng)用深度學(xué)習(xí)在人臉識(shí)別中的應(yīng)用 采用基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，香港中文大學(xué)的 DeepID2 項(xiàng)目將人臉識(shí)別率提高到了99.15%,超過目前所有領(lǐng)先的深度學(xué)習(xí)和非深度學(xué)習(xí)算法在 LFW 數(shù)據(jù)庫上的識(shí)別率以及人類在該數(shù)據(jù)庫的識(shí)別率。 3. 深度學(xué)習(xí)問題及趨勢(shì)深度學(xué)習(xí)問題及趨勢(shì) 單一的深度學(xué)習(xí)方法,往往并不能帶來最好的效果，通常融合其他方法或多種方法進(jìn)

11、行平均打分，會(huì)帶來更高的精確率。因此,深度學(xué)習(xí)方法與其他方法的融合，具有一定的研究意義?；谔卣鞯木矸e神經(jīng)網(wǎng)絡(luò) 摘要 KMCNN(a convolutional neural network with k-max pooling layer)網(wǎng)絡(luò)結(jié)構(gòu) 實(shí)驗(yàn)分析基于特征的卷積神經(jīng)網(wǎng)絡(luò)-摘要 描述了一種新的K-MAX匯集層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠成功地恢復(fù)漢語句子的結(jié)構(gòu)。這個(gè)網(wǎng)絡(luò)可以捕獲不可見部分有效特征衡量該部分多大可能成為構(gòu)成句子部分。給定一個(gè)輸入的句子，在所有可能部分的分?jǐn)?shù)被計(jì)算后，一個(gè)有效的動(dòng)態(tài)規(guī)劃算法被用來發(fā)現(xiàn)最優(yōu)分析樹。類似的網(wǎng)絡(luò)被應(yīng)用到解析樹每個(gè)節(jié)點(diǎn)預(yù)測(cè)語法分類。在與最新的方法在CTB

12、-5上做測(cè)試我們的方法具有優(yōu)勢(shì)?；谔卣鞯木矸e神經(jīng)網(wǎng)絡(luò)-網(wǎng)絡(luò)結(jié)構(gòu)輸入=“政府鼓勵(lì).”特征矩陣表第一層卷積第二層卷積隱藏層輸出第二層k-Max第一層k-Max基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟一步驟一：把句子映射為二進(jìn)制特征向量 步驟二步驟二：每個(gè)字只與周圍字有關(guān)，通過卷積層計(jì)算特征 是矩陣是二進(jìn)制向量，是字符詞典，是句子中一個(gè)字，是句子，MeDcckiin: 1函數(shù)是帶有可訓(xùn)練參數(shù)其中winf是特征檢測(cè)值是訓(xùn)練權(quán)重，bw基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟三步驟三：k-Max匯聚層產(chǎn)生下面矩陣步驟四步驟四：選擇sigmoid函數(shù)做仿射變換，抽取非線性特征，輸出塊分?jǐn)?shù)列行第第是jiffconjicon,值子序列（）是具有最高kkmaxyey11)(基于特征的卷積神經(jīng)網(wǎng)絡(luò)-步驟步驟五步驟五：動(dòng)態(tài)規(guī)劃解碼-得到最優(yōu)