利用遞歸卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類

1、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)用于文本分類問題:文本分類 特征表示: 詞袋方法（一元、兩元、N元） 其它方法： frequecy , MI , pLSA , LDA 缺點：忽略了詞語所在的語境和詞語的順序，不能有效獲取詞語的語義 EX：A sunset stroll along the South Bank affords an array of stunning vantage points. （Bank 在這里是河岸，而不是銀行）已有解決方法1. 增加詞袋元素維度：比如擴展到 “stroll along the South Bank”(5-gram)2. 更復(fù)雜的特征表示方法：比如Tree Kernel

2、s 方法3. 存在問題：數(shù)據(jù)稀少（data sparsity)，即有效的信息量太少，影響分類的準(zhǔn)確度。單詞表示詞向量1.詞向量（詞向量（word embedding)： 傳統(tǒng)的詞向量： One-hot Representation “話筒” 表示為 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 .“ 麥克”表示為 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 . 缺點：“詞匯鴻溝”；緯度高；數(shù)據(jù)稀疏 改進(jìn)的詞向量： Distributed Representation即一種單詞的分布式表示方法，能有效降低數(shù)據(jù)稀疏問題，經(jīng)過訓(xùn)練的詞向量可以表征句法和語義信息。

3、Distributed Representation表示形式表示形式：0.792, 0.177, 0.107, 0.109, 0.542, .。維度以 50 維和 100 維比較常見。這種向量的表示不是唯一的。特點是越相似的詞距離越近。解決了One-hot Representation 表示詞匯時不能表示兩個詞匯關(guān)系的問題。文本表示-神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包含三部分：輸入層、隱含層、輸出層神經(jīng)網(wǎng)絡(luò)的特點：自學(xué)習(xí)、聯(lián)想存儲、高度并行性、容錯性、魯棒性。文本表示 遞歸神經(jīng)網(wǎng)絡(luò)（遞歸神經(jīng)網(wǎng)絡(luò)（Recursive NN）：）：利用樹結(jié)構(gòu)對語句進(jìn)行建模。時間復(fù)雜度：至少是

4、O（n2），其中n是句子或者文本的長度，因此不適合長句子或者文本。另一方面，兩個句子之間的關(guān)系很難通過樹結(jié)構(gòu)進(jìn)行表示。文本表示循環(huán)神經(jīng)網(wǎng)絡(luò)（循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent NN）：）：對文本進(jìn)行逐詞分析，將已有的文本信息存儲在固定大小的隱藏層。時間復(fù)雜度： (n)缺點：不公平性，后出現(xiàn)的單詞比前出現(xiàn)的單詞重要性更高。因此對于整個文本進(jìn)行分類時會降低有效性。因為文本中重要的單詞會在任何地方出現(xiàn)。文本表示卷積神經(jīng)網(wǎng)絡(luò)（卷積神經(jīng)網(wǎng)絡(luò)（Convolutional NN）：）：卷積神經(jīng)網(wǎng)絡(luò)可以有效解決不公平性問題。時間復(fù)雜度O（n）已有的研究大多使用簡單的卷積內(nèi)核，比如固定窗口大小。這樣窗口大小成為制

5、約性能的關(guān)鍵因素：太小可能會丟失重要信息、太大會導(dǎo)致參數(shù)空間過大而難以訓(xùn)練。本文解決方法利用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）解決文本分類問題，即將循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，對文本進(jìn)行表示。方法主要貢獻(xiàn)：1.利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來表征單詞的上下文信息2. 利用最大池層自動判斷哪個特征在文本分類中的作用更大方法細(xì)節(jié)單詞表示利用單詞和它的上下文信息共同表示一個單詞：wi = cl(wi);e(wi);cr(wi) cl(wi):單詞wi左邊的文本內(nèi)容 cr(wi):單詞wi右邊的文本內(nèi)容 e(wi-1):單詞wi-1的詞向量 W(l)：將隱藏層傳遞到下一層的矩陣 W(sl): 將當(dāng)前單詞的語義和下

6、一個單詞左邊的文本組合 起來的矩陣 f : 非線性激活函數(shù)方法細(xì)節(jié)單詞表示利用循環(huán)神經(jīng)網(wǎng)絡(luò)對語句“A sunset stroll along the South Bank affords an array of stunning vantage points”進(jìn)行建模表示。方法細(xì)節(jié)文本表示 得到單詞wi的表示形式xi之后，利用雙曲正切函數(shù)進(jìn)行轉(zhuǎn)換，將結(jié)果傳遞到下一層：Yi(2) = tanh(w(2)xi + b(2) 利用卷積神經(jīng)網(wǎng)絡(luò)來表示文本，當(dāng)所有的單詞的表示都計算完成后，進(jìn)行池化操作，這里采用的是最大池化：Y(3) = max yi(2) ( i = 1,2.n) 最大池層將不同長度的文本轉(zhuǎn)換為具有相同長度的向量。采用最大池層的好處是可以發(fā)現(xiàn)文本中最重要的語義信息。方法細(xì)節(jié)輸出結(jié)果 輸出層：y(4) = W(4)y(3) + b(4) 轉(zhuǎn)換為概率： 意義：表示文本屬于某個類別的概率參數(shù)訓(xùn)練 神經(jīng)網(wǎng)絡(luò)的參數(shù)：將所有的參數(shù)都用來進(jìn)行對 的訓(xùn)練目標(biāo)是使得對應(yīng)的值使得下式最大其中，D是待分類文本，ClassD是該文本的正確分類類別訓(xùn)練過程中采用了梯度下降的方法，為學(xué)習(xí)速率：參數(shù)訓(xùn)練 詞向量訓(xùn)練：Skip-gram mode