基于潛在語義的多類文本分類模型研究

1、基于隨機(jī)森林的文本分類模型研究張華偉 王明文 江西師范大學(xué)計(jì)算機(jī)信息工程學(xué)院8/5/2022提綱 研究背景 相關(guān)工作 隨機(jī)森林模型 實(shí)驗(yàn) 進(jìn)一步工作研究背景泛化能力：設(shè)計(jì)分類器的中心目標(biāo)是能夠?qū)π聵颖咀龀稣_的分類，即“泛化能力”。目前，大多數(shù)分類器盡可能地降低同一算法在特定訓(xùn)練樣本集上的經(jīng)驗(yàn)風(fēng)險(xiǎn) -經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 。當(dāng)前做的較好的方法：統(tǒng)計(jì)學(xué)習(xí)理論：vc維-svm 。隨機(jī)森林：誤差上界Decision Trees基本思想：Divide-and-Conquer基本算法（貪心算法）自上而下分而治之的方法開始時(shí)，所有的數(shù)據(jù)都在根節(jié)點(diǎn)所有記錄用所選屬性遞歸的進(jìn)行分割屬性的選擇是基于一個(gè)啟發(fā)式規(guī)則或者

2、一個(gè)統(tǒng)計(jì)的度量 (如, information gain)集成機(jī)器學(xué)習(xí)起源于Hebb 對(duì)于神經(jīng)細(xì)胞工作方式的假設(shè)：信息加工是由神經(jīng)集合體共同完成的.1990 年，Schapire 證明了一個(gè)關(guān)鍵定理：一個(gè)學(xué)習(xí)方法可以提升為強(qiáng)可學(xué)習(xí)的充要條件是其為弱可學(xué)習(xí)由此，派生了弱分類器的概念，即，比隨機(jī)猜想稍好的分類器。它告訴我們：多個(gè)弱分類器可以集成為一個(gè)強(qiáng)分類器。集成機(jī)器學(xué)習(xí)幾乎所有成功的決策樹集成都用了隨機(jī)模型應(yīng)用隨機(jī)的主要目的是離散化模型各模型結(jié)果的集成比單個(gè)模型的預(yù)測(cè)精度要好集成機(jī)器學(xué)習(xí)給定K個(gè)分類器 和隨機(jī)向量x、y，定義邊緣函數(shù)（mg）如下： 其中，I()是示性函數(shù)。該邊緣函數(shù)刻畫了對(duì)向量X

3、正確分類y的平均得票數(shù)超過其它任何類平均得票數(shù)的程度?？梢钥闯?，邊際越大分類的置信度就越高。于是，分類器的泛化誤差定義如下： 隨機(jī)森林和其理論背景 將上面的結(jié)論推廣到隨機(jī)森林 。 邊緣函數(shù)如下： 隨著樹的數(shù)目增加， 趨向于 分類器 的強(qiáng)度 假設(shè) ，根據(jù)切比雪夫不等式，（1）,（2）可以得到： 根據(jù)引文6可知： 于（4）、（5）我們可以得到以下結(jié)論：隨機(jī)森林的泛化誤差上界 集成學(xué)習(xí)的文本分類過程新文本預(yù)處理訓(xùn)練文本預(yù)處理特征項(xiàng)抽取訓(xùn)練文本再處理構(gòu)造集成分類器訓(xùn)練過程分類過程分類結(jié)果同集成分類器權(quán)重組合成最終結(jié)果計(jì)算集成分類器權(quán)重集成學(xué)習(xí)的文本分類算法試驗(yàn)設(shè)計(jì)及初步結(jié)果文檔集：Reuters-21578，共135類，保留訓(xùn)練集和測(cè)試集都有正例的90個(gè)類。文檔類別分布不均勻，最多時(shí)一篇文檔屬于14個(gè)類。類別矩陣構(gòu)造：特征提取： 統(tǒng)計(jì)。權(quán)重：LTC權(quán)重。性能指標(biāo)：宏平均F1和微平均F1Reuters-21578上特征維數(shù)下的微平均和宏平均指標(biāo)各模型在Reuters-21578上前