對科技論文的分類研究

1、對科技論文的數(shù)字文檔的自動分對科技論文的數(shù)字文檔的自動分類研究類研究山東大學計算機學院 引言 文本自動分類 傳統(tǒng)的論文分類法對普通的文獻進行分類時準確率為78%左右, 但是利用它對計算機和自動化類的科技文獻按照中圖分類法進行分類時準確率僅為56 %左右 。 背景介紹 傳統(tǒng)的論文分類方法傳統(tǒng)的論文分類方法 由于傳統(tǒng)的算法不適用于處理文本信息這種非結(jié)構(gòu)的數(shù)據(jù)，因此必須將其進行結(jié)構(gòu)化轉(zhuǎn)換。近年來應(yīng)用較多的是向量空間模型(vector space model，vsm)。計算權(quán)值的方法有多種：詞頻統(tǒng)計法、詞頻逆文本頻率(tfidf)、widf算法、shannon信息熵等.。 在對文本進行向量化后，利用學

2、習算法對文本向量進行學習，以得到分類器（knn，svm，n-bayes）。 我們的工作 我們注意到科技論文是一種半結(jié)構(gòu)化文擋，可以把論文的標題、關(guān)鍵詞集合和摘要看作為論文的元數(shù)據(jù)，因為它們精簡地反映了文章的核心內(nèi)容，本文介紹了利用元數(shù)據(jù)單獨分類的效果和利用元數(shù)據(jù)和分類法相結(jié)合的多層分類法。和單純地使用支持向量機相比，本方法在分類精度和效率上均優(yōu)于前者。準備工作準備工作 實驗：我們考慮比較用文本全文信息與僅用科技論文的標題、關(guān)鍵詞和摘要部分作為測試集進行分類的差異。我們從搜集的文獻中隨機地抽出中圖法分類號為tp391、tp392、tp393、tp399的文獻：416篇作為測試集，500篇作為訓練

3、集。得到分類結(jié)果如下： 結(jié)論1：僅僅根據(jù)標題、關(guān)鍵詞、摘要信息進行分類其分類精度是略低于依靠文本全文信息進行分類的，有些類別的分類要明顯好于其他類別. 原因1：1)因為標題、關(guān)鍵詞和摘要信息中的特征項遠遠少于全文文本信息中的特征項；2)普通的分詞軟件對包含了較多專用名詞的科技文獻進行分詞時的效果不太好；3)比較重要的一點是科技文獻的某個類(特別是較細的類)的各個子類的文本中存在很多交叉的詞項(詞或短語)，易造成混亂。 改進實驗改進實驗改進實驗：，首先將文本類別擴展到中圖法分類號為tp31、tp37、tp39、tp3x，然后相同程度的擴展測試集與訓練集。 測試集計 算 機 軟 件（tp31）多媒

4、體技術(shù)（tp37）計 算 機 應(yīng) 用(tp39)其他（tp3x）信息處理(tp391)各 專 用 數(shù) 據(jù) 庫(tp392)計算機網(wǎng)絡(luò)(tp393)其他應(yīng)用(tp399) 得到分類結(jié)果如下： 結(jié)論2:在較高一層的類別分類中,無論是使用文本全文信息分類還是僅僅利用標題、關(guān)鍵詞、摘要信息進行分類其分類結(jié)果都有極大的提高,而利用標題、關(guān)鍵詞、摘要信息進行分類的分類精度(查準率與查全率)也接近甚至在個別類別超過了使用文本全文信息進行分類的結(jié)果。 原因2： （1）較高一層的類別中存在較少的交叉子項，不容易造成混亂 。 （2）標題、關(guān)鍵詞、摘要信息中存在較少的噪聲，并且為高層的類別提供了足夠的分類信息。 我

5、們的想法 將待分類的文本進行粗分類，然后再對粗分類的結(jié)果進行細分類，其中，在進行粗分類的時候僅僅依靠其標題、關(guān)鍵詞、摘要信息內(nèi)容，而在細分類的時候再采用文本全文信息進行分類，并在每一步分類中采用各自的學習算法和相應(yīng)參數(shù)進行學習。我們的想法我們的想法 基于層次的科技論文分類模型 實驗與評測實驗與評測 樣本的選取-科技論文文本數(shù)據(jù)庫的建立. 我們分別使用k-nn與svm兩種經(jīng)典分類方法對科技論文進行了分類，再使用基于層次的分類模型對相同測試集進行了分類，得到結(jié)果如下：實驗與評測實驗與評測svm實驗與評測實驗與評測 knn實驗與評測實驗與評測 基于層次的分類模型實驗與評測實驗與評測 綜合的比較： 結(jié)

6、論 互聯(lián)網(wǎng)和科學研究的高速發(fā)展迫切需要對科技類文本進行精確而有效的分類。傳統(tǒng)的科技文獻分類方法無法對處于類邊緣的論文進行準確地分類。本文提出一種基于層次的科技論文的分類模型，并通過實驗證明，該方法是一種行之有效的提高文本分類的精度與效率的途徑。未來的工作包括：在現(xiàn)有基礎(chǔ)上，考慮增加參考文獻的信息以提高對分類的精度，該模型在不同性質(zhì)類別（如基于大量文本內(nèi)容的文學類別和基于大量字符、公式的數(shù)學類別等）分類中的應(yīng)用等等。 參考文獻參考文獻：1 中國圖書館分類法編輯委員會中國圖書館分類法使用手冊m第4版北京：北京圖書館出版社，19992 j gary auguston j，jack minkeran

7、analysis of some graphtheoretical cluster techniquesjjacm，1970，17(4)：571 5883 y yang ， xin liu a re-examination of text categorization methods， proceedings of acm sigir conference on research and development in information retrieval(sigir)，1999：42494 masao fuketa，sangkon lee，takako tsuji et a1a document classification method by using field association wordsjinformation sciences，2000：126(14)：57-705 marie-francine moens，jos dumortiertext categorization：the assignment of subject descriptors to magazine articlesjinformation process