任務(wù)四-tf-idf關(guān)鍵詞提取.任務(wù)四-tf-idf關(guān)鍵詞提取

tf-idf關(guān)鍵詞提取第四章tf-idf關(guān)鍵詞提取這個(gè)標(biāo)題看上去很復(fù)雜，但其實(shí)我們要將的是一個(gè)很簡(jiǎn)單的問(wèn)題。有一篇很長(zhǎng)的文章，我要用計(jì)算機(jī)提取它的關(guān)鍵詞（AutomaticKeyphraseextraction），完全不加以人工干預(yù)，請(qǐng)問(wèn)怎樣才能正確做到？這個(gè)問(wèn)題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計(jì)算機(jī)前沿領(lǐng)域，但是出乎意料的是，有一個(gè)非常簡(jiǎn)單的經(jīng)典算法，可以給出令人相當(dāng)滿(mǎn)意的結(jié)果。它簡(jiǎn)單到都不需要高等數(shù)學(xué)，一個(gè)中學(xué)生只用10分鐘就可以理解，這就是我們要介紹的TF-IDF算法。4.1tf-idf算法原理讓我們從一個(gè)實(shí)例開(kāi)始講起。假定現(xiàn)在有一篇長(zhǎng)文《中國(guó)的蜜蜂養(yǎng)殖》，我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞。一個(gè)容易想到的思路，就是找到出現(xiàn)次數(shù)最多的詞。如果某個(gè)詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。于是，我們進(jìn)行"詞頻"（TermFrequency，縮寫(xiě)為T(mén)F）統(tǒng)計(jì)。4.1tf-idf算法原理什么樣的詞可能出現(xiàn)的次數(shù)最高？結(jié)果你肯定猜到了，出現(xiàn)次數(shù)最多的詞是----"的"、"是"、"在"----這一類(lèi)最常用的詞。它們叫做"停用詞"（stopwords），表示對(duì)找到結(jié)果毫無(wú)幫助、必須過(guò)濾掉的詞。4.1tf-idf算法原理假設(shè)我們把停用詞都過(guò)濾掉了，只考慮剩下的有實(shí)際意義的詞。這樣又會(huì)遇到了另一個(gè)問(wèn)題，我們可能發(fā)現(xiàn)"中國(guó)"、"蜜蜂"、"養(yǎng)殖"這三個(gè)詞的出現(xiàn)次數(shù)一樣多。這是不是意味著，作為關(guān)鍵詞，它們的重要性是一樣的？顯然不是這樣。因?yàn)椤爸袊?guó)”是很常見(jiàn)的詞，相對(duì)而言，“蜜蜂”和“養(yǎng)殖”不那么常見(jiàn)。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，“蜜蜂”和“養(yǎng)殖”的重要程度要大于“中國(guó)”。4.1tf-idf算法原理

tf-idf算法原理：如果某個(gè)詞比較少見(jiàn)，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性，正是我們所需要的關(guān)鍵詞。顯然不是這樣。因?yàn)椤爸袊?guó)”是很常見(jiàn)的詞，相對(duì)而言，“蜜蜂”和“養(yǎng)殖”不那么常見(jiàn)。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，“蜜蜂”和“養(yǎng)殖”的重要程度要大于“中國(guó)”。4.1tf-idf算法原理

tf-idf算法：第一步，計(jì)算詞頻。#考慮到文章有長(zhǎng)短之分，為了便于不同文章的比較，進(jìn)行"詞頻"標(biāo)準(zhǔn)化。4.1tf-idf算法原理

tf-idf算法：第二步，計(jì)算逆文檔頻率（InverseDocumentFrequency，縮寫(xiě)為IDF），它的大小與一個(gè)詞的常見(jiàn)程度成反比。這時(shí)需要一個(gè)語(yǔ)料庫(kù)（corpus），用來(lái)模擬語(yǔ)言的使用環(huán)境。#如果一個(gè)詞越常見(jiàn)，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對(duì)得到的值取對(duì)數(shù)。4.1tf-idf算法原理

tf-idf算法：第三步，計(jì)算TF-IDF。#可以看到，TF-IDF與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個(gè)語(yǔ)言中的出現(xiàn)次數(shù)成反比。所以，自動(dòng)提取關(guān)鍵詞的算法就很清楚了，就是計(jì)算出文檔的每個(gè)詞的TF-IDF值，然后按降序排列，取排在最前面的幾個(gè)詞。4.1tf-idf算法原理

tf-idf算法：還是以《中國(guó)的蜜蜂養(yǎng)殖》為例，假定該文長(zhǎng)度為1000個(gè)詞，“中國(guó)”、“蜜蜂”、“養(yǎng)殖”各出現(xiàn)20次，則這三個(gè)詞的“詞頻”（TF）都為0.02。然后通過(guò)百度搜索：包含“的”字的咨詢(xún)共有757萬(wàn)篇，假定這就是中文咨詢(xún)的總數(shù)。包含“中國(guó)”的資訊共有563萬(wàn)篇，包含“蜜蜂”的網(wǎng)頁(yè)為61萬(wàn)篇，包含“養(yǎng)殖”的網(wǎng)頁(yè)為142萬(wàn)篇。則它們的逆文檔頻率（IDF）和TF-IDF如下：包含該詞的文檔數(shù)IDFTFTF-IDF排名中國(guó)5,630,0000.2960840.020.0059223蜜蜂610,0002.5184890.020.050371養(yǎng)殖1,420,0001.6735360.020.0334712總文檔數(shù)(億)7,570,000所以，如果只選擇兩個(gè)詞，“蜜蜂”和“養(yǎng)殖”就是這篇文章的關(guān)鍵詞。4.1tf-idf算法原理

tf-idf算法的優(yōu)缺點(diǎn)：TF-IDF算法的優(yōu)點(diǎn)是簡(jiǎn)單快速，結(jié)果比較符合實(shí)際情況。缺點(diǎn)是，單純以"詞頻"衡量一個(gè)詞的重要性，不夠全面，有時(shí)重要的詞可能出現(xiàn)次數(shù)并不多。而且，這種算法無(wú)法體現(xiàn)詞的位置信息，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對(duì)全文的第一段和每一段的第一句話(huà)，給予較大的權(quán)重。）4.2jiebaR關(guān)鍵詞提取jiebaR包的關(guān)鍵詞提取提取的實(shí)現(xiàn)，也是使用了TF-IDF的算法。在安裝目錄中的idf.utf8文件，為IDF的語(yǔ)料庫(kù)。查看idf.utf8內(nèi)容。idf.utf8文件每一行有2列，第一列是詞項(xiàng)，第二列為權(quán)重。然后，我通過(guò)計(jì)算文檔的詞頻(TF)，與語(yǔ)料庫(kù)的IDF值相乘，就可以得到TF-IDF值，從而提取文檔的關(guān)鍵詞。4.2jiebaR關(guān)鍵詞提取比如，我們對(duì)“政府工作報(bào)告”的文本內(nèi)容進(jìn)行關(guān)鍵詞的提取：>keys=worker(type='keywords',topn=10)>keys["./政府工作報(bào)告.txt"]586.96505.096479.059338.501332.221275.099270.002270.002256.253251.325"新""改革""發(fā)展""推進(jìn)""加強(qiáng)""建設(shè)""更""穩(wěn)""完善""深化"4.3批量提取關(guān)鍵詞

在對(duì)很多文本文件處理時(shí)，需要批量提取關(guān)鍵詞：>path<-"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告">fileNames<-dir(path)>fileNames[1]"2010年政府工作報(bào)告.txt""2011年政府工作報(bào)告.txt""2012年政府工作報(bào)告.txt""2013年政府工作報(bào)告.txt""2014年政府工作報(bào)告.txt""2015年政府工作報(bào)告.txt"[7]"2016年政府工作報(bào)告.txt""2017年政府工作報(bào)告.txt""2018年政府工作報(bào)告.txt""2019年政府工作報(bào)告.txt“4.3批量提取關(guān)鍵詞生成完整的文件路徑：>filePath<-paste(path,fileNames,sep='/')>filePath2010年政府工作報(bào)告.txt2011年政府工作報(bào)告.txt"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2010年政府工作報(bào)告.txt""E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2011年政府工作報(bào)告.txt"2012年政府工作報(bào)告.txt2013年政府工作報(bào)告.txt"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2012年政府工作報(bào)告.txt""E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2013年政府工作報(bào)告.txt"2014年政府工作報(bào)告.txt2015年政府工作報(bào)告.txt"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2014年政府工作報(bào)告.txt""E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2015年政府工作報(bào)告.txt"2016年政府工作報(bào)告.txt2017年政府工作報(bào)告.txt"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2016年政府工作報(bào)告.txt""E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2017年政府工作報(bào)告.txt"2018年政府工作報(bào)告.txt2019年政府工作報(bào)告.txt"E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2018年政府工作報(bào)告.txt""E:/文本挖掘/練習(xí)預(yù)料/各年政府工作報(bào)告/2019年政府工作報(bào)告.txt"

4.3批