文本特征提取技術(shù)

文本特征提取2023/9/2五校聯(lián)合大數(shù)據(jù)分析碩士培養(yǎng)非結(jié)構(gòu)化數(shù)據(jù)分析主要內(nèi)容2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析文本表示特征提取特征權(quán)重文本表示第一講：文本挖掘簡(jiǎn)介2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析文本表示及文本預(yù)處理2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析去掉html一些tag標(biāo)記停用詞(stopwords)去除、詞根還原(stemming)(中文)分詞、詞性標(biāo)注、短語(yǔ)識(shí)別、…詞頻統(tǒng)計(jì)(TFIDF)數(shù)據(jù)清洗：去掉噪聲文檔或文檔內(nèi)垃圾數(shù)據(jù)向量空間模型[G.Salton,1971]2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析向量空間模型(VectorSpaceModel)自然語(yǔ)言處理常用模型基本概念文檔（Document）：句子、段落、整篇文章特征項(xiàng)（Term/Feature）：詞根/詞/短語(yǔ)/其他項(xiàng)的權(quán)重（Weight）：每個(gè)特征項(xiàng)在文檔中的重要程度。

VSM示意圖—數(shù)據(jù)結(jié)構(gòu)化一般思路2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征詞1特征詞2特征詞3……特征詞n文檔1權(quán)重11權(quán)重12權(quán)重13……權(quán)重1n文檔2權(quán)重21權(quán)重22權(quán)重23……權(quán)重2n文檔3權(quán)重31權(quán)重32權(quán)重33……權(quán)重3n文檔4權(quán)重41權(quán)重42權(quán)重43……權(quán)重4n………………………………文檔m權(quán)重m1權(quán)重m2權(quán)重m3……權(quán)重mnVSM示意圖相似度比較內(nèi)積計(jì)算Cosine計(jì)算2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析

文本表示注解2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析文本表示注解2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析用單個(gè)漢字（對(duì)應(yīng)英語(yǔ)語(yǔ)系中的字符串）做特征，不考慮詞語(yǔ)的含義。直接利用漢字在文本中出現(xiàn)的統(tǒng)計(jì)特性對(duì)文本進(jìn)行劃分；直觀明了，且操作簡(jiǎn)單，尤其對(duì)于英文文本或其他西語(yǔ)文本的劃分非常容易，計(jì)算機(jī)可以直接利用空格進(jìn)行分隔。但是基于單個(gè)漢字表示方法往往無(wú)法很好的代表語(yǔ)義信息。比較之下，使用詞做特征成為一種更好的選擇。詞是中文語(yǔ)義的最小信息單位，詞可以更好的反映句子中的信息，但是分析難度也提升了。以中文文本為例，詞與詞之間沒(méi)有明確的分隔標(biāo)記，計(jì)算機(jī)無(wú)法自動(dòng)識(shí)別詞語(yǔ)的邊界，因此正確分詞是這種表示方法的關(guān)鍵。該方法比較常用。文本表示注解2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析詞性（PartOfSpeech，POS）作為特征可以更好的識(shí)別詞語(yǔ)之間的關(guān)系。讓計(jì)算機(jī)來(lái)自動(dòng)地給文本中的詞標(biāo)注詞性，然后利用詞性進(jìn)行詞義分析。如：什么樣的名詞經(jīng)常和什么樣的動(dòng)詞同時(shí)出現(xiàn)，這對(duì)于詞語(yǔ)之間關(guān)系的研究開(kāi)拓了新的思路。詞性標(biāo)注技術(shù)的成熟為詞組組塊（PhraseChunking）的界定與實(shí)體及關(guān)系（EntitiesandRelationship）的識(shí)別打下了良好的基礎(chǔ)，有利于我們更深入的探索文本語(yǔ)義的信息。且詞組的形式提高了特征向量的語(yǔ)義含量，使得向量更稀疏。近年來(lái)，詞性標(biāo)注（POS-tagging）、詞組組塊（PhraseChunking）、實(shí)體及關(guān)系(EntitiesandRelationship)相關(guān)的研究也開(kāi)展了很多，取得了很多可喜的成果，有興趣的讀者可以參考后面所附的文獻(xiàn)進(jìn)行深入學(xué)習(xí)。特征權(quán)重2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征權(quán)重2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析衡量某個(gè)特征項(xiàng)在文檔表示中的重要程度或者區(qū)分能力的強(qiáng)弱更好的對(duì)文本進(jìn)行表示一般利用文本的統(tǒng)計(jì)信息：詞頻常用的權(quán)重計(jì)算方法2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析

TF-IDF例子（Saltonetal.,1983）2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析假設(shè)抓取了來(lái)自門(mén)戶(hù)網(wǎng)站“經(jīng)濟(jì)”“娛樂(lè)”“科技”三個(gè)版塊各300篇文章，其中有一篇文章，共有100個(gè)詞，其中“粒子”“和”“應(yīng)用”三個(gè)詞分別出現(xiàn)了5次、35次和15次，我們想將該文檔進(jìn)行歸類(lèi)，看它屬于“經(jīng)濟(jì)”“娛樂(lè)”“科技”文檔中的哪一類(lèi)。初步分析認(rèn)為，“粒子”、“應(yīng)用”兩個(gè)詞應(yīng)該對(duì)文章分類(lèi)的作用較大，而“和”對(duì)于文章的分析意義不大。更進(jìn)一步的，如果目標(biāo)是進(jìn)行文檔的歸類(lèi)，有理由認(rèn)為“粒子”一詞對(duì)于該文章的歸屬的貢獻(xiàn)要高于“應(yīng)用”?！皯?yīng)用”一詞的專(zhuān)業(yè)性不及“粒子”。TF-IDF

應(yīng)用舉例2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析詞語(yǔ)詞頻（TF）文檔頻率(DF)文檔逆頻率(IDF)權(quán)重（TF*IDF）粒子0.05509000.063和0.359009000應(yīng)用0.154509000.045但是如果只關(guān)注詞頻

，“應(yīng)用”一詞的權(quán)重更高。這時(shí)候，可以利用IDF的計(jì)算公式進(jìn)行權(quán)重的處理，計(jì)算三個(gè)詞的文檔頻率和文檔逆頻率，假設(shè)50篇文章中出現(xiàn)了“粒子”一詞，450篇文章中出現(xiàn)了“應(yīng)用”一詞，900篇文章中均出現(xiàn)了“和”這個(gè)詞語(yǔ)。那么采用TF*IDF方法計(jì)算得到的權(quán)重如下：特征權(quán)重注解2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征加權(quán)方法最初用于信息檢索，特征加權(quán)主要有三個(gè)層次，局部加權(quán)、全局加權(quán)和標(biāo)準(zhǔn)化(Chisholmetal.,1999)。一般化的特征加權(quán)表示式如下：

是詞語(yǔ)w在文檔d中的局部權(quán)重。

是詞語(yǔ)w在文檔集合中的全局權(quán)重，

是文檔d的標(biāo)準(zhǔn)化因子。局部加權(quán)僅使用詞語(yǔ)在文檔中出現(xiàn)的統(tǒng)計(jì)量，而全局加權(quán)則使用整個(gè)數(shù)據(jù)集中的統(tǒng)計(jì)量進(jìn)行計(jì)算。特征提取2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征提取的意義2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析文本集合包含的特征太多10,000–1,000,000uniquewords…andmore特征減少后，某些算法才能使用有些分類(lèi)方法無(wú)法處理1,000,000以上的特征減少訓(xùn)練時(shí)間有些分類(lèi)方法的訓(xùn)練時(shí)間與特征個(gè)數(shù)的平方成正比，或更糟使預(yù)測(cè)模型更快、更小能提升總體性能EliminatesnoisefeaturesAvoidsoverfitting特征提取思路2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征選擇(FeatureSelection)文檔頻率信息增益卡方統(tǒng)計(jì)量互信息特征重構(gòu)(Re-parameterisation)潛在語(yǔ)義分析文檔頻率（DocumentFrequency,DF）2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析文檔頻率（DF）指文本數(shù)據(jù)中包含某個(gè)詞條的文檔的個(gè)數(shù)。通過(guò)文檔頻率進(jìn)行特征選擇就是按照文檔頻率的大小對(duì)詞條進(jìn)行排序，將文檔頻率小于某一閾值的詞刪除，從而降低特征空間的維數(shù)。文檔頻率2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析基于DF的啟發(fā)式要點(diǎn)太頻繁的詞項(xiàng)沒(méi)有區(qū)分度,DF大于某個(gè)閾值去掉太稀有的詞項(xiàng)獨(dú)立表達(dá)的類(lèi)別信息不強(qiáng)稀有詞項(xiàng)的全局影響力不大在訓(xùn)練集中，某些文檔如果有某個(gè)稀有詞項(xiàng)，它們通常也會(huì)有一些常見(jiàn)詞項(xiàng)（對(duì)那一類(lèi)）和通常信息獲取觀念有些抵觸：稀有的更有代表性（這是一種adhoc方法，不依據(jù)什么理論）最容易實(shí)現(xiàn)，可擴(kuò)展性好文檔頻率2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析Baeza-YatesandRibeiro-Neto（1990）研究表明，若一個(gè)特征在語(yǔ)料集80%的文檔中都出現(xiàn)了，它對(duì)于分類(lèi)來(lái)說(shuō)是無(wú)意義的。這樣的詞語(yǔ)主要是指停用詞等，通過(guò)對(duì)這部分詞語(yǔ)的壓縮，可以使特征向量空間壓縮到原始的40%或者更多。對(duì)于出現(xiàn)頻率過(guò)低的詞語(yǔ)，考慮到增加一個(gè)變量對(duì)于現(xiàn)實(shí)帶來(lái)的成本，一般不利用這樣的詞語(yǔ)，而是盡可能少的選取其他詞條。YangandPedersen（1997）試驗(yàn)表明：在分類(lèi)效果沒(méi)有變差的前提下將特征空間的維數(shù)約減為原來(lái)的1/10是可能的，約減為1/100所帶來(lái)的損失很小。熵2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析對(duì)分類(lèi)系統(tǒng)來(lái)說(shuō)，文檔類(lèi)別C的可能取值是每一個(gè)類(lèi)別出現(xiàn)的概率是

為類(lèi)別的總數(shù)，熵定義為：熵/平均熵2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析在觀察到特征項(xiàng)

以后，文檔落入某個(gè)文檔類(lèi)的概率就應(yīng)該是條件概率此時(shí)系統(tǒng)的熵為：該特征項(xiàng)的熵：該值越大，說(shuō)明分布越均勻，越有可能出現(xiàn)在較多的類(lèi)別中；該值越小，說(shuō)明分布越傾斜，特征項(xiàng)可能出現(xiàn)在較少的類(lèi)別中信息增益(InformationGain,IG)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析該term為整個(gè)分類(lèi)所能提供的信息量特征項(xiàng)出現(xiàn)與否導(dǎo)致的熵的變化考慮和不考慮特征的熵的差值

信息增益2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析信息增益2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析信息量與變量可能的變化有關(guān)，跟變量具體的取值沒(méi)有任何關(guān)系，只和變量所取的種類(lèi)多少以及發(fā)生概率有關(guān)），種類(lèi)和發(fā)生概率決定了信息量的大小。Quinlan提到了這一點(diǎn)，信息增益的方法總是傾向于選擇有多種屬性的特征。只能考察特征對(duì)整個(gè)系統(tǒng)的貢獻(xiàn)，而不能具體到某個(gè)類(lèi)別上，這就使得它只適合用來(lái)做所謂“全局”的特征選擇（指所有的類(lèi)都使用相同的特征集合），而無(wú)法做“局部”的特征選擇（每個(gè)類(lèi)別有自己的特征集合，因?yàn)橛械脑~，對(duì)這個(gè)類(lèi)別很有區(qū)分度，對(duì)另一個(gè)類(lèi)別則無(wú)足輕重）。χ2統(tǒng)計(jì)量2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析基本思想通過(guò)觀察實(shí)際值與理論值的偏差來(lái)確定理論的正確與否。假設(shè)兩個(gè)變量確實(shí)是獨(dú)立的，然后觀察實(shí)際值與理論值的偏差程度。如果偏差足夠小，認(rèn)為誤差是很自然的樣本誤差，兩者確實(shí)獨(dú)立；如果偏差大到一定程度，使得這樣的誤差不太可能是偶然產(chǎn)生或者測(cè)量不精確所致，認(rèn)為兩者相關(guān)。2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析那么偏差為：χ2統(tǒng)計(jì)量2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析χ2統(tǒng)計(jì)量2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析卡方度量?jī)烧?term和類(lèi)別)獨(dú)立性的缺乏程度χ2越大，獨(dú)立性越小，相關(guān)性越大若AD<BC,則類(lèi)和詞獨(dú)立,N=A+B+C+D低頻詞缺陷2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析只統(tǒng)計(jì)文檔中是否出現(xiàn)詞條T，卻忽略了詞條T在文檔中出現(xiàn)頻率的信息，使得卡方檢驗(yàn)對(duì)低頻詞有所偏袒，這就夸大了低頻詞的作用。如果某一特征只在一類(lèi)文檔中頻繁出現(xiàn)，通過(guò)卡方法計(jì)算出來(lái)的卡方統(tǒng)計(jì)量很低，在特征選擇時(shí)這種特征詞就會(huì)被排除掉，但是這種在少量文檔中頻繁出現(xiàn)的特征詞很有可能對(duì)分類(lèi)的貢獻(xiàn)很大，比如專(zhuān)指概念?；バ畔⒎?MutualInformation,MI)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析MI越大,特征項(xiàng)t和c共現(xiàn)程度越大(N=A+B+C+D)互信息特點(diǎn)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析MI(t,C)的值越大，t對(duì)于C的區(qū)分能力越強(qiáng)對(duì)同一個(gè)類(lèi)，不同的詞項(xiàng)，在同樣P(t|C)情況下，相對(duì)稀有的t會(huì)得到較大的值，即MI受到詞條邊際概率的影響，從下面的公式中可得：

潛在語(yǔ)義分析

(LatentSemanticAnalysis，LSA)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析特征重構(gòu)方法SVD分解是LSA的數(shù)學(xué)基礎(chǔ)特征值與特征向量實(shí)對(duì)稱(chēng)矩陣的正交化SVD矩陣分解低階近似特征值/特征向量設(shè)A是n階方陣，如果數(shù)和n維非零列向量，使：

成立，則稱(chēng)數(shù)為方陣A的一個(gè)特征值，非零列向量稱(chēng)為A的對(duì)應(yīng)于特征值的特征向量（或稱(chēng)為A的屬于特征值的特征向量）。具體步驟為

將特征向量正交化;3.再將特征向量單位化.4.利用正交矩陣將實(shí)對(duì)稱(chēng)矩陣對(duì)角化這樣共可得到m個(gè)兩兩正交的單位特征向量有5.以為列向量構(gòu)成正交矩陣實(shí)對(duì)稱(chēng)矩陣正交化由可得其中Q的列為矩陣A的單位正交特征向量,仍表示對(duì)角矩陣,其中對(duì)角線上的值為A的特征值，按從大到小排列。最后，QT=Q-1，因?yàn)檎痪仃嚨哪娴扔谄滢D(zhuǎn)置。實(shí)對(duì)稱(chēng)矩陣對(duì)角化

已知矩陣A，尋找行空間的一組標(biāo)準(zhǔn)正交基記為V，通過(guò)A作用到行空間的這組標(biāo)準(zhǔn)正交基上AV，得到列空間的一組基向量，記為B，把B標(biāo)準(zhǔn)化后得U，這里就可以得到用分量的形式表示：

奇異值分解SVD對(duì)于

，方程兩邊同乘，可以得到,由于V是標(biāo)準(zhǔn)正交基構(gòu)成的矩陣，有，因此可得：

U，V求解？

由，可以得到：

而

為對(duì)稱(chēng)非負(fù)定矩陣，為對(duì)角矩陣，可以得到為的特征向量構(gòu)成的矩陣。

低階近似和F-范數(shù)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析令

表示一個(gè)

階的原始數(shù)據(jù)矩陣,矩陣的秩為

為了不失一般性，我們假定

的均值為0，SVD奇異值分解可以表示成下面的過(guò)程：根據(jù)著名EckartandYoung(1936)年的結(jié)果,對(duì)于任意的有：在Frobenius范數(shù)下，SVD的前r個(gè)元素給出了矩陣的秩為r的一個(gè)最優(yōu)估計(jì)。，，

潛在語(yǔ)義分析(LatentSemanticAnalysis,LSA，1990，Deerwesteret.al）2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析LSA是文本分析中一種常用的降維技術(shù)。該方法以文檔詞頻矩陣為基礎(chǔ)進(jìn)行分析，得到了向量空間模型中文檔的高維表示，并通過(guò)投影形成文檔在潛在語(yǔ)義空間中的低維表示。理論依據(jù)是我們認(rèn)為有一種潛在的語(yǔ)義結(jié)構(gòu)隱含在文檔中詞語(yǔ)的上下文使用模式中，而文檔詞頻共現(xiàn)矩陣在一定程度上可以反映出詞和不同主題之間的關(guān)系。潛在語(yǔ)義分析方法很好的解決了同義詞和一詞多義等現(xiàn)象給文本分析造成的困難。LSA被提出后，被廣泛用于文本檢索和聚、分類(lèi)技術(shù)中。LSA理解2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析

X表示一個(gè)文檔和詞語(yǔ)的共現(xiàn)頻率矩陣,X的每一行均代表一個(gè)文檔向量，每一列代表詞語(yǔ)向量。LSA將每個(gè)文本視為以詞語(yǔ)（特征）為維度的空間中的一個(gè)點(diǎn)，認(rèn)為一個(gè)包含語(yǔ)義的文本出現(xiàn)在這種空間中，它的分布不是隨機(jī)的，而是應(yīng)該服從某種語(yǔ)義結(jié)構(gòu)。同樣地，也將每個(gè)詞語(yǔ)視為以文檔為維度的空間中的一個(gè)點(diǎn)。文檔是由詞語(yǔ)組成的，而詞語(yǔ)又要放到文本中去理解，體現(xiàn)了一種“詞語(yǔ)-文檔”之間的雙重概率關(guān)系。LSA示意圖2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析性質(zhì)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析從數(shù)據(jù)壓縮的角度看，“近似矩陣”是秩為

K的前提下矩陣X的最小二乘意義下的最佳近似。LSA不同于向量空間模型中文本和詞語(yǔ)的高維表示，它將文本和詞語(yǔ)的高維表示投影在低維的潛在語(yǔ)義空間中，縮小了問(wèn)題的規(guī)模，得到詞語(yǔ)和文本的相對(duì)不那么稀疏的低維表示，同時(shí)這種低維表示揭示出了“文檔-語(yǔ)義-詞語(yǔ)”之間的聯(lián)系。K值的選擇2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析k值過(guò)大則會(huì)使運(yùn)算量增大，一般選特征值個(gè)數(shù)

時(shí)，對(duì)于，可令滿足貢獻(xiàn)率不等式：

（

可取40%，50%．．．．）潛語(yǔ)義分析缺點(diǎn)2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析但是可以注意到

，

分解的兩個(gè)向量元素，可以為正值，也可以為負(fù)值，這些性質(zhì)導(dǎo)致

和

總是很難解釋。潛在語(yǔ)義分析過(guò)程中奇異值分解的物理意義不夠明確，較難控制詞義聚類(lèi)的效果；此外該算法涉及高維且復(fù)雜的矩陣運(yùn)算，這使得其在計(jì)算機(jī)上的實(shí)現(xiàn)也存在一定的困難。LSI應(yīng)用例子2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析編號(hào)

文本Doc1我們學(xué)習(xí)了探索性數(shù)據(jù)分析課程。Doc2數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析。Doc3數(shù)據(jù)分析:一般要分析的目標(biāo)比較明確，分析條件也比較清楚。Doc4數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動(dòng)。Doc5數(shù)據(jù)挖掘一般指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中的信息的過(guò)程。Doc6數(shù)據(jù)挖掘：目標(biāo)不是很清晰，要依靠挖掘算法來(lái)找出隱藏在大量數(shù)據(jù)中的規(guī)則、模式、規(guī)律等。處理稀疏詞匯后—文本矩陣2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析詞匯Doc1Doc2Doc3Doc4Doc5Doc6方法010000分析132100目標(biāo)000001判斷000100數(shù)據(jù)021112算法000011挖掘000012隱藏000010利用VSM得到相似度2023/9/2非結(jié)構(gòu)化數(shù)據(jù)分析上述實(shí)例文本字?jǐn)?shù)較少，我們采用余弦公式計(jì)算相似度。在VSM中是把每一行作為對(duì)應(yīng)詞匯的詞匯向量的，則通過(guò)計(jì)算“數(shù)據(jù)”和“分析”的相似度為0.700，“數(shù)據(jù)”和“挖掘”的相似度為0.674，“分析”和“挖掘”的相似度為0，可見(jiàn)在VSM中，“分析”和“挖掘”沒(méi)有任何關(guān)系的，但是，事實(shí)究竟是怎樣的呢