統(tǒng)計(jì)語言模型及數(shù)據(jù)平滑技術(shù)

統(tǒng)計(jì)語言模型劉杰liujxxxy@126.com.07.12.202312主要內(nèi)容

概述數(shù)學(xué)建模一.統(tǒng)計(jì)語言模型概述二.現(xiàn)有的主要統(tǒng)計(jì)語言模型三.數(shù)據(jù)平滑方法.07.12.20233概述我們?yōu)槭裁葱枰y(tǒng)計(jì)語言模型？統(tǒng)計(jì)語言模型出現(xiàn)的歷史：1、從小規(guī)模受限語言處理走向大規(guī)模真實(shí)文本處理的。把這個(gè)新目標(biāo)正式列入大會(huì)主題的是1990年在赫爾辛基舉行的第13屆國(guó)際計(jì)算語言學(xué)大會(huì)（Coling’90）。

2、1992年在蒙特利爾召開的第4屆機(jī)器翻譯的理論和方法國(guó)際會(huì)議(TMI-92)宣布大會(huì)的主題是：“機(jī)器翻譯中的經(jīng)驗(yàn)主義和理性主義方法”。公開承認(rèn)，在傳統(tǒng)的基于語言學(xué)和人工智能方法的自然語言處理技術(shù)以外，還有一種基于語料庫(kù)和統(tǒng)計(jì)語言模型的新方法正在迅速崛起。.07.12.20234概述

首先成功利用數(shù)學(xué)方法解決自然語言處理問題的是語音和語言處理大師賈里尼克(FredJelinek)。當(dāng)時(shí)賈里尼克在IBM公司做學(xué)術(shù)休假(SabbaticalLeave)，領(lǐng)導(dǎo)了一批杰出的科學(xué)家利用大型計(jì)算機(jī)來處理人類語言問題。統(tǒng)計(jì)語言模型就是在那個(gè)時(shí)候提出的。十幾年后，李開復(fù)用統(tǒng)計(jì)語言模型把997詞語音識(shí)別的問題簡(jiǎn)化成了一個(gè)20詞的識(shí)別問題，實(shí)現(xiàn)了有史以來第一次大詞匯量非特定人連續(xù)語音的識(shí)別。.07.12.20235概述歷史上曾經(jīng)先后出現(xiàn)過兩個(gè)方法迥異的英語詞性標(biāo)注系統(tǒng)：TAGGIT系統(tǒng)擁有3000條上下文相關(guān)規(guī)則，而CLAWS系統(tǒng)[6]完全采用概率統(tǒng)計(jì)方法。兩個(gè)系統(tǒng)各自完成了100萬詞次的英語語料庫(kù)的自動(dòng)詞性標(biāo)注任務(wù)。評(píng)則結(jié)果表明，采用概率統(tǒng)計(jì)方法的CLAWS系統(tǒng)的標(biāo)注精度達(dá)到96%，比TAGGIT系統(tǒng)提高了近20個(gè)百分點(diǎn)。.07.12.20236語言建模從統(tǒng)計(jì)角度看，自然語言中的一個(gè)句子s可以由任何詞串構(gòu)成。不過P(s)有大有小。如：

s1=我剛吃過晚飯

s2=剛我過晚飯吃(并不要求語法是完備的,可對(duì)任意s給出概率)P(s1)>P(s2)對(duì)于給定的句子s而言，通常P(s)是未知的。對(duì)于一個(gè)服從某個(gè)未知概率分布P的語言L，根據(jù)給定的語言樣本估計(jì)P的過程被稱作語言建模。.07.12.20237語言建模根據(jù)語言樣本估計(jì)出的概率分布P就稱為語言L的語言模型。語言建模技術(shù)首先在語音識(shí)別研究中提出，后來陸續(xù)用到OCR、手寫體識(shí)別、機(jī)器翻譯、信息檢索等領(lǐng)域。在語音識(shí)別中，如果識(shí)別結(jié)果有多個(gè)，則可以根據(jù)語言模型計(jì)算每個(gè)識(shí)別結(jié)果的可能性，然后挑選一個(gè)可能性較大的識(shí)別結(jié)果。漢語切分歧義消解？（借助語言模型）.07.12.20238一、統(tǒng)計(jì)語言模型概述設(shè)wi是文本中的任意一個(gè)詞，如果已知它在該文本中的前兩個(gè)詞

wi-2wi-1，便可以用條件概率P(wi|wi-2wi-1)來預(yù)測(cè)wi出現(xiàn)的概率。這就是統(tǒng)計(jì)語言模型的概念。.07.12.20239一、統(tǒng)計(jì)語言模型概述“Johnreada______”給定一個(gè)句子中前面n-1個(gè)詞，預(yù)測(cè)下面的詞是哪個(gè)詞。由于語言的規(guī)律性，句子中前面出現(xiàn)的詞對(duì)后面可能出現(xiàn)的詞有很強(qiáng)的預(yù)示作用。.07.12.202310一、現(xiàn)有的主要統(tǒng)計(jì)語言模型對(duì)于二元模型：對(duì)于一個(gè)句子出現(xiàn)的概率可用下式估計(jì)（鏈?zhǔn)揭?guī)則）：我們引進(jìn)一個(gè)起始詞.07.12.202311概率p(wi|wi-1)一般采用最大相似度估計(jì)的方法估計(jì):.07.12.2023121、n-gram為了便于計(jì)算，通?？紤]的歷史不能太長(zhǎng)，一般只考慮前面n-1個(gè)詞構(gòu)成的歷史。即：.07.12.2023131、n-gram“thelargegreen______.”

“mountain”?“tree”?“Sueswallowedthelargegreen______.”

“pill”?“broccoli”?如果知道“Sueswallowed”會(huì)縮小可選擇的下一個(gè)詞的范圍。如何選擇n?.07.12.2023141、n-gramn較大時(shí)提供了更多的語境信息，語境更具區(qū)別性但是，參數(shù)個(gè)數(shù)多、計(jì)算代價(jià)大、訓(xùn)練語料需要多、參數(shù)估計(jì)不可靠。n較小時(shí)語境信息少，不具區(qū)別性但是，參數(shù)個(gè)數(shù)少、計(jì)算代價(jià)小、訓(xùn)練語料無需太多、參數(shù)估計(jì)可靠。.07.12.2023151、n-gram語言模型一般來說，如果用變量s代表文本中一個(gè)任意的詞序列，它由順序排列的L個(gè)詞組成，即s=w1w2...wL，則統(tǒng)計(jì)語言模型就是該詞序列s在文本中出現(xiàn)的概率P(s)利用概率的乘積公式，P(s)可展開為：

不難看出，為了預(yù)測(cè)詞wn的出現(xiàn)概率，必須知道它前面所有詞的出現(xiàn)概率。從計(jì)算上來看，這種方法太復(fù)雜了。.07.12.202316統(tǒng)計(jì)語言模型有點(diǎn)像天氣預(yù)報(bào)中使用的概率方法，用來估計(jì)概率參數(shù)的大規(guī)模語料庫(kù)好比是一個(gè)地區(qū)歷年積累起來的氣象記錄。而用三元模型來做天氣預(yù)報(bào)，就好比是根據(jù)前兩天的天氣情況來預(yù)測(cè)今天的天氣。天氣預(yù)報(bào)當(dāng)然不可能百分之百準(zhǔn)確，但是我們大概不會(huì)因此就全盤否定這種實(shí)用的概率方法..07.12.202317三元模型（或一般的N元模型）只利用了語言的表層信息（或知識(shí)），即符號(hào)（字、詞、詞性標(biāo)記等）序列的同現(xiàn)信息。不能說它是十全十美的。在這一領(lǐng)域中，下一個(gè)研究目標(biāo)應(yīng)當(dāng)是結(jié)構(gòu)化對(duì)象（如句法樹或語義框架）的統(tǒng)計(jì)模型。當(dāng)然能做到語言理解是了不起的成果，它肯定會(huì)比目前這種統(tǒng)計(jì)語言模型強(qiáng)得多，這是不爭(zhēng)的事實(shí)。問題是目前國(guó)內(nèi)外還沒有哪一種語言的句法-語義分析系統(tǒng)可以勝任大規(guī)模真實(shí)文本處理的重任。因此，對(duì)于世界各國(guó)的語言來說，當(dāng)前的主流技術(shù)仍是語料庫(kù)方法和統(tǒng)計(jì)語言模型。.07.12.2023181、n-gram語言模型計(jì)算量：

設(shè)詞表里共有V個(gè)不同的詞，共有個(gè)不同的N-1元組，對(duì)于每個(gè)分布，又必須估算V個(gè)參數(shù)，因此共需估算出個(gè)參數(shù)。若V=10000,N=3,則必須計(jì)算出1012個(gè)參數(shù)。因此N不能取得太大，一般取2或3。.07.12.2023191、n-gramunigram(n=1)p(wi)若語言中有20000個(gè)詞，則需要估計(jì)20000個(gè)參數(shù)bigram(n=2)p(wi|wi-1)若語言中有20000個(gè)詞，則需要估計(jì)200002個(gè)參數(shù)trigram(n=3)p(wi|wi-2wi-1)若語言中有20000個(gè)詞，則需要估計(jì)200003個(gè)參數(shù)four-gram(n=4)很少使用、不太現(xiàn)實(shí)(有時(shí)也稱為digram或quadrigram).07.12.2023201、n-gram語言模型二元、三元及n元模型的公式表示：tri-gram:如果任意一個(gè)詞wi的出現(xiàn)概率只同它前面的兩個(gè)詞有關(guān)，問題就可以得到極大的簡(jiǎn)化。這時(shí)的語言模型叫做三元模型

bi-gram:假設(shè)當(dāng)前詞的出現(xiàn)概率僅與前一個(gè)詞有關(guān)，句子的概率可以表示為.07.12.2023211.n-gram語言模型

式中c(...)表示一個(gè)特定詞序列在整個(gè)語料庫(kù)中出現(xiàn)的累計(jì)次數(shù)。n-gram:一般來說，n元模型就是假設(shè)當(dāng)前詞的出現(xiàn)概率只同它前面的n-1個(gè)詞有關(guān)。重要的是這些概率參數(shù)都是可以通過大規(guī)模語料庫(kù)來計(jì)算的。比如三元、二元概率有.07.12.2023221、n-gram語言模型舉例兩個(gè)概念：訓(xùn)練語料(trainingdata)：用于建立模型的給定語料。最大似然估計(jì)(maximumlikelihood,ML)：用相對(duì)頻率計(jì)算概率的公式。例如，給定訓(xùn)練語料：“JohnreadMobyDick”，“Maryreadadifferentbook”,“ShereadabookbyCher”

求”Johnreadabook”的二元文法的概率..07.12.2023231、n-gram語言模型舉例.07.12.2023241、n-gram語言模型舉例句子的概率表現(xiàn)為若干bigram參數(shù)的乘積，若句子太長(zhǎng)，計(jì)算時(shí)，會(huì)引起下溢(underflow)，可以采用取對(duì)數(shù)并相加的方式。

Ln(P(JOHNREADABOOK))=Ln(p(JOHN|<BOS>))+Ln(p(READ|JOHN))+Ln(p(A|READ))+Ln(p(BOOK|A))+Ln(p(<EOS>|BOOK))=Ln(1/3)+Ln(1)+Ln(2/3)+Ln(1/2)+Ln(1/2)=-2.8902.07.12.2023251、建立n-gram數(shù)據(jù)準(zhǔn)備:確定訓(xùn)練語料對(duì)語料進(jìn)行tokenization或切分句子邊界，增加兩個(gè)特殊的詞<BOS>和<EOS>

Ieat.

<BOS>Ieat.<EOS>

Isleep.

<BOS>Isleep.<EOS>參數(shù)估計(jì)利用訓(xùn)練語料，估計(jì)模型參數(shù).07.12.2023261、建立n-gram（最大似然估計(jì)(MLE)）令c(w1,..,wn)表示n-gramw1,..,wn

在訓(xùn)練語料中出現(xiàn)的次數(shù)。則.07.12.2023271.n-gram語言模型應(yīng)用1.1

語音識(shí)別語音識(shí)別作為計(jì)算機(jī)漢字輸入的另一種方式越來越受到業(yè)內(nèi)人士的青睞。所謂聽寫機(jī)就是語音識(shí)別的一種商品。那么當(dāng)前商品化的聽寫機(jī)采用的是什么技術(shù)呢？

其實(shí)，語音識(shí)別任務(wù)可視為對(duì)以下條件概率極大值的計(jì)算問題：

s*=argmaxsP(s|speechsignal)=argmaxsP(speechsignal|s)P(s)/P(speechsignal)=argmaxsP(speechsignal|s)P(s)

式中數(shù)學(xué)符號(hào)argmaxs

表示對(duì)不同的候選詞序列s計(jì)算條件概率P(s|speechsignal)的值，從而使s*成為條件概率值最大的詞序列。它也就是當(dāng)前輸入語音信號(hào)speechsignal所對(duì)應(yīng)的輸出詞串了。.07.12.2023281.n-gram語言模型應(yīng)用公式第二行是利用貝葉斯定律轉(zhuǎn)寫的結(jié)果，因?yàn)闂l件概率P(speechsignal|s)比較容易估值。公式的分母P(speechsignal)對(duì)給定的語音信號(hào)是一個(gè)常數(shù)，不影響極大值的計(jì)算，故可以從公式中刪除。在公式第三行所示的結(jié)果中，P(s)叫做統(tǒng)計(jì)語言模型；P(speechsignal|s)叫做聲學(xué)模型。

據(jù)調(diào)查，目前市場(chǎng)上中文和英文的聽寫機(jī)產(chǎn)品都是用詞的三元模型實(shí)現(xiàn)的,幾乎完全不用句法-語義分析手段。如同漢語拼音輸入法中的拼音－漢字轉(zhuǎn)換.07.12.2023291.n-gram語言模型應(yīng)用1.2分詞句子s=c1c2···cms=w1w2···wk，n元模型如果n＝1，即uni-gram，C為語料.07.12.2023301.3詞性標(biāo)注句子分詞后，對(duì)每個(gè)詞進(jìn)行詞性標(biāo)注。由于存在兼類詞，例如“學(xué)習(xí)”就是n、v兼類。考慮用n-gram模型(詞性的n元語法模型)。.07.12.20232023/12/731322、上下文無關(guān)模型1、上下文無關(guān)模型：Nw表示詞w在訓(xùn)練文本中出現(xiàn)的總次數(shù)，N為訓(xùn)練文本的總詞數(shù)，被稱為一元文法統(tǒng)計(jì)模型優(yōu)點(diǎn)：僅僅需要非常少的訓(xùn)練數(shù)據(jù)缺點(diǎn)：沒有考慮上下文信息，統(tǒng)計(jì)信息不充分，精確度不高。

.07.12.2023333、N-POS模型在N-pos模型中，一個(gè)詞出現(xiàn)的概率條件地依賴于前N-1個(gè)詞的詞類，令g(w)表示詞w的詞類。假設(shè)一個(gè)詞的詞類出現(xiàn)概率條件地依賴于前N-1個(gè)詞的詞類，而該詞本身的概率依賴于該詞所屬的詞類，則得到下式：共需估算個(gè)參數(shù)。G為詞類的集合.共需估算出個(gè)參數(shù).07.12.2023343、N-POS模型考慮到一詞多類，比如“學(xué)習(xí)”可以是動(dòng)詞也可以是名詞，出現(xiàn)的概率應(yīng)該是作為名詞的概率加上作為動(dòng)詞的概率，有如下公式：優(yōu)點(diǎn)：需要的訓(xùn)練數(shù)據(jù)比N-gram模型少，模型的參數(shù)空間小得多缺點(diǎn)：詞的概率依賴詞性，不如詞本身的劃分更加精細(xì)，實(shí)際應(yīng)用中一般難以達(dá)到N-gram模型的精度。.07.12.2023354、基于決策樹的語言模型一種通用的語言統(tǒng)計(jì)模型.07.12.2023365、動(dòng)態(tài)、自適應(yīng)、基于緩存的語言模型靜態(tài)語言模型—概率分布都是預(yù)先從數(shù)據(jù)庫(kù)里估算好的，在運(yùn)用過程中，并不改變這些數(shù)據(jù)。能夠根據(jù)詞在局部文本中的出現(xiàn)情況，動(dòng)態(tài)地調(diào)整語言模型中的概率分布數(shù)據(jù)的語言模型稱為動(dòng)態(tài)的、自適應(yīng)的或者基于緩存的語言模型。N個(gè)最近出現(xiàn)的詞存在一個(gè)緩存中，作為獨(dú)立的訓(xùn)練數(shù)據(jù)，估算出一個(gè)單獨(dú)的動(dòng)態(tài)Trigram數(shù)據(jù)，在與靜態(tài)模型中的頻度分布數(shù)據(jù)通過線性插值結(jié)合在一起，形成一個(gè)混合的動(dòng)態(tài)自適應(yīng)的模型。這種混合模型可以有效的避免數(shù)據(jù)稀疏問題，并提高原靜態(tài)模型的表現(xiàn)能力。對(duì)現(xiàn)象”某些在文本中通常很少出現(xiàn)的詞,在某一局部文本中突然大量地出現(xiàn)”具有較好效果..07.12.202337三、數(shù)據(jù)平滑技術(shù)數(shù)據(jù)稀疏問題（datasparseness）N-gram存在問題，訓(xùn)練語料畢竟是有限的，這樣導(dǎo)致很多事件，如trigram中，w1w2w3根本沒有出現(xiàn)過。根據(jù)最大似然估計(jì)，這些事件的概率為零。然而這些事件的真實(shí)概率并不一定為零。這個(gè)問題被成為數(shù)據(jù)稀疏問題。.07.12.202338三、數(shù)據(jù)平滑技術(shù)MLE給訓(xùn)練樣本中未觀察到的事件賦以0概率。若某n-gram在訓(xùn)練語料中沒有出現(xiàn),則該n-gram的概率必定是0。解決的辦法是擴(kuò)大訓(xùn)練語料的規(guī)模。但是無論怎樣擴(kuò)大訓(xùn)練語料，都不可能保證所有的詞在訓(xùn)練語料中均出現(xiàn)。由于訓(xùn)練樣本不足而導(dǎo)致所估計(jì)的分布不可靠的問題，稱為數(shù)據(jù)稀疏問題。在NLP領(lǐng)域中，數(shù)據(jù)稀疏問題永遠(yuǎn)存在，不太可能有一個(gè)足夠大的訓(xùn)練語料，因?yàn)檎Z言中的大部分詞都屬于低頻詞。.07.12.202339Zipf定律描述了詞頻以及詞在詞頻表中的位置之間的關(guān)系。針對(duì)某個(gè)語料庫(kù)，若某個(gè)詞w的詞頻是f，并且該詞在詞頻表中的序號(hào)為r(即w是所統(tǒng)計(jì)的語料中第r常用詞)，則

f×r=k(k是一個(gè)常數(shù))若wi在詞頻表中排名50，wj在詞頻表中排名150，則wi的出現(xiàn)頻率大約是wj的頻率的3倍。例：馬克吐溫的小說TomSawyer

共71,370詞(wordtokens)

出現(xiàn)了8,018個(gè)不同的詞(wordtypes).07.12.202340.07.12.202341.07.12.202342.07.12.202343.07.12.202344Zipf定律告訴我們語言中只有很少的常用詞，語言中大部分詞都是低頻詞(不常用的詞)Zipf的解釋是PrincipleofLeasteffort(講話的人和聽話的人都想省力的平衡)

說話人只想使用少量的常用詞進(jìn)行交流聽話人只想使用沒有歧義的詞(量大低頻)進(jìn)行交流Zipf定律告訴我們對(duì)于語言中的大多數(shù)詞，它們?cè)谡Z料中的出現(xiàn)是稀疏的.只有少量詞語料庫(kù)可以提供它們規(guī)律的可靠樣本。.07.12.202345數(shù)據(jù)稀疏問題“JohnreadMobyDick”，“Maryreadadifferentbook”,“ShereadabookbyCher”考慮計(jì)算句子CHERREADABOOK的概率。

c(CHERREAD)=0

p(READ|CHER)＝0

p(CHERREADABOOK)=0(有問題).07.12.202346數(shù)據(jù)稀疏問題Balh等人的工作:用150萬詞的訓(xùn)練語料訓(xùn)練trigram模型，測(cè)試語料（同樣來源）中23%的trigram沒有在訓(xùn)練語料中出現(xiàn)過。MLE給訓(xùn)練樣本中未觀察到的事件賦以0概率。若某n-gram在訓(xùn)練語料中沒有出現(xiàn),則該n-gram的概率必定是0。解決的辦法是擴(kuò)大訓(xùn)練語料的規(guī)模。但是無論怎樣擴(kuò)大訓(xùn)練語料，都不可能保證所有的詞在訓(xùn)練語料中均出現(xiàn)。由于訓(xùn)練樣本不足而導(dǎo)致所估計(jì)的分布不可靠的問題，稱為數(shù)據(jù)稀疏問題。在NLP領(lǐng)域中，數(shù)據(jù)稀疏問題永遠(yuǎn)存在，不太可能有一個(gè)足夠大的訓(xùn)練語料，因?yàn)檎Z言中的大部分詞都屬于低頻詞。.07.12.202347對(duì)語言而言，由于數(shù)據(jù)稀疏的存在，MLE不是一種很好的參數(shù)估計(jì)辦法。解決辦法:平滑技術(shù)把在訓(xùn)練樣本中出現(xiàn)過的事件的概率適當(dāng)減小，把減小得到的概率密度分配給訓(xùn)練語料中沒有出現(xiàn)過的事件.這個(gè)過程有時(shí)也稱為discounting(減值)減值法(Discounting)

基本思想：修改訓(xùn)練樣本中的事件的實(shí)際計(jì)數(shù)，使樣本中不同事件的概率之和小于1，剩余的概率量分配給未見概率。.07.12.202348三、數(shù)據(jù)平滑技術(shù)數(shù)據(jù)平滑技術(shù)用來對(duì)采用最大似然規(guī)則的概率估計(jì)進(jìn)行調(diào)整。首先它可以保證模型中任何概率均不為零。其次，數(shù)據(jù)平滑使模型參數(shù)概率分布趨向更加均勻。低概率（包括零概率）被調(diào)高，高概率被調(diào)低。.07.12.2023494數(shù)據(jù)平滑技術(shù)(1).加法平滑(2).Good-turing平滑(3).backing-off平滑(3).jelinek-mercer平滑(4).katz平滑(5).church-gale平滑….07.12.202350(1).加一平滑每一種情況出現(xiàn)的次數(shù)加1。規(guī)定任何一個(gè)n-gram在訓(xùn)練語料至少出現(xiàn)一次（即規(guī)定沒有出現(xiàn)過的n-gram在訓(xùn)練語料中出現(xiàn)了一次），則:new_count(n-gram)=old_count(n-gram)+1沒有出現(xiàn)過的n-gram的概率不再是0例如，對(duì)于uni-gram，設(shè)w1,w2,w3三個(gè)詞，概率分別為：1/3,0,2/3，加1后情況？

2/6,1/6,3/6.07.12.202351(1).加法平滑.07.12.202352(1).加一平滑平滑后的bigram頻次頻次全都加1.07.12.202353(1).加一平滑=1時(shí)N:訓(xùn)練語料中所有的n-gram的數(shù)量，包括重復(fù)的V:被考慮語料的詞匯量.07.12.202354(1).加一平滑在前面的3個(gè)句子的例子中，|V|＝11P(Johnreadabook)=P(John|<BOS>)P(read|John)P(a|read)P(book|a)P(<EOS>|book)P(Cherreadabook)=P(Cher|<BOS>)P(read|Cher)P(a|read)P(book|a)P(<EOS>|book）這種方法性能較差,為什么?.07.12.202355(1).加一平滑Add-one平滑訓(xùn)練語料中未出現(xiàn)的n-gram的概率不再為0，是一個(gè)大于0的較小的概率值。但由于訓(xùn)練語料中未出現(xiàn)n-gram數(shù)量太多，平滑后，所有未出現(xiàn)的n-gram占據(jù)了整個(gè)概率分布中的一個(gè)很大的比例。因此，在NLP中，Add-one給訓(xùn)練語料中沒有現(xiàn)過的n-gram分配