自然語(yǔ)言概率語(yǔ)法模型（Ngram）的研究畢業(yè)論文

1、自然語(yǔ)言概率語(yǔ)法模型（n-gram）的研究 摘要：本文主要介紹了基于語(yǔ)料庫(kù)的自然語(yǔ)言處理技術(shù)，即語(yǔ)料庫(kù)語(yǔ)言模型中常用的統(tǒng)計(jì)語(yǔ)言模型n-gram的研究，及其在語(yǔ)料庫(kù)自然語(yǔ)言處理中的應(yīng)用。對(duì)語(yǔ)料庫(kù)的概率統(tǒng)計(jì)及在這過(guò)程中出現(xiàn)的一些問(wèn)題的解決方法進(jìn)行了比較系統(tǒng)的討論，使讀者對(duì)n-gram模型及其應(yīng)用得到初步的理解。關(guān)鍵詞：馬爾可夫模型;n-gram模型;復(fù)雜度（困惑度）;平滑算法;后繼統(tǒng)計(jì)訓(xùn)練算法。 1、引言自然語(yǔ)言處理是一項(xiàng)十分龍大而繁復(fù)的工程，它是自然科學(xué)和社會(huì)科學(xué)交叉的學(xué)科。自然語(yǔ)言處理的目的是實(shí)現(xiàn)計(jì)算機(jī)對(duì)語(yǔ)言信息的自動(dòng)分析和理解。它的研究具有很強(qiáng)的生命力，是當(dāng)代科學(xué)新的生長(zhǎng)點(diǎn)，這不僅對(duì)信息科學(xué)

2、，而且對(duì)人知語(yǔ)言學(xué)，心理學(xué)，以及對(duì)國(guó)民經(jīng)濟(jì)和社會(huì)的發(fā)展都會(huì)起到推動(dòng)作用。近幾年來(lái)，全球范圍內(nèi)的自然語(yǔ)言處理學(xué)界興起了對(duì)大規(guī)模語(yǔ)料庫(kù)的研究興趣。這主要是因?yàn)橛?jì)算機(jī)產(chǎn)業(yè)和信息處理的迅速發(fā)展，計(jì)算機(jī)的存儲(chǔ)能力和運(yùn)算速度大大提高，使得在計(jì)算機(jī)中存儲(chǔ)大量的文本和文本方便快速地掃描，檢索成為可能;因特網(wǎng)上的電子文本數(shù)量與日俱增，可以比較容易地獲得大量語(yǔ)料。另外語(yǔ)音識(shí)別領(lǐng)域在20世界70年代開(kāi)始逐漸采用概率模型替代原來(lái)的基于規(guī)則的識(shí)別手段，概率模型的參數(shù)是通過(guò)大量語(yǔ)聲語(yǔ)料經(jīng)行統(tǒng)計(jì)順練得來(lái)的。概率模型的識(shí)別效果大大優(yōu)于使用規(guī)則的方法，這給自然語(yǔ)言處理領(lǐng)域?qū)ξ谋菊Z(yǔ)料的 研究提供了有益的借鑒。2、 n-gram及

3、其在語(yǔ)料庫(kù)處理方面的應(yīng)用2.1 基于語(yǔ)料庫(kù)的語(yǔ)言模型語(yǔ)料庫(kù)的語(yǔ)言模型可分為兩種類(lèi)型，即其于知識(shí)的語(yǔ)言模（規(guī)則模型）和統(tǒng)計(jì)語(yǔ)言模型，基于知識(shí)的語(yǔ)言模型是利用形式語(yǔ)法理論，文法規(guī)則和句法樹(shù)經(jīng)行研究的。自然語(yǔ)言句法，語(yǔ)義分析的最基礎(chǔ)的理論是chomsky的形式語(yǔ)法理論。由于知識(shí)的語(yǔ)言模型進(jìn)展緩慢，因此由于大規(guī)模真實(shí)語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言模型自20世紀(jì)80年代以來(lái)逐漸成為自然語(yǔ)言研究的熱點(diǎn)。統(tǒng)計(jì)語(yǔ)言模型是用概率統(tǒng)計(jì)的方法揭示語(yǔ)言單位內(nèi)在的統(tǒng)計(jì)規(guī)律。假設(shè)一個(gè)句子可以表示為一個(gè)序列語(yǔ)言模型就是要求句子w的概率: =這個(gè)概率的計(jì)算量太大，解決問(wèn)題的方法是將所有歷史 按照某個(gè)規(guī)則映射到等價(jià)類(lèi)等價(jià)類(lèi)的數(shù)目遠(yuǎn)遠(yuǎn)小于不同

4、歷史的數(shù)目當(dāng)兩個(gè)歷史的最近的n-1個(gè)詞（或）字相同時(shí)，映射兩個(gè)歷史到同一個(gè)等價(jià)類(lèi)，在此情況下的模型稱(chēng)之為n-gram模型。2.2 馬爾可夫模型自然語(yǔ)言可以假設(shè)成是一個(gè)馬爾可夫信源產(chǎn)生，該信源的符號(hào)集就是語(yǔ)言的最小單位詞，信源不斷的發(fā)出符號(hào)，這些符號(hào)串形成句子，文本或者語(yǔ)料庫(kù)。假設(shè)由詞串構(gòu)成的句子它的概率可由條件概率得到p(w)=.=.=. （1）這里稱(chēng)為n元文法式（1）在于計(jì)算公式的值，精確的是不可知的，只能采用估計(jì)值，用頻率逼近，即：（2）其中，和是詞串和在訓(xùn)練語(yǔ)言模型時(shí)出現(xiàn)在訓(xùn)練語(yǔ)料庫(kù)中的次數(shù)，假定大數(shù)定理成立，只要訓(xùn)練語(yǔ)料庫(kù)的容量足夠大，頻率便趨近概率。2.3 n-gram模型該模型基本

5、這樣一種假設(shè)，在詞串中第個(gè)詞的出現(xiàn)只與前面-1個(gè)詞相關(guān)（=1，2.n），而與其它任何詞都不相關(guān)，整句的概率就是各個(gè)詞出現(xiàn)概率的乘積，即：=也就是說(shuō)，設(shè)n-1階馬爾可夫過(guò)程產(chǎn)生的詞集串，第i個(gè)詞wi的概率是由前i-1個(gè)詞的條件概率給出的：p（wi/w1w2wi-1）p（wi/wi-（n-1）wi-2wi-1）（3）假設(shè)句子中第i個(gè)詞的概率為：p（wi/wi-（n-1）#wi-jwi-1）=p（wi/#wi-jwi-1） （4）p（wi/wi-（n-1）$wi-jwi-1）=p（wi/$wi-jwi-1） （5）式（4）中#是句子的開(kāi)始符，式（5）中$是句子的結(jié)束符。n-gram模型的參數(shù)數(shù)量是r

6、n，其中r是詞數(shù)，參數(shù)是由統(tǒng)計(jì)語(yǔ)料文本得來(lái)的，n的值不能太大，否則計(jì)算會(huì)很大。當(dāng)n1時(shí)的n-gram模型稱(chēng)為unigram模型，此時(shí)這種模型假定語(yǔ)言單元之間相互獨(dú)立，求解僅利用了語(yǔ)言單元的統(tǒng)計(jì)頻度信息。當(dāng)n2時(shí)的n-gram模型稱(chēng)為bigram模型，此時(shí)當(dāng)n3時(shí)的n-gram模型稱(chēng)為trigram模型，此時(shí)2.4 轉(zhuǎn)移概率的稀疏數(shù)據(jù)問(wèn)題與平滑處理當(dāng)語(yǔ)料庫(kù)的規(guī)模不是足夠大的條件下，大多數(shù)詞或鄰接詞的搭配在語(yǔ)料中出現(xiàn)的詞數(shù)都很少，甚至根本不出現(xiàn)。這樣就形成了數(shù)據(jù)稀疏現(xiàn)象，造成知識(shí)短缺。如當(dāng)n=2和n=3，詞的個(gè)數(shù)r=50000時(shí)則要估計(jì)的對(duì)應(yīng)二元詞對(duì)的轉(zhuǎn)移概率和三元詞對(duì)的轉(zhuǎn)移概率的個(gè)數(shù)分別為r(2

7、5億個(gè))和r(125億個(gè))，而目前硬盤(pán)和語(yǔ)料庫(kù)的容量遠(yuǎn)遠(yuǎn)小于這個(gè)數(shù)量級(jí)。n-gram模型中n值越大，語(yǔ)言理解能力就越高，但n變大時(shí)，模型的參數(shù)估計(jì)變得困難，此時(shí)n-1階馬爾可夫模型的概率矩陣大到難以處理的程度，所以到目前為止大多使用bigram和trigram模型。由于訓(xùn)練語(yǔ)料文本相對(duì)全部n-gram參數(shù)數(shù)量來(lái)講還是較小，這意味著不能預(yù)測(cè)未知文本的全部n-gram參數(shù)轉(zhuǎn)移概率來(lái)進(jìn)行理解處理，此時(shí)嚴(yán)重影響了后處理的性能，因此必須進(jìn)行參數(shù)空間的平滑處理。它是在訓(xùn)練數(shù)據(jù)不充分的條件下，采用某種方式對(duì)統(tǒng)計(jì)結(jié)果及概率評(píng)估進(jìn)行必要的調(diào)整和修補(bǔ)。對(duì)于n-gram模型訓(xùn)練數(shù)據(jù)稀疏容易導(dǎo)致兩種錯(cuò)誤的概率評(píng)估，一

8、種是小概率事件，即詞與詞之間的n元聯(lián)結(jié)在訓(xùn)練語(yǔ)料種出現(xiàn)的頻度極小，不能反映實(shí)際的語(yǔ)詞聯(lián)結(jié)關(guān)系；另一類(lèi)則是零概率事件，即一些可能的語(yǔ)詞聯(lián)結(jié)關(guān)系在訓(xùn)練語(yǔ)料種從未出現(xiàn)過(guò)，但很可能在實(shí)際語(yǔ)料種出現(xiàn)。平滑算法在很多文獻(xiàn)中都有研究，歸納起來(lái)有兩種，一種是back-off方法，另一種是刪除插值法。其中刪除插值法的基本思想是，由于n-gram比n+1-gram出現(xiàn)的可能性大的多，所以使用n-gram估計(jì)n+1-gram的概率，它是trigram概率和更低階的bigram，unigram，zerogram（常數(shù)）概率的加權(quán)和，即（6）其中；，（參數(shù)的確定：將訓(xùn)練數(shù)據(jù)分為兩部分，一部分用于估計(jì)，一部分用于計(jì)算參數(shù)

9、，求使語(yǔ)言模型的困惑度最小的），是每個(gè)詞的概率，(r為統(tǒng)計(jì)語(yǔ)料中出現(xiàn)的詞條數(shù))。隨著統(tǒng)計(jì)語(yǔ)料的增加，trigram權(quán)值所占的比重也隨著增加。平滑算法的性能通常用交叉熵和復(fù)雜度來(lái)衡量。交叉熵的意義是用該模型對(duì)文本識(shí)別的難度。復(fù)雜度（困惑度）的意義是用該模型表示這一文本平均的分支數(shù)，其倒數(shù)可視為每個(gè)詞的平均概率。困惑度代表了一個(gè)給定語(yǔ)言模型處理語(yǔ)料的困惑程度和不定成分的程度。困惑度與連續(xù)語(yǔ)音的識(shí)別率是強(qiáng)正相關(guān)的。按照信息論的觀點(diǎn)，假設(shè)詞庫(kù)。其中r為詞數(shù)，其符號(hào)取自的信源，它的熵定義為 （7）用隨機(jī)變量來(lái)表示長(zhǎng)度為n的自然語(yǔ)言序列，其中每個(gè)隨機(jī)變量w（i=1,2n）代表自然語(yǔ)言序列上的一個(gè)語(yǔ)言單位，

10、如字，詞，詞組等。w可在其所代表的語(yǔ)言單位集w中取值。由于自然語(yǔ)言序列可視為離散的平穩(wěn)有記憶信源，可用長(zhǎng)度為n的平均信息熵的極限值近似描述語(yǔ)言信源的聯(lián)結(jié)熵； （8） 如信源是各態(tài)遍歷的，根據(jù)shannon-mcmillan-brenmain定理，式（8）可由下式求出； （9）ww，式（9）可由統(tǒng)計(jì)語(yǔ)料庫(kù)近似求出。假設(shè)語(yǔ)料庫(kù)的容量為r，信源熵的近似值lp定義為lp= (10)語(yǔ)言模型的困惑度pp定義為pp= （11）它被認(rèn)為與識(shí)別pp個(gè)詞串的任務(wù)具有同樣的難度。即如某種語(yǔ)言的困惑度為pp，則表明該語(yǔ)言中每個(gè)詞可以平均等概率的后接pp個(gè)不同的詞。pp值越小，表示語(yǔ)言模型用于識(shí)別時(shí)的可選詞個(gè)數(shù)越小，

11、語(yǔ)言模型的約束越強(qiáng)。語(yǔ)料庫(kù)的識(shí)別越困難，困惑度就越大。困惑度依賴(lài)于語(yǔ)言模型和預(yù)料內(nèi)容。對(duì)于給定的語(yǔ)料序列，如所有的語(yǔ)言單位均為等概率分布，且相互獨(dú)立，則識(shí)別難度為lp=（-1/r） (12)此時(shí)它的困惑度為pp=r，說(shuō)明沒(méi)有任何語(yǔ)言知識(shí)的情況下，識(shí)別器在識(shí)別每個(gè)詞時(shí)都要有與詞匯表中全部r個(gè)詞進(jìn)行匹配計(jì)算。由式（10），實(shí)際中很難估計(jì)，把自然語(yǔ)言假設(shè)為一個(gè)n階馬爾可夫信源，用條件概率來(lái)表示，其熵也用條件概率來(lái)表示?？梢宰C明任何條件熵小于無(wú)條件熵，高階條件熵小于低階條件熵，即困惑度值pp反映了信源熵的大小，表示該信源不可知的程度，即。說(shuō)明在建立了語(yǔ)言模型后，語(yǔ)言序列中語(yǔ)言單元的求解不必在詞匯表的全

12、部r個(gè)候選中匹配，而只對(duì)一個(gè)小于r的詞集中進(jìn)行。因此語(yǔ)言模型的利用等效于縮小了候選的詞匯表，降低了求解難度。對(duì)于n-gram語(yǔ)言模型，n值越高，其條件熵越小，困惑度也越小，語(yǔ)言處理的效果也越好，說(shuō)明語(yǔ)言處理的困惑度是表征語(yǔ)言模型處理語(yǔ)言能力的有效單位。理論上，語(yǔ)言的困惑度定義為基于一個(gè)長(zhǎng)序列n的語(yǔ)言串的指數(shù)熵值，由式（9）和（11），得；pp= (13)對(duì)于訓(xùn)練語(yǔ)料文本，其對(duì)數(shù)概率對(duì)應(yīng)的unigram，bigram和trigram的計(jì)算分別為= ,=，=2.5 應(yīng)用域變化的后繼訓(xùn)練算法由于基于詞的統(tǒng)計(jì)語(yǔ)言模型是依賴(lài)于應(yīng)用領(lǐng)域的語(yǔ)料，如果待識(shí)別的內(nèi)容與基于大規(guī)模語(yǔ)料統(tǒng)計(jì)的內(nèi)容相似，能達(dá)到較好的識(shí)

13、別性能；當(dāng)要求識(shí)別的領(lǐng)域范圍發(fā)生變化時(shí)，其識(shí)別性能將明顯下降，因?yàn)樵撟R(shí)別模型并不能適應(yīng)新領(lǐng)域，建立每個(gè)應(yīng)用領(lǐng)域的大規(guī)模統(tǒng)計(jì)語(yǔ)料庫(kù)的工作量將是驚人的。因此必須研究一中能適應(yīng)新任務(wù)的統(tǒng)計(jì)語(yǔ)言模型，用一種與待識(shí)別內(nèi)容相似的適量文本語(yǔ)料進(jìn)行有監(jiān)督的后繼訓(xùn)練學(xué)習(xí)，比如說(shuō)，由于人民日?qǐng)?bào)內(nèi)容涉及政治，經(jīng)濟(jì)，科技，文化，外交，教育，社會(huì)發(fā)展等多門(mén)類(lèi)的信息報(bào)道，其范圍較寬，因此將其大規(guī)模統(tǒng)計(jì)結(jié)果作為初始訓(xùn)練語(yǔ)料，而將某一待識(shí)專(zhuān)業(yè)領(lǐng)域的語(yǔ)料作為后繼訓(xùn)練語(yǔ)料，以適應(yīng)領(lǐng)域的變化。該適應(yīng)性訓(xùn)練的性能評(píng)估也是利用語(yǔ)言困惑度來(lái)測(cè)量的。目的是減少測(cè)試集的困惑度。研究?jī)煞N文本語(yǔ)料的相似性對(duì)于識(shí)別很重要，假設(shè)兩個(gè)領(lǐng)域語(yǔ)料a和b經(jīng)

14、過(guò)平滑算法后的三元統(tǒng)計(jì)概率分別為和,則距離度量采用kullback距離；d(a,b)=(1/t) (14)其中r和t分別是三元詞對(duì)集和三元詞條數(shù)。當(dāng)統(tǒng)計(jì)語(yǔ)言模型是從語(yǔ)料文本a中產(chǎn)生，而則試文本來(lái)自語(yǔ)料b時(shí)，則平均似然度l(b/a)為 l(b/a)=(1/) (15)其中，t為語(yǔ)料文本b的三元詞對(duì)數(shù)，是從語(yǔ)料文本a中統(tǒng)計(jì)得到的，則測(cè)試集的困惑度為pp(b/a)= (16)sho-ichi針對(duì)日語(yǔ)音節(jié)文本提出了利用對(duì)稱(chēng)困惑度作為兩種語(yǔ)料的相似性度量； d(a,b)=pp(b/a)+pp(a/b)/2 (17)并得出如下結(jié)論；待添加的隱藏文字內(nèi)容21兩種語(yǔ)料涉及內(nèi)容越相似，則對(duì)稱(chēng)困惑度和kullba

15、ck距離越小。2對(duì)于混合語(yǔ)料，若某一語(yǔ)料在混合語(yǔ)料中所占的比重越多，則兩種語(yǔ)料相近程度越高，其對(duì)稱(chēng)困惑度和kullback距離越小。如果從涉及內(nèi)容廣泛的大規(guī)模文本語(yǔ)料a（如人民日?qǐng)?bào)）中統(tǒng)計(jì)得到初始統(tǒng)計(jì)訓(xùn)練的trigram語(yǔ)言模型，而測(cè)試集使用專(zhuān)業(yè)較強(qiáng)的語(yǔ)料b（如計(jì)算機(jī)世界報(bào)）中進(jìn)行識(shí)別，識(shí)別性能由困惑度計(jì)算式（16）或（17）來(lái)估計(jì)，當(dāng)困惑度降低時(shí)，其識(shí)別性能升高。因此應(yīng)當(dāng)采用文本內(nèi)容與語(yǔ)料b相似的語(yǔ)料進(jìn)行適應(yīng)性后繼統(tǒng)計(jì)訓(xùn)練，若適應(yīng)性后繼統(tǒng)計(jì)訓(xùn)練的困惑度比未進(jìn)行適應(yīng)性訓(xùn)練的低，則說(shuō)明這種適應(yīng)性訓(xùn)練是有效的。若從語(yǔ)料a中選取250萬(wàn)字的統(tǒng)計(jì)語(yǔ)料，如表1-1所示；表1-1 1994年人民日?qǐng)?bào)語(yǔ)料一

16、元詞條二元詞條三元詞條詞條數(shù)目/個(gè)37 812295 601395 059詞條累計(jì)數(shù)目/個(gè)1 153 289914 366716 161經(jīng)平滑算法后的trigram概率為=+其中，。困惑度結(jié)果見(jiàn)表1-2。表1-2 250萬(wàn)字1994年人民日?qǐng)?bào)語(yǔ)料各n-gram模型困惑度的比較模型一元文法二元文法三元文法刪除插值三元文法困惑度pp8291.97342.17212.34174.53從語(yǔ)料b中選取75萬(wàn)字的統(tǒng)計(jì)語(yǔ)料如表1-3所示；表1-3 1995年計(jì)算機(jī)世界報(bào)語(yǔ)料一元詞條二元詞條三元詞條詞條數(shù)目/個(gè)15 451106 170138 756詞條累計(jì)數(shù)目/個(gè)339 083268 386211 232經(jīng)

17、平滑算法后的trigram概率為=+其中，。困惑度結(jié)果見(jiàn)表1-4。表1-4 75萬(wàn)字1995年計(jì)算機(jī)世界報(bào)語(yǔ)料各n-gram模型困惑度的比較模型一元文法二元文法三元文法刪除插值三元文法困惑度pp4211.15287.64179.56126.17則自適應(yīng)性trigram概率為=+ （18）其中，01，和為加權(quán)結(jié)合因子，可由held-out方法得出。表1-1和1-2與表1-3和1-4為人民日?qǐng)?bào)與計(jì)算機(jī)世界報(bào)的統(tǒng)計(jì)結(jié)果與各統(tǒng)計(jì)語(yǔ)言模型刪除插值平滑處理后的困惑度。由于計(jì)算機(jī)世界報(bào)較人民日?qǐng)?bào)用詞和內(nèi)容相對(duì)集中，不確定性少，因此計(jì)算所得的困惑度也小。由式（10），（11）從語(yǔ)料a中得到統(tǒng)計(jì)模型，測(cè)試集為語(yǔ)料b，得到的語(yǔ)域轉(zhuǎn)移困惑度為853.14，而經(jīng)適應(yīng)性訓(xùn)練后由式（16）得到的困惑度為136.85，說(shuō)明經(jīng)適應(yīng)性訓(xùn)練后困惑度降低，使用注音程序給與語(yǔ)料b內(nèi)容相似的測(cè)試集文本注入拼音，然后對(duì)適應(yīng)性訓(xùn)練前，后的模型進(jìn)行音字轉(zhuǎn)換，實(shí)驗(yàn)結(jié)果如表1-5所示；表1-5 適應(yīng)性訓(xùn)練前，后的統(tǒng)計(jì)模型的困惑度和進(jìn)行音字轉(zhuǎn)換精度困惑度無(wú)調(diào)拼音轉(zhuǎn)換精度有調(diào)拼音轉(zhuǎn)換精度三元文法模型后處理初始訓(xùn)練（語(yǔ)料a）853.1473.7%86.4%后繼訓(xùn)練（語(yǔ)料a+b）136.8590.6%92.1%93.6%3、 結(jié)論已完成的大量實(shí)驗(yàn)結(jié)果表明，n-gran模型是強(qiáng)有力的靜態(tài)語(yǔ)言模型，即n-gram的先驗(yàn)概率值受