轉(zhuǎn)漢語分詞的主要技術(shù)及其應(yīng)用展望

1、轉(zhuǎn) 漢語分詞的主要技術(shù)及其應(yīng)用展望1轉(zhuǎn)漢語分詞的主要技術(shù)及其應(yīng)用展望12011-05-13 09：41一、漢語自動(dòng)分詞的提出詞具有語音、語義和結(jié)構(gòu)三大特征，其語義特征表現(xiàn)在必須具備一定的意義，表明客觀現(xiàn)實(shí)中的某一事物的性質(zhì)、特征、行為和關(guān)系等，沒有意義的詞是不存在的。詞里包含有兩種不同性質(zhì)的意義：詞匯意義和語法意義。詞的結(jié)構(gòu)特征表現(xiàn)在詞在結(jié)構(gòu)上是一個(gè)不可分割的整體，其意義不是它的幾個(gè)構(gòu)成成分(如果存在的話)的意義的簡(jiǎn)單總和。人們?cè)陂喿x時(shí)，大腦有一個(gè)模糊的分詞過程，它是與視覺到聲音的轉(zhuǎn)換和語義理解交叉或同時(shí)進(jìn)行的，并以語感的形式體現(xiàn)出來，由于文化修養(yǎng)和知識(shí)水平的差異，不同的人對(duì)詞和非詞，詞和詞組

2、的預(yù)感差別很大。因而人工分詞的同一性得不到保證。北京航空學(xué)院曾做過一個(gè)實(shí)驗(yàn)，三十余個(gè)具有高中文化水平的青年對(duì)五百字的一個(gè)語言材料人工分詞，同一率只有50%左右。在大篇文字材料處理時(shí)，人工分詞不僅速度慢，長(zhǎng)時(shí)間單調(diào)枯燥工作也使錯(cuò)誤切分次數(shù)大大增加。這些都表明人工分詞不能滿足漢字處理現(xiàn)代化的要求，但要對(duì)書面漢語實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)分詞，并非易事，這與漢語特性有很大關(guān)系。與印歐語系相比，現(xiàn)代漢語至少在四個(gè)方面于分詞不利：第一，漢語的詞不分寫，而且詞無明確的形態(tài)標(biāo)志，這給計(jì)算機(jī)進(jìn)行漢語的詞法分析帶來一大障礙。其次，漢語是一種無形態(tài)變化的分析型語言，缺乏明顯的句法形式標(biāo)記，其語法主要靠虛詞和不同的詞序來實(shí)現(xiàn)。

3、第三，漢語的形態(tài)不發(fā)達(dá)，增加了語言的表層結(jié)構(gòu)對(duì)語義的依賴性，所以，漢語句子成分的語法作用強(qiáng)烈依賴于該成分的意義。第四，漢語構(gòu)詞具有極大的靈活性和自由性。只要詞匯意義和語言習(xí)慣允許，就能組合起來，沒有限制。如果在自動(dòng)分詞處理時(shí)，既不進(jìn)行語法分析，也不進(jìn)行語義理解，只是機(jī)械的匹配比較，那很容易實(shí)現(xiàn)，但必然會(huì)出現(xiàn)許多錯(cuò)誤切分，而要提高分詞精度，就必須進(jìn)行語法分析和語義理解，于是就引發(fā)了一系列耐人尋味的問題。漢語詞自動(dòng)切分是計(jì)算機(jī)中文信息處理的第一步，也是計(jì)算機(jī)科學(xué)界、語言文字學(xué)界以及信息管理學(xué)界所面臨的挑戰(zhàn)性難題，這一瓶頸的解決是計(jì)算機(jī)自然語言理解、人工智能、信息檢索、機(jī)器翻譯和自動(dòng)文摘等領(lǐng)域突破的

4、關(guān)鍵,長(zhǎng)期以來一直困擾著這一研究領(lǐng)域的許多專家學(xué)者。盡管漢語詞自動(dòng)切分研究已經(jīng)取得了可喜的進(jìn)展，但是在漢語詞的規(guī)范、自動(dòng)分詞算法突破、切分歧義處理、自然語言理解和人工智能等諸多領(lǐng)域還存在著難以克服的阻礙，仍需要多個(gè)學(xué)科領(lǐng)域的專家學(xué)者們通力協(xié)作，才能獲得新的突破。二、現(xiàn)有的分詞方法為了克服漢語詞計(jì)算機(jī)自動(dòng)切分這一難題,許多年來,大量的學(xué)者都加入了這一領(lǐng)域的研究,使?jié)h語自動(dòng)分詞取得了豐碩的研究成果。近年來,語言學(xué)界、人工智能領(lǐng)域和情報(bào)檢索界的學(xué)者們,在漢語自動(dòng)分詞與自動(dòng)標(biāo)引的研究與實(shí)踐上進(jìn)行了大量的研究,找到了許多解決漢語分詞的方法，歸納起來有最大匹配法、逆向最大匹配法、逐詞遍歷法、設(shè)立切分標(biāo)志法

5、、最佳匹配法、有窮多層次列舉法、二次掃描法、高頻優(yōu)先分詞法、基于期望的分詞法、聯(lián)想-回溯法、雙向掃描法、鄰接約束法、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)分詞法、語境相關(guān)法、全自動(dòng)詞典切詞法、基于規(guī)則的分詞法、多遍掃描聯(lián)想法、部件詞典法、鏈接表法、最少分詞詞頻選擇法、專家系統(tǒng)分詞法、基于神經(jīng)網(wǎng)絡(luò)的分詞方法等22種。歸納起來,目前國(guó)內(nèi)公開報(bào)道過的分詞系統(tǒng)采用的分詞方法主要有三種類型機(jī)械分詞法。機(jī)械分詞法主要有最大匹配法(MM法、逆向最大匹配法(RMM、OMM、IMM)、逐詞匹配法、部件詞典法、詞頻統(tǒng)計(jì)法、設(shè)立標(biāo)志法、并行分詞法、詞庫劃分和聯(lián)想匹配法等。語義分詞法。語義分詞法引入了語義分析,對(duì)自然語言自身的語言信息進(jìn)行更多

6、的處理,如擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)法、知識(shí)分詞語義分析法、鄰接約束法、綜合匹配法、后綴分詞法、特征詞庫法、約束矩陣法、語法分析法等。人工智能法。又稱理解分詞法,人工智能是對(duì)信息進(jìn)行智能化處理的一種模式,主要有兩種處理方式一種是基于心理學(xué)的符號(hào)處理方法。模擬人腦的功能,像專家系統(tǒng)。即希望模擬人腦的功能,構(gòu)造推理網(wǎng)絡(luò),經(jīng)過符號(hào)轉(zhuǎn)換,從而可以進(jìn)行解釋性處理。一種是基于生理學(xué)的模擬方法。神經(jīng)網(wǎng)絡(luò)旨在模擬人腦的神經(jīng)系統(tǒng)機(jī)構(gòu)的運(yùn)作機(jī)制來實(shí)現(xiàn)一定的功能。以上兩種思路也是近年來人工智能領(lǐng)域研究的熱點(diǎn)問題,應(yīng)用到分詞方法上,產(chǎn)生了專家系統(tǒng)分詞法和神經(jīng)網(wǎng)絡(luò)分詞法。這些方法又大體上可分為兩類一類是基于規(guī)則的,大多數(shù)中文分詞方法

7、都屬此類；一類是基于語料庫的,如神經(jīng)網(wǎng)絡(luò)分詞法部分的屬于此類?；谝?guī)則的分詞算法的計(jì)算模型均是概率論中的馬爾可夫過程又稱元語法、隱馬爾可夫過程和通信中的信道噪聲模型。但無論是馬爾可夫過程還是信道噪聲模型,最后都?xì)w結(jié)為計(jì)算詞頻的統(tǒng)計(jì)信息,串頻和互信息是詞頻的另一種表現(xiàn)形式。但遺憾的是自然語言遠(yuǎn)不是一個(gè)經(jīng)過事先精心規(guī)劃的系統(tǒng),難以用一套完整的規(guī)則去準(zhǔn)確地預(yù)測(cè)正式漢語文本中所出現(xiàn)的各種變異。1.最大匹配法(MM)這種方法又稱5-4-3-2-1查詞法，最長(zhǎng)匹配法，回巡檢索法，其基本思想是：假設(shè)自動(dòng)分詞詞典中的最長(zhǎng)詞條所含漢字個(gè)數(shù)為i，則取被處理材料當(dāng)前字符串序列中的前i個(gè)字作為匹配字段,查找分詞詞典,

8、若詞典中有這樣一個(gè)i字詞，則匹配成功，匹配字段作為一個(gè)詞被切分出來，如果詞典中找不到這樣的一個(gè)i字詞，則匹配失敗，匹配字段去掉最后一個(gè)漢字，剩下的字符作為新的匹配字段，再進(jìn)行匹配，如此進(jìn)行下去，直到匹配成功為止。有專家統(tǒng)計(jì)過，MM法的錯(cuò)誤切分率為1/169。2.逆向最大匹配法(RMM)這種方法的分詞過程與MM法相同，不過是從句子(或文章)末尾開始處理，每次匹配不成功時(shí)去掉的是前面的一個(gè)漢字。據(jù)說RMM方法的分詞精度比MM法要高，其錯(cuò)誤切分率是1/245。3.逐詞遍歷法把詞典中的詞按由長(zhǎng)到短遞減的順序逐字搜索整個(gè)待處理材料，一直到把全部詞切分出來為止。不論分詞詞典多大，被處理材料多么小，都得把整

9、個(gè)分詞詞典匹配一遍。上述三種方法思路清楚，易于機(jī)器實(shí)現(xiàn)，但由于是把詞典作為判詞得唯一標(biāo)準(zhǔn)，忽略了漢語詞匯得靈活多變性，因而局限性大，出錯(cuò)率高，拒分現(xiàn)象嚴(yán)重，時(shí)間復(fù)雜度高，這是它們不能被單一采用得最主要原因。4.設(shè)立切分標(biāo)志法切分標(biāo)志有自然和非自然之分。自然切分標(biāo)志是指文章中出現(xiàn)得非文字符號(hào)，如標(biāo)點(diǎn)符號(hào)等。非自然標(biāo)志是利用詞綴和不構(gòu)成詞得詞(包括單音詞，復(fù)音節(jié)詞以及象聲詞等)。設(shè)立切分標(biāo)志法首先收集眾多得切分標(biāo)志，分詞時(shí)先找出切分標(biāo)志，把句子切分為一些較短得字段，然后用MM、RMM或其他方法進(jìn)行細(xì)加工。這種方法并非真正意義上得分詞方法，只是自動(dòng)分詞得一種前處理方式而已，它要額外消耗時(shí)間掃描切分標(biāo)

10、志，增加存貯空間存放那些非自然切分標(biāo)志。5.最佳匹配法(OM)此法由北京航空航天大學(xué)提出，分為正向得最佳匹配和逆向得最佳匹配法。其出發(fā)點(diǎn)是：在詞典中按詞頻的大小順序排列詞條，以求縮短對(duì)分詞詞典的檢索時(shí)間，達(dá)到最佳效果，從而降低分詞的時(shí)間復(fù)雜度，加快分詞速度。實(shí)質(zhì)上，這種方法也不是一種純粹意義上的分詞方法，它只是一種對(duì)分詞詞典的組織方式。OM法的分詞詞典每條詞前面必須有指明長(zhǎng)度的數(shù)據(jù)項(xiàng)，所以其空間復(fù)雜度有所增加，對(duì)提高分詞精度沒有影響，分詞處理的時(shí)間復(fù)雜度有所降低。6.有窮多層次列舉法其基本思路是：把待處理材料中標(biāo)點(diǎn)符號(hào)區(qū)分的語言片斷作處理對(duì)象，先處理不用查詞表的具有特殊標(biāo)志的字符串，如阿拉伯?dāng)?shù)

11、字，拉丁字母等，然后用環(huán)境詞表確定屬于15類可列舉的詞，即先判斷一個(gè)詞能否組成多音詞，如五音詞，四音詞，三音詞，雙音詞，最后確定是否為單音詞，這樣便把一個(gè)個(gè)語段化分成較小語段。這實(shí)際上是切分標(biāo)志法的一種變形方法。7.二次掃描法其基本思想是：取待處理材料中兩個(gè)切分標(biāo)志之間的部分作為樣本串，檢查分詞詞典中是否有一個(gè)詞，它的前兩個(gè)漢字和該樣本串相同，若有的話，則取樣本串的前三個(gè)漢字作為匹配串，重新在分詞詞典中找以匹配串為子串的詞，若有，則重復(fù)下去，直到進(jìn)行到i個(gè)漢字為止，(設(shè)i為分詞詞典中最長(zhǎng)詞所含漢字的個(gè)數(shù))，則切分出一個(gè)i字詞；若沒有，則完成一次掃描；把匹配串的最后一個(gè)漢字去掉，作為新的匹配串，

12、進(jìn)行第二次掃描，第二次掃描用RMM或MM法進(jìn)行。8.高頻優(yōu)先分詞法這種方法基于詞頻統(tǒng)計(jì)、字與字之間構(gòu)詞結(jié)合力和歧義切分等現(xiàn)象的分析而提出。它不是純粹意義上的機(jī)械分詞方法，而是在分詞過程中處理歧義字段的一種方式，例如，AB、BC是兩個(gè)詞，如果BC的頻度比AB大，則ABC這一歧義字段應(yīng)切分為A/BC。該方法的一個(gè)明顯缺點(diǎn)是頻度較低的詞，永遠(yuǎn)被錯(cuò)誤切分。如果僅考慮當(dāng)前正在處理文本中的詞頻的話，將會(huì)得到良好效果，問題是如何得到當(dāng)前正在處理文本的詞頻。這種方法增加分詞的空間復(fù)雜度，低頻詞的錯(cuò)誤切分難以克服，目前尚未見成功的報(bào)道。9.基于期望的分詞法該法是基于漢語語法及語用規(guī)律以及人們語言習(xí)慣而提出，它認(rèn)

13、為一個(gè)詞的出現(xiàn)對(duì)于它后面緊相隨的詞有一種期望。當(dāng)然是期望大的詞優(yōu)先，分詞時(shí)根據(jù)期望，到期望值較大的詞所在的詞庫中找出所對(duì)應(yīng)的詞，從而切分出相對(duì)應(yīng)的詞。這種方法增加了分詞的時(shí)空復(fù)雜度，但在一定程度上提高了分詞的精度。目前該法仍處于理論探討階段。10.聯(lián)想-回溯法其基本做法是：首先將待切分的漢語言文本，依據(jù)特征庫分割為若干子串，每個(gè)子串為詞或詞群(幾個(gè)詞組合而成的線性序列)，然后再用實(shí)詞庫和規(guī)則庫將詞群細(xì)分為詞。這種方法實(shí)際上采用了設(shè)立切分標(biāo)志法和有窮多層次列舉法的思想，由于實(shí)行分級(jí)建庫，故增加了分詞的空間復(fù)雜度，把分詞過程分解成分割和細(xì)分兩個(gè)過程，使得分詞的時(shí)間復(fù)雜度增大。它能提高分詞精度，具備

14、可行性，已在機(jī)器上實(shí)現(xiàn)。11.雙向掃描法該法重點(diǎn)是放在檢錯(cuò)和糾錯(cuò)上，基本做法是將正向掃描(MM)和逆向掃描(RMM)的結(jié)果相比較，一致的部分認(rèn)為是正確的，不一致的部分(稱為疑點(diǎn))則采用人工干預(yù)、記頻算法或上下文相關(guān)信息選取一種切分。這種方法對(duì)于正、逆向掃描結(jié)果一致而被認(rèn)為正確但實(shí)際上切分不正確的字段(例如結(jié)合成分子時(shí))沒有強(qiáng)有力的處理手段。時(shí)間復(fù)雜度比單向掃描至少增加一倍。其分詞詞典必須同時(shí)支持正逆兩種順序的檢索，詞典結(jié)構(gòu)無疑是比較復(fù)雜的，或者要設(shè)立兩種結(jié)構(gòu)的詞典。此方法可作為一種檢查歧義字段的方法，但其效果尚不如詞尾字構(gòu)詞法。12.鄰接約束法這種方法是利用自然語言中的鄰接約束排除不合適切分以

15、提高分詞精度。由于漢語句法語義或習(xí)慣用法的限制，或人們?yōu)榱吮苊庠斐砷喿x上的困難，相鄰詞語之間有一種約束關(guān)系，例如那里不能切分成那/里。漢語中某些單詞在句法結(jié)構(gòu)中不擁有或只能條件擁有某些固定位置(如句子或片段的開頭或結(jié)尾等)，不同類型的單詞之間具有特定的約束(如副詞、助動(dòng)詞一般不后接名詞等)，某些單音動(dòng)詞只在特定文體或格式中出現(xiàn)(如知一般不單獨(dú)出現(xiàn))，等等，這些語言現(xiàn)象可以用來解決部分歧義切分問題。13.擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)分詞法本世紀(jì)六十年代末由J.Thome等提出運(yùn)用狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)分析自然語言的思想，1970年由W.A.Woods等在前人工作的基礎(chǔ)上提出了擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)(ATN)，ATN以有限狀態(tài)機(jī)的概

16、念為基礎(chǔ)，用ATN來組織詞典就可以構(gòu)成一個(gè)動(dòng)態(tài)詞典，它可以帶來靜態(tài)詞典所沒有的好處，它能處理只作為詞頭或詞尾的定位字，區(qū)分詞鏈字串或非詞鏈字串，并使分詞處理和語言理解的句法處理階段的交互成為可能。14.語境相關(guān)法這是一種基于擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)(ATN)以知識(shí)和理解為基礎(chǔ)的分詞方法，它是通過將詞典組織成為ATN結(jié)構(gòu)，分詞知識(shí)分散化，分詞處理與句法語義處理并行等手段，能夠處理現(xiàn)有種種分詞方法所不能處理的詞鏈現(xiàn)象，并實(shí)現(xiàn)分詞與理解的并行。該法的基本思想是：系統(tǒng)從左向右掃描句子(漢字串)，對(duì)于文本中的非詞鏈部分，它按最大匹配原則，選出與文本當(dāng)前位置匹配的最長(zhǎng)的詞；對(duì)于詞鏈，分兩個(gè)步驟作出切分，第一步是從左到

17、右掃描句子，碰到詞鏈即把切分此詞鏈的分詞知識(shí)(字或字串的成詞條件)放到棧工作區(qū)中；第二步是從右向左掃描句子(此時(shí)句子是一個(gè)詞或詞鏈的序列)，對(duì)詞或詞串作句法語義分析，分析結(jié)果放到公共數(shù)據(jù)區(qū)中供分詞使用。碰到詞鏈，運(yùn)行棧工作區(qū)中的過程，切分次詞鏈，直至棧工作區(qū)為空。據(jù)稱該法已用語構(gòu)造一個(gè)專家系統(tǒng)的漢語人機(jī)接口。與此法類似，有人還提出一種基于分詞和理解并行處理的PTCUS分詞法，它與語境相關(guān)法不同之處在于：PTCUS的方法對(duì)于句子中的詞鏈，不是先跳過去，而是利用當(dāng)前可用的動(dòng)態(tài)句法語義結(jié)構(gòu)信息，進(jìn)行試探性切分(詞的生成)，然后進(jìn)行多種測(cè)試。詞的生成和測(cè)試過程是分時(shí)并行的。測(cè)試過程同時(shí)也是一個(gè)句法語義

18、分析過程，它可產(chǎn)生句子的語義格結(jié)構(gòu)。15.全自動(dòng)詞典切詞該法完全使用切詞規(guī)則切詞，規(guī)則中的參數(shù)由詞典提供，包括形式參數(shù)，語法參數(shù)，語義參數(shù)，上下文參數(shù)等，如語法參數(shù)，在第一遍掃描中(字與字的組合)中可規(guī)定：名名相聯(lián)，動(dòng)動(dòng)相聯(lián)，形名相聯(lián)，動(dòng)副不聯(lián)等。上下文參數(shù)：根據(jù)上下文語義不同區(qū)分字和詞，如把字可作動(dòng)詞(把著門)，名詞(把柄)，介詞(把東西取出來)，量詞(兩把刀)等，不同的詞根有不同的上下文。16.基于規(guī)則的分詞法這是一種機(jī)械切分與語義校正相結(jié)合的方法。它包括建立絕對(duì)切分標(biāo)志符表，變長(zhǎng)度最大匹配法，2-3-1優(yōu)先規(guī)則集，固有歧義切分校正法等。其分詞算法為：1讀入字符串文本；2第一次掃視，根據(jù)絕

19、對(duì)切分標(biāo)志符表，掃視文本，添加絕對(duì)切分標(biāo)志；3計(jì)算兩個(gè)間字段長(zhǎng)度M及取領(lǐng)頭字詞長(zhǎng)N，若M N，則K=M；否則K=N；4若K=4，則轉(zhuǎn)下一步，否則轉(zhuǎn)第6步；5第二次掃視(變長(zhǎng)度最大匹配法)，取長(zhǎng)度為K的最大匹配法，對(duì)4及4以上字詞進(jìn)行匹配；6按2-3-1優(yōu)先規(guī)則進(jìn)行機(jī)械分詞；7若有歧義切分標(biāo)志，作第三次掃視，執(zhí)行語義校正算法，進(jìn)行校正，否則轉(zhuǎn)出口。值得一提的是，在這種自動(dòng)分詞法中，專門設(shè)計(jì)提供了規(guī)則描述語言(RDL)，用以書寫和裝入歧義切分校正規(guī)則。該法已在機(jī)器上實(shí)現(xiàn)。17.多遍掃描聯(lián)想法這是一種組合方法，其基本做法是：首先用切分標(biāo)志法把文本切分成若干子串，它也分成兩步，先是用自然切分標(biāo)志對(duì)文本

20、進(jìn)行預(yù)處理，然后用非自然標(biāo)志結(jié)合聯(lián)想庫對(duì)文本進(jìn)行分割；其次，利用實(shí)詞詞庫和聯(lián)想庫再將詞群細(xì)分為詞。分詞時(shí)，利用語法知識(shí)特別是詞法知識(shí)，聯(lián)想和回朔機(jī)制同時(shí)作用于分割和細(xì)分兩個(gè)階段，旨在有效解決歧義組合結(jié)構(gòu)的切分問題，同時(shí)兼有自動(dòng)糾錯(cuò)功能。該方法需要分級(jí)建庫，分別建造特征詞詞庫，實(shí)詞詞庫和聯(lián)想規(guī)則庫。18.部件詞典法詞典法的一大問題是冗余度高，且難窮盡所有詞。上海交大提出部件詞典的概念.部件系指構(gòu)成詞的獨(dú)立單元，故可分為詞首、詞尾和詞干等若干類部件，詞部件有點(diǎn)像詞素，但它本身也可是詞或詞組，以存儲(chǔ)部件來代替存儲(chǔ)原詞。這樣，電腦中存儲(chǔ)的不是所有的中文詞，而是所要用到的詞1-3字的詞部件以及由這些部件組詞的部分信息。上海交大利用這種部件詞典，成功對(duì)全國(guó)報(bào)刊索引中的計(jì)算機(jī)類文獻(xiàn)標(biāo)題