單元2-中文分詞2

2.1.2基于統(tǒng)計(jì)的分詞方法2.1.2基于統(tǒng)計(jì)的分詞方法基于統(tǒng)計(jì)的分詞方法的基本思想是將每個(gè)詞都看作由字組成，如果相連的字在不同的文本中出現(xiàn)的次數(shù)越多，就證明這些相連的字很可能就是一個(gè)詞。因此，利用字與字相鄰出現(xiàn)的頻率來反映詞出現(xiàn)的可靠性，統(tǒng)計(jì)語料庫中相鄰出現(xiàn)的各個(gè)字的組合頻率，當(dāng)頻率高于某個(gè)值時(shí)，就將此組合作為一個(gè)詞語?；诮y(tǒng)計(jì)的分詞方法，一般都需要建立統(tǒng)計(jì)語言模型，然后對(duì)句子進(jìn)行單詞劃分，最后對(duì)劃分結(jié)果進(jìn)行概率計(jì)算，獲得概率最大的分詞方式。2.12.1.2基于統(tǒng)計(jì)的分詞方法（1）n元模型基于n元模型的分詞方法又稱為全切分路徑選擇方法，其基本思想是：將所有可能的切分表示為一個(gè)有向無環(huán)圖，這里的有向指全部路徑都始于第一個(gè)字、止于最后一個(gè)字，無環(huán)指節(jié)點(diǎn)之間不構(gòu)成閉環(huán)。每一個(gè)可能的切分詞語作為圖中的一個(gè)節(jié)點(diǎn)。有向圖中任何一個(gè)從起點(diǎn)到終點(diǎn)的路徑構(gòu)成一個(gè)句子的詞語切分，路徑數(shù)目隨著句子的長(zhǎng)度指數(shù)增長(zhǎng)。這種方法的目標(biāo)是從指數(shù)級(jí)別的搜索空間中求解出一條最優(yōu)路徑。以輸入句子“自然語言處理”為例，圖2-1給出了基于二元語法的有向無環(huán)圖。2.12.1.2基于統(tǒng)計(jì)的分詞方法（1）n元模型圖2-1基于二元語法的有向無環(huán)圖2.1（2）HMM模型隱含馬爾科夫模型（HMM）是將分詞作為字在字段中的序列標(biāo)注任務(wù)來實(shí)現(xiàn)的。其基本思路是：每個(gè)字在構(gòu)造一個(gè)特定的詞語時(shí)都占據(jù)著一個(gè)特定的構(gòu)詞位置，規(guī)定每個(gè)字最多都只有四個(gè)構(gòu)詞位置：B（詞首）、M（詞中）、E（詞尾）和S（單獨(dú)成詞）。2.12.1.2基于統(tǒng)計(jì)的分詞方法在實(shí)際分詞中，為避免出現(xiàn)BBB和EM等不合理組合，引入了齊次馬爾科夫假設(shè)，每個(gè)輸出僅僅與上一個(gè)輸出相關(guān)，也就是說當(dāng)前位置字的構(gòu)詞位置需要考慮到上一個(gè)字的構(gòu)詞位置，如果上一個(gè)詞為B，那么下一個(gè)構(gòu)詞位置一定為M或者E，不能取值為B或者S。然后使用動(dòng)態(tài)規(guī)劃的方法找出最大概率路徑作為狀態(tài)序列。最后根據(jù)得到的狀態(tài)序列進(jìn)行分詞得到分詞結(jié)果。2.12.1.2基于統(tǒng)計(jì)的分詞方法2.1.2基于統(tǒng)計(jì)的分詞方法（3）CRF模型條件隨機(jī)場(chǎng)（CRF）也是一種基于馬爾科夫思想的統(tǒng)計(jì)模型。之前的模型都假設(shè)每個(gè)狀態(tài)均只與它前面的狀態(tài)有關(guān)。而條件隨機(jī)場(chǎng)算法不僅與每個(gè)狀態(tài)之前的狀態(tài)有關(guān)，還與它之后的狀態(tài)有關(guān)。相比于基于規(guī)則的分詞方法，基于統(tǒng)計(jì)的分詞方法只需對(duì)語料中的頻度進(jìn)行統(tǒng)計(jì)，不需要耗費(fèi)人力維護(hù)詞典，能夠較好的處理歧義和未登錄詞。2.12.1.3基于語義的分詞方法2.1.3基于語義的分詞方法基于語義的分詞方法通常包括三個(gè)部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對(duì)分詞歧義進(jìn)行判斷，即它模擬了人對(duì)句子的理解過程。這種分詞方法需要使用大量的語言知識(shí)和信息。由于漢語語言知識(shí)的籠統(tǒng)、復(fù)雜性，難以將各種語言信息組織成機(jī)器可直接讀取的形式，因此目前基于語義的分詞系統(tǒng)還處在試驗(yàn)階段。2.12.1.3基于語義的分詞方法在實(shí)際應(yīng)用中，往往基于一種分詞算法，然后用其他分詞算法加以輔助。最常用的方式就是先基于規(guī)則的方法進(jìn)行分詞，然后