中文自動(dòng)分詞計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院

蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)HewillcometoShanghai他明天將區(qū)

(英文(中文中文中最小單位是字，英文為單詞(有意義中文中具有意義的最小單位是詞(含 中文中字與字或詞與詞之間沒(méi)有明顯的界 基本概分詞規(guī)分詞詞分詞算分詞系 分中文分例：他/明天/將/來(lái) 應(yīng)文本校拋妻別于簡(jiǎn)繁轉(zhuǎn)

——拋棄別干

（字音編碼輸入（字形編碼輸入後面，皇后——松樹(shù)，鬆開(kāi)—— 造造句 義消 新 名詞8

這個(gè)學(xué)生會(huì)打藍(lán)你認(rèn)為學(xué)生會(huì)聽(tīng)老師的江大 當(dāng)結(jié)合成分子 交集型歧“AB/CA/BC/網(wǎng)球/場(chǎng)，網(wǎng)/球 組合型歧如果AB和A、B都是詞典中的詞，那么如果待切分字串“ABA/B門(mén)/把手/壞/了，請(qǐng)/把/手/拿/我/現(xiàn)/在 ，我/現(xiàn)在/去 混合型歧 真歧例 地面?zhèn)螌⒓夹g(shù)/應(yīng)用/于/項(xiàng) 精力/應(yīng)/用于/學(xué)解除/了/職 方程的/解/除了/0還有歧義字段單獨(dú)拿出來(lái)看有歧義，但在所有真實(shí)語(yǔ)境中，僅有一種切分形式例 對(duì)于交集型歧義字段，真實(shí)文本中偽歧義現(xiàn)象遠(yuǎn)多于真歧義現(xiàn) 實(shí)體名詞和專(zhuān)有名 翻譯人名 機(jī)構(gòu)名：蘇州大學(xué)蘋(píng)果公 科技商標(biāo)字號(hào) 專(zhuān)業(yè)術(shù)語(yǔ)和新詞縮略新詞

：計(jì)：序 國(guó)際中文自然語(yǔ)言處理評(píng) 精度失落：未登錄詞是 義的5.6-25.6 未登錄詞識(shí)： 通常每一類(lèi)未登錄詞都要構(gòu)造專(zhuān)門(mén)的識(shí)別算識(shí)別依內(nèi)部構(gòu)成規(guī)律（用字規(guī)律外部環(huán)境（上下文 較成 名、譯中國(guó)地較商標(biāo)字機(jī)構(gòu)很專(zhuān)業(yè)術(shù)新詞 基本概分詞規(guī)分詞詞分詞算分詞系 《信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范》GB13715《資訊處理用中文分詞規(guī)范》 中研院” 汶等1999 切分規(guī)切分和標(biāo)注相結(jié)合的規(guī) 《現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工規(guī)范切分單位：沿用“分詞單位”，主要是詞一部分結(jié)合緊密、使用穩(wěn)定的詞組。在某些特殊情況例：出/v了/u一/m次/q差例 《現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工規(guī)范 例：三/m個(gè)/q，10/m公斤/q，一個(gè) 《現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工規(guī)范例：本報(bào)/r/r，本/r地區(qū) 切分規(guī)切分和標(biāo)注相結(jié)合的規(guī)標(biāo)注規(guī) 《現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工規(guī)范 形式不切分，ABAB形式切糊涂/z，高興/a高興/a/nr，老張/nr，花兒/n，爺兒們/n，求知者 義者如單純方位詞＋名（單音）的定中結(jié)構(gòu)作為一個(gè)切分單前院/s，左肩/n，后天 基本概分詞規(guī)分詞詞分詞算分詞系 ——用于基于詞典的分詞算 查詢速度：匹配算法效率的直接決定因 效能：插入、刪除、更新等操作的難易程 基本概分詞規(guī)分詞詞分詞系 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計(jì)的算 正向最大匹該子串，指針后MAXL個(gè)漢字后繼續(xù)切分，否則，子串長(zhǎng)度逆向最大匹與前者區(qū)別在于抽取順序，從漢字串尾端開(kāi)始抽取 正/逆向最大匹配（例“他們明天 正向最大匹配過(guò)他們明天他們明明天 來(lái)

明天來(lái)上明天來(lái)們明天來(lái)他們們明天明天 umMatchingmethod,錯(cuò)誤切分率為 umMatchingmethod,錯(cuò)誤切分率為Bi-directionMatchingmethod,正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計(jì)的算 正向最小匹按照從左到右的順序，首先從漢字串中取長(zhǎng)度為2的子串查詞逆向最小匹與前者區(qū)別在于抽取順序，從漢字串尾端開(kāi)始抽取 正/逆向最小匹配（例“他們明天 正向最小匹配過(guò)他們明天來(lái)上 逆向最小匹配過(guò)天明天來(lái)來(lái)明天他 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計(jì)的算 算max{k|C0C1……CkW}C

Ck1Ck2……Cn改進(jìn)的正向最大匹配，以降低時(shí)間復(fù)雜度 鄰近匹配（例“為奧運(yùn)會(huì)健兒加油啊“為奧”W= “奧W奧運(yùn)，奧運(yùn)3“健W健兒2健“加油”W={加油 ”≠“加油啊”不匹配加 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計(jì)的算 建立一個(gè)結(jié)點(diǎn)數(shù)為n+1的切分有向無(wú)環(huán)圖各結(jié)點(diǎn)編號(hào)依次為V0，V1…Vn，通過(guò)以下兩種方式建立G所有(1)相鄰結(jié)點(diǎn)Vk-1，Vk之間建立有向邊<Vk-1，Vk>，對(duì)應(yīng)的詞為(2)若w=CiCi+1…Cj是字典中詞，則結(jié)點(diǎn)Vi-1，Vj之間建立有向 采用Dijkstra算法求有向圖GCi+1…Cs/……/Ct+1…Cj/Cj+1…Cn。 最短路徑匹配（例最短路徑：V0-V1-V2-V4-對(duì)應(yīng)詞串：C1/C2/C3C4/切分結(jié)果：他的確切地址 正/逆向最大匹正/逆向最小匹鄰近匹最短路徑匹基于統(tǒng)計(jì)的算 路徑1路徑2

S

W1:有/意見(jiàn) W2:有意/見(jiàn) Max(P(W1|S),P(W2|S))P(W|S)P(S|W)P(W)P(WP(SP(W)P(w1,w2,...,wi)P(w1)P(w2)...P(wiP(w)

wi在語(yǔ)料庫(kù)中的出現(xiàn)次數(shù) 語(yǔ)料庫(kù)中的總詞數(shù) 詞概……有意見(jiàn)……P(W1)=詞概……有意見(jiàn)……=1.8×10-P(W2)=P(有意)*P(見(jiàn))* =1×10-P(W1)> W1=這/事 的確 定 不 下來(lái)W2=這/事 的 確定 不 下來(lái)

W1=做/完 作業(yè) 才能 看 電視W2=做/完 作業(yè) 才 能 看 電視

根據(jù)這個(gè)數(shù)據(jù)結(jié)構(gòu)，可以把詞法分析中的幾種操作轉(zhuǎn)化為給詞圖上添加邊（查詞典，處 詞、離合詞、前后綴和未定義詞尋找一條起點(diǎn)S到終點(diǎn)E的最優(yōu)路徑（切分排歧 $$結(jié)結(jié)合合成成成成分分分分子子分分子子6,時(shí)子子8時(shí)子子2時(shí)時(shí)時(shí)91 基本概分詞規(guī)分詞詞分詞算分詞系 Paoding（庖丁解牛分詞提供lucene和solr 基于CRF（ConditionRandomFie