中文自動分詞計算機科學與技術學院

蘇州大學計算機科學與技術學HewillcometoShanghai他明天將區(qū)

(英文(中文中文中最小單位是字，英文為單詞(有意義中文中具有意義的最小單位是詞(含 中文中字與字或詞與詞之間沒有明顯的界 基本概分詞規(guī)分詞詞分詞算分詞系 分中文分例：他/明天/將/來 應文本校拋妻別于簡繁轉

——拋棄別干

（字音編碼輸入（字形編碼輸入後面，皇后——松樹，鬆開—— 造造句 義消 新 名詞8

這個學生會打藍你認為學生會聽老師的江大 當結合成分子 交集型歧“AB/CA/BC/網(wǎng)球/場，網(wǎng)/球 組合型歧如果AB和A、B都是詞典中的詞，那么如果待切分字串“ABA/B門/把手/壞/了，請/把/手/拿/我/現(xiàn)/在 ，我/現(xiàn)在/去 混合型歧 真歧例 地面?zhèn)螌⒓夹g/應用/于/項 精力/應/用于/學解除/了/職 方程的/解/除了/0還有歧義字段單獨拿出來看有歧義，但在所有真實語境中，僅有一種切分形式例 對于交集型歧義字段，真實文本中偽歧義現(xiàn)象遠多于真歧義現(xiàn) 實體名詞和專有名 翻譯人名 機構名：蘇州大學蘋果公 科技商標字號 專業(yè)術語和新詞縮略新詞

：計：序 國際中文自然語言處理評 精度失落：未登錄詞是 義的5.6-25.6 未登錄詞識： 通常每一類未登錄詞都要構造專門的識別算識別依內部構成規(guī)律（用字規(guī)律外部環(huán)境（上下文 較成 名、譯中國地較商標字機構很專業(yè)術新詞 基本概分詞規(guī)分詞詞分詞算分詞系 《信息處理用現(xiàn)代漢語分詞規(guī)范》GB13715《資訊處理用中文分詞規(guī)范》 中研院” 汶等1999 切分規(guī)切分和標注相結合的規(guī) 《現(xiàn)代漢語語料庫加工規(guī)范切分單位：沿用“分詞單位”，主要是詞一部分結合緊密、使用穩(wěn)定的詞組。在某些特殊情況例：出/v了/u一/m次/q差例 《現(xiàn)代漢語語料庫加工規(guī)范 例：三/m個/q，10/m公斤/q，一個 《現(xiàn)代漢語語料庫加工規(guī)范例：本報/r/r，本/r地區(qū) 切分規(guī)切分和標注相結合的規(guī)標注規(guī) 《現(xiàn)代漢語語料庫加工規(guī)范 形式不切分，ABAB形式切糊涂/z，高興/a高興/a/nr，老張/nr，花兒/n，爺兒們/n，求知者 義者如單純方位詞＋名（單音）的定中結構作為一個切分單前院/s，左肩/n，后天 基本概分詞規(guī)分詞詞分詞算分詞系 ——用于基于詞典的分詞算 查詢速度：匹配算法效率的直接決定因 效能：插入、刪除、更新等操作的難易程 基本概分詞規(guī)分詞詞分詞系 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計的算 正向最大匹該子串，指針后MAXL個漢字后繼續(xù)切分，否則，子串長度逆向最大匹與前者區(qū)別在于抽取順序，從漢字串尾端開始抽取 正/逆向最大匹配（例“他們明天 正向最大匹配過他們明天他們明明天 來

明天來上明天來們明天來他們們明天明天 umMatchingmethod,錯誤切分率為 umMatchingmethod,錯誤切分率為Bi-directionMatchingmethod,正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計的算 正向最小匹按照從左到右的順序，首先從漢字串中取長度為2的子串查詞逆向最小匹與前者區(qū)別在于抽取順序，從漢字串尾端開始抽取 正/逆向最小匹配（例“他們明天 正向最小匹配過他們明天來上 逆向最小匹配過天明天來來明天他 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計的算 算max{k|C0C1……CkW}C

Ck1Ck2……Cn改進的正向最大匹配，以降低時間復雜度 鄰近匹配（例“為奧運會健兒加油啊“為奧”W= “奧W奧運，奧運3“健W健兒2健“加油”W={加油 ”≠“加油啊”不匹配加 正/逆向最大匹正/逆向最小匹鄰近匹基于統(tǒng)計的算 建立一個結點數(shù)為n+1的切分有向無環(huán)圖各結點編號依次為V0，V1…Vn，通過以下兩種方式建立G所有(1)相鄰結點Vk-1，Vk之間建立有向邊<Vk-1，Vk>，對應的詞為(2)若w=CiCi+1…Cj是字典中詞，則結點Vi-1，Vj之間建立有向 采用Dijkstra算法求有向圖GCi+1…Cs/……/Ct+1…Cj/Cj+1…Cn。 最短路徑匹配（例最短路徑：V0-V1-V2-V4-對應詞串：C1/C2/C3C4/切分結果：他的確切地址 正/逆向最大匹正/逆向最小匹鄰近匹最短路徑匹基于統(tǒng)計的算 路徑1路徑2

S

W1:有/意見 W2:有意/見 Max(P(W1|S),P(W2|S))P(W|S)P(S|W)P(W)P(WP(SP(W)P(w1,w2,...,wi)P(w1)P(w2)...P(wiP(w)

wi在語料庫中的出現(xiàn)次數(shù) 語料庫中的總詞數(shù) 詞概……有意見……P(W1)=詞概……有意見……=1.8×10-P(W2)=P(有意)*P(見)* =1×10-P(W1)> W1=這/事 的確 定 不 下來W2=這/事 的 確定 不 下來

W1=做/完 作業(yè) 才能 看 電視W2=做/完 作業(yè) 才 能 看 電視

根據(jù)這個數(shù)據(jù)結構，可以把詞法分析中的幾種操作轉化為給詞圖上添加邊（查詞典，處 詞、離合詞、前后綴和未定義詞尋找一條起點S到終點E的最優(yōu)路徑（切分排歧 $$結結合合成成成成分分分分子子分分子子6,時子子8時子子2時時時91 基本概分詞規(guī)分詞詞分詞算分詞系 Paoding（庖丁解牛分詞提供lucene和solr 基于CRF（ConditionRandomFie