中文分詞算法及其比較分析

中文分詞算法及其比較分析

各種分詞方法的優(yōu)劣對(duì)比分詞方法基于字符串匹配分詞基于理解的分詞基于統(tǒng)計(jì)的分詞歧義識(shí)別差強(qiáng)強(qiáng)新詞識(shí)別差強(qiáng)強(qiáng)需要詞典需要不需要不需要需要語(yǔ)料庫(kù)否否是需要規(guī)則庫(kù)否是否算法復(fù)雜性容易很難一般技術(shù)成熟度成熟不成熟成熟實(shí)施難度容易很難一般分詞準(zhǔn)確性一般準(zhǔn)確較準(zhǔn)分詞速度快慢一般(1)歧義識(shí)別歧義識(shí)別指一個(gè)字符串有多種分詞方法，計(jì)算機(jī)難以給出到底哪一種分詞算法才是正確的分詞系列。如”表面的”可以分為”表面/的”或”表/面的”。計(jì)算機(jī)無(wú)法判斷哪一種才是準(zhǔn)確的分詞系列。基于字符串的分詞算法：僅僅是跟一個(gè)電子詞典進(jìn)行比較，故不能進(jìn)行歧義識(shí)別；基于理解的分詞算法：指通過(guò)理解字符串的含義，故有很強(qiáng)的歧義識(shí)別能力；基于統(tǒng)計(jì)的分詞算法：根據(jù)字符連續(xù)出現(xiàn)次數(shù)的多少，得到分詞系列，故常常能夠給出正確的分詞系列選擇，但是也有可能判斷錯(cuò)誤的情況。(2)新詞識(shí)別新詞識(shí)別也稱作未登錄詞識(shí)別，指正確識(shí)別詞典中沒(méi)有出現(xiàn)的詞語(yǔ)。姓名、機(jī)構(gòu)名、地址、稱謂等千變?nèi)f化，詞典中常常不能完全收錄這些詞語(yǔ)；另外，網(wǎng)絡(luò)中出現(xiàn)的流行用語(yǔ)也是一種未登錄詞的常見(jiàn)來(lái)源，如”打醬油”為最近出現(xiàn)在網(wǎng)絡(luò)中，并迅速流行，從而成為一個(gè)新詞。大量的研究證明新詞識(shí)別是中文分詞準(zhǔn)確性的一個(gè)重要影響因素?；谧址姆衷~算法：無(wú)法正確識(shí)別未登錄詞，因?yàn)檫@種算法僅僅與詞典中存在的詞語(yǔ)進(jìn)行比較；基于理解的分詞算法：理解字符串的含義，從而有很強(qiáng)的新詞識(shí)別能力；基于統(tǒng)計(jì)的分詞算法：這種算法對(duì)第二種未登錄詞有很強(qiáng)的識(shí)別能力，因?yàn)槌霈F(xiàn)次數(shù)多，才會(huì)當(dāng)作一個(gè)新詞；對(duì)于第二類未登錄詞，這類詞語(yǔ)有一定的規(guī)律，如姓名：”姓”+名字，如李勝利；機(jī)構(gòu)：前綴+稱謂，如希望集團(tuán)；故需要結(jié)合一定的規(guī)則進(jìn)行識(shí)別，僅僅統(tǒng)計(jì)方法難以正確識(shí)別。(3)需要詞典基于字符串的分詞算法：基本思路就是與電子詞典進(jìn)行比較，故電子詞典是必須的。并且詞典越大，分詞的正確率越高，因?yàn)樵~典越大，未登錄詞越少，從而可以大大減少未登錄詞識(shí)別的錯(cuò)誤；基于理解的分詞算法：理解字符串的含義，故不需要一個(gè)電子詞典；基于統(tǒng)計(jì)的分詞算法：僅僅根據(jù)統(tǒng)計(jì)得到最終的結(jié)果，故電子詞典不是必須的。(4)需要語(yǔ)料庫(kù)基于字符串的分詞算法：分詞過(guò)程僅僅與一個(gè)已經(jīng)存在的電子詞典進(jìn)行比較，故不需要語(yǔ)料庫(kù)；基于理解的分詞算法：理解字符串的含義，故不需要電子詞典；基于統(tǒng)計(jì)的分詞算法：需要語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)訓(xùn)練，故語(yǔ)料庫(kù)是必須的；且好的語(yǔ)料庫(kù)是分詞準(zhǔn)確性的保證。(5)需要規(guī)則庫(kù)基于字符串的分詞算法：分詞過(guò)程僅僅與一個(gè)已經(jīng)存在的電子詞典進(jìn)行比較，不需要規(guī)則庫(kù)來(lái)進(jìn)行分詞；基于理解的分詞算法：規(guī)則是計(jì)算機(jī)進(jìn)行理解的基礎(chǔ)，故準(zhǔn)確、完備的規(guī)則庫(kù)是這種分詞算法的前提；基于統(tǒng)計(jì)的分詞算法：根據(jù)語(yǔ)料庫(kù)統(tǒng)計(jì)訓(xùn)練，故規(guī)則庫(kù)不是必須的。(6)算法復(fù)雜性基于字符串的分詞算法：僅僅進(jìn)行字符串的比較操作，故算法簡(jiǎn)單；基于理解的分詞算法：需要充分處理各種規(guī)則，故算法非常復(fù)雜；事實(shí)上到目前為止，還沒(méi)有成熟的這類算法；基于統(tǒng)計(jì)的分詞算法：需要語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，雖然算法也比較復(fù)雜，但是已經(jīng)比較常見(jiàn)，故這種分詞的復(fù)雜性比第一種大，比第二種容易。現(xiàn)在的實(shí)用分詞系統(tǒng)都采用這種算法。(7)技術(shù)成熟度基于字符串的分詞算法：是最早出現(xiàn)也是最成熟的算法；基于理解的分詞算法：是最不成熟的一類算法，到目前為止還沒(méi)有成熟的算法；基于統(tǒng)計(jì)的分詞算法：已經(jīng)有多種成熟的這類算法，基本上能夠滿足實(shí)際的應(yīng)用。故技術(shù)成熟度：基于匹配的分詞算法〉基于理解的分詞算法〉基于統(tǒng)計(jì)的分詞算法。(8)實(shí)施復(fù)雜性同上面的道理，實(shí)施復(fù)雜性：基于理解的分詞算法〉基于統(tǒng)計(jì)的分詞算法〉基于匹配的分詞算法。(9)分詞準(zhǔn)確性到目前為止還沒(méi)有一個(gè)準(zhǔn)確的結(jié)論，不過(guò)從理論上說(shuō)，基于理解的分詞算法有最高的分詞準(zhǔn)確性，理論上有100%的準(zhǔn)確性；而基于匹配的分詞算法和基于統(tǒng)計(jì)的分詞算法是一種”淺理解”的分詞方法，不涉及真正的含義理解，故可能會(huì)出現(xiàn)錯(cuò)誤，難以達(dá)到100%的準(zhǔn)確性。(10)分詞速度基于匹配的分詞算法：算法簡(jiǎn)單，操作容易，故分詞速度快，所以這種算法常常作為另外兩種