互聯(lián)網(wǎng)架構(gòu)課前-中文分詞技術(shù)

中文分詞技術(shù)(中文分詞原理一 為什么要進(jìn)行中文分詞二 中文分詞技術(shù)的分下面簡(jiǎn)要介紹幾種常用方法12（一）(ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常簡(jiǎn)稱為ＭＭi個(gè)漢字字符，則用被處理文檔的當(dāng)前字匹配字段被作為一個(gè)詞切分出來。如果詞典中找不到這樣的一個(gè)i，則匹配失敗，將匹配字段中的最后一個(gè)字去掉，對(duì)剩下的字串重新進(jìn)行匹配處理……如此進(jìn)行下去，直i字字串進(jìn)行匹配處理，直到文檔被掃描完為止。初始化當(dāng)前位置計(jì)數(shù)器，置為從當(dāng)前計(jì)數(shù)器開始，取前2i如果匹配字段長(zhǎng)度不為0跳轉(zhuǎn)到步驟則②匹配字段長(zhǎng)度減②匹配字段長(zhǎng)度減跳轉(zhuǎn)至步驟 否則當(dāng)前位置計(jì)數(shù)器的值加（二）(ＲｅｖｅｒｓｅＭａｘｉｍｕｍＭａｔｃｉｎｇＭｅｔｈｏｄ)通常簡(jiǎn)稱為ＲＭＭ法。ＲＭＭ法的基本原理與ＭＭ法相同,MM描，每次取最末端的2i個(gè)字符（i字字串）作為匹配字段，若匹配失敗，則去掉匹配字段法比正向最大匹配法的誤差要小。統(tǒng)計(jì)結(jié)果表明,單純使用正向最大匹配的錯(cuò)誤率為1/169,單純使用逆向最大匹配的錯(cuò)誤率為1/245。例如切分字段“產(chǎn)”，正向最大匹配法的結(jié)果會(huì)是“/產(chǎn)”，而逆向最大匹配法利用逆向掃描，可得到正確的分詞結(jié)果“/研究/生產(chǎn)”。（即雙向匹配法，見（四（三）這是一種全切分方法。它不依靠詞典,而是將文章中任意兩個(gè)字同時(shí)出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì),次數(shù)越高的就可能是一個(gè)詞。它首先切分出與詞表匹配的所有可能的詞,和決策算法決定最優(yōu)的切分結(jié)果。它的優(yōu)點(diǎn)在于可以發(fā)現(xiàn)所有的切義并且容易將新詞提取出來。,比較匹配過程是分步,,,因而分詞速度可以大幅度提高。這種方法涉及到多級(jí)內(nèi)碼理論和管道的常用中文分首選的中文分詞開源組件。Paoding中文分詞追求分詞的高效率和用戶良好體驗(yàn)。Paoding'sKnivesPIII1G內(nèi)存?zhèn)€人機(jī)器上，1100 ClassificationecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysis、語言辨別（LanguageIdentification）等JELibMMSeg1.2G（0.7.1yzer分算法，是Luceneyzer接口的實(shí)現(xiàn)。PHPCWSPHPCWSPHPLinux/UnixPHPCWS先使用“ICTCLAS3.0API進(jìn)行初次分詞處ICTCLAS（InstituteofComputingTechnology,ChineseLexicalysisICTCLAS3.0，分詞精度98.45%，各種詞典數(shù)據(jù)壓縮后不到3M。ICTCLAS在國(guó)內(nèi)973SigHan組ICTCLAS3.0商業(yè)版是的，而免費(fèi)提供的ICTCLAS3.0共享版不開源，詞庫(kù)是根據(jù)一個(gè)月的語料得出的，很多詞語不存在。所以本人對(duì)ICTCLAS分詞后的ICTCLAS3.0GBKUTF-8編碼的字符串，可以先用PHPiconv函數(shù)轉(zhuǎn)換成GBK編碼，再用phpcws_split函數(shù)進(jìn)行分詞處理，UTF-8編碼。常見的中文分詞器LucenePaoding填補(bǔ)了國(guó)內(nèi)中文分詞方面開源組件的空白，致力于此并希翼成為互聯(lián)網(wǎng)首選的中文分詞開源組件。Paoding中文分詞追求分詞的高效率和用戶良好體驗(yàn)。Paoding'sKnivesPIII1G內(nèi)存?zhèn)€人機(jī)器上，1100LingPipe，開源自然語言處理的Java開源工具包 ClassificationRecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysisJELibMMSeg1.2G（0.7.1LibMMSegyzerIKyzer基于lucene2.0版本API開發(fā)，實(shí)現(xiàn)