單元2-中文分詞3

2.2實(shí)戰(zhàn)案例——中文分詞工具包jieba的使用2.2.1案例目標(biāo)2.2.1案例目標(biāo)2.2掌握jieba工具包的基本使用方法。掌握jibea分詞的分詞模式及對(duì)應(yīng)函數(shù)的寫法。2.2.2案例分析2.2掌握jieba工具包的基本使用方法。掌握jibea分詞的分詞模式及對(duì)應(yīng)函數(shù)的寫法。2.2.2案例分析近年來，隨著NLP技術(shù)的日益成熟，開源的分詞工具越來越多。在本單元中，選用jiebe工具包來進(jìn)行介紹和案例展示。jiebe工具包的優(yōu)點(diǎn)在于：社區(qū)活躍。在實(shí)際生產(chǎn)實(shí)踐中遇到的問題能夠在社區(qū)反饋并得到解決，適合長(zhǎng)期使用。功能豐富。jiebe工具包是一個(gè)開源框架，不僅僅可以實(shí)現(xiàn)分詞，還提供了很多其他算法，例如關(guān)鍵詞提取、詞性標(biāo)注等。多種編程語言實(shí)現(xiàn)。jieba官方提供了多平臺(tái)多語言支持，而且還提供了很多熱門社區(qū)項(xiàng)目的擴(kuò)展插件。在實(shí)際項(xiàng)目中，可以進(jìn)行擴(kuò)展。操作簡(jiǎn)單。jieba工具包的API不多，需要進(jìn)行的配置簡(jiǎn)單，方便上手。2.2.2案例分析2.2jieba工具包的分詞結(jié)合了基于規(guī)則和基于統(tǒng)計(jì)這兩種方法。首先基于前綴詞典構(gòu)建包含全部可能分詞結(jié)果的有向無環(huán)圖，然后使用動(dòng)態(tài)規(guī)劃的方法找到最大概率路徑，并將其作為最終的分詞結(jié)果。對(duì)于未登錄詞，使用了基于漢字成詞的HMM模型，采用了Viterbi算法進(jìn)行推導(dǎo)。2.2.2案例分析2.22.2.1案例分析jieba工具包提供了三種分詞模式：精確模式：將句子最精確地切開，適合文本分析。全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非?？欤荒芙鉀Q歧義。搜索引擎模式：在精確模式的基礎(chǔ)上，對(duì)長(zhǎng)詞再次切分，提高召回率，適合用于搜索引擎分詞，同時(shí)也支持自定義字典。2.22.2.3案例實(shí)施jieba工具包目前使用較為廣泛的一種中文分詞開源工具包中文名：“結(jié)巴”jieba的安裝：pipinstalljieba導(dǎo)入模塊：importjieba三種分詞模式2.22.2.3案例實(shí)施（一）jieba工具包介紹jieba工具包的使用代碼：

words=jieba.cut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")print(list(words))輸出：

['國(guó)基','北盛','與','浙江大學(xué)','聯(lián)合','舉辦','了','人工智能','大賽']精確模式（默認(rèn)）精確模式：試圖將句子最精確地切開，適合文本分析2.2.3案例實(shí)施（一）jieba工具包介紹2.22.2.3案例實(shí)施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國(guó)基','國(guó)基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非?？欤荒芙鉀Q歧義（一）jieba工具包介紹2.2.3案例實(shí)施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國(guó)基','國(guó)基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非?？?，但不能解決歧義（一）jieba工具包介紹2.2.3案例實(shí)施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國(guó)基','國(guó)基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但不能解決歧義（一）jieba工具包介紹2.2.3案例實(shí)施2.2jieba工具包的使用使用自定義詞典進(jìn)行分詞（一）代碼：

jieba.add_word("國(guó)基北盛")

jieba.add_word("聯(lián)合舉辦") words=jieba.lcut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")

print(words)

輸出：

['國(guó)基北盛','與','浙江大學(xué)','聯(lián)合舉辦','了','人工智能','大賽']jieba.add_word(w)：向分詞詞典中添加新詞w（一）jieba工具包介紹2.2.3案例實(shí)施2.2jieba工具包的使用使用自定義詞典進(jìn)行分詞（二）代碼：

jieba.load_userdict('jiebatxt.txt')

words=jieba.lcut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")print(words)

輸出：

['國(guó)基北盛','與','浙江大學(xué)','聯(lián)合舉辦','了','人工智能','大賽']jieba.load_userdict('文件名')：加載自定義詞典詞典格式：詞詞頻詞性（后兩個(gè)可以不寫）（一）jieba工具包介紹2.2.3案例實(shí)施2.2jieba工具包的使用使用自定義詞典進(jìn)行分詞（三）代碼：

word1=jieba.lcut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")jieba.del_word("人工智能")word2=jieba.lcut("國(guó)基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")

輸出：

word1:['國(guó)基','北盛','與','浙江大學(xué)','聯(lián)合