Python自然語(yǔ)言處理 課件 04-2-詞性標(biāo)注

詞性標(biāo)注Python自然語(yǔ)言處理第四章CONTENT目錄

01中文分詞02詞性標(biāo)注03命名實(shí)體識(shí)別課前回顧課前回顧中文分詞介紹規(guī)則分詞統(tǒng)計(jì)分詞混合分詞中文分詞工具--Jieba詞性標(biāo)注02詞性標(biāo)注簡(jiǎn)介詞性標(biāo)注規(guī)范Jieba分詞中的詞性標(biāo)注詞性標(biāo)注簡(jiǎn)介詞性，也稱(chēng)為詞類(lèi)，是詞匯的基本語(yǔ)法屬性，用于描述詞在上下文中的作用。詞性標(biāo)注是對(duì)句子中的每個(gè)詞給出合適的詞性標(biāo)簽，如名詞、動(dòng)詞、形容詞等。中文作為一種孤立語(yǔ)言，其特點(diǎn)是缺乏嚴(yán)格意義上的形容標(biāo)志和形態(tài)變化，中文詞性標(biāo)注的困難有以下四點(diǎn)：中文缺少詞的形態(tài)變化，無(wú)法直接從詞的形態(tài)識(shí)別詞性。一詞多詞性很常見(jiàn)。詞性劃分標(biāo)準(zhǔn)不統(tǒng)一。未登錄詞問(wèn)題。詞性標(biāo)注02詞性標(biāo)注簡(jiǎn)介詞性標(biāo)注規(guī)范Jieba分詞中的詞性標(biāo)注詞性標(biāo)注規(guī)范詞有很多詞性，如名詞、形容詞、代詞、動(dòng)詞等，詞性標(biāo)注要依據(jù)一定的規(guī)范，將詞的詞性表示為“n"、”adj“、”r“、”v“等符號(hào)。中文詞性多樣，表示方法也各有不同，目前尚無(wú)統(tǒng)一的標(biāo)注規(guī)范。北大詞性標(biāo)注集和賓州詞性標(biāo)注集是較為流行的兩大類(lèi)規(guī)范，兩種標(biāo)注規(guī)范各有所長(zhǎng)。詞性標(biāo)注02詞性標(biāo)注簡(jiǎn)介詞性標(biāo)注規(guī)范Jieba分詞中的詞性標(biāo)注Jieba分詞中的詞性標(biāo)注Jieba的詞性標(biāo)注功能與分詞功能類(lèi)似，都是采用規(guī)則方法和統(tǒng)計(jì)方法相結(jié)合的方式。Jieba在詞性標(biāo)注的過(guò)程中采用詞典匹配和HMM共同作用的方式，具體使用流程如下。1）采用正則表達(dá)式進(jìn)行漢字判斷。正則表達(dá)式如下：

re_han_internal=pile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")2）若滿(mǎn)足上述正則表達(dá)式即判定為漢字，然后基于前綴詞典構(gòu)建有向無(wú)環(huán)圖，再基于有向無(wú)環(huán)圖求取最大概率路徑，同時(shí)在前綴詞典中找出分出的詞的詞性。若在詞典中找不到詞的詞性，則使用“x”標(biāo)記，代表其詞性未知。當(dāng)然也可在該過(guò)程中使用HMM，若待標(biāo)注詞為未登錄詞時(shí)，使用HMM方式進(jìn)行詞性標(biāo)注。3）若不滿(mǎn)足上述正則表達(dá)式，則繼續(xù)通過(guò)正則表達(dá)式進(jìn)行類(lèi)型判斷，分別用“x"、”m“（數(shù)詞）和”eng“（英文）標(biāo)記。Jieba分詞中的詞性標(biāo)注HMM模型在進(jìn)行中文分詞時(shí)，會(huì)將每個(gè)字使用“BMES”四種狀態(tài)進(jìn)行標(biāo)記。Jieba采用基于simultaneous思想的聯(lián)合模型進(jìn)行詞性標(biāo)注，即將基于字標(biāo)注的分詞方法和詞性標(biāo)注結(jié)合起來(lái)，使用復(fù)合標(biāo)注集。例如：“中文”是一個(gè)名詞，詞性標(biāo)注為"n"，而HMM對(duì)其進(jìn)行分詞的狀態(tài)序列為“BE”，因此“中”的標(biāo)注是“Bn”，“文”的標(biāo)注是“En”。如此使用HMM進(jìn)行詞性標(biāo)注的過(guò)程與使用HMM進(jìn)行分詞的過(guò)程是一致的，在進(jìn)行不同的任務(wù)時(shí)只需要更換合適的語(yǔ)料庫(kù)即可。Jieba分詞中的詞性標(biāo)注結(jié)果如下：每個(gè)詞后面是詞對(duì)應(yīng)的詞性標(biāo)記。對(duì)比北大詞性標(biāo)注規(guī)范表可知，每個(gè)詞的詞性已被正確劃