基于自然語言處理學(xué)習(xí)系統(tǒng)-tag5現(xiàn)有詞性標(biāo)注

123452 詞性標(biāo)注（POStagging）的主要任務(wù)是消除詞性兼類例如1)Timeflieslikean 說 日心對Brown語料庫的統(tǒng)計(jì)，55％詞次兼類。漢語中常用詞兼31基本概念1.1詞） 241基本概念1.2（1）如：“好”—(hǎo)—a：他很—(hào)—v：他好（2）如：“編輯”—n指人］：他是“編輯”—v［指動(dòng)作］：他在51基本概念（3）如：“豐富”—a：生活很“豐富”—v:豐富“把”—p：把“把”—q:一把（4） U--y—語氣詞P-6漢語中的兼類詞只占漢語詞匯的一小部分?！吨袑W(xué)生詞典》兼類詞數(shù)量雖小，但大多是常用詞。往往越是常用的詞，《中學(xué)生詞典》中，“動(dòng)-名”（例如“計(jì)劃、報(bào)告”）“動(dòng)-形”（例如“繁榮、普及”）、“名-形”（例如“科學(xué) ”）、“形-副”（例如“直、白”）、“-副”（例如“斷、還”）、“名-副”（例如“ ”）、如果我們把力量放在主要兼類現(xiàn)象的處理上，就可以收到71基本概念1.3nbujgtayl字xszohmfvewdqprkc812345922.1 2.21234533.13.2主要依靠上下文來判定兼類這是一張白紙（“白‘出現(xiàn)在名詞”紙’之前，判定 他白跑了一趟（“白”出現(xiàn)在動(dòng)詞“跑”之前，判定詞性連坐：在并列的聯(lián)合結(jié)構(gòu)中，聯(lián)合的兩個(gè)成分的詞類應(yīng)該相同，如果其中一個(gè)為非兼類詞，另一個(gè)為兼類詞，則可把非兼類詞的詞性“文章”為名詞，是非兼類詞，“報(bào)告”為動(dòng)-名兼類詞， 例如：對多類詞“了”/v-u-y，A.“yB.v“得”|“不”+“C.v|a“ 例如：對詞類組合v-a+v-→aq+v-a+n→v+v-a+n|u|y→例如：若我們有模式：v+{ }+n，表明動(dòng)詞(v)和名詞(n)中間可能為 ，則對于句子片段：有/v怪/a-d-v招/n中的多類詞“怪”，進(jìn)行集合運(yùn)算{ 得到a，從而給出了正確的詞類標(biāo)記“怪/a”，完成了詞類統(tǒng)計(jì)排歧處理令12n為一多詞類詞串，c12n為可能的詞類標(biāo)注結(jié)果串。P(C|W)為給定Ｗ條件下Ｃ出現(xiàn)的概率。如果不考慮更大的上下文，我們可以認(rèn)為使得P(C|W)的值取得最大時(shí)的Ｃ出現(xiàn)的可能性最大。這樣就把詞類標(biāo)注問題轉(zhuǎn)化為尋找一組標(biāo)記串Ｃ′，使得：Ｃ′=argmax根據(jù)

|W)

|C)3.2統(tǒng)計(jì)排歧處理其中P(W)為常量，不需要考慮，關(guān)鍵在于對PC)和P(W|C)的計(jì)算。由于兩者的參數(shù)估計(jì)極為復(fù)雜，在實(shí)際應(yīng)用中，往往需進(jìn)行簡化。對于P(C)，我們使用了二元語法n ni而對P(W|C)，只考慮每個(gè)詞依賴于它本身的詞類的情況，可以得到

|C)nn

|ci3.2統(tǒng)計(jì)排歧處理nC

01

3.2統(tǒng)計(jì)排歧處理 LikelihoodEstimation)，即令|(

1

/(

P

wiic),(

wiic),/(N

iic)

ci

i

fci其中i)是語料庫中ci和j相鄰出現(xiàn)的頻度，)是語料庫中詞ｗ取詞類ｃ的頻度，f(c)為語料庫中詞類標(biāo)記3.21其中，HMM結(jié)合Viterbi算法的詞性標(biāo)注方法最常見12345 rsing)也叫部分句法分析(partialparsing)或語塊分析(chunkparsing)是近年來如nounchunk各個(gè)語塊是完整句法樹的一個(gè)，只要加上語塊處理系統(tǒng)中迅速得到利用。系，定義詞是如何在一起形成短語成分，以及短語成分如何擔(dān)當(dāng)表達(dá)分析后的句法結(jié)構(gòu)。自然語言的語法分析已經(jīng)被廣泛地應(yīng)用于自A/BB。如：六/區(qū)/縣，要/好好A/JB,否則切分為AJ/B。如：一月/初、三/月他倆談戀愛是從頭年…/v/d/q/t…/v/p/time_n/time_nqp:介詞t組合型歧義的消解祖國/將來/會(huì)/更/1234555.1TAGGIT系1971年，大學(xué)的（Greene)和（Rubin）建立了TAGGIT系統(tǒng)，采用了86個(gè)詞類標(biāo)記，利用了3300條上下文框架規(guī)則來排除兼類詞歧義，自動(dòng)標(biāo)注正確率達(dá)到5.2CLAWS系1983年，（G.Leech)和加(R.Garside)等人建立了55.3ICTCLAS系中國計(jì)算技術(shù)在多年研究基礎(chǔ)上，耗時(shí)一年ICTCLAS(InstituteofCo