單元3：詞性標注和實體命名識別3

(1)分句SentenceSplitter:分句模型將一個段落通過”?！薄ⅰ?？”、”！”等形式分開代碼：

frompyltpimportSentenceSplitter

sents=SentenceSplitter.split('由于父親此后前往哈佛大學求學。奧巴馬從小由母親撫養(yǎng)。')

forsentinsents:

print(sent)輸出：

由于父親此后前往哈佛大學求學。

奧巴馬從小由母親撫養(yǎng)。3.3.2案例分析（二）依存句法分析3.3將一個文檔通過”。”、”？”、”！”等形式分開代碼：

frompyltpimportSentenceSplitter#導入模塊

defsentence_splitter(file_name):#定義函數(shù)，輸入：file_name文件名

out_sent=[]

file=open(file_name,"r",encoding='UTF-8')#以只讀的方式打開文件

sents=file.readlines()#讀取文件

forsentinsents:

sent=sent.rstrip('\n')#去掉換行符

single_sentence=SentenceSplitter.split(sent)

#分句

forsentenceinsingle_sentence:

out_sent.append(sentence)

print(out_sent)

returnout_sent#輸出：句子的列表(1)分句SentenceSplitter:分句模型3.3.2案例分析（二）依存句法分析3.3(2)分詞Segmentor：分詞模型代碼：

frompyltpimportSegmentor

segmentor=Segmentor()#初始化實例

segmentor.load('cws.model')#加載模型

words=segmentor.segment('由于父親此后前往哈佛大學求學，奧巴馬從小由母親撫養(yǎng)。')

forwordinwords:

print(word)

segmentor.release()#釋放模型輸出：

由于父親此后前往哈佛大學求學，奧巴馬從小由母親撫養(yǎng)。3.33.3.2案例分析（二）依存句法分析使用自定義字典

自定義字典：

哈佛大學代碼：

frompyltpimportSegmentor

segmentor=Segmentor()#初始化實例

segmentor.load_with_lexicon('cws.model','dic_path.txt')#dic_path是自定義字典

words=segmentor.segment('由于父親此后前往哈佛大學求學，奧巴馬從小由母親撫養(yǎng)。')

forwordinwords:

print(word)

segmentor.release()#釋放模型3.3(2)分詞Segmentor：分詞模型3.3.2案例分析（二）依存句法分析輸出：

由于父親此后前往哈佛大學求學，奧巴馬從小由母親撫養(yǎng)。注意：沒有自定義詞典：segmentor.load('cws.model')有自定義字典：segmentor.load_with_lexicon（'cws.model'，自定義字典名）3.3(2)分詞Segmentor：分詞模型3.3.2案例分析（二）依存句法分析(3)詞性標注Postagger:詞性標注模型代碼： frompyltpimportPostagger

postagger=Postagger()#初始化實例 postagger.load('pos.model')#加載模型 postags=postagger.postag(words)#詞性標注 forword,postaginzip(words,postags): print(word,postag) postagger.release()#釋放模型輸出：

由于p父親n此后nt前往v哈佛大學ni求學v，wp 奧巴馬nh從小d由p母親n撫養(yǎng)v。wp3.33.3.2案例分析（二）依存句法分析(4)實體命名識別NamedEntityRecognizer:實體命名模型Nh——人名，NS——地名，Ni——機構名B——實體開始詞，I——實體中間詞，E——實體結束詞，S——單獨成實體，O——不構成實體代碼：

frompyltpimportNamedEntityRecognizer

recognizer=NamedEntityRecognizer()#初始化實例 recognizer.load(ner_model_path)#加載模型 netags=recognizer.recognize(words,postags)#命名實體識別，用到了詞性標注的結果 forword,netaginzip(words,netags): print(word,netag)輸出：

由于O父親O此后O前往O哈佛大學S-Ni求學O，O

奧巴馬S-Nh從小O由O母親O撫養(yǎng)O3.3.2案例分析（二）依存句法分析3.3(5)依存句法分析Parser：語法分析模型依存關系字典：Tag關系類型Tag關系類型SBV主謂關系CMP動補結構VOB動賓關系COO并列關系IOB間賓關系POB介賓關系FOB前置賓語LAD左附加關系DBL兼語RAD右附加關系ATT定中關系IS獨立結構ADV狀中結構HED核心關系3.33.3.2案例分析（二）依存句法分析代碼： frompyltpimportParser parser=Parser()#初始化實例 parser.load('parser.model')#加載模型 arcs=parser.parse(words,postags)#句法分析，用到詞性標注的結果 print('\t'.join('%d:%s'%(arc.head,arc.relation)forarcinarcs))輸出：

12:ADV4:SBV 4:ADV 1:POB 4:VOB 4:COO 1:WP 12:SBV 12:ADV 12:ADV 10:POB0:HED 12:WP3.3(5)依存句法分析Parser：語法分析模型3.3.2案例分析（二）依存句法分析詞性分析結果：由于p父親n此后nt前往v哈佛大學ni求學v,wp奧巴馬nh從小d由p母親n撫養(yǎng)v。wp依存句法分析結果：12:ADV4:SBV4:ADV1:POB4:VOB4:COO1:WP12:SBV12:ADV12:ADV10:POB0:HED12:WP排序：0ROOT

1由于2父親3此后4前往5哈佛大學6求學7，8奧巴馬9從小10由11母親12撫養(yǎng)13。結果：ADV(由于,撫養(yǎng))SBV(父親,前往)ADV(此后,前往)POB(前往,由于)VOB(哈佛大學,前往)...(5)依存句法分析Parser：語法分析模型3.3.2案例分析（二）依存句法分析3.3代碼： rely_id=[arc.headforarcinarcs]#提取依存父節(jié)點 relation=[arc.relationforarcinarcs]#提取依存關系 heads=["root"ifid==0elsewords[id-1]foridinrely_id]#匹配依存父節(jié)點詞語 foriinrange(len(words)): print(relation[i]+'('+words[i]+','+heads[i]+')') parser.release()輸出：

ADV(由于,撫養(yǎng))SBV(父親,前往)

ADV(此后,前往)

POB(前往,由于)

VOB(哈佛大學,前往)

COO(求學,前往)

WP(，,由于)

SBV(奧巴馬,撫養(yǎng))

ADV(從小,撫養(yǎng))

ADV(由,撫養(yǎng))

POB(母親,由)

HED(撫養(yǎng),root)

WP(。,撫養(yǎng))(5)依存句法分析Parser：語法分析模型3.3.2案例分析（二）依存句法分析3