醫(yī)學自然語言處理-課件

醫(yī)學自然語言處理

Medical

Natural

Language

Processing宋亞男解放軍總醫(yī)院醫(yī)療大數(shù)據(jù)中心

2019年7月4日CHIMA

2019醫(yī)學自然語言處理的基本任務(wù)目

錄1醫(yī)學自然語言處理的基本技術(shù)2醫(yī)學自然語言處理的典型問題3我院的實踐與總結(jié)4CHIMA

2019

01醫(yī)學自然語言處理的基本任務(wù)

主要用途、基本任務(wù)CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心?????電子病歷醫(yī)學文獻臨床指南健康檔案……結(jié)構(gòu)化、標準化

NLP技術(shù)數(shù)據(jù)分析?

統(tǒng)計分析?

機器學習????疾病診斷模式藥物治療模式預后評價模式……醫(yī)學自然語言處理的基本任務(wù)

?

主要用途

?

病歷文本數(shù)據(jù)挖掘

?

醫(yī)療知識庫構(gòu)建

?

病歷檢索

?

……

可分析的醫(yī)療數(shù)據(jù)????標準化的電子病歷醫(yī)學知識庫整合后的健康檔案……臨床應用????輔助診療系統(tǒng)CDSS藥物安全性檢測醫(yī)療政策決策支持相似病歷檢索應用實踐CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心

例：?

可見多發(fā)結(jié)節(jié)影，大小約

1.16X0.98厘米醫(yī)學自然語言處理的基本任務(wù)

例：?

胃脹反酸、泛酸、返酸例：“細菌性痢疾”?

細菌

/n

性

/ng

痢疾

/

n名詞名詞性語素例：?

可見多發(fā)結(jié)節(jié)影，大小約

1.16X0.98厘米010603040502

分詞例：“無意識障礙”?

無

|

意識

|

障礙

無

|

意識障礙

詞性標注0102實體識別03

語義分析

例：?

在“肌力4+級”中“+”表示“強”“頭MRI+MRA示”中“+”表示“和”

實體關(guān)系抽取0605實體標準化04CHIMA

2019

02醫(yī)學自然語言處理的基本技術(shù)

分詞、詞性標注、實體識別、實體關(guān)系抽取、語義分析CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)?

分詞

?

分詞是將一句話切分成一個個單詞的過程?

分詞工具

?

結(jié)巴（jieba）分詞工具、NLPIR漢語分詞系統(tǒng)、IKAnalyzer開源分詞軟件?

關(guān)鍵技術(shù)

?

基于詞典的分詞方法（機械分詞法）

按照一定策略，將待分析的漢字串與一個充分大的機器字典中的詞條進行匹配，若

在詞典中找到某個字符串，則匹配成功

?逆向最大匹配法

?正向最大匹配法

?雙向匹配法

?

基于機器學習的分詞方法例：?

“無意識障礙”無意識

|

障礙（

）

無

|

意識障礙（?）CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心設(shè)詞典中詞語長度的最大值為M醫(yī)學自然語言處理的基本技術(shù)

?

基于詞典的分詞方法

開始從文檔末尾開始掃描，取最末端的M個字符作為匹配字段，查找字典

否

匹配成功

是

記錄分詞結(jié)果，對剩余的字符串繼

續(xù)重復以上步驟

將字符串長度減少1

是剩余字串的長度為零

輸出例：“南京市長江大橋”1.2.3.4.5.6.設(shè)最長詞為5在詞典中匹配“市長江大橋”匹配失敗，去掉最前面一個字“市”匹配“長江大橋”，匹配成功在詞典中剩余字符“南京市”，匹配成功輸出結(jié)果：

南京市

/

長江大橋CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)?

詞性標注

?

在給定句子中判定每個詞的詞性加以標注，如將詞分為名詞、形容詞、動

詞等?

關(guān)鍵技術(shù)

?

基于詞典的標注方法

?先對語句進行分詞，然后從字典中查找每個詞語的詞性，對其進行標注?

基于規(guī)則的標注方法

①

簡單處理，得到初標注結(jié)果

②

建立轉(zhuǎn)換規(guī)則，修正錯誤

③

得到標注結(jié)果例：?

細菌性痢疾?

膽囊壁明顯增厚細菌

/n

性

/ng

痢疾

/n膽囊

/n

壁

/ng

明顯

/a

增

/v

厚

/a名詞名詞性語素例：1.初標注：“他/r做/v了/u一/m個/q報告/v”2.轉(zhuǎn)換規(guī)則：

激活環(huán)境：該詞左邊第一個緊鄰詞的詞性是量詞（q）,左邊第二個詞的詞性是數(shù)詞（m）

改寫規(guī)則：將該詞的詞性從動詞（v）改為名詞（n）3.得到標注結(jié)果：

“他/r做/v了/u一/m個/q報告/n”CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)

?

實體識別

?

醫(yī)學領(lǐng)域的實體抽取是從醫(yī)學數(shù)據(jù)源中提取出特定類型的命名實體，主要有疾病、藥

物、癥狀、檢查、手術(shù)操作、器官部位等

?

關(guān)鍵技術(shù)

?

基于規(guī)則的方法

?

正則法

例：清掃第1組，2組，3組淋巴結(jié)正則表達式：“%

[/d]

+

組淋巴結(jié)”1組淋巴結(jié)、2組淋巴結(jié)、3組淋巴結(jié)?

基于機器學習的方法

?

詞向量表示

將自然語言處理問題轉(zhuǎn)化為機器學習問題，首先在于采用一種詞表示方法將文本中的單詞和符號

數(shù)學化，即用一個數(shù)學向量表示。常用的詞向量表示方法：獨熱碼表示、Word2vec算法

例：

“乙肝”表示為

[

0

0

0

1

0

0

0

0

0

0

0

0…]

，“肝硬化”表示為

[

0

0

0

0

0

0

0

0

1

0

0

0…]CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心例：

頭顱CT檢查顯示腔隙性腦梗死1.人工特征標注：頭顱CT——檢查手段；腔隙性腦梗死——疾??；2.

訓練：將字符轉(zhuǎn)為向量表示，將分類標簽id化，并進行特征提取，構(gòu)建訓練集特征向量

[

0

0

0

0

0

1

0

0

0

0

0

0…]—“TES”，

[

0

0

0

0

0

0

0

0

0

0

0

0

1

0…]—“DIS”3.模型進行訓練，訓練完成后對測試文本進行識別，得到機器標注結(jié)果：

<頭顱CT

/TES>

平掃見右側(cè)腦室體旁

<腔隙性腦梗死

/DIS

>人工特征標注醫(yī)學自然語言處理的基本技術(shù)

?

基于機器學習的實體識別方法

原始文本已標注數(shù)據(jù)

訓練集構(gòu)建機器學習模型測試集測試的未標注文本輸入

輸出機器標注結(jié)果訓練特征提取CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)

?

實體標準化

?

醫(yī)學實體在不同的數(shù)據(jù)源中存在嚴重的多元指代問題

?

關(guān)鍵技術(shù)

?

基于醫(yī)學標準術(shù)語庫匹配的方法

?

醫(yī)學知識圖譜

如兩個實體被多個相同實體以相同關(guān)系指向，則二者為同一實體的概率較高

?

基于機器學習的方法

用Word2vec模型對上下文取窗口進行訓練，求解最大似然的共現(xiàn)概率。訓練完成

后，使用向量余弦相似度計算實體相似性。

對于訓練充分的詞表示向量而言，一組相似詞的向量語義距離更近。

如“首都”和“北京”的語義距離要比“上海”更近CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心?

實體關(guān)系抽取

?

發(fā)現(xiàn)文本中實體對間的各種語義關(guān)系

?

實體關(guān)系可以用于構(gòu)建知識框架，如疾病與藥物的關(guān)系、癥狀與疾病的關(guān)

系、基因與疾病的關(guān)系等?

關(guān)鍵技術(shù)

?

實體共現(xiàn)法

認為兩個相距很近的實體如果以一定的順序在一個文本語料庫中高頻率地重復,那么

這兩個實體相關(guān)的可能性很大

?

機器學習方法

將關(guān)系抽取看作是一個分類問題，通過具體的學習算法，在人工標引語料的基礎(chǔ)上

構(gòu)造分類器，再用訓練得到的分類器抽取測試文本中的實體關(guān)系

?

深度學習例如：

?

患者3天前受涼后出現(xiàn)咳嗽、咳痰

?

高血壓病史40年，口服厄貝沙坦控制可醫(yī)學自然語言處理的基本技術(shù)

誘因CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)

?

基于深度學習的實體關(guān)系抽取輸入層編碼層卷積層池化層輸出層（1）輸入層：需要判別關(guān)系類別的實體文本（2）編碼層：預處理，使用Word2vec訓練的向量模型表示實體文本對于一句話中每個單詞均為

k

維的詞向量，因此對于長度為

n的一句話則可用維度為

n*k的矩陣（3）卷積層：設(shè)計一個過濾器窗口W，其維度為h?k，h表示窗口所含的單詞個數(shù)，不斷地滑動該窗口，每次滑動一個位置時，完成非線性激活函數(shù)的計算（4）最大池化層：為了得到最大特征，進行max-over-time操作，取出最大值（5）輸出層：通過向量映射，得到待預測的類別結(jié)果CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的基本技術(shù)?

語義分析

?

在詞的層次上，語義分析的基本任務(wù)是進行詞義消歧

?

在句子層面上是語義角色標注

?

在篇章層面上是指代消歧，也稱共指消解?

基于機器學習的消歧方法

?

有監(jiān)督：通過建立分類器，根據(jù)上下文和標注結(jié)果完成分類任務(wù)，用劃分多義詞上下文類別的方

法來區(qū)分多義詞的詞義

?貝葉斯模型、最大熵模型、支持向量機模型、深度神經(jīng)網(wǎng)絡(luò)模型

?

無監(jiān)督：使用聚類算法對同一個多義詞的所有上下文進行等價類劃分，在詞義識別的時候，將該

詞的上下文與各個詞義對應上下文的等價類進行比較，通過上下文對應的等價類來確定詞的詞義

?聚類算法例：

?

病毒（計算機病毒、生物病毒）

?

打球、打電話、打毛衣CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理方法總結(jié)

?

基于詞典和規(guī)則的處理方法

?

詞典匹配

?

正則表達式

?

基于統(tǒng)計的處理方法

?

支持向量機（Support

Vector

Machine，SVM）

?

隱馬爾可夫（Hidden

Markov

Model，HMM）

?

條件隨機場（Conditional

Random

Fields，CRF）

?

長短時記憶網(wǎng)絡(luò)（Long

Short

Term

Memory，LSTM）

?

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional

Neural

Network

，CNN）

?

兩者融合的方法CHIMA

2019

03醫(yī)學自然語言處理的典型問題CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的典型問題

?

問題一?

有瑕疵的或不規(guī)范的輸入例：?

2型糖尿病、二形糖尿病、2-糖尿病、II型糖尿病

?

冠狀動脈支架置入術(shù)、冠狀動脈支架植入術(shù)

?

胃脹反酸、泛酸、返酸?

不同的數(shù)據(jù)來源（如病歷、醫(yī)學論文等）或不同的人員（如科研人員、臨

床醫(yī)生、病人等）在表達相同或相似概念時其描述方式多種多樣

例：冠心病、冠狀動脈粥樣硬化性心臟病、CAD

上述現(xiàn)象本質(zhì)上是歸屬于同一類問題，這類問題在通用領(lǐng)域稱為實體對齊、實體標準化CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的典型問題

?

解決方法

?

采用規(guī)則的方法，將實體描述經(jīng)過一系列規(guī)則變換（如，簡寫轉(zhuǎn)全稱）后

進行匹配例：冠心病、冠狀動脈粥樣硬化性心臟病、CAD?

采用機器學習方法，基于向量空間模型將實體表示為詞向量再學習向量之

間的相似性關(guān)系

例：?

2型糖尿病、二形糖尿病、2-糖尿病、II型糖尿病?

冠狀動脈支架置入術(shù)、冠狀動脈支架植入術(shù)?

胃脹反酸、泛酸、返酸冠狀動脈粥樣硬化性心臟病

2型糖尿病冠狀動脈支架置入術(shù)

胃脹反酸CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心?

正則表達式?

實體關(guān)系抽取問題判斷概念是否具有“否定”的上下文環(huán)境醫(yī)學自然語言處理的典型問題

?

問題二

?

病歷文檔經(jīng)常需要對某些概念進行否定性質(zhì)的描述，因而要在病歷中單純

地依賴文中有沒有出現(xiàn)術(shù)語作為信息檢索的依據(jù)并不能取得好的結(jié)果

例：“否認手術(shù)史”、“未觸及質(zhì)硬結(jié)節(jié)”、“支氣管斷端未見癌”

?

解決方法實體識別確定實體關(guān)系共現(xiàn)法尋找距離相近的實體抽取目標實體前后出現(xiàn)的否定詞CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的典型問題?問題三?醫(yī)學領(lǐng)域相關(guān)實體和實體之間的關(guān)系比較復雜，例：蛋白質(zhì)之間相互作用關(guān)系、藥物之間相互作用關(guān)系、藥物疾病對應關(guān)系等?解決方案?

建立完備的醫(yī)學知識庫、知識圖譜?

LSTM、CNN等算法，建立學習模型，識別疾病——藥物之間的關(guān)系?

相對規(guī)范的文本記錄（病理報告），可考慮基于規(guī)則的方法提取，如正則表達式例：既往史：否認肝炎、肺結(jié)核、瘧疾病史，高血壓10年余，糖尿病7年，口服二甲雙胍治療，血糖控制可，口服硝苯地平，血壓維持在130/70mmHg左右屬于實體關(guān)系抽取的一類典型問題例：送檢（右肺中葉結(jié)節(jié)）淋巴結(jié)見轉(zhuǎn)移癌（1/1），送檢（第2組、第4組、第7組、第11組）淋巴結(jié)未見轉(zhuǎn)移癌（分別為0/1、0/2、0/1、0/1）第2組第4組第7組000121

第11組右肺中葉結(jié)節(jié)0111

病史高血壓糖尿病

淋巴結(jié)病程10年7年

藥物治療

硝苯地平

二甲雙胍陽性數(shù)

清掃數(shù)CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的典型問題

?問題四

?

電子病歷中出現(xiàn)大量長句，需要做語義識別?解決方案

?

對于長句語義識別，適合用LSTM網(wǎng)絡(luò)模型，通過搭建多層復合LSTM網(wǎng)絡(luò)，

將原語料反向輸入生成反向LSTM層，與正向LSTM層相結(jié)合，加強關(guān)鍵成

分與上下文的關(guān)聯(lián)度例：食管胃交界部小彎側(cè)潰瘍型中-低分化腺癌，部分為粘液腺癌，腫瘤大小為5x3.5x1.5cm，癌組織侵及胃壁全層，并侵犯神經(jīng)，檢出之上下切緣及送檢（食管切緣）均未見癌keyvalue組織學類型分化程度腫瘤大小腫瘤部位腺癌、粘液腺癌低分化5x3.5x1.5cm胃食管結(jié)合部胃小彎CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心醫(yī)學自然語言處理的典型問題

?

難點問題

?

相同的醫(yī)學問題、不同的研究目的，提取規(guī)則不一樣

?例：糖尿病提取藥物史

——

降壓藥、降糖藥侵襲性真菌病提取抗菌藥物史

——

病前30天內(nèi)使用抗菌藥物、長期（超過2周）使用抗菌藥物

?

病歷結(jié)構(gòu)化后，抽取出的信息是孤立的，丟失了大量的時間信息和因果邏

輯關(guān)系

?例：入院記錄會描述患者病情的發(fā)展情況，包含了大量時間信息，以及前后、因

果邏輯關(guān)系緣于2012年4月24日車禍后出現(xiàn)左腕及左眼眶骨折左腕及左眼眶骨折左眼眶骨折，

在當?shù)蒯t(yī)院住院手術(shù)治療，

出院后因左腕疼痛輾轉(zhuǎn)于各診所肌肉注射或靜脈滴注各種抗生素（隔2-3天應用3-5天），達3個月；

于2012年8月出現(xiàn)高熱，口腔內(nèi)白斑，體溫達40℃，伴發(fā)冷，

在某醫(yī)院診斷為“真菌感染”，

打針治療后癥狀無明顯好轉(zhuǎn)，

后轉(zhuǎn)至某醫(yī)院呼吸科，

診斷為“成人Still病”，

接受“氟康唑、免疫球蛋白、甲潑尼龍40mg

1/日”等治療，體溫降至正常，

出院口服“甲潑尼龍6片

1/日，

硫酸羥氯喹0.2g

2/日；

來氟米特

20mg

1/日”

。

于2013年12月出現(xiàn)左側(cè)髖關(guān)節(jié)疼痛，

下蹲困難（蹲起時自覺雙側(cè)腘窩疼痛），

于某醫(yī)院行髖關(guān)節(jié)核磁檢查，

示：左側(cè)髖臼信號異常并左側(cè)髖關(guān)節(jié)腔積液……從文本中直接抽取實體即可不是在文本中直接體現(xiàn)，需要添加復雜的語義分析CHIMA

2019

04我院的實踐與總結(jié)CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心病案紙解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展

?

全院電子病歷文本清洗治理

?

原始病歷——零散的文件存儲、純文本格式、信息不易查詢提取

?

清洗治理后的病歷——數(shù)據(jù)庫形式存儲、半結(jié)構(gòu)化格式、顯著提高電子病歷利用率患者基本信息入院記錄患者ID主訴…

現(xiàn)病史首次病程記錄既往史婚育史體格檢查病例特點個人史家族史擬診討論診療計劃…日常病程記錄查房記錄…病歷數(shù)據(jù)庫????存儲查詢提取統(tǒng)計CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展

?

全院電子病歷文本清洗治理

?

平臺界面展示CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展

?

基于專病的病歷文本結(jié)構(gòu)化處理平臺

?

不同病種需要提取的醫(yī)學問題有較大差異，需要個性化定制

例：胃癌手術(shù)報告需要提?。呵谐秶⒏味?、消化道重建方式等

肺癌手術(shù)報告需要提取：切口類型、切除部位、是否可見胸腔積液、胸腔粘連等1234建立標準化的語料庫輔助建立專病數(shù)據(jù)庫建立專病知識圖譜數(shù)據(jù)挖掘、輔助臨床科研?

胃癌手術(shù)報告、病理報告、病程記錄的結(jié)構(gòu)化處理?

肺癌手術(shù)報告、病理報告、CT報告的結(jié)構(gòu)化處理?

乳腺癌病理報告、超聲報告的結(jié)構(gòu)化處理?

侵襲性真菌病的入院記錄結(jié)構(gòu)化處理CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心AI輔助的可配置

規(guī)則抽取框架基于深度網(wǎng)絡(luò)的

信息抽取模型解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展

?

病歷文本結(jié)構(gòu)化平臺

醫(yī)療文本結(jié)構(gòu)化平臺

可定制抽取字段、精細化要素提取

標準化歸一映射、智能化技術(shù)框架CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展

?

AI輔助的可配置規(guī)則抽取框架，高效地應對個性化提取需求

AI預處理深度理解醫(yī)療文本

要素及屬性分析定位候選句字段值抽取歸一化/標準化字段配置結(jié)構(gòu)化輸出字段名值腫瘤部位組織學類型胃小彎,

胃體腺癌分化程度腫瘤大小低分化8x8x1.8cmBorrmann分型T分期切緣局限潰瘍型T4a陰性病歷文本胃小彎及胃體后壁潰瘍型低分化腺癌，腫瘤大小約為8×8×1.8cm。癌組織侵及胃壁全層、神經(jīng)伴脈管內(nèi)癌栓，再取上、下切緣及送檢（食管下切縁）均未見癌。病歷相似句擴展醫(yī)生同義要素擴展

AI

輔助

AI輔助指導CHIMA

2019中國人民解放軍總醫(yī)院

醫(yī)療大數(shù)據(jù)中心

解放軍總醫(yī)院電子病歷文本結(jié)構(gòu)化進展?

基于深度網(wǎng)絡(luò)的信息抽取模型，精準理解病歷文本基于序列到序列的深度神經(jīng)網(wǎng)絡(luò)模型，不但可以在原文中精確定位結(jié)果，還可以對文本進行推理總結(jié)結(jié)構(gòu)化輸出字段名值腫瘤部位組織學類型胃小彎,

胃體腺癌分化程度低分化腫瘤大小8x8x1.8cmBorrmann分型T分期切緣局限潰瘍型T4a陰性病歷文本胃

小

彎

及

胃

體

后

壁

潰

瘍

型

低

分

化

腺

癌

，腫