Python自然語言處理 課件 第7章 語義分析

語義分析Python自然語言處理第七章CONTENT目錄

01詞義消歧02詞義角色標注03深層語義推理課前回顧句法分析概述句法分析的數(shù)據(jù)集與評測方法句法分析的常用方法使用StandfordParser的PCFG算法進行句法分析詞義消歧01基于規(guī)則的詞義消歧基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于詞典的詞義消歧語義分析語義分析的重要性和地位語義分析是人工智能(AI)的一個重要分支，也是自然語言處理技術(shù)的核心任務(wù)。一般來說，一個自然語言處理系統(tǒng)，如果完全沒有語義分析的參與，很難獲得很好的系統(tǒng)性能。語義分析能夠促進其他自然語言處理任務(wù)的快速發(fā)展。AI中的語義分析技術(shù)近年來發(fā)展迅速，隨著深度學習(DeepLearning)技術(shù)的迅猛發(fā)展，在自動駕駛、圍棋對弈、圖像識別以及語音識別等多個領(lǐng)域取得了突破性進展。語義分析語義分析是什么語義分析是指運用各種方法，學習與理解一段文本所表示的真實的語義內(nèi)容，任何對語言的理解都可以歸為語義分析的范疇。語義分析的分類一段文本通常由詞、句子和段落來構(gòu)成，根據(jù)理解對象的語言單元不同，語義分析可分為：詞匯級語義分析：關(guān)注如何獲取或區(qū)別單詞的語義句子級語義分析：試圖分析整個句子所表達的語義篇章級語義分析：研究自然語言文本的內(nèi)在結(jié)構(gòu)并能夠理解文本間的語義關(guān)系。語義分析語義分析層次語義分析從分析的深度分為淺表層語義分析和深層語義推理兩個層次。淺層語義分析包括：詞義消歧(WordSenceDisambiguation，WSD）語義角色標注深層語義推理包括：謂詞邏輯語義網(wǎng)絡(luò)概念依存理論詞義消歧詞義消歧概念在進行語義分析時需要解決一個很重要的問題，那就是詞的多義現(xiàn)象。由于詞是能夠獨立運用的最小語言單位，句子中的每個詞的含義及其在特定語境下的相互作用構(gòu)成了整個句子的含義。因此，詞義消歧是句子和篇章語義理解的基礎(chǔ)，有時也稱為詞義標注，其任務(wù)是確定一個多義詞在給定語境中的具體含義。詞義消歧詞的多義的三種類型在自然語言處理過程中一般會把詞的多義分為三種類型：意義相關(guān)的多義。如“open”的兩個意義“公開的”和“開著的”意義完全無關(guān)的多義。如“ash”的兩個意義“灰燼”和“梣樹”詞性不同的多義。如“包”的意義“package”和“wrap”，前者是名詞，而后者是動詞

詞義消歧3種詞義消歧的可能因為詞的多義性，所以詞義消歧是非常重要，也是非常困難的。意義相關(guān)的多義：辨識較困難。對于大部分詞匯來說，其多語義間并沒有很清楚的劃分，而且大部分情況下其語義是不確定的，并且內(nèi)容是雜糅在一起的。意義完全無關(guān)的多義：較容易確定。這類詞的多義由于意義區(qū)別較為明顯、場景明顯不同，研究也已經(jīng)比較成熟。詞性不同的多義：較容易確定。這種情況為詞性兼類，也稱為”同詞異類“，目前詞性標注正確率已經(jīng)很高，相對比較容易消除。詞義消歧詞性標注與詞義消歧的區(qū)別詞性標注可以看成是一種詞義消歧問題，詞義消歧也可以看成是一種標注問題，不過詞義消歧中使用的是語義標記而非詞性標記。標記不同：詞義消歧標記的是語義而非詞性問題本質(zhì)區(qū)別：詞性主要通過鄰近的結(jié)構(gòu)信息來確定，語義主要通過相隔較遠的實詞用來確定。處理方法不同：在自然語言處理中詞性標注模型一般可以使用當前上下文確定其正確的詞性，而對于語義消歧模型則需要使用規(guī)模較為廣泛的上下文中的實詞。詞義消歧詞義消歧分類本節(jié)將詞義消歧方法分為三類：1基于規(guī)則的詞義消歧1基于規(guī)則的詞義消歧2基于詞典的詞義消歧3基于語料庫的方法基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于規(guī)則的詞義消歧產(chǎn)生背景詞義消歧本身并不是最終目的，而是在大多數(shù)自然語言處理系統(tǒng)的某些層次上都需要的一項中間任務(wù)。20世紀50年代初期，人們在機器翻譯研究中開始關(guān)注詞義的消歧問題。同其他自然語言處理任務(wù)的研究一樣，早期的詞義消歧研究一般采用基于規(guī)則的分析方法。基于規(guī)則的詞義消歧

基于規(guī)則的詞義消歧詞義消歧遇到的問題：(1)因可利用的選擇限制過于空泛而導致不能唯一的選擇出其準確的含義。例如，“他買了蘋果”在這個例子中，則需要利用較多的上下文內(nèi)容或其他方法來解決歧義問題，即“蘋果”在這里的意思是指“水果”還是“一部手機”。(2)明顯違反選擇限制但又是完全良構(gòu)和可以理解的例子。例如，“不要總玩游戲，當你餓了的時候，又不能吃游戲充饑。”(3)隱喻和換喻給詞義消歧帶來新的挑戰(zhàn)。例“這輛車真是在喝汽油”，“編制夢想”?；谝?guī)則的詞義消歧問題的解決方法-優(yōu)選語義學可以把選擇限制看作是優(yōu)先選擇。也就是，將詞語之間的選擇限制降低，視這些限制為優(yōu)選選擇，與此同時也允許其他選擇即“優(yōu)選語義學”。在優(yōu)選語義學中，動詞和名詞、形容詞和名詞、介詞和名詞之間都被賦予優(yōu)選數(shù)值，名詞的語義特征和動詞的語義取向距離越遠，則優(yōu)選數(shù)值越小。例，動詞“跑”有以下兩個詞義：(1)快速移動(S，+動物，+9)(S，-動物，+2)(2)行駛(S，+車輛，+9)(S，-車輛，+2)基于規(guī)則的詞義消歧優(yōu)選語義學如何選擇簡單句子中，句子的語義合理性是由各搭配詞間優(yōu)選數(shù)值之和來表明的。復雜句子的語義合理性是由個句子優(yōu)選數(shù)值之和來表明的。這種優(yōu)選是指在各種可供選擇的情況下的優(yōu)選。這種優(yōu)選是指在各種可供選擇的情況下的優(yōu)選。如果只能導出一種結(jié)構(gòu)，并且這個結(jié)構(gòu)不符合優(yōu)選規(guī)則，那這個結(jié)構(gòu)也會被無條件接受。這樣就可以處理比喻問題。例如，在處理“山頂?shù)氖^都跑了”時，“石頭”既不是動物也不是車輛。是可以符合邏輯的。詞義消歧01基于規(guī)則的詞義消歧基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于詞典的詞義消歧基于統(tǒng)計的詞義消歧產(chǎn)生背景目前語料庫語言學已經(jīng)成為自然語言處理的研究熱點之一，基于語料庫的方法也成為處理自然語言問題的主流方法。詞義消歧和其它自然語言問題一樣都離不開語料庫的支持?；诮y(tǒng)計的詞義消歧定義基于統(tǒng)計的詞義消歧方法，是在訓練語料中運用統(tǒng)計學技術(shù)自動獲取所需的知識，如歧義詞與上下文詞語之間的語法關(guān)系或語義關(guān)系等，并將這些知識用于詞義的識別和判斷。發(fā)展20世紀90年代初P.F.Brown等人率先提出借助上下文特征和互信息的消歧方法，目前已經(jīng)證實很多常見的機器學習方法，如決策樹、支持向量機、最大熵都可以用于統(tǒng)計詞義消歧。1992年W.A.Gale等人提出利用貝葉斯分類器的詞義消歧方法。基于統(tǒng)計的詞義消歧基于互信息論的詞義消歧方法方法提出核心思想P.F.Brown等人率先提出的基于互信息的詞義消歧方法受統(tǒng)計機器翻譯模型的啟發(fā)是對每一個需要消歧的多義詞進行查找能夠準確的標識該多義詞在特定上下文語境中所使用的語義的特征基于統(tǒng)計的詞義消歧基于互信息論的詞義消歧方法歧義詞條件/指示器例子：值→語義prendreobjectmesure→totakedecision→tomakevouloirtensepresent→towantconditional→tolikecentWordtotheleftper→%number→c.[money]按照統(tǒng)計機器翻譯的思路，對于一個由法語和英語為雙語的語料庫，使用詞語對齊模型每個法語都可以找到對應的英語單詞，一個具有多義的法語單詞在不同的上下文語境中會有不同的英語翻譯。如下表：基于統(tǒng)計的詞義消歧基于貝葉斯分類器的消歧方法

詞義消歧01基于規(guī)則的詞義消歧基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于詞典的詞義消歧基于實例的詞義消歧兩個關(guān)鍵的問題基于實例的詞義消歧方法有兩個關(guān)鍵的問題：詞義消歧實例的獲得實例間相似度的計算1996年Ng等人在其LEXAS系統(tǒng)中成功地采用了基于實例的詞義消歧方法。該系統(tǒng)綜合多種知識實現(xiàn)詞義消歧，如上下文的詞性知識、歧義詞的用法、詞語搭配關(guān)系等等。基于實例的詞義消歧典型案例-LEXAS系統(tǒng)LEXAS系統(tǒng)為每個歧義詞建立一個分類器。分兩個階段完成：訓練階段：

LEXAS接受一個句子集，每個句子都包含標注的待消歧詞，LEXAS提取出待消歧詞周邊詞的詞性、形態(tài)、同現(xiàn)詞。以上特征值組成的序列構(gòu)成一個待消歧詞的實例。測試階段：LEXAS系統(tǒng)從中抽取出特征值序列構(gòu)成待消歧詞的測試實例，將待消歧詞的測試實例與待消歧詞的所有訓練實例作對比。則待消歧詞的詞義就是與測試實例最匹配的訓練集實例所對應的語義。在LEXAS系統(tǒng)對華爾街雜志語料的實驗中，Ng等人選擇了191個常用的歧義詞，共獲得192800個實例，最終測試的正確率達69%。詞義消歧01基于規(guī)則的詞義消歧基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于詞典的詞義消歧基于詞典的詞義消歧基于詞典語義定義的方法1986年M.Lesk首次提出了使用詞典進行語義消歧的思想，即基于詞典語義定義的消歧方法。使用詞典中詞條本身的定義就可以作為判斷其語義的依據(jù)。基于詞典的詞義消歧基于詞典語義定義的方法以單詞ash為例，ash在詞典有兩個定義，一個是指“木犀科梣屬落葉喬木”另一個是指“材料燃燒后留下的固體殘渣，即，灰燼”即，若ash和tree同時出現(xiàn)在上下文是語義即是指“木犀科梣屬落葉喬木”，與burn同時出現(xiàn)則語義為“灰燼”?；谠~典的詞義消歧1.基于詞典語義定義的方法

?

基于詞典的詞義消歧1.基于詞典語義定義的方法M.Lesk對小說《傲慢與偏見》和一個AP新聞專線的文章中選取的較短的樣例，實驗該算法進行詞義消歧，報告的準確率只有50%~70%。這種方法的主要問題在于：詞典中對多義詞的描述一般是由語言學家完成的，語言學家根據(jù)多義詞的不同語義使用情況進行歸納、總結(jié)，然后概括的進行描述，這些描述與實際使用的情況不完全一樣，因此，詞典信息對于高質(zhì)量的詞義消歧是不夠的。?

基于詞典的詞義消歧2.基于義類辭典方法1987年D.E.Walker提出基于義類辭典的方法，該方法認為多義詞的不同義項在使用時可以通過上下文詞匯的語義范疇大體上確定這個語段的語義范疇，即可以通過上下文的語義范疇可以判斷多義詞的使用義項。基于詞典的詞義消歧2.基于義類辭典的方法

基于詞典的詞義消歧3.基于雙語詞典的方法基于雙語詞典的消歧方法，需要把需要消歧的語言作為第一語言，把需要借助的另一語言作為第二語言，即在雙語詞典中作為目標語言。例如，要借助漢語對英語的多義詞進行詞義消歧，則英語為第一語言，漢語為第二語言。此時則需要一部英漢雙語詞典和一個漢語的語料庫?；谠~典的詞義消歧3.基于雙語詞典的方法假如我們要對英語句子中的單詞(如plant)進行語義消歧，根據(jù)英漢雙語詞典，我們識別出plant有兩個含義，一個是“植物”，另一個是“工廠”。為了對plant進行消歧，我們需要識別出plant所處的短語：若plant所處的短語為“processingplant”，在英漢雙語詞典中，processing翻譯為“處理，加工”，在漢語語料庫中，“處理，加工”和“工廠”同時出現(xiàn)，則在“processingplant”中plant的語義時“工廠”，若plant所處的短語為“plantlife”，在英漢雙語詞典中“l(fā)ife”翻譯為“生命”，“生命”和“植物”同時出現(xiàn)的概率更高，因此，可以確定此語句中的plant的語義為“植物”。。本章小結(jié)詞義消歧的分類1、基于規(guī)則的詞義消歧；2、基于統(tǒng)計的詞義消歧；3、基于實例的詞義消歧；4、基于詞典的詞義消歧；語義分析Python自然語言處理第七章CONTENT目錄

01詞義消歧02詞義角色標注03深層語義推理課前回顧基于規(guī)則的詞義消歧基于統(tǒng)計的詞義消歧基于實例的詞義消歧基于詞典的詞義消歧詞義角色標注02格語法基于統(tǒng)計機器學習技術(shù)的語義角色標注詞義角色標注定義：淺層語義分析技術(shù)，以句子為單位，分析句子的“謂詞-論元”結(jié)構(gòu)。其理論基礎(chǔ)來源于Fillmore(1968)年提出的格語法，不對句子所包含的語義信息進行深入分析。任務(wù)：是以句子的謂詞為中心，研究句子中各成分與謂詞之間的關(guān)系，并且用語義角色來描述他們之間的關(guān)系。語義角色標注就是要針對句子中的(核心)謂詞來確定其他論元以及其他論元的角色。格語法格語法(casegrammar)是美國語言學家查爾斯·菲爾墨(CharlesJ.Fillmore)于1960年代末對轉(zhuǎn)換語法進行修正而提出的一種語法分析理論。

其繼承了轉(zhuǎn)換語法關(guān)于深層結(jié)構(gòu)經(jīng)過轉(zhuǎn)換得到表層結(jié)構(gòu)的基本假設(shè)，但在格語法中深層結(jié)構(gòu)表現(xiàn)為中心動詞與一組名詞短語。這些名詞短語與動詞間存在語義關(guān)系，被稱為“深層格”。格語法菲爾墨認為深層格與表層格不同：深層格是所有語言共有的，只是轉(zhuǎn)換規(guī)則的不同導致了表層結(jié)構(gòu)中表現(xiàn)的不同。但對語言中有多少格并沒有定論，可根據(jù)需要來確定。菲爾墨建議使用九個格，分別為施事格、感受格、對象格、工具格、來源格、目的格、場所格、時間格、路徑格。格語法例：例如使用格語法分析“Thestudentsolvedproblemswithacalculatorintheclassroomthismorning”(這個學生今天上午在教室用計算器解決問題)solve(解決)為中心動詞thestudent(學生)為施事格（選用格）problems(問題)為受事格（必備格）withacalculator(計算器)為工具格(選用格)intheclassroom(教室)為場所格。（選用格）thismorning(上午)為時間格。(選用格)動詞必須具有的格叫作必備格，可有可無的格叫作選用格。選用格可以提供更多的信息，沒有選用格，也不會破壞句子的完整性。格語法格的中心是動詞，動詞可以通過格關(guān)系的基本式和擴展式來描述?；臼绞潜貍涓窠M成的框架及其所變換的句式。擴展式則是選用格及其格位的描述。例如，動詞“打”的描述為：用手或者器具撞擊物體，其意義格框架為：格框架=施事(任務(wù))+受事(物體)他的必備格有兩個：施事格和受事格。則其基本式、擴展式如下所示：詞義角色標注02格語法基于統(tǒng)計機器學習技術(shù)的語義角色標注基于統(tǒng)計機器學習技術(shù)的語義角色標注基于統(tǒng)計機器學習技術(shù)的語義角色標注通常情況下可以劃分為剪枝、識別、分類和后處理4個步驟。其中：剪枝：剔除大部分的不可能作為語義角色的標注單元，經(jīng)過剪枝之后，可以在很大程度上減少待識別實例的數(shù)目，提高系統(tǒng)的運行效率。識別：對標注單元進行判斷，如果實例為語義角色則保留該標注單元，可以減少進入分類判別的實例數(shù)目，加快處理的速度。分類：進一步區(qū)分單元是屬于哪一類語義角色。后處理：根據(jù)語義角色之間的一些固有的約束進行后處理。固有約束一般是指一個謂語動詞不能有重復的核心語義角色，而且語義角色也不能存在相互重疊或嵌套等情況。基于統(tǒng)計機器學習技術(shù)的語義角色標注在語義角色標注的4個步驟中，識別和分類兩個步驟尤為重要。通常可以把角色標注看成分類問題?；谝?guī)則的方法來解決分類問題，需要構(gòu)建規(guī)模比較龐大的知識庫，隨著知識庫的擴大隨之產(chǎn)生了各種矛盾和沖突的規(guī)則。機器學習的方法適用性較好。比如，Pradhan等人使用支持向量機進行語義角色標注、Carreras等人使用感知器方法進行語義標注，并且比支持向量機更快。另外AdaBoost算法、最大熵模型、決策樹模型以及隨機森林算法都先后用于語義角色標注。基于統(tǒng)計機器學習技術(shù)的語義角色標注影響語義角色標注系統(tǒng)性的主要因素是使用的特征，而不是機器學習的模型。所以，想要獲得更好的性能，則需要更加精細的劃分特征。目前，由Gildea等人使用的語言學特征被當作各個語義角色標注系統(tǒng)的基本特征使用，如下3點：1句法成分相關(guān)特征2謂詞相關(guān)特征3謂語動詞-句法成分關(guān)系特征基于統(tǒng)計機器學習技術(shù)的語義角色標注1.句法成分相關(guān)特征010203短語類型句法成分核心詞句法成分核心詞的詞性基于統(tǒng)計機器學習技術(shù)的語義角色標注2.謂詞相關(guān)特征01020304謂語動詞原型語態(tài)子類框架謂語動詞的詞性基于統(tǒng)計機器學習技術(shù)的語義角色標注

3.謂語動詞-句法成分關(guān)系特征（1）句法樹中，從句法成分到謂語動詞之間的句法路徑。（2）句法成分和謂語動詞之間的位置關(guān)系。在Gildea等人的語言學特征基礎(chǔ)之上，人們又不斷開發(fā)出新的，更有效的特征，如句法框架、動詞類別等特征。另外，通過對已有特征進行組合生成新的特征也有效提高了系統(tǒng)的性能。本章小結(jié)詞義角色標注1、格語法是什么；2、基于統(tǒng)計機器學習技術(shù)的語義角色標注；語義分析Python自然語言處理第七章CONTENT目錄

01詞義消歧02詞義角色標注03深層語義推理課前回顧詞義角色標注01OPTION02OPTION02OPTION格語法基于統(tǒng)計機器學習技術(shù)的語義角色標注深層語義推理在自然語言處理研究中，除了分析句子的表面含義之外，還需要推理出句子深層次語義，分析理解深層語義是當前自然語言處理領(lǐng)域中的重點和難點?；谕评淼恼Z義分析主要是分析實體與實體之間的因果關(guān)系，常用的方法包括謂詞邏輯、語義網(wǎng)絡(luò)和概念依存理論等。深層語義推理03命名邏輯和謂詞邏輯語義網(wǎng)絡(luò)概念依存理論謂詞邏輯的發(fā)展命題邏輯和謂詞邏輯是最先應用于人工智能的兩種邏輯，對于知識的形式化表示，特別是定理的證明發(fā)揮了重要作用。謂詞邏輯是在命題邏輯的基礎(chǔ)之上發(fā)展起來的，命題邏輯可看作是謂詞邏輯的一種能特殊性形式。謂詞邏輯是人工智能中一個重要的知識表示方法。命題邏輯

謂詞邏輯謂詞邏輯是一種更強的邏輯形式。在謂詞邏輯中，命題是用謂詞來表示的。一個謂詞可分為謂詞名和個體詞兩個部分。其中，個體詞是命題中的主語，用來表示獨立存在的事物或抽象的概念。謂詞名是命題中的謂語，用來表示客體的性質(zhì)、狀態(tài)或客體之間的關(guān)系等。謂詞邏輯

謂詞邏輯

謂詞邏輯

謂詞邏輯

深層語義推理03命名邏輯和謂語邏輯語義網(wǎng)絡(luò)概念依存理論語義網(wǎng)絡(luò)語義網(wǎng)絡(luò)是一種用實體及其語義關(guān)系來表達知識的有向圖，由西蒙（Simmons）于1972年正式提出。在一個語義網(wǎng)絡(luò)中，信息被表達為一組結(jié)點，結(jié)點通過一組帶標記的有向直線彼此相連，用于表示結(jié)點間的關(guān)系。有向圖的結(jié)點代表實體（entity）或者概念（concept），而有向圖的邊代表實體/概念之間的各種語義關(guān)系，比如說兩個實體之間的相似關(guān)系。語義關(guān)系主要由ISA、PART-OF、IS等謂詞表示。語義網(wǎng)絡(luò)三種語義關(guān)系謂詞ISA體現(xiàn)的是“具體與抽象”的概念，含義為“是一個”，表示一個事物是另外一個事物的一個實例，例：2.謂詞PART-OF指具有組織或者結(jié)構(gòu)特征的“部分與整體”之間的關(guān)系。是一種包含關(guān)系。例如，“大腦時身體的一部分”這個命題3.謂詞IS指表示一個結(jié)點是另外結(jié)點的一個屬性。例如，“北京是中國的首都”這個命題，如圖：語義網(wǎng)絡(luò)除了以上三種關(guān)系，語義網(wǎng)絡(luò)的結(jié)點之間的關(guān)系還可以有施事(AGENT)、受事(OBJECT)、位置(LOCATION)等。例如，“獅子在草原上捕食羚羊”這一事件，可以表示為下圖的形式。結(jié)點表現(xiàn)為自然語言的詞和短語的概念，語義關(guān)系則是句子中動詞和主語、賓語等的關(guān)系，動詞和名詞或者是名詞性成分的關(guān)系是語義網(wǎng)絡(luò)的核心內(nèi)容。語義網(wǎng)絡(luò)用語義網(wǎng)絡(luò)表示知識的問題求解系統(tǒng)主要由兩大部分組成，