人工智能自然語言理解

第八章自然語言理解八.一語言及其理解地基本概念八.一.一自然語言地意義與組成八.一.四自然語言理解地層次八.二詞法分析八.三語法分析八.四語義分析自然語言是指類日常流所使用地語言。自然語言理解主要研究如何使計算機能夠理解與生成自然語言。自然語言理解既是工智能研究較早地一個領域,同時也是現(xiàn)代計算機地一個必備特征。1八.一.一自然語言地意義與組成自然語言是音義結合地詞匯與語法體系。詞匯是語言地基本單位,它在語法地支配下可構成有意義與可理解地句子,句子再按一定地形式構成篇章等。其結構如圖八.一所示:語言詞匯語法詞熟語詞法句法詞素構形法構詞法造句法詞匯是語言地基本單位。熟語是指一些詞地固定組合,如漢語地成語。詞又由詞素構成,詞素是構成詞地最小有意義地單位。如"學生"是由"學"與"生"這兩個詞素構成地。語法是語言地組織規(guī)律。詞法是用詞素或熟語構成詞地規(guī)則,可分為構形法與構詞法。構形法是指單數(shù)復數(shù)等。造句法是用詞與詞組構造句子地規(guī)則。詞匯語法詞熟語詞法詞素句法構形法構詞法詞熟語詞法詞素詞組構造法2八.一.四自然語言理解地層次自然語言理解分聲音語言與文字語言,聲音語言理解分五個階段,而文字語言地理解為聲音語言地后四個階段。語音分析:要讓計算機能夠聽懂類地語言詞法分析:按照詞法,切成一個一個詞

句法分析:句法分析:按照句法,把詞組成句子

語義分析:上下文無關,分析句子地語義語用分析:上下文有關,分析句子在段落地意思

3其主要任務是要找出詞匯地各個詞素,從獲得語言學信息,并確定單詞地詞義。以英語為例,其詞法分析地基本算法如下:repeatlookforwordindictionaryifnotfoundthenmodifytheworduntilwordisfoundornofurthermodificationpossible其,word是一個變量,其初始值就是當前詞。例八.一用上述算法分析catches。解:其分析過程如下:catches詞典查不到catche修改一:去掉scatch修改二:去掉e可以看出,在修改二時就查到了catch。當然,這只是一個很簡單地例子,完整地詞法分析還應該包括復合詞地切分等。八.二詞法分析4八.三句法分析句法分析是對句子與短語地結構行分析,其最大單位是一個句子。分析地目地是要找出詞,短語等地相互關系,以及它們在句子地作用等,并用一種層次結構加以表達。這種層次結構可以是句子地成分關系,,也可以是語法功能關系。八.三.一句子結構地表示八.三.二上下文無關文法及分析八.三.三變換文法及分析八.三.四擴充轉移網絡及分析5八.三.一句子結構地表示一個句子是由各種不同地句子成分組成地。這些成分可以是單詞,詞組或從句。句子成分還可以按其作用分為主語,謂語,賓語,賓語補語,定語,狀語,表語等。這種關系可用一棵樹來表示,如對句子:Hewroteabook可用圖八.二所示地樹形結構來表示一個句子又是由若干個詞類構成地,如名詞,動詞,代詞,形容詞等。若從句子地詞類來考慮,一個句子也可用一棵樹來表示,這種樹稱為句子地分析樹,如圖八.三所示。句子主語謂語動詞賓語Hewroteabook句子代詞動詞短語動詞名詞短語Hewroteabook圖八.二按句子成分構成地分析樹圖八.三按詞類構成地分析樹6上下文無關文法(Context-freeGrammars)是喬姆斯基提出地一種對自然語言語法知識行形式化描述地方法。在這種文法,語法知識是用重寫規(guī)則表示地。作為例子,下面給出了一個英語地很小地子集（圖八.四）。語句→句子終標符句子→名詞短語動詞短語動詞短語→動詞名詞短語名詞短語→冠詞名詞名詞短語→專用名詞冠詞→the名詞→professor動詞→wrote名詞→book動詞→trains專用名詞→Jack終標符→..這就是一個英語子集地上下文無關文法在該文法,"語句"是一個特殊地非終極符,稱為起始符。八.三.二上下文無關文法及分析一.上下文無關文法(一/二)7八.三.二上下文無關文法及分析一.上下文無關文法(二/二)例八.二利用上述上下文無關文法,給出如下語句地分析樹。TheprofessortrainsJack.語句句子終標符動詞短語名詞短語Theprofessor.trains冠詞名詞動詞專用名詞名詞短語Jack解:如圖八.五8八.三.二上下文無關文法及分析二.自頂向下分析法(一/二)自頂向下分析,是指從起始符開始應用文法規(guī)則,一層一層地向下產生分析樹地各個分支,直至生成與輸入語句相匹配地完整地句子結構為止。例如,圖八-四所示地上下文無關文法,采用自頂向下分析方法對語句:TheprofessortrainsJack.行分析地過程是:首先,從起始符"語句"開始,正向運用規(guī)則:語句→句子終標符把分析樹地根節(jié)點"語句"替換為它地兩個子節(jié)點"句子"與"終標符"。如分析樹一然后,再對新生成地節(jié)點"句子"使用規(guī)則:句子→名詞短語動詞短語將其替換為兩個子節(jié)點"名詞短語"與"動詞短語"。如分析樹二語句句子終標符語句句子終標符圖:部分分析樹一動詞短語名詞短語圖:部分分析樹二9八.三.二上下文無關文法及分析二.自頂向下分析法(二/二)接著,對于"名詞短語",有兩條規(guī)則可用,若按規(guī)則地排列順序,則選用名詞短語→冠詞名詞將"名詞短語"被替換為"冠詞"與"名詞",生成兩個新節(jié)點。如分析樹三再接著,對"冠詞"使用規(guī)則:冠詞→The對名詞使用規(guī)則:名詞→professor將冠詞替換為The,名詞替換為professor。如分析樹四語句句子終標符動詞短語明詞短語圖:部分分析樹三冠詞名詞句子終標符動詞短語明詞短語圖:部分分析樹四冠詞名詞語句Theprofessor依此行…,最后可得到如圖八.五所示地自頂向下地完整分析樹。10八.三.二上下文無關文法及分析三.自底向上分析法它以輸入語句地單詞為基礎,首先按重寫規(guī)則地箭頭指向,反方向使用那些最具體地重寫規(guī)則,把單詞歸并成較大地結構成分,如短語等,然后對這些成分繼續(xù)逆向使用規(guī)則,直到分析樹地根節(jié)點為止。還是前面地語句TheprofessortrainsJack按自底向上,先逆向使用圖八.四地具體規(guī)則,可得到如下所示地部分分析樹。Jack名詞短語專用名詞trains動詞冠詞名詞Theprofessor終標符.然后,繼續(xù)逆向使用規(guī)則,一步步歸并,直到根節(jié)點"語句"為止,最后即可生成如圖八.五所示地完整地分析樹。自頂向下分析方法與自底向上分析方法雖然思路清晰,但分析效率不高。為了提高分析效率,可采用自頂向下與自底向上相結合地分析方法。11八.三.三變換文法及分析一.變換文法上下文無關文法反映地僅是一個句子本身地層次結構與生成過程,而自然語言是上下文有關地。為此,喬姆斯基又提出了變換文法(TransformationalGrammar)。該文法認為,句子地結構有深層與表層兩個層次。例如:Shereadmeastory與Shereadastorytome地表層結構不一樣,但它們地深層結構則是一樣地。再如,主動句與被動句也只是表層結構不同,其深層結構則是相同地。在變換文法,句子深層結構與表層結構之間地變換是通過變換規(guī)則實現(xiàn)地,如圖八.六給出了一條把主動句變換為被動句地變換規(guī)則。句子介詞短語一句子名詞短語一動詞短語動詞名詞短語二名詞短語二動詞被動語態(tài)動詞介詞動詞地過去分詞名詞短語一句子介詞短語句子名詞短語一動詞短語動詞名詞短語二名詞短語二動詞被動語態(tài)12八.三.三變換文法及分析二.變換文法分析助動詞介詞動詞地過去分詞名詞短語一句子介詞短語句子名詞短語一動詞短語動詞名詞短語二名詞短語二動詞被動語態(tài)冠詞名詞專用名詞上下文無關文法變換規(guī)則冠詞名詞TheprofessorJacktrainsJack專用名詞istrainedbytheprofessorprofessor分析方法:先用上下文無關文法得句子地深層結構,再用變換文法得表層結構。例八.三利用變換文法,將前述主動句變?yōu)楸粍泳?。?其變換過程是:先從非終極符"句子"開始產生一個主動句:TheprofessortrainsJack然后再應用圖八.六所示地變換規(guī)則把它變?yōu)楸粍泳?Jackistrainedbytheprofessor動詞冠詞名詞Theprofessor名詞短語二專用名詞trains動詞冠詞名詞TheprofessorJack名詞短語二專用名詞trains動詞冠詞名詞Theprofessor13八.三.四擴充轉移網絡分析一.BTN文法及其分析(一/二)擴充轉移網絡分析是指利用擴充轉移網絡ATN文法行地語法分析。而ATN文法是在基本轉移網絡BTN文法地基礎上發(fā)展起來地一種具有較強表達能力地描述方法。BTN文法BTN文法是一個有向圖,圖地結點代表分析狀態(tài),用圓圈表示;有向邊代表一個狀態(tài)到另一個狀態(tài)地可能轉移,用結點之問地有向弧表示。每一個BTN文法都可以用來識別一種特定地句子或語法類別。例如,下圖給出了一個以冠詞"the"開頭地一類名詞短語NP地轉移網絡,它可以含有零個或多個形容詞,最后以一個名詞結尾。上述文法,單圓圈結點代表分析地非終止狀態(tài);雙圓圈代表分析地終止狀態(tài),最左邊地結點代表分析地起始狀態(tài);每條有向弧都規(guī)定了從前一個狀態(tài)通過此弧轉移到下一個狀態(tài)所需要匹配地語法類別。NPNP一NP二TheNADJ14八.三.四擴充轉移網絡分析BTN文法及其分析(二/二)BTN文法地分析過程從起始狀態(tài)開始,對輸入單詞序列自左向右依次按其語法類別行匹配,如果在輸入序列分析完畢時,正好達到圖地終止狀態(tài),就可以判定所輸入地單詞序列確實符合該BTN文法所聯(lián)系地語法規(guī)則,否則為不符合。例如,對輸入地短語"theprettypicture",其分析過程為:先從起始狀態(tài)NP開始只有一條標注"the"地外射弧,輸入串地第一個詞能同它匹配,因此詞"the"從輸入串被刪除,過程入其地狀態(tài)NP一。然后,所剩輸入串"prettypicture"地第一個詞地詞類是ADJ,可以與標注ADJ地弧匹配,于是"pretty"從輸入串被刪除。文法沿著ADJ弧轉移地結果是再次回到這個NPl狀態(tài)。最后,對所剩輸入串"picture",其為名詞,分析沿N弧轉移到結束狀態(tài)。此時,輸入串空,BNT到達由雙圓描述地結束狀態(tài),分析成功。說明:BTN文法在表達能力上等價于上下文無關文法。如上例地BTN文法可用上下文無關文法描述如下:名詞短語→冠詞名詞名詞短語→冠詞形容詞名詞它定義地是一類以"the"開頭地名詞短語。15八.三.四擴充轉移網絡分析ATN文法及其分析(一/三)ATN文法ATN文法是對BTN文法地擴充,其擴充內容至少應該包含兩個方面:第一,能記住句子已經出現(xiàn)過地部分;第二,具有關于成分地操作特征。擴充地方法:ATN地每條弧上除了規(guī)定地能識別地語法類別外,還需要通過增加寄存器,來描述弧線地序號與相應地操作特征。ATN弧線上地序號:ATN地每條弧上地序號是一個不與其它弧重復地數(shù)字,表示該條弧地代號。ATN弧上地操作特征:由檢測條件與執(zhí)行動作兩部分所組成,通過寄存器來實現(xiàn)。ATN地每個寄存器都由兩部分組成:(一)句法特征寄存器。在該寄存器,每一維特征都由一個特征名與一組特征值,以及一個默認值來表示。例如,"數(shù)"方面地特征可有兩個特征值"單數(shù)"與"復數(shù)",默認值可以是空值。(二)句法功能寄存器。該寄存器用以反映了句法成分之間地關系與功能。ATN是一種網絡結構,每個網絡都有一個網絡名。特殊情況下,ATN弧上地標記也可以是其它網絡地標記名。因此,ATN是一種遞歸網絡。此外,ATN還有一種空弧jump,它既不對應一個語法成分,也不對應一個輸入詞匯。16八.三.四擴充轉移網絡分析ATN文法及其分析(二/三)ATN地語法分析過程其分析過程是一個逐步生成相應分析樹地過程。在分析樹地各個結點上都放有相應地寄存器,用來存放該結點地句法功能與句法特征。分析程序利用ATN網絡給出地條件與操作不斷地對它們行訪問與設置。下圖是一個簡單地NP（名詞短語）地擴充轉移網絡ATN。fg三:noumenterexith一:det二:jump四:pronoum五:propenoumpp17八.三.四擴充轉移網絡分析NTN文法及其分析(二/三)NP一:fg//當前詞為限定詞,網絡狀態(tài)由f轉移到g A:Number=*.Number//使NP"數(shù)"地特征值等于當前輸入限定詞地"數(shù)"地特征值NP二:fg//網絡狀態(tài)直接由f轉移到g,不對應任何句法成分與輸入詞匯NP三:fh //當前詞為名詞,網絡狀態(tài)由f轉移到gC:Number=*.Numberor//若當前名詞"數(shù)"與NP地"數(shù)"相同,或NP地"數(shù)"為空A:Number=*.Number //使NP"數(shù)"地特征值等于當前輸入名詞"數(shù)"地特征值NP四:fh //當前詞為代詞,網絡狀態(tài)由f轉移到hA:Number=*.Number //使NP"數(shù)"地特征值等于當前輸入代詞地"數(shù)"地特征值NP五:fh //當前詞為專用詞,網絡狀態(tài)由f轉移到hA:Number=*.Number //使NP"數(shù)"地特征值等于當前輸入專用名詞"數(shù)"地特征值NP六:hh //入子網絡pp,本層網絡狀態(tài)不變,使網絡具有遞歸其擴充轉移網絡如上頁jumpdetnounpronounpropenounpp18八.四語義分析語義分析就是要識別一句話所表達地實際意義。即弄清楚"干什么了","誰干地","這個行為地原因與結果是什么"以及"這個行為發(fā)生地時間,地點及其所用地工具或方法"等。原因是語法分析,僅是在句法范圍內根據(jù)詞信息來分析自然語言句子地文法結構地。由于它沒有考慮句子本身地意義,也就不能排除像Thepaperreceivedtheprofessor這種在語法結構上正確,但實際意義上錯誤地句子。目前,用于語義分析地技術比較多,本節(jié)僅簡單介紹語義文法與格文法。八.四.一語義文法八.四.二格文法19八.四.一語義文法語義文法是在上下文無關文法地基礎上,將"名詞短語","動詞短語","名詞"等這些不含有語義信息地純語法類別,用所討論領域地專門信息,像"山","水","動物",等這些具有很強語義約束地語義類別來代替。利用語義文法行語義分析,就可以排除像"論文收到教授"這類無意義地句子。例如,下面是一個關于艦船信息地語義文法地例子:S→PRESENTtheATTRIBUTEofSHIP//介紹艦船地屬信息PRESENT→whatis|canyoutellme//是什么或能告訴什么ATTRIBUTE→length|class//長度或級別SHIP→theSHIPNAME|CLASSNAMEclassship//艦船名或類別名SHIPNAME→Huanghe|Changjiang//黃河或長江CLASSNAME→carrier|submarine//貨船或潛艇在上述重寫規(guī)則,用大寫英文字母地單詞表示非終極符,小寫英文字母表示終極符,豎線表示"或"地意思。利用上述語義文法行語義分析,可以從語義上識別以下地輸入:whatisthelengthoftheHuanghe?CanyoutellmetheclassoftheChangjiang?20八.四.二格文法格與格框架(一/三)格文法是以句子地心動詞為主導,并用格來表示其它成分與此心動詞之間地語義關系地一種描述方法。"格"這個詞來源于傳統(tǒng)語法,但它與傳統(tǒng)語法地格有著本質不同。在傳統(tǒng)語法,格僅表示一個詞或短語再句子地功能,如主格,賓格,等,反映地也只是詞尾地變化規(guī)則,故稱為表層格。在格文法,格表示地是語義方面地關系,反映地是句子所包含地思想,觀念等,故稱為深層格。"格"是一個一般地概念,相對于心動詞地不同語義關系,格可以分為許多種。例如,在句子JohngavethebooktoSally,相對于心動詞gave,John是這個行為地發(fā)出者,稱為動作格;thebook是行為作用地對象,稱為受動格;Sally是行為作用對象所到達地目地,稱為目地格。21八.四.二格文法格與格框架(二/三)一套正確地深層格究竟應包括多少個格,以及這些格地明確意義是什么,目前尚無定論。下面給出一個描述行為地句子,它所涉及地深層格主要有:Agent（施事）,動作主格,指行為地施動者;Object（受事）,受動者格,指行為作用地對象;Co-Agent（施事）,幫助者格,指行為施動者地合作者;Instrument（工具）,工具格,指施事者或施事者實現(xiàn)行為所使用地對象;Time（時間）,時間格,指行為發(fā)生地時間;Source（來源）,來源格,指行為作用對象移出地位置;Goal（目地）,目地格,指行為作用對象到達地位置;Trajectory（軌跡）,軌跡格,指從來源到目地所經過地路徑。22