人工智能基礎(chǔ)自然語(yǔ)言理解

目錄第一章緒論第二章知識(shí)表示

第三章搜索技術(shù)第四章推理技術(shù)第五章機(jī)器學(xué)習(xí)

第六章專(zhuān)家系統(tǒng)

第七章自動(dòng)規(guī)劃系統(tǒng)第八章自然語(yǔ)言理解第九章智能控制第十章人工智能程序設(shè)計(jì)第一頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解

1.語(yǔ)言的構(gòu)成

語(yǔ)言是人類(lèi)進(jìn)行通信的自然媒介，它包括口語(yǔ)、書(shū)面語(yǔ)以及動(dòng)作語(yǔ)(如啞語(yǔ)和旗語(yǔ))等。

語(yǔ)言使用于傳遞信息的表示方法、約定和規(guī)則的集合。語(yǔ)言由語(yǔ)句組成，每個(gè)語(yǔ)句又由單詞組成；組成語(yǔ)句和語(yǔ)言時(shí)，應(yīng)遵循一定的語(yǔ)法與語(yǔ)義規(guī)則。語(yǔ)言由語(yǔ)音、詞匯和語(yǔ)法構(gòu)成。語(yǔ)言的基本屬性：語(yǔ)音和文字第二頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解

語(yǔ)言是音義結(jié)合的詞匯和語(yǔ)法體系，是實(shí)現(xiàn)思維活動(dòng)的物質(zhì)形式。語(yǔ)言是以詞為基本單位的，詞匯又受到語(yǔ)法的支配才可構(gòu)成有意義的和可理解的句子，句子按一定的形式再構(gòu)成篇章等。語(yǔ)法是語(yǔ)言的組織規(guī)律。語(yǔ)法規(guī)則制約著如何把詞素構(gòu)成詞，詞構(gòu)成詞組和句子。語(yǔ)言正是在這種嚴(yán)密的制約關(guān)系中構(gòu)成的。用詞素構(gòu)成詞的規(guī)則叫構(gòu)詞規(guī)則。語(yǔ)法中的另一部分就是句法。句法也可分成兩部分：詞組構(gòu)造法和造句法。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。造句法則是用詞或詞組造句的規(guī)則。第三頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解

另一方面，語(yǔ)言是音義結(jié)合的，每個(gè)詞匯有其語(yǔ)音形式。自然語(yǔ)言中所涉及的音素并不多，一種語(yǔ)言一般只有幾十個(gè)音素。由一個(gè)發(fā)音動(dòng)作所構(gòu)成的最小的語(yǔ)音單位就是音素。

語(yǔ)言詞匯語(yǔ)法詞熟語(yǔ)詞素詞法句法構(gòu)形法構(gòu)詞法造句法詞組構(gòu)造法第四頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解

2.語(yǔ)言的理解微觀：語(yǔ)言理解是指從自然語(yǔ)言到機(jī)器(計(jì)算機(jī)系統(tǒng))內(nèi)部之間的一種映射。宏觀：語(yǔ)言理解是指機(jī)器能夠執(zhí)行人類(lèi)所期望的某些語(yǔ)言功能。這些功能包括：

（1）回答有關(guān)提問(wèn)；（2）提取材料摘要；

（3）不同詞語(yǔ)敘述；

（4）不同語(yǔ)言翻譯。第五頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解對(duì)自然語(yǔ)言的理解卻是一個(gè)十分艱難的任務(wù)。自然語(yǔ)言不僅有語(yǔ)義、語(yǔ)法和語(yǔ)音問(wèn)題，而且還存在模糊性等問(wèn)題。自然語(yǔ)言理解的困難是由下列3個(gè)因素引起的：（1）目標(biāo)表示的復(fù)雜性；

（2）映射類(lèi)型的多樣性；

（3）源表達(dá)中各元素間交互程度的差異性。自然語(yǔ)言理解是語(yǔ)言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門(mén)交叉學(xué)科；它能夠理解口頭語(yǔ)言或書(shū)面語(yǔ)言。第六頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.1語(yǔ)言和語(yǔ)言理解語(yǔ)言理解包括下列幾個(gè)方面的內(nèi)容：（1）能夠理解句子的正確詞序規(guī)則和概念，又能理解不含規(guī)則的句子。（2）

知道詞的確切含義、形式、詞類(lèi)及構(gòu)詞法。（3）了解詞的語(yǔ)義分類(lèi)以及詞的多義性和歧義性。（4）指定和不定特性及所有(隸屬)特性。（5）問(wèn)題領(lǐng)域的結(jié)構(gòu)知識(shí)和時(shí)間概念。（6）語(yǔ)言的語(yǔ)氣信息和韻律表現(xiàn)。（7）有關(guān)語(yǔ)言表達(dá)形式的文學(xué)知識(shí)。（8）論域的背景知識(shí)。第七頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.2自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)1.研究進(jìn)展機(jī)器翻譯是自然語(yǔ)言理解最早的研究領(lǐng)域。

（1）萌芽時(shí)期（20世紀(jì)40年代~60年代中期）1949年俄-英和英-俄文字的機(jī)器翻譯1956年N.Chomsky形式語(yǔ)言和轉(zhuǎn)換生成語(yǔ)法理論1966年美國(guó)科學(xué)院報(bào)告，否定性結(jié)論

（2）復(fù)蘇發(fā)展時(shí)期（20世紀(jì)60年代后期~80年代中期）

關(guān)鍵詞匹配技術(shù)；句法-語(yǔ)義分析技術(shù)。MIT的SIR系統(tǒng)、ELIZA系統(tǒng)第八頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.2自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)句法方面理論研究成果：約束管轄理論、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、詞匯功能語(yǔ)法、功能合一語(yǔ)法、廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法、句法分析算法、…

語(yǔ)義分析方面：格語(yǔ)法、語(yǔ)義網(wǎng)絡(luò)、優(yōu)選語(yǔ)義學(xué)、蒙塔格語(yǔ)法、…進(jìn)入80年代之后，自然語(yǔ)言理解的應(yīng)用研究廣泛開(kāi)展，機(jī)器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語(yǔ)言理解研究的重要成果，表明自然語(yǔ)言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。

第九頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.2自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)

（3）繁榮發(fā)展時(shí)期（20世紀(jì)80年代后期至今）

基于語(yǔ)料庫(kù)的統(tǒng)計(jì)方法：從真實(shí)預(yù)料中獲取語(yǔ)言知識(shí)

基于統(tǒng)計(jì)模型的自然語(yǔ)言處理系統(tǒng)

理性主義與經(jīng)驗(yàn)主義的結(jié)合

口語(yǔ)理解和生成

我國(guó)自然語(yǔ)言理解研究第十頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.2自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)2.發(fā)展趨勢(shì)（1）基于句法-語(yǔ)義規(guī)則的理性主義方法和以模型和統(tǒng)計(jì)為基礎(chǔ)的經(jīng)驗(yàn)主義互相結(jié)合、共同發(fā)展。

（2）語(yǔ)料庫(kù)語(yǔ)言學(xué)使大規(guī)模真實(shí)文本的處理成為自然語(yǔ)言處理的主要戰(zhàn)略目標(biāo)。

（3）統(tǒng)計(jì)數(shù)學(xué)方法日益受到重視，機(jī)器學(xué)習(xí)的方法獲取語(yǔ)言知識(shí)。

（4）詞匯知識(shí)庫(kù)繼語(yǔ)料庫(kù)之后成為一個(gè)新的受到普遍關(guān)注的研究問(wèn)題。

第十一頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.3自然語(yǔ)言理解過(guò)程的層次

語(yǔ)言的分析和理解過(guò)程是一個(gè)層次化的過(guò)程?，F(xiàn)代語(yǔ)言學(xué)家把這一過(guò)程分為3個(gè)層次：詞法分析、句法分析和語(yǔ)義分析。如果接收到的是語(yǔ)音流，那么在上述3個(gè)層次之前還應(yīng)當(dāng)加入一個(gè)語(yǔ)音分析層。雖然這種層次之間并非是完全隔離的，但是這種層次化的劃分的確有助于更好地體現(xiàn)語(yǔ)言本身的構(gòu)成。1.語(yǔ)音分析語(yǔ)音分析則是根據(jù)音位規(guī)則，從語(yǔ)音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè)個(gè)音節(jié)及其對(duì)應(yīng)的詞素或詞。第十二頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.3自然語(yǔ)言理解過(guò)程的層次2.詞法分析詞法分析的主要目的是找出詞匯的各個(gè)詞素，從中獲得語(yǔ)言學(xué)信息。3.句法分析句法分析是對(duì)句子和短語(yǔ)的結(jié)構(gòu)進(jìn)行分析。自動(dòng)句法分析的方法很多，有短語(yǔ)結(jié)構(gòu)語(yǔ)法、格語(yǔ)法、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、功能語(yǔ)法等等。句法分析的最大單位就是一個(gè)句子。分析的目的就是找出詞、短語(yǔ)等的相互關(guān)系以及各自在句子中的作用等，并以一種層次結(jié)構(gòu)來(lái)加以表達(dá)。第十三頁(yè)，共二十五頁(yè)。8.1語(yǔ)言及其理解的一般問(wèn)題8.1.3自然語(yǔ)言理解過(guò)程的層次4.語(yǔ)義分析語(yǔ)義分析就是通過(guò)分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語(yǔ)言所表達(dá)的真正含義或概念。在語(yǔ)言自動(dòng)理解中，語(yǔ)義愈來(lái)愈成為一個(gè)重要的研究?jī)?nèi)容。第十四頁(yè)，共二十五頁(yè)。8.2詞法分析英語(yǔ)等拼音文字：分詞簡(jiǎn)單，詞素提取難中文：詞素提取易（每個(gè)字就是一個(gè)詞素），分詞難中文分詞兩大難題：。（1）歧義識(shí)別歧義是指同樣的一句話，可能有兩種或者更多的切分方法。（2）新詞識(shí)別

中科院詞法分析系統(tǒng)ICTCLAS，準(zhǔn)確率可達(dá)95%

第十五頁(yè)，共二十五頁(yè)。8.3句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò)

句法模式匹配就是采用句法模式來(lái)對(duì)語(yǔ)言的句子進(jìn)行匹配從而進(jìn)行句法分析。但是自然語(yǔ)言是非常多樣化的，因而需要有許多模式。這些模式可用狀態(tài)轉(zhuǎn)移圖來(lái)表示，這種用狀態(tài)轉(zhuǎn)移圖來(lái)表示的表達(dá)方式稱(chēng)之為轉(zhuǎn)移網(wǎng)絡(luò)（TN，transitionnetwork）。第十六頁(yè)，共二十五頁(yè)。8.3句法分析擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)ATN是由伍茲(Woods)在1970年提出的。ATN是由一組網(wǎng)絡(luò)所構(gòu)成的，每個(gè)網(wǎng)絡(luò)都有一個(gè)網(wǎng)絡(luò)名，每條弧上的條件擴(kuò)展為條件加上操作。這種條件和操作采用寄存器的方法來(lái)實(shí)現(xiàn)，在分析樹(shù)的各個(gè)成分結(jié)構(gòu)上都放上寄存器，用來(lái)存放句法功能和句法特征，條件和操作將對(duì)它們不斷地進(jìn)行訪問(wèn)和設(shè)置。

第十七頁(yè)，共二十五頁(yè)。8.3句法分析詞匯功能語(yǔ)法的結(jié)構(gòu)

詞匯功能語(yǔ)法（LFG）是由卡普蘭和布魯斯南(Bresnan)在1982年提出的，它是一種功能語(yǔ)法，但是更加強(qiáng)調(diào)詞匯的作用。LFG用一種結(jié)構(gòu)來(lái)表達(dá)特征、功能、詞匯和成分的順序。

第十八頁(yè)，共二十五頁(yè)。8.4語(yǔ)義分析語(yǔ)義分析：獲得語(yǔ)言所表達(dá)的意義。

第一步是要確定每個(gè)詞在句子中所表達(dá)的詞義，這涉及到詞義和句法結(jié)構(gòu)上的歧義問(wèn)題；第二步是要根據(jù)已有的背景知識(shí)來(lái)確定語(yǔ)義。

方法：語(yǔ)義的邏輯分析法、語(yǔ)義分析文法第十九頁(yè)，共二十五頁(yè)。8.5句子理解簡(jiǎn)單句理解的內(nèi)容

簡(jiǎn)單句理解兩方面的工作：

(1)理解語(yǔ)句中的每一個(gè)詞。

(2)以這些詞為基礎(chǔ)組成可以表達(dá)整個(gè)語(yǔ)句意義的結(jié)構(gòu)。復(fù)合句的理解

句子之間的相互關(guān)系：(1)相同的事物；(2)事物的一部分；(3)行動(dòng)的一部分；(4)與行動(dòng)有關(guān)的事物；(5)因果關(guān)系；(6)計(jì)劃次序。第二十頁(yè)，共二十五頁(yè)。8.6語(yǔ)料庫(kù)語(yǔ)言學(xué)語(yǔ)料庫(kù)的研究：自然語(yǔ)言文本的采集、存儲(chǔ)、檢索、統(tǒng)計(jì)、詞性和句法標(biāo)注、句法語(yǔ)義分析、…定義：

Aijmer1991“根據(jù)篇章材料對(duì)語(yǔ)言的研究稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)”

McEnery1996“基于現(xiàn)實(shí)生活中語(yǔ)言應(yīng)用實(shí)例進(jìn)行語(yǔ)言研究稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)”Crystal1991“以語(yǔ)料為語(yǔ)言描寫(xiě)的起點(diǎn)或者以語(yǔ)料為驗(yàn)證有關(guān)語(yǔ)言假說(shuō)的方法稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)”語(yǔ)料庫(kù)：第二十一頁(yè)，共二十五頁(yè)。8.7機(jī)器翻譯機(jī)器翻譯的過(guò)程：原文輸入原文分析：查詞典、語(yǔ)法分析譯文綜合：調(diào)整詞序、修辭、從譯文詞典中取詞

譯文輸出第二十二頁(yè)，共二十五頁(yè)。8.8語(yǔ)音識(shí)別預(yù)處理特征提取模式識(shí)別訓(xùn)練模式庫(kù)語(yǔ)音輸入語(yǔ)音識(shí)別結(jié)果第二十三頁(yè)，共二十五頁(yè)。8.9應(yīng)用舉例問(wèn)題思考思考答案訊飛語(yǔ)音云問(wèn)答服務(wù)云訊飛語(yǔ)音云思考聲音聲音文字答案問(wèn)題文字123國(guó)家大學(xué)生創(chuàng)新實(shí)驗(yàn)項(xiàng)目第二十四頁(yè)，共二十五頁(yè)。內(nèi)容總結(jié)目錄。語(yǔ)言使用于傳遞信息的表示方法、約定和規(guī)則的集合。語(yǔ)言正是在這種嚴(yán)密的制約關(guān)系中構(gòu)成的。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。自然語(yǔ)