應(yīng)用語(yǔ)言學(xué)概論自然語(yǔ)言處理

應(yīng)用語(yǔ)言學(xué)概論自然語(yǔ)言處理第一頁(yè)，共三十九頁(yè)，2022年，8月28日2，把這種嚴(yán)密而規(guī)整的數(shù)學(xué)形式表示為算法，使之在計(jì)算上形式化。3。根據(jù)算法編寫計(jì)算機(jī)程序，使之在計(jì)算機(jī)上加以實(shí)現(xiàn)。自然語(yǔ)言學(xué)是介乎語(yǔ)言學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)之間的邊緣性的交叉學(xué)科。第二頁(yè)，共三十九頁(yè)，2022年，8月28日自然語(yǔ)言處理的原理機(jī)器翻譯的原理與發(fā)展階段術(shù)語(yǔ)數(shù)據(jù)庫(kù)的作用與工作原則數(shù)理語(yǔ)言學(xué)的研究對(duì)象統(tǒng)計(jì)語(yǔ)言學(xué)的統(tǒng)計(jì)自然語(yǔ)言處理運(yùn)用到的語(yǔ)言理論主要有哪些？語(yǔ)料庫(kù)的類型與作用第三頁(yè)，共三十九頁(yè)，2022年，8月28日美國(guó)著名語(yǔ)言學(xué)家喬姆斯基，創(chuàng)立了轉(zhuǎn)換生成語(yǔ)法，其核心就是語(yǔ)言能從有限的要素和規(guī)則演變出無(wú)限的句子；語(yǔ)言分深層與表層，深層結(jié)構(gòu)靠規(guī)則向表層結(jié)構(gòu)有規(guī)律地生成：“我們這里要考慮的是各種生成句子的裝置，它們又以各種各樣的方式，同自然語(yǔ)言的語(yǔ)法和各種人造語(yǔ)言的語(yǔ)法二者都有著密切的聯(lián)系。我們將把語(yǔ)言直接地看成在符號(hào)的某一有限集合V中的符號(hào)串的集合，而V就叫做該語(yǔ)言的詞匯……我們把語(yǔ)法看成是對(duì)程序設(shè)計(jì)語(yǔ)言的詳細(xì)說(shuō)明，而把符號(hào)串看成是程序。”第四頁(yè)，共三十九頁(yè)，2022年，8月28日（一）機(jī)器翻譯系統(tǒng)自然語(yǔ)言處理系統(tǒng)的研究首先是從機(jī)器翻譯系統(tǒng)做起的。1，草創(chuàng)期（20世紀(jì)40-60年代）

1946年，美國(guó)賓夕法尼亞大學(xué)?？颂兀?P.Eckert)和莫希萊（）首創(chuàng)世界上第一臺(tái)計(jì)算機(jī)，1949年美國(guó)洛克菲勒基金會(huì)副總裁韋弗（W.Weaver）首創(chuàng)機(jī)器翻譯。工作原理：A語(yǔ)言與B語(yǔ)言之間經(jīng)過(guò)一種“中介語(yǔ)言”，又叫“通用語(yǔ)言”、“中間語(yǔ)言”來(lái)實(shí)現(xiàn)。機(jī)器翻譯相當(dāng)于讀碼解碼，實(shí)現(xiàn)上是以查詢?cè)~典的方式來(lái)實(shí)現(xiàn)詞對(duì)詞的機(jī)器翻譯。第五頁(yè)，共三十九頁(yè)，2022年，8月28日2，復(fù)蘇期（20世紀(jì)70年代）美國(guó)學(xué)者英格維（V.Yingve）提出機(jī)器翻譯的過(guò)程：用代碼化的結(jié)構(gòu)標(biāo)志來(lái)表示原語(yǔ)文句的結(jié)構(gòu)；把原語(yǔ)的結(jié)構(gòu)標(biāo)志轉(zhuǎn)換為譯語(yǔ)的結(jié)構(gòu)標(biāo)志；構(gòu)成譯語(yǔ)的輸出文句。句法分析成為機(jī)器翻譯工作的中心。第六頁(yè)，共三十九頁(yè)，2022年，8月28日復(fù)蘇期的代表產(chǎn)品是法國(guó)格勒諾布爾理科醫(yī)科大學(xué)自動(dòng)翻譯中心的機(jī)器翻譯系統(tǒng)。這時(shí)研究者還認(rèn)識(shí)到，機(jī)器翻譯中必須保持原語(yǔ)和譯語(yǔ)在語(yǔ)義上的一致。從而語(yǔ)義分析比句法分析日益引起人們的重視。第七頁(yè)，共三十九頁(yè)，2022年，8月28日3，繁榮期（20世紀(jì)70年代——）產(chǎn)品的實(shí)用化、商品化。工作原理：1，直譯式：詞對(duì)詞；句法直譯式、語(yǔ)義直譯式。2，轉(zhuǎn)換式：在原語(yǔ)和譯語(yǔ)之間設(shè)定能在一定程序上表現(xiàn)語(yǔ)義關(guān)系的中間表達(dá)式，再通過(guò)中間表達(dá)式來(lái)完成句法和語(yǔ)義的進(jìn)一步轉(zhuǎn)換。3。樞軸式：把語(yǔ)言規(guī)則普遍化，成為不依賴任何具體語(yǔ)言的普遍意義，形成“樞軸”，由“樞軸”來(lái)承擔(dān)“中介語(yǔ)”的作用。第八頁(yè)，共三十九頁(yè)，2022年，8月28日這時(shí)的機(jī)器翻譯都是“基于規(guī)則”的機(jī)器翻譯。近年來(lái)出現(xiàn)了“基于經(jīng)驗(yàn)”的機(jī)器翻譯。所謂基于經(jīng)驗(yàn)，就是指基于統(tǒng)計(jì)，基于實(shí)例。它是在大型語(yǔ)料庫(kù)的基礎(chǔ)上形成的。演示sxd軟件與sms軟件。第九頁(yè)，共三十九頁(yè)，2022年，8月28日一種語(yǔ)言中的任何一個(gè)句子都有可能是另外一種語(yǔ)言中的某幾個(gè)句子的譯文，只是這些句子的可能性各不相同，機(jī)器翻譯就是要找出其中可能性最大的句子，也就是對(duì)所有可能的目標(biāo)S計(jì)算出概率最大的一個(gè)作為源語(yǔ)言T的譯文?！斑x優(yōu)式”的做法。第十頁(yè)，共三十九頁(yè)，2022年，8月28日這種觀點(diǎn)的理論依據(jù)：人類并不通過(guò)做深層的語(yǔ)言學(xué)分析來(lái)進(jìn)行翻譯，而是首先把輸入的句子正確地分解為一些更小單位的短語(yǔ)，接著把這些短語(yǔ)翻譯成其他語(yǔ)言的短語(yǔ)，最后再把這些較小單位的短語(yǔ)構(gòu)成完整的句子。在短語(yǔ)的翻譯中是通過(guò)“類比”的原則來(lái)實(shí)現(xiàn)的。機(jī)器翻譯要做的事就是在機(jī)器中存儲(chǔ)一些實(shí)例，并建立由給定的句子找尋類似例句的機(jī)制。這就是基于實(shí)例的機(jī)器翻譯方法。第十一頁(yè)，共三十九頁(yè)，2022年，8月28日基于實(shí)例的機(jī)器翻譯要研究的主要問(wèn)題：1，正確地進(jìn)行雙語(yǔ)自動(dòng)對(duì)齊：在實(shí)例庫(kù)中要難準(zhǔn)確地由源語(yǔ)言例句找到相應(yīng)的目標(biāo)語(yǔ)言例句，并實(shí)現(xiàn)對(duì)應(yīng)。2，建立有效的實(shí)例匹配檢索機(jī)制：語(yǔ)言單位不能太小，愈小歧義愈多。因此，它非常強(qiáng)調(diào)盡量多地儲(chǔ)存短語(yǔ)實(shí)例。3，根據(jù)檢索到的實(shí)例生成與源語(yǔ)言句子相對(duì)應(yīng)的譯文。第十二頁(yè)，共三十九頁(yè)，2022年，8月28日例子：金山詞霸：詞庫(kù)、釋義庫(kù)、音庫(kù)第十三頁(yè)，共三十九頁(yè)，2022年，8月28日（二）自然語(yǔ)言理解人機(jī)對(duì)話：中國(guó)社科院語(yǔ)言研究所“RJD-80型漢語(yǔ)人機(jī)對(duì)話系統(tǒng)”中國(guó)科學(xué)院心理研究所“機(jī)器理解漢語(yǔ)-實(shí)驗(yàn)I：CLUS系統(tǒng)”中國(guó)社科院語(yǔ)言研究所“TK-84型漢語(yǔ)人機(jī)對(duì)話系統(tǒng)”東北工學(xué)院建立“中文句子及文本理解系統(tǒng)CTUS”……第十四頁(yè)，共三十九頁(yè)，2022年，8月28日（三）情報(bào)自動(dòng)檢索情報(bào)自動(dòng)檢索包括的內(nèi)容；1，文獻(xiàn)情報(bào)的采集；2，文獻(xiàn)情報(bào)的加工處理：3，文獻(xiàn)情報(bào)的編排和存儲(chǔ)：4，檢索服務(wù)：第十五頁(yè)，共三十九頁(yè)，2022年，8月28日情報(bào)檢索系統(tǒng)的評(píng)測(cè)標(biāo)準(zhǔn)：1，查詢效率：查全率；查準(zhǔn)率：2，運(yùn)行效率：機(jī)時(shí)；存儲(chǔ)空間；費(fèi)用第十六頁(yè)，共三十九頁(yè)，2022年，8月28日運(yùn)用范圍：1，自動(dòng)生成文摘；2，自動(dòng)編制索引；3，自動(dòng)抽取情報(bào)資料的主題詞；第十七頁(yè)，共三十九頁(yè)，2022年，8月28日日常生活中隨時(shí)都可接觸到情報(bào)索引（信息檢索）學(xué)校查成績(jī)；銀行信用卡存取款；電話卡查詢：網(wǎng)絡(luò)搜索軟件：網(wǎng)上通輯逃犯：電子商務(wù)：第十八頁(yè)，共三十九頁(yè)，2022年，8月28日計(jì)算機(jī)輔助語(yǔ)言教學(xué)；語(yǔ)音自動(dòng)識(shí)別與合成系統(tǒng)；文字自動(dòng)識(shí)別系統(tǒng)；言語(yǔ)統(tǒng)計(jì)；語(yǔ)料庫(kù)語(yǔ)言學(xué)；第十九頁(yè)，共三十九頁(yè)，2022年，8月28日數(shù)理語(yǔ)言學(xué)1894年，瑞士語(yǔ)言學(xué)家索緒爾指出，“在基本性質(zhì)方面，語(yǔ)言中的量和量之間的關(guān)系可以用數(shù)學(xué)公式有規(guī)律的表達(dá)出來(lái)。”1933年，美國(guó)語(yǔ)言學(xué)家布龍菲爾德提出了一個(gè)著名的論點(diǎn)：“數(shù)學(xué)不過(guò)是語(yǔ)言所能達(dá)到的最高境界”。第二十頁(yè)，共三十九頁(yè)，2022年，8月28日定義：1、數(shù)理語(yǔ)言學(xué)是用數(shù)學(xué)方法來(lái)研究語(yǔ)言現(xiàn)象的語(yǔ)言學(xué)科。2、數(shù)理語(yǔ)言學(xué)是用數(shù)學(xué)思想和數(shù)學(xué)方法來(lái)研究語(yǔ)言現(xiàn)象的一門新興的語(yǔ)言學(xué)科。3、依據(jù)所使用的數(shù)學(xué)方法的不同，一般分為統(tǒng)計(jì)語(yǔ)言學(xué)（statisticallinguistics）和代數(shù)語(yǔ)言學(xué)（algebraiclinguistics）兩個(gè)分支，統(tǒng)計(jì)語(yǔ)言學(xué)所使用的方法主要是概率論、數(shù)理統(tǒng)計(jì)以及信息論方法；代數(shù)語(yǔ)言學(xué)使用的方法主要是集合論、數(shù)理邏輯和算法理論等離散數(shù)學(xué)方法。第二十一頁(yè)，共三十九頁(yè)，2022年，8月28日二、任務(wù)和理論依據(jù)任務(wù)：A、數(shù)理語(yǔ)言學(xué)從數(shù)學(xué)領(lǐng)域得到的主要是思考問(wèn)題的思路和方法，而不是某種專門的結(jié)果，它把數(shù)學(xué)模型和數(shù)學(xué)程序運(yùn)用于語(yǔ)言學(xué)的研究，采用定量化和形式化的描述方法，使得語(yǔ)言學(xué)和數(shù)學(xué)一樣精密，以便于計(jì)算機(jī)的操作，為計(jì)算機(jī)模擬人腦和進(jìn)行人工智能的研究開(kāi)山辟道。

B、從語(yǔ)言的內(nèi)部結(jié)構(gòu)和語(yǔ)言的交際活動(dòng)兩方面進(jìn)行，也就是說(shuō)把數(shù)理語(yǔ)言學(xué)的研究首先分為作為符號(hào)系統(tǒng)的語(yǔ)言的數(shù)學(xué)性質(zhì)的研究和對(duì)作為交際活動(dòng)的過(guò)程及結(jié)果的言談的數(shù)學(xué)性質(zhì)的研究?jī)蓚€(gè)部分。第二十二頁(yè)，共三十九頁(yè)，2022年，8月28日數(shù)理語(yǔ)言學(xué)的特點(diǎn)數(shù)理語(yǔ)言學(xué)從數(shù)學(xué)領(lǐng)域得到的主要是思考問(wèn)題的思路和方法，而不是某種專門的結(jié)果，它把數(shù)學(xué)模型和數(shù)學(xué)程序運(yùn)用于語(yǔ)言學(xué)的研究，采用定量化和形式化的描述方法，使得語(yǔ)言學(xué)和數(shù)學(xué)一樣精密，以便于計(jì)算機(jī)的操作，為計(jì)算機(jī)模擬人腦和進(jìn)行人工智能的研究開(kāi)山辟道。

第二十三頁(yè)，共三十九頁(yè)，2022年，8月28日數(shù)理語(yǔ)言學(xué)的目標(biāo)是希望把一切語(yǔ)言所共有的某些結(jié)構(gòu)性質(zhì)分離出來(lái)，而這些性質(zhì)是形式上能夠用數(shù)學(xué)方法描述的。第二十四頁(yè)，共三十九頁(yè)，2022年，8月28日數(shù)理語(yǔ)言學(xué)的理論來(lái)源一是數(shù)學(xué)理論：如集合論、數(shù)理邏輯、離散數(shù)學(xué)理論等，或概率、數(shù)理統(tǒng)計(jì)、信息論等；二是理論語(yǔ)言學(xué)的各種原理：如對(duì)音位、詞位、句法的各種理論學(xué)說(shuō)。第二十五頁(yè)，共三十九頁(yè)，2022年，8月28日三、研究?jī)?nèi)容：

數(shù)理語(yǔ)言學(xué)主要包括統(tǒng)計(jì)語(yǔ)言學(xué)、代數(shù)語(yǔ)言學(xué)和應(yīng)用數(shù)理語(yǔ)言學(xué)等三個(gè)分支學(xué)科。1、統(tǒng)計(jì)語(yǔ)言學(xué)運(yùn)用概率論、數(shù)理統(tǒng)計(jì)等數(shù)學(xué)的方法來(lái)作語(yǔ)言成分的定量分析和動(dòng)態(tài)描寫，目的是要建立語(yǔ)言統(tǒng)計(jì)模型，來(lái)解決傳統(tǒng)語(yǔ)言學(xué)研究的定性和靜態(tài)研究的不足。統(tǒng)計(jì)語(yǔ)言學(xué)又分為統(tǒng)計(jì)語(yǔ)音學(xué)、計(jì)算語(yǔ)言風(fēng)格學(xué)和年代統(tǒng)計(jì)學(xué)。統(tǒng)計(jì)語(yǔ)音學(xué)研究音素音位，計(jì)算語(yǔ)言風(fēng)格學(xué)通過(guò)統(tǒng)計(jì)研究某人、某一時(shí)代和某一民族的言語(yǔ)風(fēng)格。年代統(tǒng)計(jì)學(xué)根據(jù)時(shí)代的變化，對(duì)詞匯特征和句型等進(jìn)行分析。第二十六頁(yè)，共三十九頁(yè)，2022年，8月28日數(shù)理語(yǔ)言學(xué)分支學(xué)科介紹1、統(tǒng)計(jì)語(yǔ)言學(xué)運(yùn)用概率論、數(shù)理統(tǒng)計(jì)等數(shù)學(xué)的方法來(lái)作語(yǔ)言成分的定量分析和動(dòng)態(tài)描寫，目的是要建立語(yǔ)言統(tǒng)計(jì)模型，來(lái)解決傳統(tǒng)語(yǔ)言學(xué)研究的定性和靜態(tài)研究的不足。統(tǒng)計(jì)語(yǔ)言學(xué)根據(jù)不同的研究對(duì)象，又可分出許多具體領(lǐng)域，如統(tǒng)計(jì)語(yǔ)音學(xué)、計(jì)算語(yǔ)言風(fēng)格學(xué)和年代統(tǒng)計(jì)學(xué)。統(tǒng)計(jì)語(yǔ)音學(xué)研究音素音位，計(jì)算語(yǔ)言風(fēng)格學(xué)通過(guò)統(tǒng)計(jì)研究某人、某一時(shí)代和某一民族的言語(yǔ)風(fēng)格。年代統(tǒng)計(jì)學(xué)根據(jù)時(shí)代的變化，對(duì)詞匯特征和句型等進(jìn)行分析。第二十七頁(yè)，共三十九頁(yè)，2022年，8月28日統(tǒng)計(jì)語(yǔ)言學(xué)又稱計(jì)量語(yǔ)言學(xué)，它主要是應(yīng)用統(tǒng)計(jì)程序來(lái)處理語(yǔ)言資料，如統(tǒng)計(jì)語(yǔ)言單位出現(xiàn)的頻率。研究作者的文體風(fēng)格，在比較語(yǔ)言學(xué)中采用數(shù)學(xué)公式衡量多種語(yǔ)言的相關(guān)程度，在歷史語(yǔ)言學(xué)中確定不同時(shí)期語(yǔ)言的發(fā)展特征，以及從信息的角度分析語(yǔ)言信息的傳輸過(guò)程等等。美國(guó)人齊夫把詞的頻率分布和“消耗最小準(zhǔn)則”這一基本生物學(xué)理論聯(lián)系起來(lái)，總結(jié)出了著名的齊夫公式。（所謂齊夫公式就是描述某種語(yǔ)言中詞的順序號(hào)與出現(xiàn)的頻率關(guān)系的經(jīng)驗(yàn)公式。）第二十八頁(yè)，共三十九頁(yè)，2022年，8月28日使用頻率原理分布原理（離散原理）使用度原理

《現(xiàn)代漢語(yǔ)頻率詞典》頻率排序：“提綱”，序號(hào)6942；頻率級(jí)次745，詞次13；使用度9?！吧诎簟?，序號(hào)7170；頻率級(jí)次745，詞次13；使用度7。“聽(tīng)”，序號(hào)118；頻率級(jí)次116；詞次1415；使用度1130?！包h”，序號(hào)119；頻率級(jí)次117；詞次1412；使用度829。分布排序：“各”，序號(hào)209；分布篇數(shù)123；分布類數(shù)4，詞次1344，使用度931?！伴T”，序號(hào)210；分布篇數(shù)123；分布類數(shù)4，詞次863，使用度642。第二十九頁(yè)，共三十九頁(yè)，2022年，8月28日2，代數(shù)語(yǔ)言學(xué)運(yùn)用集合論、數(shù)理邏輯、算法理論、模糊數(shù)學(xué)、圖論、格論等離散數(shù)學(xué)方法來(lái)作語(yǔ)言理論分析和形式特征的描寫。目的是建立起語(yǔ)言的代數(shù)模型，把語(yǔ)言學(xué)的某些方面改造成數(shù)學(xué)那樣的演繹系統(tǒng)，建立語(yǔ)言模型理論，從而為自然語(yǔ)言的信息處理提供理論基礎(chǔ)。語(yǔ)言模型是一個(gè)單純的、統(tǒng)一的、抽象的形式系統(tǒng)。語(yǔ)言客觀事實(shí)經(jīng)過(guò)語(yǔ)言模型的描述之后，就比較適合于電子計(jì)算機(jī)對(duì)其進(jìn)行自動(dòng)加工。所以，語(yǔ)言模型的研究，對(duì)于自然語(yǔ)言的信息處理具有十分重要的意義。第三十頁(yè)，共三十九頁(yè)，2022年，8月28日代數(shù)語(yǔ)言學(xué)的最突出成就首推喬姆斯基的轉(zhuǎn)換生成語(yǔ)法理論，他運(yùn)用數(shù)學(xué)中的遞歸函數(shù)理論和自動(dòng)機(jī)理論，建立起了一個(gè)形式的演繹系統(tǒng)。他把語(yǔ)言視為有限規(guī)則的無(wú)限應(yīng)用，把語(yǔ)言模型看作數(shù)學(xué)上的某種運(yùn)算過(guò)程，即由一套給定的初始元素，根據(jù)一定的語(yǔ)法規(guī)則，生成這些元素的序列——詞和句子。第三十一頁(yè)，共三十九頁(yè)，2022年，8月28日但是一涉及語(yǔ)義問(wèn)題，各種語(yǔ)言模型都遭到了挫折，以至于所有的理論一改再改，引起了激烈的學(xué)術(shù)爭(zhēng)論。不過(guò)其中一點(diǎn)是越來(lái)越清楚了：只從形式上去研究語(yǔ)言是非常不夠的。為了解決語(yǔ)言構(gòu)造問(wèn)題，必須尋求新的途徑以深入語(yǔ)言的內(nèi)部即語(yǔ)義學(xué)領(lǐng)域。這樣，數(shù)理語(yǔ)言學(xué)走向了它的第3個(gè)發(fā)展階段——算法語(yǔ)言學(xué)。第三十二頁(yè)，共三十九頁(yè)，2022年，8月28日算法語(yǔ)言學(xué)是把語(yǔ)言的研究歸結(jié)為建立“表層結(jié)構(gòu)”和“底層結(jié)構(gòu)”的關(guān)系。它認(rèn)為語(yǔ)言是由一系列層次組成，各層次本身都有一定的結(jié)構(gòu)形式，各層次之間都有一定的對(duì)應(yīng)關(guān)系。第三十三頁(yè)，共三十九頁(yè)，2022年，8月28日對(duì)于算法語(yǔ)言學(xué)來(lái)說(shuō)，很難在人工語(yǔ)言和自然語(yǔ)言之間劃一道鴻溝，而這兩者在底層結(jié)構(gòu)的算法描述中統(tǒng)一起來(lái)了。當(dāng)然，算法語(yǔ)言學(xué)的產(chǎn)生絕不是對(duì)統(tǒng)計(jì)語(yǔ)言學(xué)的代數(shù)語(yǔ)言學(xué)的否定，相反，只有在弄清語(yǔ)言的統(tǒng)計(jì)規(guī)律和形式規(guī)律的基礎(chǔ)上，算法語(yǔ)言學(xué)才能發(fā)展起來(lái)。在算法語(yǔ)言學(xué)中，信息與概率的概念，轉(zhuǎn)換與生成的概念，集合論與數(shù)理邏輯的概念等等，不是被拋棄了，而是更加精確和系統(tǒng)化了。只有這樣，才可能摸透表層和底層的關(guān)系。第三十四頁(yè)，共三十九頁(yè)，2022年，8月28日國(guó)內(nèi)成就——我國(guó)從50年代起逐步開(kāi)展了對(duì)數(shù)理語(yǔ)言學(xué)的研究，在50年代初期，我國(guó)著名數(shù)理邏輯專家胡世華先生就主意到數(shù)理語(yǔ)言學(xué)的問(wèn)題，1959年，劉涌泉先生在《中國(guó)語(yǔ)文》發(fā)表了《談數(shù)理語(yǔ)言學(xué)》一文，首次在國(guó)內(nèi)介紹這一學(xué)科。第三十五頁(yè)，共三十九頁(yè)，2022年，8月28