自然語言與機(jī)器語言的比較

周錫令經(jīng)過幾十年的全球性的努力，以機(jī)器翻譯為代表的計算機(jī)自然語言處理工作始終沒有達(dá)到人們預(yù)想的境界。于是我們竟不住要問：為什么電腦處理起“編程語言”來那樣輕松自如，可以作好多非常復(fù)雜的事情；而在一句普通的自然語言面前卻顯得像一個大笨蛋呢？自然語言和編程語言的本質(zhì)區(qū)別到底在哪里？自然語言和編程語言顯然有很多地方不同。但是作為“語言”，兩者都面臨語言使用這所需要的一些要求：（1）有強(qiáng)大的表達(dá)能力（能夠把事情說清楚）（2）結(jié)構(gòu)化。人的短時記憶容量不多，信息如果不分層次，無論聽說還是閱讀都會造成困難。（3）具有簡潔、濃縮表達(dá)的機(jī)制（使聽說雙方都不覺得羅嗦）。在這兩種要求的驅(qū)動下，兩種語言都會發(fā)展出一些機(jī)制，這些機(jī)制在兩種語言中的表現(xiàn)可能大不相同，但是會存在某種對應(yīng)關(guān)系。在文科領(lǐng)域有所謂“比較文學(xué)”的行當(dāng)?？紤]到不同民族，不同文化發(fā)源地發(fā)展出來的文學(xué)作品既有各自的特色，又有互通的共性，可以對它們的異同加以比較。事實證明，從這種比較中，可以得到許多有益的啟示?！氨容^”既然是觀察和分析事物的有效方法，把自然形成的語言和人工設(shè)計的語言（計算機(jī)編程語言就是應(yīng)用最為廣泛的一種人工語言）進(jìn)行一番比較也許能給我們一些工作上的啟示。語言的設(shè)計者自然語言是在無數(shù)多人群之間的碰撞和交流之間產(chǎn)生、發(fā)展、篩選、淘汰之后形成的，好比是“市場經(jīng)濟(jì)”的產(chǎn)物。計算機(jī)編程語言（以下簡稱“編程語言”）則是“計劃經(jīng)濟(jì)”的產(chǎn)物。它所使用的詞匯、規(guī)則都是事先由一位“上帝”（語言的設(shè)計者）策劃好的。詞匯及其分類“詞”是自然語言中的基石，它們是具有語義的最小獨立單位。在編程語言中對應(yīng)的東西就是token。Token是編譯程序中的術(shù)語，它包括外形像英語單詞的Word,以及“=,+,-,*,/,==,>,<,（,）,……”之類的符號。從信息處理的角度來看，''詞"和token都是''符號（Symbol）”,它們可以被我們''用來”映射到各種實體或者概念上去。根據(jù)一個符號所映射到各種實體或者概念的性質(zhì)來把它們進(jìn)行分類。語言學(xué)家把自然語言中的詞劃分為許多類：名詞、動詞、形容詞、副詞、數(shù)詞、連接詞、感嘆詞、 。我們應(yīng)該注意到，它們不是在同一級別上的。名詞和動詞：是最重要的。它們直接反映了我們對世界上形形色色的事物以及這些事物之間的相互作用。形容詞、副詞、數(shù)詞、則是第二級的。它們只對事物以及這些事物之間的相互作用起修飾作用。剩下來的連接詞、感嘆詞、 則是第三級的。它們主要起語法的作用。（用來提示語句內(nèi)部的結(jié)構(gòu)性信息，起連接作用、用來表述'詞”與'詞”之間的關(guān)系）與之對應(yīng)，在編程語言中，可以把token劃分為:l 命令：運算符、子程序名。它們對應(yīng)于自然語言中的動詞。動詞的“價”則相當(dāng)于編程語言中的命令、運算符、子程序所需要的''變元(arguments)"的個數(shù)。在編程語言中，有時某些''變元”可以省略不寫，而用預(yù)先規(guī)定的“缺省值”代替。在自然語言中，也有類似的情況，但是缺省的東西要根據(jù)上下文來補(bǔ)充。自然語言中存在一些''泛義動詞”，例如漢語中的''打”，''搞”，''干”……，英語中的“get”，“take”等。它們的進(jìn)一步的具體含義要由這些動詞所涉及的對象來確定。例如：'打毛衣”中的'打”應(yīng)理解為'編織”， '打籃球”中的'打”應(yīng)理解為'玩”， '打開水”中的'打”應(yīng)理解為'取得”，等等。l 在面向?qū)ο蟮木幊陶Z言中，也有類似的''動態(tài)綁定(DynamicBinding)”機(jī)制：一個函數(shù)名或者子程序名字的具體含義要在'運行時”依據(jù)所涉及對象在當(dāng)時的指的類型來決定。l數(shù)據(jù)：常數(shù)、變量名。它們對應(yīng)于自然語言中的名詞。l 其他：起連接作用、用來表述token之間的關(guān)系的符號，例如if,then等等。它們對應(yīng)于自然語言中的連接詞、感嘆詞等等。動詞和名詞之間的互換性在自然語言中，有一個引人矚目的現(xiàn)象，那就是''名詞和動詞之間的呼喚性”。這是因為，''詞”或者token是用來表達(dá)'概念”的，而一個概念往往有多種側(cè)面。所以自然語言中常常出現(xiàn)用同一個'符號”來表達(dá)不同的側(cè)面的現(xiàn)象。舉例來說：'釘”本來是名詞，但是可以轉(zhuǎn)化，作為動詞來使用：我把畫釘在墻上。'鎖”本來是名詞，但是可以轉(zhuǎn)化，作為動詞來使用：我用鎖把門鎖上。古漢語中這樣的例子更多。''叔”可以轉(zhuǎn)化為''認(rèn)……為叔叔”，''塵”可以當(dāng)作''弄臟"，''污染”的意義來使用。反過來，動詞也往往可以轉(zhuǎn)化為名詞使用。比如，'偷”是動詞。但是在'偷是不對的?！边@句話中的'偷”卻是一個名詞，因為這句話也可以說成：'偷這種行為是不對的”在計算機(jī)編程語言中，也有類似情況。在declaration(聲明)中，函數(shù)、子程序名表現(xiàn)為''名詞”，但是在執(zhí)行語句中，他們就成了動詞。例如在C語言中：doublex,y;doublesqrt(double);/*sqrt在這里以名詞的面貌出現(xiàn)*/x=sqrt(y); /*sqrt在這里以動詞的面貌出現(xiàn)*/詞類的判斷從語法分析的角度看，對詞或token進(jìn)行分類的依據(jù)是它的語法功能。從語言使用者的角度看，則是他們的使用方式。因此如何對詞或token所屬類別進(jìn)行判斷乃是一件至關(guān)重要的事情。不管在自然語言中，還是在編程語言中，判斷一個詞或者token的類別的辦法基本上是兩種：詞典和詞本身所攜帶的形態(tài)標(biāo)志。詞典中提供的信息在編程語言中，為判斷一個token的類別而提供的'詞典”有兩種：一種是語言中'先驗地”規(guī)定好了的外部詞典。例如關(guān)鍵字和一些保留字。另外一種是編程人員(用戶)臨時定義的內(nèi)部詞典，這就是程序中的declaration.在自然語言中，基本上只使用外部詞典。(在某些文件［特別是有關(guān)技術(shù)標(biāo)準(zhǔn)的文件］中，有時也在文件的開頭部分定義一個'術(shù)語”集合，但是很少涉及詞性的問題)。例如中，市面上提供的英語詞典對其中所收羅的詞的詞性都給出了說明。與編程語言不同的地方是：有相當(dāng)一部分詞具有多種詞性。例如：字符串“increase”既可以當(dāng)作名詞來使用，又可以當(dāng)作動詞來使用。奇怪的是，漢語詞典基本上都沒有給出詞性方面的信息。其主要原因大概是由于漢語中大部分的詞都允許以多種方式使用，也就是說具有不止一種詞性。這種現(xiàn)象在古漢語中標(biāo)顯得尤為明顯。漢語中的這種“傳統(tǒng)”的來源可能如下：漢語是象形文字，最方便給有形的對象起名字。所以至少在漢語中“名詞”最優(yōu)先地得到發(fā)展。在古漢語中，由于為抽象的動作設(shè)計象形字比較困難，所以往往就把名詞直截了當(dāng)?shù)剞D(zhuǎn)化為動詞使用：“老”指老年人，老年人應(yīng)予以“尊重”，所以就把它當(dāng)作現(xiàn)代漢語中的“尊重”這一動詞來使用?！坝住敝笅胗變?，嬰幼兒需要“愛護(hù)”，所以就把它當(dāng)作現(xiàn)代漢語中的“愛護(hù)”這一動詞來使用。于是就出現(xiàn)了“老吾老以及人之老，幼吾幼以及人之幼”以及與之類似的“君君臣臣父父子子”這類令現(xiàn)代人費解的句子。詞類劃分的形式標(biāo)志如果能夠從詞或token的外形（形式上的）特征就能判斷出他是屬于哪一類，那么無論從“書寫者撰寫”的角度，還是從“閱讀者理解”的角度，都能夠大大減少出錯的機(jī)會。在某些編程語言（例如VisualBasic）中，如果一個變量沒有在任何地方加以聲明，也可以從變量名字的外形上看出它的類型。例如：名字以％結(jié)尾的變量是'整數(shù)'，名字以&結(jié)尾的變量是'字符串'，名字以&結(jié)尾的變量是'浮點數(shù)'等等。英語中，在某種程度上也有類似的機(jī)制，例如：以tion,ing結(jié)尾的基本上是名詞。以-lize結(jié)尾的基本上是名詞。以-ful結(jié)尾的基本上是形容詞。以-ly結(jié)尾的大概是副詞。漢語使用方塊字，沒有辦法添加尾綴，所以沒有這樣的形態(tài)標(biāo)志。因此大家認(rèn)為，這一現(xiàn)象給漢語的計算機(jī)處理增加了困難。不過話不能說得太絕對。在某些情況下，漢語還是有“形態(tài)標(biāo)志”的。例如，在名詞的前面加“很”“還”之類一般用來修飾形容詞的副詞，就是在“形態(tài)”上指出：后面的這個名詞已經(jīng)轉(zhuǎn)化為“形容詞”了。例子如：“同學(xué)們說我穿這條裙子很青春?！保拔覀兣叛莸倪@套節(jié)目還是很生活的?！?，“他比林彪還林彪。”。作用域編程語言的名字都有''作用域（scope）"問題。這一點在語言設(shè)計中都作了明確、毫不含糊的規(guī)定。程序被劃分為模塊、分程序，它們是作用域的天然邊界。自然語言中當(dāng)然有類似要求。章節(jié)、段落的劃分，引號”，''）的使用也是名字的作用域的天然邊界。但是與編程語言相比，并沒有硬性的規(guī)定，讀者往往要利用生活常識依據(jù)“語義合理性”來進(jìn)行判斷。指針自然語言中的指代詞（你、我、他、它等等）好比編程語言中的'指針（point）”。但是自然語言中從不明顯地交待：從現(xiàn)在起，'他”表示'張三”，直到遇見新的聲明為止。每一個具體的代詞指向何方要根據(jù)句子域句子之間的前后語義來聯(lián)系來判斷。在為了處理自然語言而為計算機(jī)編制詞典的時候，一個十分重要的問題是：我們把自然語言中的'詞”看成是一個''概念（concept）”還是只看成一個''符號（symbol）”。字面上的一個詞可以對應(yīng)多個概念，例如'編輯”既可以指一種工作、職業(yè)，又可以指以這種工作為職業(yè)的'人”。目前這方面似乎仍存在不同的看法，但是從計算機(jī)處理的角度看，當(dāng)然是看成一個'符號”為宜。這樣就出現(xiàn)了如何判斷某一個'詞（符號）”指向何種概念的問題。自然語言中使用最多、最具有生命力的詞大多具有多個“義項”。從這個觀點看，多義項詞更接近于編程語言中的指針。語句類型動作語句自然語言中，像：稅收人員向大家宣傳稅收政策?！蔽页粤艘粔K蛋糕?！倍急硎灸骋恢黧w采取了某種動作，因而改變了世界。這種句子圍繞著中心動詞“宣傳”，“吃”而展開。這種“動作語句”顯然對應(yīng)于編程語言中的“命令語句”（賦值語句，子程序調(diào)用，帶有副作用的函數(shù)調(diào)用等。）如果使用編程語言中的形式來書寫上述兩個句子，結(jié)果就是：宣傳（稅收人員，大家，稅收政策）吃（我，一塊蛋糕）子程序“宣傳”有三個變元，所以“宣傳”是三價動詞。子程序“吃”有兩個變元，所以“吃”是二價動詞。描述語句自然語言中，描述句以靜態(tài)的方式描寫周圍的世界，某種事物的存在，或者它的屬性。在漢語中，最常見的是以“是”為中心謂詞的描寫句，例如：她是近視眼。（健康）他是小孩。（年齡）他是高個子。（身材）他是工程師。（職業(yè)）可見，中心謂詞“是”把句子分成左右兩個部分。右邊部分?jǐn)⑹隽俗筮叢糠值哪撤N屬性。至于具體是什么屬性，完全要依靠讀者的知識來判斷。也許把“是”稱為“系動詞”就是因為它的功能只不過是把左右兩部分聯(lián)系起來，或者說，只是指出左右兩部分有聯(lián)系，至于什么樣的聯(lián)系，則語焉不詳。由于系動詞只起“語法上分割、語義上聯(lián)系”的作用，因此它往往可以被省略（這時可以認(rèn)為中心謂詞是''①j。這人①黃頭發(fā)。你①傻冒。在英語中也有類似情況，特別是在要求句子簡短有力的場合：Youbaby!Yousillyboy!編程語言中，與描述句對應(yīng)的東西是declaration以及declaration中的'初值語句”，例如：intx=3;John.Hair.Color=Yellow;疑問語句'你進(jìn)來好嗎？”，'3加5等于幾？”這類疑問句似乎在編程語言中找不到對應(yīng)物。其實是有的，就是包括函數(shù)在內(nèi)的'表達(dá)式”。計算機(jī)程序在運行過程中遇到包括函數(shù)在內(nèi)的“表達(dá)式”時，就要計算這個表達(dá)式的值，也就是向計算機(jī)硬件、程序庫、操作系統(tǒng)詢問計算結(jié)果。語境的動態(tài)變化目前我們所使用的計算機(jī)都是基于馮?諾意曼模型的機(jī)器。其中最具有特點的就是''賦值語句對環(huán)境所施加的改變”和隨時用來記錄不斷改變著的環(huán)境的存儲系統(tǒng)（寄存器、堆棧、內(nèi)存、外存）。正是由于這一原因，多年以來所發(fā)展出來的、針對靜態(tài)環(huán)境的數(shù)學(xué)證明方法在'程序正確性證明”的問題上失去了效力。自然語言中的'動作語句”既然和編程語言中的'賦值語句”相當(dāng)，它也必然會產(chǎn)生同樣的難題。以當(dāng)前水平的機(jī)器翻譯軟件為代表的自然語言處理軟件都是'沒有記憶”的，并不把所處理的語句對環(huán)境的影響記錄下來。如果自然語言處理軟件有這種記憶機(jī)制，那么它在處理以下句子孫武是春秋時代的軍事家。他說：'……”。的時候，就會在處理完第一句后，在'情景堆棧”中記?。含F(xiàn)在有了一個最新被提到的人物：春秋時代的軍事家-孫武于是在處理第二句時，就知道句子中的'他”就是這個'孫武”，由于他是春秋時代的人，所以'說”要使用'過去式”。當(dāng)然，這個例子太簡單了。'情景堆棧”應(yīng)該怎樣設(shè)計，尚有待于探討。但是這個問題是計算機(jī)理解自然語言時避免不了的。小結(jié)從以上討論可以看出兩點：1） 作為信息傳遞的媒介，目前的計算機(jī)語言和自然語言雖然在外表上有很大差異，但是在實質(zhì)上的確有不少相通或者互相對應(yīng)的地方。2） 從最初的比較簡單的計算機(jī)語言（例如初期的Basic）到后來越來越復(fù)雜的Fortran,C,C++,我們可以看到把自然語言中的一些機(jī)制逐步添加到計算給語言中的跡象。自然語言與編程語言之間的區(qū)別這個問題之所以值得研究是因為這一研究有可能幫助我們搞清楚計算機(jī)在處理自然語言時所遇到的困難的本質(zhì)以及克服這些困難的途徑。語句結(jié)構(gòu)分析時語義的介入必要性以上我們討論了自然語言與編程語言之間的相似之處,也順便指出了兩者之間的一些區(qū)別。但是上面所說的這些區(qū)別不一定都是本質(zhì)性的、或者根本性的。兩者之間本質(zhì)性的區(qū)別表現(xiàn)在：自然語言處理在許多階段的工作中都需要涉及語義,需要語言之外的生活常識、社會與自然科學(xué)知識的支持才能完成。以下是其中主要的幾個方面。漢語句子的分詞和詞性標(biāo)注分詞雖然可以在大部分情況下利用辭典和匹配的方法得到正確的答案,但是有時也需要運用語言之外、語境方面的知識。'乒乓球拍賣完了”應(yīng)該讀成'乒乓球拍賣完了”還是'乒乓球拍賣完了”的問題就是一個典型的例子。編程語言中的token,除了''指針”以外，基本上都只屬于一種類別，沒有任何含混之處。然而，自然語言中的詞卻可以有多種詞性，漢語尤其如此。但是在一個具體的句子中，每一個詞的詞性確是唯一的，因此就存在著如何根據(jù)這個詞的周圍的環(huán)境來判斷其詞性，這就是詞性標(biāo)注問題。計算機(jī)可以從統(tǒng)計規(guī)律出發(fā)'胡蒙亂猜”，并且期望能夠在大多數(shù)情況下得到正確的結(jié)果，但是像上面所舉例子：'把收集到的數(shù)據(jù)記錄在數(shù)據(jù)庫記錄中”就很難保證正確判斷其中的兩個'記錄”的詞性。句子結(jié)構(gòu)分析我們都知道，句子從外表看只是一維的'字詞流”，但它是有它的內(nèi)部結(jié)構(gòu)的。分析或者理解一個句子的時候，第一件事就是要從它的一維的字詞流中提取句子的內(nèi)部結(jié)構(gòu)。正是在作這件事的時候，出現(xiàn)了自然語言和被稱之為'形式語言”的編程語言的本質(zhì)區(qū)別。在對計算機(jī)編程語言進(jìn)行語法分析的時候，由于語句中每一token均由確切的含義，語言的語法大多限定在上下文無關(guān)文法的范圍之內(nèi)，編譯器只需要擁有語句中的'形式標(biāo)記信息”和在語言內(nèi)部預(yù)先定好的一些規(guī)則就可以完成任務(wù)，而且所得結(jié)果是唯一的，用不著利用與外部世界有關(guān)的知識。編譯器在語法分析結(jié)束以后進(jìn)入代碼生成階段時，才要涉及語義問題。反之，在分析自然語言中的句子的時候，即便是分詞、詞性判斷等標(biāo)志性信息均已完備的情況下，也往往要借助'語義合理性”方面的判斷。而'合理與否”則要依靠語言之外的生活常識、社會與自然科學(xué)知識。舉例來說，她想穿將軍的大衣。她想念穿大衣的將軍。著兩句話的形式都是：''名動動名'的'名”的格式。但是內(nèi)部結(jié)構(gòu)完全不同。我們在閱讀這兩句話的時候，可以毫無困難地分別把它們理解為：她想穿（將軍的）大衣。她想念（穿大衣的）將軍。這是因為我們有''人可以穿大衣，但是大衣卻不能'穿'人”的常識。沒有生活常識以及運用這種常識的能力的計算機(jī)，僅僅憑語言知識和語句中的形式標(biāo)志顯然是沒有辦法完成這種句子的結(jié)構(gòu)分析的任務(wù)的。上下文相關(guān)自然語言中即使其最簡單的'義項選擇”問題，也往往要根據(jù)上下文、乃至整篇文章以外的知識（社會生活常識、自然科學(xué)與專業(yè)知識）來判斷。例1：漢語中，'躊躇”是'猶豫不決”的意思（如說'躊躇不前”）。但是如果后面緊跟著'志滿”（躊躇志滿）意思就來了一個一百八十度的大轉(zhuǎn)彎，變成'從容自信”了。例2：如上所述，漢語中的'打”字是一個泛義動詞，在'打毛衣”，'打籃球”，'打水”三種說法中分別理解為'編織”，'玩”，'取得”。這一要求可以通過對'詞語搭配關(guān)系”的考察來解決。在計算機(jī)語言中，也有類似情況。例如用來打開文件的open就是一個泛義動詞，在打開某一具體文件時到底要使用哪一個application，則要看這個文件的類型是什么？例如，如果文件名的后綴是.doc，就使用MSWinword,如果文件名的后綴是.txt，就使用Notepad.然而，在自然語言中，有時更復(fù)雜一點。例如：在以下這句話中：漁民用竹篙打水，想把魚趕進(jìn)漁網(wǎng)中去。“打”自由應(yīng)理解為“擊打”的意思。而在漁民用木桶打水洗菜做飯。中的“打”又依然應(yīng)理解為“取得”的意思。換言之，一個泛意動詞的語義不僅取決于它的賓語，有時還得看看“施主”和“工具”是什么？葉圣陶先生在他所寫的一篇文章《據(jù)理論而言》中也提到一個例子：解放前“某大學(xué)招考新生，國文的作文題目是《防民之口甚于防川論》。很有些應(yīng)試的同學(xué)解錯了題目，做出來的文字牛頭不對馬嘴?！敝詴@樣，是因為“防民之口甚于防川”這句話可以有很多解釋：防民之口其困難甚于防川防民之口其重要性甚于防川防民之口其……甚于防川防民之口其危險甚于防川這些“應(yīng)試的同學(xué)”大概都理解為前面兩種。如果他們看到《古文觀止》里收錄的《國語》里的那篇“召公諫歷王止謗”的文章中這兩句話的下文：防民之口，甚于防川。川壅而潰，傷人必多，民亦如之。就知道應(yīng)該按照相反的方向來理解了。自然語言中這種“必須依靠文章以外的知識來解讀作為符號的“詞”的指向”的要求,給計算機(jī)處理自然語言的工作帶來了重大困難。自然語言的“簡略性要求”請觀察以下這幅漫畫：雖然這只是寥寥幾筆，離開相片或者真實的人像相去甚遠(yuǎn)，但是當(dāng)今社會上大多數(shù)中國人都能一眼看出這就是聶衛(wèi)平。因為它抓住了聶衛(wèi)平有別于其他人的特征。不過，能夠做到這一點的人一定是預(yù)先看見過聶衛(wèi)平的相片、錄像或者他本人。換句話說，看得出這幅漫畫畫的是誰的這些人，必須在腦子里預(yù)先已經(jīng)有了與聶衛(wèi)平面貌有關(guān)的“知識”，這幅漫畫不過是“勾起了”他們腦海中已有的印象而已。類似地，人們講話時的首要目標(biāo)并不是要去描述和傳遞巨細(xì)無遺的情景，而只是在對方已有的知識背景之上做一些補(bǔ)充，使得對方把你的詞句和它已有的知識加起來，能夠湊成一幅完整的圖景。超過這一要求時，別人就會覺得你羅嗦；過于簡單則會使對方誤會或者不知所云。從這一點看，自然語言理解過程得著一側(cè)面和“猜謎語”是相通的。漢語歷來有講究“凝練”的傳統(tǒng)，因此我們看到的漢語句子常常只是“海面上的冰山”。最普遍的例子是“名詞的串接”。例如：“傻瓜相機(jī)”這個詞組可以有多種理解，看你省略的字眼是什么：“傻瓜發(fā)明的相機(jī)”，''傻瓜才使用的相機(jī)"，''為傻瓜而設(shè)計的相機(jī)”……。“魯迅回憶錄”這個詞組也可以有多種理解：“魯迅自己撰寫的回憶錄”，“某某人撰寫的關(guān)于魯迅的回憶錄”?！昂ｕr醬油”可以理解為：“以海鮮為原料制成的醬油”，也可以理解為：“吃海鮮時使用的醬油”。讀（聽）者需要根據(jù)當(dāng)時當(dāng)?shù)氐恼Z境和自己的生活經(jīng)驗和常識來選擇其中的一種。標(biāo)語、標(biāo)題中的字眼也是常見的“簡略說話法”的例子。比如說：我們在出租車的座位上常?？匆姷模和＼嚨群蛘埜堆航饘嶋H上是停車等候請付押金如果乘客中途下車辦事，要求司機(jī)，乘客預(yù)先向司機(jī)支。顯然，只有把被省略的詞語適當(dāng)?shù)匮a(bǔ)上之后，才談得到句子結(jié)構(gòu)的分析。可是，除了為了避免羅嗦、使語言簡潔的目的以外，還有一種情況是“有意模糊”。我們注意到，實際生活中，我們使用語言的方式可以分成兩大類。l 一種是力求精確、完整地傳遞信息?？茖W(xué)、法律方面的文獻(xiàn)可以作為這一類的代表。l 另一類是：有意不把話全部說明白，給讀者留下想象的空間。編程語言當(dāng)然屬于第一類，而文藝領(lǐng)域的文章大多屬于第二類。文藝作品的作者在撰寫他的文字時，一方面希望利用這些文字傳遞信息，但與此同時，還期望勾起讀者的聯(lián)想，希望讀者利用自身的知識、處境、心情……進(jìn)行補(bǔ)充。因此這種文章就要寫得''含蓄、凝練”，給讀者留有''再創(chuàng)造”的空間。讀者的主動參與往往調(diào)動了他的濃厚興趣。（這也是為什么比較含蓄的音樂作品、廣播劇可以反復(fù)聆聽；而一覽無余電視劇很少有人看兩遍的原因。）語句分析的'終極”在哪里？計算機(jī)語言的編譯器在分析計算機(jī)程序中的語句時，最終總是要分析到語法規(guī)則中所規(guī)定的'終極符（terminator）"為止。在自然語言中的情況比較復(fù)雜。漢語句子中的終極符顯然不是漢字，但也不一定是'詞”。在'他胸有成竹”這句含有成語的話中，'胸有成竹”應(yīng)該是終極符，因為你不能再繼續(xù)把它進(jìn)一步分解了。再分解就真的變成'他的胸腔中有一根竹子”了。同樣地，'大家奮力力救火”中的'救火”也是終極符，因為你一定不能再進(jìn)一步把'救火”當(dāng)作'動賓短語”去進(jìn)一步分析。'救火”中的'救”與'火”不過是由'搶救生命與財產(chǎn)于烈火之中”這句話里提取出來的兩個'特征字眼”而已。英語沒有漢語中的分詞的麻煩，但是也有類似問題。許多介詞短語是一個整體，不能繼續(xù)分解。比如說，當(dāng)討論某人的家庭情況時，有人回答：“Heisonthestreet.”這“onthestreet”就應(yīng)該整體地作為表示'無家可歸”的一個詞組來理解。話又說回來，要是孩子的父親問母親：''孩子上哪兒去玩去了？”母親若回答“Heisonthestreet.那就表示這孩子真的是在街上玩?？梢?，一個詞組應(yīng)不應(yīng)該作為“終極符”，還得要看語境。這進(jìn)一步增加了自然語言理解的復(fù)雜性。規(guī)則與習(xí)慣計算機(jī)編程語言中，只要是符合語法規(guī)則的句子就都是合法、并且可以使用的。但是在自然語言中，卻要看'習(xí)慣'。你雖然在離開家時可以說：''我用'鎖'把門'鎖'上”，但在回家時，卻不能用類推的方式說：''我從兜里掏出鑰匙來鑰匙門”。因為（社會上）沒有這種說法?。ㄟ@大約是因為后面這種說法太繞口）。反之，看起來雖然不大合乎語法，但是大家說慣了，卻是允許的。隱含與聯(lián)想我們可以把“自然語言”進(jìn)一步劃分為“技術(shù)語言”和“文化語言”兩種。前者的例子如：技術(shù)資料，法律文件等。后者的例子如：詩詞、小說等。兩者的主要區(qū)別是，“文化語言”常常含有“言外之意”，并且引起或者要求讀者（聽者）發(fā)揮“聯(lián)想”的主觀能動性。這個要求顯然離開當(dāng)前計算機(jī)的水平更加遙遠(yuǎn)，所以在此不再展開討論。繞口與否及聽覺特性自然語言首先是為了“說和聽”，其次才是為了“寫和讀”而發(fā)展起來的。這樣一來，句子的順不順口，文章的“抑揚頓挫，音調(diào)鏗鏘，朗朗上口”就成了一種不可忽視的要求。有時候，為了滿足這一要求，甚至?xí)耙月暫σ狻?，以顛倒語序為代價。這種現(xiàn)象在詩歌中當(dāng)然比較多（例如杜甫的“名豈文章著，官應(yīng)老病休”），但是在口語中也有出現(xiàn)。魯川教授就曾經(jīng)指出：我們從來不說“制電影片廠”而是說成較為順口的“電影制片廠”，是因為“2+3”比“1+3+1”結(jié)構(gòu)讀起來更為順口,雖然前者在語法上較為合理。由于同一原因，漢語中偏好使用長度為四個字的短語。（所以漢語中的成語絕大多數(shù)是四個字的，如果不夠四個字，往往也要加進(jìn)一兩個虛字，湊成四個字。）可是，過去我們經(jīng)常說的“百分之百”在說廣東話的人群中遇到了困難，因為廣東話中沒有zhi這個音。于是他們把''百分之百"改說成''百分百”。又由于改革開放以來，以廣東省為代表的中國南方地區(qū)在經(jīng)濟(jì)發(fā)展上處于有影響的位置，使得電視臺上的主持人和播音員也都改說“百分百”了。反過來，計算機(jī)編程語言完全是為了'寫下來供計算機(jī)執(zhí)行或者供人閱讀”的。所以不存在上述需要朗讀而帶來的'聽覺性”問題。視覺特性漢語使用象形字，因而在'字”和'詞”這一級就有視覺特性的問題。我們初中時就讀過李煜的詞《浪淘沙令》中的'簾外雨潺潺，春意闌珊。”后來看見老舍先生批評這種句子說：從來就不知道雨怎么個'闌珊”法，春意又怎么個'闌珊”法，覺得老舍先生講得對。可是又覺得，雖然從來沒有去詞典上查過'潺潺”是什么意思，但是當(dāng)初讀李煜的詞時并沒有覺得費解。但講不出道理。最近看到王蒙在《道是詞典還小說》這篇文章中解釋了這個問題：問題不在于'潺潺”本身的含義，對于我來說，'潺潺”的說服力在于字形中放在一堆的六個'子”字，它們立即使我想起了流水上的絲皺般的波紋。從上小學(xué)，我一讀到'潺潺”二字就恍如看到了水波。除了'字”和'詞”這一級以外，自然語言在段落、章節(jié)的劃分上也有'語義”上的含義，并且隱含著各種代詞的''作用域（Scope）”劃分。計算機(jī)編程語言中，雖然在'段落”一級上應(yīng)該力圖在視覺上顯示程序的嵌套結(jié)構(gòu)。以利于'人”的閱讀。但是這種做法對計算機(jī)好毫無意義。''作用域（Scope）”劃分也應(yīng)該有明確的declaration來規(guī)定，而不能是隱含的。小結(jié)傳統(tǒng)的計算機(jī)語言和自然語言的上述差別是造成計算機(jī)處理自然語言遇到重大困難的主要原因。人之所以對自然語言應(yīng)付如裕，是因為人擁有知識（包括社會生活常識以及各種專業(yè)知識），并且具有應(yīng)用這些知識來'解讀語句（猜測語義）”的能力。事實上，即便是人，由于文化程度和專業(yè)領(lǐng)域的不同，如果他聽（讀）到語句在解讀時所需要的知識超過了他的知識范圍，也會產(chǎn)生理解上的困難。因此，人們在通過語言相互交流時，還需要遵從某種協(xié)議。語言交流中的普適性協(xié)議人與人之間通過語言進(jìn)行交流時，人人都自覺或不自覺地遵守以下普遍使用的協(xié)議：發(fā)話一方首先要判斷對方的語言能力，并據(jù)此選擇可以使用的詞語和句式。如果對方是小孩，使用的詞語和句式就和對方是成人時不一樣。其次要估計對方的知識水平、專業(yè)范圍。不能使用對方無法理解的詞語或概念。例如，如果對方是考古專家，你就不能和他深入地探討其他專業(yè)領(lǐng)域的問題。發(fā)話方所進(jìn)行的以上的兩種估計不可能完全正確。因此，聽（讀）方要隨時判斷對方所說的句子是否在自己所能領(lǐng)悟的范圍內(nèi)。如果不是，就要要求對方解釋或者換一種易懂的說法。發(fā)話方所說的話如果小有紕漏，聽話方應(yīng)該有能力糾正，“正確地加以理解”。在人和計算機(jī)講話時，出現(xiàn)了新的問題。一般來說，人（用戶）沒有和計算機(jī)通過自然語言講話的經(jīng)驗，因此不知道怎樣估計計算機(jī)的語言能力和知識水平。在這種情況下，就要研究如何讓計算機(jī)主動向?qū)Ψ揭赃m當(dāng)?shù)男问浇榻B自己的接受能力。這是一項具有挑戰(zhàn)性質(zhì)的任務(wù)。上述協(xié)議中的第三點格外重要。傳統(tǒng)的“全自動”機(jī)器翻譯程序會忽略了這一要求，可以說是一個誤區(qū)。兩棲語言-面向計算機(jī)的“受限（標(biāo)注）漢語”要求計算機(jī)擁有一般人所具有的知識以及具有應(yīng)用這些知識來“解讀”自然語言的能力，目前還不現(xiàn)實。因為這種要求有點像希望對古代社會生活情況一無所知而又僅有小學(xué)語文水平的人去閱讀處處引用“典故”的古籍那樣。不過，語文老師早已想到了解決這個問題的方法：改寫和添加注解。這一思路當(dāng)然也可以用來幫助“沒有社會生活常識和語言水平很低的”計算機(jī)。這就是提出“面向計算機(jī)的受限（標(biāo)注）漢語”這一概念的由來。問題在于：誰來進(jìn)行這種改寫和添加注解的工作？答案是：開發(fā)“受限（標(biāo)注）漢語寫作器”，讓計算機(jī)幫助“人”來作這件事。北京信息工程學(xué)院在承擔(dān)國家“九五”重點科技攻關(guān)項目“中文信息處理及產(chǎn)品開發(fā)”中的“受限漢語技術(shù)及其產(chǎn)品開發(fā)”專題工作所開發(fā)的“受限漢語寫作器”最后產(chǎn)生出來的語言文本有兩種表現(xiàn)形式：l 給人看的文本。這種文本從外表上看和一般的文章沒有什么差異。l 給計算機(jī)看的文本。這是在上一種文本中添加了供計算機(jī)閱讀的“標(biāo)志”這種帶''標(biāo)志”的文本和當(dāng)前正在如火如荼地發(fā)展著的XML語言有密切的聯(lián)系。這些''標(biāo)志”之除了每個語句中各個語言成分的“語義角色”和它們在“語法意義上所處的位置”。有關(guān)情況請參見有關(guān)資料，再此不予贅述?？墒?，不管怎么說，改寫和添加注解終究是額外的工作，而'用計算機(jī)處理自然語言”的初衷本來就是為了節(jié)省人力。這兩者豈不是'南轅北轍”嗎？為此，我們應(yīng)該從用戶需求的角度來探討一下。兩種用戶需求信息收集者在互聯(lián)網(wǎng)、信息爆炸時代，如何利用計算機(jī)從浩如煙海的以自然語言表達(dá)的文章中找出自己所關(guān)心的、對自己有價值的文章，是很多用戶面臨的問題。由于計算機(jī)在自然語言理解方面尚未取得有價值的進(jìn)展。因此用戶只能在信息判斷的準(zhǔn)確性、詳盡程度方面降低要求。信息發(fā)布者反過來說，信息發(fā)布者當(dāng)然他所發(fā)布的信息能夠以最大的精確性得到盡可能多的人群（包括不同國別的人群）的注意和理解。為此，他可以而且愿意付出一些代價，以“受限”和“標(biāo)注”的方式發(fā)布自己的信息。制定“受限（標(biāo)注）漢語”規(guī)范的思路我們這里所說的“受限（標(biāo)注）漢語”是“面向計算機(jī)的受限（標(biāo)注）漢語”。換言之，付出“簡易”的代價之后，期望達(dá)到的目的是使“智能相當(dāng)?shù)偷摹碑?dāng)代計算機(jī)有能力加以處理；與此同時，在人類讀者面前依然保持原來自然語言的風(fēng)貌。顯然，“面向計算機(jī)的受限（標(biāo)注）漢語”是否有實用價值，取決于：l 我們能否為這種“受限（標(biāo)注）漢語”設(shè)計出既有充分表達(dá)能力，又便于計算機(jī)處理的語言規(guī)范。l 開發(fā)出一種足夠好的幫助人們書寫這種語言的工具---大家知道，法律有兩種表述形式：l案例法（CaseLaw），屬于''大陸法系”，''羅馬法系”l 法典法，屬于“英美法系”或“普通法系”。自然語言的規(guī)范也有這樣的兩種。小孩學(xué)習(xí)自己國家的母語時肯定是根據(jù)'案例法”。中國人過去學(xué)習(xí)英語的傳統(tǒng)辦法是'法典法”。自從《英語900句》一書風(fēng)行以后，很多人體會到了使用'案例法”學(xué)習(xí)外語的好處。剛開始學(xué)習(xí)編寫計算機(jī)程序的時候，我們多半是對照著程序語言手冊上的規(guī)定一句一句地寫（法典法）。對于年齡大、記憶力差的人，常常感到許多細(xì)節(jié)記不住，就希望找一個或者一段別人已經(jīng)寫好的程序拿來'修改”，覺得既省事，又少出錯。（案例法）那么我們制定受限（標(biāo)注）漢語規(guī)范的時候，應(yīng)該采取哪一種辦法呢？我們曾經(jīng)想過，能不能定義一個漢語子集，使得這個子集內(nèi)的語句像計算機(jī)編程語言那樣滿足某種上下文無關(guān)文法，這樣一來，計算機(jī)處理編程語言的技術(shù)不是就可以用來處理這種受限（標(biāo)注）漢語了嗎？。（這就是一種'法典法”的道路。）這條道路給我們帶來的困難是：自然語言的內(nèi)涵比編程語言要復(fù)雜得多，為它設(shè)計一個滿足上下文無關(guān)文法的子集有'老虎吃天，無從下嘴”的感覺。更為重要的是，即使設(shè)計出了這樣一套語法，一般人也一定無法使用。理由很簡單，因為人們學(xué)習(xí)自己的母語時，不是走的這一條道路。覺得多數(shù)說漢語的人根本沒有'漢語語法”的概念。因此合理的辦法是采用'案例法”。也就是在計算機(jī)中存儲足夠多的模板和例句然后引導(dǎo)用戶'依葫蘆畫瓢”。這種辦法用戶容易接受，更為重要的是：由于模板是事先定義好的，它的內(nèi)部結(jié)構(gòu)，各部分之間的語義以及相互之間的聯(lián)系也是預(yù)知的。因此用戶在'選句填詞”的過程中，無需用戶費心，系統(tǒng)就可以自動產(chǎn)生大量的標(biāo)志性信息。但模板法也有困難。首先是如何進(jìn)行引導(dǎo)？其次，自然語言（特別是漢語）語句中的一部分又可以以遞歸的方式展開為另外一個句子。對于“一級”語句，我們可以用模板引導(dǎo)的辦法加以限制，但對于以遞歸的方式衍生出來的第二、第三級句子就沒有辦法再這樣做。限于篇幅，這兩個問題留在別的地方去討論。漢語規(guī)范與漢語.DTD我們經(jīng)常在報刊上看到希望使用“規(guī)范漢語”的呼吁。但是，怎樣的漢語才算是規(guī)范，卻沒有一個客觀的標(biāo)準(zhǔn)，于是產(chǎn)生了“你說我的語言不規(guī)范，我卻認(rèn)為很規(guī)范”的爭論?？紤]到語言的進(jìn)化過程是不可阻擋的，而在進(jìn)化過程中又同時進(jìn)行著篩選、淘汰的過程，這個問題的解決恐怕還得依賴于技術(shù)發(fā)展的反作用、“技術(shù)標(biāo)準(zhǔn)”以及相應(yīng)的標(biāo)準(zhǔn)的定期更新。舉例來說，長期以來，在我國人名、地名用字沒有標(biāo)準(zhǔn)，沒有范圍，有些地區(qū)甚至可以自己造字。但是在信息處理用漢字國家標(biāo)準(zhǔn)GB2312頒布以后，許多家長再給自己的孩子取名的時候，都知道最好在GB2312所收羅的漢字集中選字，否則的話，在計算機(jī)中找不到孩子的名字將使孩子終生受累。類似地，計算機(jī)中的''漢字庫”，OCR軟件，漢語拼音輸入方法，教育部在小學(xué)推廣的''筆劃”輸入法，天天在對廣大的使用計算機(jī)的人群實施著規(guī)范化的培訓(xùn)。由此推想，如果有了計算機(jī)能夠接收和處理的漢語規(guī)范，并且得到實施，那將對鼓勵人們使用規(guī)范化的語言起很大的推動作用。因為，如果你不遵從者以規(guī)范，不僅有一種客觀的手段來判斷你的'錯誤”，而且你寫的文章計算機(jī)無法處理，因而你的思想就不容易通過網(wǎng)絡(luò)得到迅速傳播，也不易得到他人的廣泛理解。那么，我們所設(shè)想的這種''規(guī)范”的形式應(yīng)該是怎樣的呢？也許第一步最合適的形式是DTD文件。前面說到，北京信息工程學(xué)院所開發(fā)的'受限漢語寫作器”最后產(chǎn)生出來的給計算機(jī)看的文本中添加了供計算機(jī)閱讀的'標(biāo)志”。這種帶'標(biāo)志”的文本和當(dāng)前正在如火如荼地發(fā)展著的XML語言有密切的聯(lián)系。這些'標(biāo)志”之除了每個語句中各個語言成分的'語義角色”和它們在'語法意義上所處的位置”。但是這套'標(biāo)志'只是負(fù)責(zé)這一專題的開發(fā)小組的看法。其合理性尚有待于進(jìn)一步改進(jìn)和驗證。一個十分重要的問題是，應(yīng)該為這種''標(biāo)志”建立一套大家公認(rèn)的標(biāo)準(zhǔn)，并且把它體現(xiàn)在.DTD文件中。我們知道，在數(shù)學(xué)領(lǐng)域已經(jīng)形成了針對數(shù)學(xué)領(lǐng)域的標(biāo)志語言的MathML.DTD。對于漢語，也應(yīng)該形成類似的DTD文件。我們知道，有關(guān)部門曾經(jīng)不止一次地組織力量編撰'漢語語法”，但是遇到的困難不少。從計算機(jī)處理的角度出發(fā)，首先在''標(biāo)志”的種類與定義上達(dá)到共識，形成一個大家公認(rèn)的''漢語.DTD”文件，將有助于計算機(jī)對漢語的處理和漢語規(guī)范化工作。對寫作工具的要求交互過程的必要性由于目前還不可能把一般人頭腦中擁有的全部知識以適當(dāng)?shù)男问窖b入計算機(jī)，并使之具有運用這些知識把語句中所缺省的信息補(bǔ)充進(jìn)去的能力，因此必須通過人機(jī)交互方式，在寫作過程中向計算機(jī)'交代、補(bǔ)充”有關(guān)信息。減少用戶干預(yù)的工作量上述這種交互過程顯然是令用戶厭煩的。因此技術(shù)工作的目標(biāo)就是要設(shè)法使這種額外的工作量減到最小。l雖然目前還不可能把一般人頭腦中擁有的全部知識以適當(dāng)?shù)男问窖b入計算機(jī)，但是有些比較簡單的知識還是可以以適當(dāng)?shù)男问窖b入機(jī)器的。（例如：在計算機(jī)中保存詞語搭配規(guī)則、捆綁規(guī)則、增大機(jī)內(nèi)詞典所收容信息的粒度等等。）l 在'詞性”，'義項”的選擇方面，如果不能進(jìn)行有理智的分析和推理，就采用基于統(tǒng)計的猜測方法。只要大部分情況下猜測得正確，就可以大大減少要求用戶干預(yù)的次數(shù)。討論進(jìn)行上面進(jìn)行的'比較”當(dāng)然是為了幫助我門弄清楚今后的努力方向。技術(shù)邊界一個“個人”的知識總是有限的，它所能處理的語言信息在內(nèi)容、形式上都會有限制。因此，沒有任何一個人敢說他能看得懂任何一篇文章。人尚如此，“機(jī)”何以堪？對于一臺資源有限的計算機(jī)，當(dāng)然也是這樣?；叵肫鹪谥袑W(xué)里學(xué)“幾何”課的時候，老師就曾告訴我們：僅用圓規(guī)和直尺，是不可能在理論上找出三等分任意一個角度的辦法的，因此不要白費勁去做那些不可能做到的事情。這事啟發(fā)我們，在計算機(jī)中文信息處理的領(lǐng)域里，也不能一味“埋頭拉車”，應(yīng)該先問一問，使用計算機(jī)處理自然語言的技術(shù)邊界在哪里？根據(jù)目前中文信息處理的狀況看來，我們無法提出一種決然分明的技術(shù)邊界，如果畫三個由大到小的圈子：1）原本的、不斷地進(jìn)化著的漢語2） 從漢語中剝離掉文化語言，只研究技術(shù)語言（也就是沒有'言外之意'，不使用隱喻、聯(lián)想和暗示的語言。3） 對技術(shù)語言在所用的詞匯、句型方面進(jìn)一步加以限制而得到的受限漢語。顯然，畫的圈子越小，計算機(jī)所能達(dá)到的理解的深度會越高。另一方面，也應(yīng)該考慮到，不同性質(zhì)的處理對“理解”提出的要求是不同的。不同性質(zhì)的處理對“理解”提出的不同要求“自然語言”和人類積累的知識相共生，同發(fā)展的。只要計算機(jī)擁有的知識和運用知識的能力沒有達(dá)到“人”的水平，我們便不可能要求計算機(jī)在總的方面達(dá)到和人一樣的處理自然語言的能力。但是，不同性質(zhì)的處理對“理解”提出的要求是不同的。機(jī)器翻譯機(jī)器翻譯工作的一個特點是：有些時候，翻譯者即使并不懂得（或者不完全懂得）句子的內(nèi)容也照樣可以“按字面”進(jìn)行翻譯，而聽者也能正確理解對方在說什么。這種情況常見于外語專業(yè)的畢業(yè)生為兩位同行的專業(yè)（例如計算機(jī)軟件）工作者進(jìn)行技術(shù)翻譯的時候。顯然，計算機(jī)也可以在類似情況下用“字符串代換+簡單的重新排序”的辦法達(dá)到“正確”翻譯的目的。不過這種“有利情況”并不總是發(fā)生，更多的（大約70%）情況需要翻譯者對談話的內(nèi)容有深入的理解。絕大多數(shù)“四個字的中國成語”就不能按字面翻譯成外語。這大約就是全自動翻譯系統(tǒng)的正確率突不破30-40%的原因。另一方面，如果聽說雙方有類似的生活環(huán)境，“按字面”進(jìn)行翻譯并不妨礙聽的一方領(lǐng)會原話中的“言外之意、弦外之音”。信息檢索和文章分類初級的工作可以只依靠“字符串匹配”的手段進(jìn)行。更高的要求則需要對關(guān)鍵詞的內(nèi)涵有一定的理解。例如，如果用戶要通過關(guān)鍵詞“西部”和“大開發(fā)”檢索有關(guān)的文章，凡是含有“貴州”，“云南”，“昆明”，“西安”……但是不包含“西部”的文章也不能放過。直接執(zhí)行例如：按照電視劇腳本直接產(chǎn)生動畫片。在這種場合，“按字面翻譯”的手段就不能使用了，必須對腳本中的內(nèi)容有真正的理解。提取摘要也許這種應(yīng)用對“文化程度”的要求最高，因為他不僅要求對文章的內(nèi)容有所理解，而且能分辨出那些是無關(guān)緊要的廢話而加以剔除。