論人工智能與學(xué)習(xí)的聯(lián)系

論人工智能與學(xué)習(xí)的聯(lián)系

1重視知識(shí)在語(yǔ)言處理上的作用自然景觀與學(xué)習(xí)密切相關(guān)。這里有兩個(gè)方面的問(wèn)題:一方面是自然語(yǔ)言在人們學(xué)習(xí)知識(shí)過(guò)程中的作用;另一方面是學(xué)習(xí)對(duì)自然語(yǔ)言處理的作用。這里也包括自然語(yǔ)言知識(shí)的學(xué)習(xí)。本文是著重討論第一個(gè)方面的問(wèn)題。無(wú)庸置疑,自然語(yǔ)言在人們學(xué)習(xí)知識(shí)的過(guò)程中發(fā)揮的作用是很重要的。應(yīng)該說(shuō),雖然就整個(gè)人類而言,知識(shí)是通過(guò)反復(fù)的實(shí)踐和試驗(yàn)來(lái)獲取樣本,以及在大量樣本的基礎(chǔ)上的進(jìn)行歸納和演繹所獲取的;但是就個(gè)人而言,他獲取知識(shí)的途徑卻可以有兩個(gè),一個(gè)是自己在反復(fù)實(shí)踐中通過(guò)發(fā)現(xiàn)獲得新知識(shí),另外一個(gè)就是向前人和他人學(xué)習(xí),從人類已有的知識(shí)中獲得新知識(shí)。在這兩個(gè)途徑中,個(gè)人通過(guò)前一個(gè)途徑獲取的知識(shí)是很有限的,而通過(guò)后一個(gè)途徑獲取的知識(shí)卻是主要的。古今中外,人們的知識(shí)主要表示為自然語(yǔ)言信號(hào)(聲音或符號(hào))?？梢哉f(shuō),自然語(yǔ)言是人類積累和傳遞知識(shí)的主要手段。一個(gè)人從小到老的一生中,在多數(shù)情況下都是通過(guò)自然語(yǔ)言,例如閱讀、詢問(wèn)、討論、談話、等等,來(lái)學(xué)習(xí)知識(shí)的。完全可以這樣說(shuō),一個(gè)人的絕大部分理性知識(shí)是通過(guò)自然語(yǔ)言所獲取的。所以,用自然語(yǔ)言來(lái)學(xué)習(xí)知識(shí)是人們學(xué)習(xí)的一個(gè)十分重要的途徑。人們常說(shuō)“自然語(yǔ)言理解依賴于知識(shí)”。有人曾因此而認(rèn)為:因?yàn)樽匀徽Z(yǔ)言理解依賴于知識(shí),而知識(shí)不斷地發(fā)展,所以自然語(yǔ)言也不斷發(fā)展。因此不可能建立通用的自然語(yǔ)言理解機(jī)制,而只能建立各個(gè)領(lǐng)域上的自然語(yǔ)言理解機(jī)制。這種觀點(diǎn)顯然是不對(duì)的,在邏輯上就是站不腳的。日本人在其失敗了的第五代計(jì)算機(jī)研制方案中也正是持的這種觀點(diǎn)。知識(shí)在自然語(yǔ)言理解中是起著很重要的作用,但是這是指人們?cè)谧匀徽Z(yǔ)言理解的過(guò)程中要運(yùn)用自己頭腦中的知識(shí)去處理自然語(yǔ)言的語(yǔ)句。自然語(yǔ)言是知識(shí)的最重要的載體,思想、概念等都是自然語(yǔ)言來(lái)表達(dá)的。但是我們不可以把載體和其所載的內(nèi)容混為一淡。因此知識(shí)并不等同于自然語(yǔ)言,知識(shí)有它自己的內(nèi)部發(fā)展規(guī)律,自然語(yǔ)言也有它自己的內(nèi)部發(fā)展規(guī)律。兩者相比,知識(shí)的發(fā)展是飛速的,自然語(yǔ)言的發(fā)展卻是緩慢的,甚至可以認(rèn)為是相對(duì)靜止的。所以知識(shí)只是自然語(yǔ)言處理過(guò)程中的一個(gè)參與者,是自然語(yǔ)言理解的運(yùn)算過(guò)程中的參數(shù)。正是因?yàn)樽匀徽Z(yǔ)言是知識(shí)的主要載體,也是(抽象)思維的主要載體,所以越來(lái)越多的人認(rèn)識(shí)到,自然語(yǔ)言決不僅僅在人機(jī)通訊上是一個(gè)重要的工具(或界面),而且在知識(shí)的表達(dá)上,在知識(shí)的處理上,以及在知識(shí)的學(xué)習(xí)上都起著十分重要的作用。如果機(jī)器也可以用自然語(yǔ)言來(lái)學(xué)習(xí),那就可以像人一樣地通過(guò)讀書變得日益聰明。到那時(shí)就會(huì)是“惜別三日,當(dāng)刮目相看”了。但是目前機(jī)器學(xué)習(xí)的研究中很少有文獻(xiàn)涉及到如何用自然語(yǔ)言來(lái)學(xué)習(xí)的問(wèn)題。人們?cè)跈C(jī)器學(xué)習(xí)的研究上主要有歸納學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),但是它們都不是以自然語(yǔ)言作為載體的。這或許是由于自然語(yǔ)言處理本身就是個(gè)大的硬核桃的原因。另一方面,在自然語(yǔ)言處理的研究領(lǐng)域中也很少有文獻(xiàn)涉及到如何用自然語(yǔ)言來(lái)學(xué)習(xí)的問(wèn)題。這使得研制的自然語(yǔ)言處理系統(tǒng)基本上都是封閉的系統(tǒng),而不能真正地像自然語(yǔ)言一樣成為開放的系統(tǒng)。兩個(gè)應(yīng)該是心心相映的伙伴卻處在牛郎織女的狀態(tài)中,不能不讓人感到一種遺憾。在設(shè)計(jì)智能體(或知識(shí)系統(tǒng))的時(shí)候,人們通常是把知識(shí)直接植入智能體中,即為它建立一個(gè)知識(shí)庫(kù)。但是對(duì)于一個(gè)工作在變化環(huán)境中的智能體,人們很難將它的知識(shí)庫(kù)在初始時(shí)就定義得很完備,因此這就需要智能體能夠在它的生命周期中自主地發(fā)現(xiàn)自己的不足之處,通過(guò)學(xué)習(xí)不斷地?cái)U(kuò)展它的知識(shí)庫(kù)。智能體擴(kuò)展知識(shí)庫(kù)的途徑也同樣可以有兩個(gè):一個(gè)是它自己在實(shí)踐中自主獲得的新知識(shí);另外一個(gè)就是向其它的智能體學(xué)習(xí),讓別人教給它的新知識(shí)。就像一個(gè)人一樣,后一個(gè)途徑也應(yīng)該是智能體學(xué)習(xí)的主要途徑。而在一個(gè)人(Humanagents)直接參與的多智能系統(tǒng)中,通過(guò)自然語(yǔ)言來(lái)獲取新的知識(shí)并擴(kuò)充它的知識(shí)庫(kù)。這樣做,至少能有四點(diǎn)好處:①知識(shí)庫(kù)不必是定義完備的;②用自然語(yǔ)言告訴新知識(shí)較為容易;③智能體可以自動(dòng)地積累其知識(shí);④智能體的自然語(yǔ)言理解能力也具有自擴(kuò)展性,也就是具有一定的開放性。在本文中,我們?cè)谧匀徽Z(yǔ)言理解與機(jī)器學(xué)習(xí)相結(jié)合上進(jìn)行了有益的探討。我們?cè)O(shè)計(jì)了一種具有用自然語(yǔ)言學(xué)習(xí)知識(shí)的能力的智能體。當(dāng)智能體遇到在它的知識(shí)庫(kù)中沒有定義的新概念時(shí),它便提出問(wèn)題向其它智能體詢問(wèn),得到回答以后再通過(guò)自然語(yǔ)言理解來(lái)獲取新概念。這里回答可以是自然語(yǔ)言表示的,當(dāng)然也可以是其它形式方法表示的。下面我們先介紹用自然語(yǔ)言表達(dá)的概念的形式定義,然后介紹智能體的學(xué)習(xí)功能。2語(yǔ)義網(wǎng)絡(luò)interpersonal知識(shí)是表達(dá)成自然語(yǔ)言的語(yǔ)言單位的。我們把一個(gè)自然語(yǔ)言所表達(dá)的內(nèi)容統(tǒng)稱為概念,因此用自然語(yǔ)言學(xué)習(xí)知識(shí)的過(guò)程就可以看作為通過(guò)自然語(yǔ)言來(lái)獲取新概念。人們用自然語(yǔ)言來(lái)學(xué)習(xí)知識(shí)的方式可以分為兩大類:一類是“學(xué)而不厭”;另一類是“溫故知新”。所謂“學(xué)而不厭”是指人們不厭倦地向書本請(qǐng)教和向他人請(qǐng)教去學(xué)習(xí)新的知識(shí)。在這個(gè)學(xué)習(xí)過(guò)程中,人們是通過(guò)學(xué)習(xí)新的語(yǔ)言材料來(lái)獲取新的概念。在新的語(yǔ)言材料中,新概念是用原來(lái)已有概念來(lái)表達(dá)的,或是已有概念的新的擴(kuò)展。這樣我們就需要在自然語(yǔ)言理解中建立一種由已知概念生成新的復(fù)合概念的機(jī)制。所謂“溫故知新”是指人們溫習(xí)已有的語(yǔ)言材料學(xué)習(xí)新的知識(shí)。在這個(gè)學(xué)習(xí)過(guò)程中,人們是通過(guò)對(duì)舊的語(yǔ)言材料重新進(jìn)行運(yùn)算而獲取新的概念。這里人們主要是通過(guò)歸納、演繹、類比和聯(lián)想等方法從已知的概念來(lái)產(chǎn)生新的概念。自然語(yǔ)言的語(yǔ)言單位,如詞匯、句子等表達(dá)的是概念,其中最小的表義單位是詞匯。定義1如果一個(gè)概念有其對(duì)應(yīng)的詞匯作為它的標(biāo)記,則稱此概念為原子概念。如果一個(gè)概念是用語(yǔ)句來(lái)表達(dá)的,則稱為復(fù)合概念。原子概念與復(fù)合概念的區(qū)別是用詞匯來(lái)表達(dá)。因此,一個(gè)概念可以同時(shí)是原子概念和復(fù)合概念,當(dāng)它用詞匯表達(dá)時(shí)為原子概念,而用語(yǔ)句表達(dá)時(shí)為復(fù)合概念。人們使用語(yǔ)義網(wǎng)絡(luò)來(lái)表示自然語(yǔ)言的句子中的語(yǔ)義結(jié)構(gòu)已經(jīng)有很多年了。這里我們將語(yǔ)義網(wǎng)絡(luò)做一點(diǎn)小的修改。我們將語(yǔ)義網(wǎng)絡(luò)上的每一個(gè)結(jié)點(diǎn)看作是一個(gè)能夠自主活動(dòng)的神經(jīng)元,并稱這樣的語(yǔ)義網(wǎng)絡(luò)為神經(jīng)語(yǔ)義網(wǎng)絡(luò)。我們將所有的概念分為類,令C為所有概念類的集合,W為所有詞匯的集合。C中的每個(gè)概念類都可以用一個(gè)表層語(yǔ)義框架來(lái)描述。表層語(yǔ)義框架中可以由語(yǔ)義角色和影響函數(shù)兩大部分構(gòu)成。只含有語(yǔ)義角色的概念類稱為具體概念,只含有影響函數(shù)的概念類稱為輔助概念,而同時(shí)含有兩個(gè)部分的概念類成為抽象概念。定義2表層語(yǔ)義函數(shù)CLASS(w)定義為:W→ρ(C)。這里,ρ(C)為C的冪集。CLASS(w)給出了詞匯w所標(biāo)記的概念所屬的概念類。定義3令c為一個(gè)原子概念。c的表層語(yǔ)義為c所屬的概念類的表層語(yǔ)義框架。c的深層語(yǔ)義為其屬性語(yǔ)義、操作語(yǔ)義和抽象語(yǔ)義三個(gè)形式定義,其中:屬性語(yǔ)義,記為PRO(c),是有其語(yǔ)義角色的屬性所構(gòu)成的邏輯表達(dá)式;操作語(yǔ)義,記為OPE(c)=result(functionFname(x1,-,xn),F,這里result是概念類,表示返回值所屬的概念類,F是一個(gè)過(guò)程體,(x1,…,xn)為過(guò)程參數(shù);抽象語(yǔ)義,記為ABS(c)=conceptCname(x1,…,xn);u,這里u是一個(gè)神經(jīng)語(yǔ)義網(wǎng)絡(luò),被稱為概念體,(x1,…,xn)為概念參數(shù)。我們將表層語(yǔ)義和深層語(yǔ)義拓展到其它語(yǔ)言單位。令N為所有神經(jīng)語(yǔ)義網(wǎng)絡(luò)的集合,函數(shù)P:W*→N,為分析函數(shù),P(s)為語(yǔ)言單位s所對(duì)應(yīng)的神經(jīng)語(yǔ)義網(wǎng)絡(luò)。定義4給定語(yǔ)言單位s,CLASS(s)為P(s)的入口所對(duì)應(yīng)的概念類。語(yǔ)言單位s的表層語(yǔ)義即為CLASS(s)的表層語(yǔ)義框架。定義5令所有原子概念集合為A,函數(shù)I為從W到A上的映射。一個(gè)語(yǔ)言單位s的內(nèi)涵表達(dá),記為INT(P(s)),是將神經(jīng)語(yǔ)義網(wǎng)絡(luò)P(s)上的詞匯w都替換為它們所對(duì)應(yīng)的原子概念I(lǐng)(w)。定義6令K為所有知識(shí)的集合。給定一個(gè)語(yǔ)言單位s的深層語(yǔ)義為:U(K,P(s))=f1(k1,k2(k2,…(…,fn(kn,INT(P(s)))…))這里,ki∈K,fi是神經(jīng)語(yǔ)義網(wǎng)絡(luò)上的操作。我們把fi的復(fù)合運(yùn)算抽象為一個(gè)函數(shù)U,稱之為理解函數(shù)。我們把自然語(yǔ)言理解的過(guò)程抽象為理解函數(shù)U和分析函數(shù)P的復(fù)合過(guò)程,而把背景領(lǐng)域的知識(shí)K作為該復(fù)合過(guò)程中的參數(shù)。從定義6中我們可以獲得語(yǔ)言單位s所表達(dá)的復(fù)合概念的三種具體的深層語(yǔ)義;s的屬性語(yǔ)義為U(K,P(s))中獲得的邏輯表達(dá)式;s的操作語(yǔ)義中的過(guò)程體為U(K,P(s))的過(guò)程體,其參數(shù)為從INT(P(s))上選擇的某些原子概念的泛化;s的抽象語(yǔ)義的概念體為INT(P(s)),其參數(shù)也為從INT(P(s))上選擇的某些原子概念的泛化。通過(guò)自然語(yǔ)言獲取知識(shí)就是在自然語(yǔ)言理解過(guò)程中獲得新的復(fù)合概念的表層語(yǔ)義和深層語(yǔ)義,也就是獲得新的復(fù)合概念的所屬概念的表層語(yǔ)義框架,以及它的屬性語(yǔ)義、操作語(yǔ)義和抽象語(yǔ)義。3基于泛化的操作語(yǔ)義智能體通過(guò)自然語(yǔ)言學(xué)習(xí)知識(shí)的途徑主要有兩個(gè):第一個(gè)途徑是當(dāng)遇到新的原子概念時(shí)提出詢問(wèn),從得到的回答中獲得新的知識(shí)。所謂新的原子概念是指在詞典中沒有定義的詞匯,這發(fā)生在下列情形中:(1)詞典中沒有這個(gè)詞匯;(2)詞典中該詞匯沒有這樣的表層語(yǔ)義框架;(3)詞典中該詞匯沒有對(duì)應(yīng)的深層語(yǔ)義,如屬性語(yǔ)義、操作語(yǔ)義或抽象語(yǔ)義。前兩種情況是由分析函數(shù)發(fā)現(xiàn)的,第三種情況是由理解函數(shù)或者具體領(lǐng)域動(dòng)作發(fā)現(xiàn)的。它們發(fā)現(xiàn)了未定義的概念,就將相應(yīng)的問(wèn)題提交給學(xué)習(xí)函數(shù)并觸發(fā)了學(xué)習(xí)函數(shù)。學(xué)習(xí)函數(shù)就向負(fù)責(zé)解答的人或者智能體發(fā)出相應(yīng)的詢問(wèn)?；卮鸺瓤梢允怯米匀徽Z(yǔ)言來(lái)表示的,也可以是通過(guò)專門的界面采用某種形式定義方法來(lái)表示的。如果是用自然語(yǔ)言表示的,則分析函數(shù)和理解函數(shù)首先處理回答的句子,獲得它的表層語(yǔ)義和深層語(yǔ)義。然后學(xué)習(xí)函數(shù)就將新概念,包括它的表層語(yǔ)義和各種深層語(yǔ)義,放入詞匯和知識(shí)庫(kù)中,擴(kuò)充了知識(shí)庫(kù)。第二種途徑是從理解了解的自然語(yǔ)言的語(yǔ)句中獲得新復(fù)合概念。當(dāng)智能體完成了某項(xiàng)用自然語(yǔ)言描述的工作時(shí),學(xué)習(xí)函數(shù)便整理其結(jié)果。它在相應(yīng)的神經(jīng)語(yǔ)義網(wǎng)絡(luò)中選擇某些原子概念進(jìn)行泛化;取泛化后的神經(jīng)語(yǔ)義網(wǎng)絡(luò)為概念體、泛化的原子概念為參數(shù),來(lái)建立該復(fù)合概念的抽象語(yǔ)義;完成這項(xiàng)工作的過(guò)程為過(guò)程體,其中某些泛化的原子概念為過(guò)程的參數(shù),用來(lái)建立該復(fù)合概念的操作語(yǔ)義。類似的,它也可以建立復(fù)合概念的屬性語(yǔ)義。學(xué)習(xí)函數(shù)將整理后的結(jié)果存入詞典和知識(shí)庫(kù),于是這個(gè)新的復(fù)合概念就成了新的知識(shí)。當(dāng)下一次遇到了類似的工作,即與已知的某個(gè)復(fù)合概念的抽象語(yǔ)義相匹配的工作,智能體就可以調(diào)用已知復(fù)合概念的相應(yīng)的操作語(yǔ)義來(lái)完成任務(wù)。綜上所述,我們?cè)O(shè)計(jì)了學(xué)習(xí)函數(shù),其構(gòu)造如圖1所示。它由以下幾個(gè)部分構(gòu)成:(1)分類:識(shí)別輸入并根據(jù)具體情況送交不同的處理。如果輸入是由分析函數(shù)、理解函數(shù)和具體領(lǐng)域動(dòng)作提交的未定義的概念,則將其送交給提問(wèn)。如果輸入是獲得的新概念,則將它送交給泛化。其它情況送交給綜合。(2)提問(wèn):依據(jù)遇到的問(wèn)題的類型向相關(guān)的智能體提問(wèn)。問(wèn)題主要分為三類:①這是什么意思?②在這種情況下這是什么意思?③這個(gè)怎么做?我們沒有在自然語(yǔ)言生成上去做太多的工作,只是采用了簡(jiǎn)單的替換來(lái)產(chǎn)生相應(yīng)的問(wèn)句。(3)泛化:泛化新概念。具體做法是將新概念的神經(jīng)語(yǔ)義網(wǎng)絡(luò)上的某些原子概念替換為它的最近的上屬概念類。(4)表層:提取新概念的表層語(yǔ)義信息。實(shí)際上,分析函數(shù)在產(chǎn)生神經(jīng)語(yǔ)義網(wǎng)絡(luò)的過(guò)程中為每一個(gè)結(jié)點(diǎn)都賦給了CLASS函數(shù)值,而其入口的CLASS函數(shù)值就是新概念也是新的語(yǔ)言單位的表層語(yǔ)義信息。(5)抽象:產(chǎn)生新概念的深層語(yǔ)義中的抽象語(yǔ)義,其概念體即為分析函數(shù)所產(chǎn)生的神經(jīng)語(yǔ)義網(wǎng)絡(luò),概念參數(shù)為泛化了的原子概念。(6)功能:產(chǎn)生新概念的深層語(yǔ)義中的操作語(yǔ)義或?qū)傩哉Z(yǔ)義,其過(guò)程體是由一個(gè)專門的模塊產(chǎn)生的,這個(gè)子模塊是由理解函數(shù)來(lái)調(diào)用,過(guò)程的形式參數(shù)為被泛化所標(biāo)記的原子概念。(7)形式定義界面:用其它的形式方法和工具來(lái)定義新概念。通過(guò)這個(gè)界面,用戶可以直接擴(kuò)展知識(shí)庫(kù)并且同步地?cái)U(kuò)展詞典。(8)修改:將新概念,包括其表層語(yǔ)義和各種深層語(yǔ)義,放入詞典和知識(shí)庫(kù)中。(9)綜合:通過(guò)分析和綜合信息來(lái)修改知識(shí)庫(kù)。下面我們用一個(gè)例子來(lái)說(shuō)明學(xué)習(xí)函數(shù)的工作過(guò)程。假定智能體收到一項(xiàng)用自然語(yǔ)言下達(dá)的任務(wù):“打印出100以內(nèi)的所有素?cái)?shù)?！痹谧R(shí)別這個(gè)復(fù)合概念的過(guò)程中,分析函數(shù)發(fā)現(xiàn)“素?cái)?shù)”是一個(gè)未定義的概念,于是便觸發(fā)學(xué)習(xí)函數(shù)。于是學(xué)習(xí)函數(shù)便發(fā)出詢問(wèn):“請(qǐng)告訴我‘素?cái)?shù)’是什么?”它得到的回答是:“素?cái)?shù)是只能被1和自身整除的自然數(shù)?；卮鹬袥]有未定義的概念,分析函數(shù)順利地產(chǎn)生了它的神經(jīng)語(yǔ)義網(wǎng)絡(luò),記為u。接著,理解函數(shù)在u上運(yùn)行并調(diào)用專門的子模塊來(lái)生成相應(yīng)的過(guò)程,記為F。學(xué)習(xí)函數(shù)再次被觸發(fā),發(fā)現(xiàn)這是所詢問(wèn)的素?cái)?shù)的定義。于是泛化將原子概念“自然數(shù)”泛化為變量x;表層得到它的表層語(yǔ)義信息為概念類“自然數(shù)”;抽象取概念體為u,概念參數(shù)為自然數(shù),得到它的抽象語(yǔ)義;功能得到它的操作語(yǔ)義,記為ziranshuPrime(ziranshux)F’,這里F’是將F中的’自然數(shù)”替換為變量x后的過(guò)程體。最后由修改將新概念“素?cái)?shù)”放入詞典中。這樣智能體就學(xué)會(huì)了一個(gè)新的概念“素?cái)?shù)”?，F(xiàn)在任務(wù)“打印出100以內(nèi)的所有素?cái)?shù)?！敝幸膊辉儆形炊x概念。經(jīng)過(guò)分析和理解之后,該任務(wù)被執(zhí)行,執(zhí)行的過(guò)程不妨記為P。假定這是一個(gè)新的任務(wù),即一個(gè)新的復(fù)合概念。于是,學(xué)習(xí)函數(shù)再度被觸發(fā),經(jīng)過(guò)泛化、表層、抽象、功能的工作,一個(gè)新的復(fù)合概念被建立起來(lái),不妨稱之為Print-Prime,其操作語(yǔ)義記為voidPrint-Prime(ziranshux=100);P’這里P’是將P中的100替換為數(shù)據(jù)類型為ziranshu的變量x之后的過(guò)程體。假定下一次又接到一個(gè)任務(wù):“打印出500以內(nèi)的所有素?cái)?shù)。”這時(shí),