人工智能的多重知識(shí)表達(dá)

在新一代人工智能時(shí)代，知識(shí)存在三種表達(dá)，包括知識(shí)的言語(yǔ)表達(dá)、知識(shí)的形象表達(dá)和知識(shí)的深度神經(jīng)網(wǎng)絡(luò)表達(dá)。其中知識(shí)的言語(yǔ)表達(dá)的特點(diǎn)在于使用符號(hào)數(shù)據(jù)，結(jié)構(gòu)清晰，語(yǔ)義可理解，知識(shí)可推理，其典型例子如語(yǔ)義網(wǎng)絡(luò)、知識(shí)圖譜等。知識(shí)的形象表達(dá)的特點(diǎn)在于適用于圖形、動(dòng)畫(huà)等形狀、空間、運(yùn)動(dòng)的數(shù)據(jù)，知識(shí)的結(jié)構(gòu)清晰，語(yǔ)義可解釋，知識(shí)可推演，其典型如視覺(jué)知識(shí)等。知識(shí)的深度神經(jīng)網(wǎng)絡(luò)表達(dá)的特點(diǎn)在于適用于圖像、音頻等非結(jié)構(gòu)化數(shù)據(jù)的分類與識(shí)別，其典型例子如深度神經(jīng)網(wǎng)絡(luò)（DNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等。本文提出了由知識(shí)圖譜、視覺(jué)知識(shí)和深層神經(jīng)網(wǎng)絡(luò)等構(gòu)成的人工智能三重知識(shí)表達(dá)機(jī)制，其中的知識(shí)圖譜、視覺(jué)知識(shí)分別擅長(zhǎng)于處理字符性內(nèi)容和形象性內(nèi)容，DNN擅長(zhǎng)對(duì)感性數(shù)據(jù)作層次抽象,并分別對(duì)應(yīng)于模擬人類大腦中對(duì)長(zhǎng)期記憶與短期記憶中的信息加工與處理。它們彼此能相互銜接、相互支持，從而有利于知識(shí)表達(dá)與推理等智能計(jì)算的可解釋性，可推演性和可遷移性的實(shí)現(xiàn)。（1）知識(shí)圖譜——語(yǔ)義的記憶內(nèi)容，宜用于字符檢索與推理。（2）視覺(jué)知識(shí)——情景的記憶內(nèi)容，宜用于時(shí)空推演與顯示。（3）深度神經(jīng)網(wǎng)絡(luò)——感覺(jué)的記憶內(nèi)容，宜用于對(duì)原始數(shù)據(jù)作逐層抽象的分類。其中（1）和（2）與人類長(zhǎng)期記憶中的兩大內(nèi)容，言語(yǔ)的和心象的編碼方式相對(duì)應(yīng)。其中（3）與人類短期記憶中的感知內(nèi)容相對(duì)應(yīng)。因此，上述三種知識(shí)表達(dá)具有如同人類記憶中的信息特點(diǎn)一樣，具有內(nèi)容系統(tǒng)互補(bǔ)的特點(diǎn)，在工作中，他們是需要被同時(shí)使用的，因此組成為三重知識(shí)表達(dá)。除了信息內(nèi)容與使用的互補(bǔ)之外，上述三重表達(dá)的另一重要性質(zhì)是它們之間的相互聯(lián)系與相互支持。視覺(jué)知識(shí)通過(guò)投影變換可以將三維圖形或動(dòng)畫(huà)信息轉(zhuǎn)化為圖像或視頻信息。反之，通過(guò)3D重建技術(shù)，也可以將圖像或視頻信息轉(zhuǎn)化為3D圖形或動(dòng)畫(huà)信息。視覺(jué)知識(shí)的語(yǔ)義是很清晰的，因此，可以用符號(hào)檢索與匹配等技術(shù)把視覺(jué)知識(shí)與知識(shí)圖譜進(jìn)行語(yǔ)義的對(duì)應(yīng)，從而實(shí)現(xiàn)轉(zhuǎn)化。也就是說(shuō)，視覺(jué)知識(shí)與知識(shí)圖譜中的情景信息與語(yǔ)義信息的聯(lián)系，可以通過(guò)表達(dá)的結(jié)構(gòu)（指針）模型來(lái)實(shí)現(xiàn)；視覺(jué)知識(shí)與深度神經(jīng)網(wǎng)絡(luò)所用的圖像與視頻數(shù)據(jù)的聯(lián)系可以用重建與變換計(jì)算來(lái)實(shí)現(xiàn)。上述三重知識(shí)表達(dá)之間的互相聯(lián)系與支持關(guān)系，以“貓”為例，如圖所示。

其中知識(shí)圖譜表達(dá)了貓的種屬上下關(guān)系；視覺(jué)知識(shí)表達(dá)了貓的形體、結(jié)構(gòu)和動(dòng)作等等時(shí)空特征；深度神經(jīng)網(wǎng)絡(luò)表達(dá)了對(duì)所提供的貓的正負(fù)樣本圖像判別的一種抽象。其實(shí)，當(dāng)貓的圖像符合其某種系統(tǒng)要求時(shí)（如同貓的不同觀察視角），這些圖像也可以重建為視覺(jué)知識(shí)。視覺(jué)知識(shí)可以通過(guò)變換（幾何投影、動(dòng)作變換等）生成各種貓的圖像供DNN學(xué)習(xí)。通過(guò)視覺(jué)知識(shí)與知識(shí)圖譜聯(lián)系，可推知，因?yàn)樨垺⒒?、豹同屬貓科?dòng)物，所以具有類似的形體、結(jié)構(gòu)與動(dòng)作。因此，貓的視覺(jué)知識(shí)可通過(guò)合適的修改而形成虎、豹的視覺(jué)知識(shí)，這就以