1 引言.pdf

圖 像 信 息 處 理 研 究 室 2014 10 03 1 30 引 言 智能信息處理課程組 2014 Fall 智能信息處理 Intelligent Information Processing 圖 像 信 息 處 理 研 究 室 2014 10 03 2 智能信息處理簡(jiǎn)介 1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 2 人工智能簡(jiǎn)介 3 2 引言 圖 像 信 息 處 理 研 究 室 2014 10 03 3 智能信息處理簡(jiǎn)介 智能 智能信息處理 圖 像 信 息 處 理 研 究 室 2014 10 03 4 聰明是個(gè)體 智慧是個(gè)體與環(huán)境 智能是智慧和能力 智能就是智慧和能力 是個(gè)體有目的的行為 合理的思 維以及有效的適應(yīng)環(huán)境的綜合性能力 經(jīng)過(guò)數(shù)萬(wàn)年的演化 大自然中的各種生物均具有智能 作為萬(wàn)物之靈的人 不僅具有智能 而且還能夠智慧地 制造各種工具來(lái)延伸和拓展自身的能力 智能信息處理簡(jiǎn)介 智能智能 圖 像 信 息 處 理 研 究 室 2014 10 03 5 通過(guò)對(duì)人類智力活動(dòng)奧秘的探索與記憶思維機(jī)理的研究 來(lái) 開(kāi)發(fā)人類智力活動(dòng)的潛能 探討用各種機(jī)器模擬人類智能的 途徑 使人類的智能得以物化與延伸 產(chǎn)生了一門學(xué)科 即 所謂的人工智能 人工智能 Artificial Intelligence AI 在20世紀(jì)90年代 人工智能的符號(hào)主義 連接主義和行為主 義三種方法并存 連接主義 人工神經(jīng)網(wǎng)絡(luò) 行為主義 仿生 智能信息處理簡(jiǎn)介 人工智能 圖 像 信 息 處 理 研 究 室 2014 10 03 6 近年來(lái) 借鑒仿生學(xué)思想 基于生物體系的生物進(jìn)化 細(xì)胞 免疫 神經(jīng)細(xì)胞網(wǎng)絡(luò)等某些機(jī)制 用數(shù)學(xué)語(yǔ)言抽象描述的計(jì) 算方法 來(lái)模仿生物體系和人類的智能機(jī)制 產(chǎn)生了所謂的 計(jì)算智能 計(jì)算智能計(jì)算智能 Computational Intelligence CI 軟計(jì)算軟計(jì)算 Soft Computing SC 自然計(jì)算自然計(jì)算 Natural Computation NC 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Network ANN 模糊集理論 模糊集理論 Fuzzy Set FS 進(jìn)化計(jì)算 進(jìn)化計(jì)算 Evolutionary Computation EC 智能信息處理簡(jiǎn)介 計(jì)算智能 圖 像 信 息 處 理 研 究 室 2014 10 03 7 有關(guān)智能的研究基礎(chǔ)上出現(xiàn)了諸如 智能設(shè)計(jì) 智能有關(guān)智能的研究基礎(chǔ)上出現(xiàn)了諸如 智能設(shè)計(jì) 智能 制造 智能檢測(cè) 智能監(jiān)控 智能控制 智能交通等等制造 智能檢測(cè) 智能監(jiān)控 智能控制 智能交通等等 應(yīng)用智能的研究方向 應(yīng)用智能的研究方向 智能無(wú)處不在智能無(wú)處不在 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 8 I believe that understanding intelligence involves understanding how knowledge is acquired represented and stored how intelligent behavior is generated and learned how motives and emotions and priorities are developed and used how sensory signals are transformed into symbols how symbols are manipulated to perform logic to reason about the past and plan for the future and how the mechanisms of intelligence produce the phenomena of illusion belief hope fear and dreams and yes even kindness and love To understand these functions at a fundamental level I believe would be a scientific achievement on the scale of nuclear physics relativity and molecular genetics James Albus 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 9 智能信息處理 人類在不斷地進(jìn)步 社會(huì)在不斷地發(fā)展 這一方面受人的人類在不斷地進(jìn)步 社會(huì)在不斷地發(fā)展 這一方面受人的 好奇心驅(qū)動(dòng)好奇心驅(qū)動(dòng) 人具有探索自然規(guī)律 了解未知世界 探索 人具有探索自然規(guī)律 了解未知世界 探索 自身奧妙的內(nèi)動(dòng)力 另一方面人具有自身奧妙的內(nèi)動(dòng)力 另一方面人具有生存和提高生活質(zhì)量生存和提高生活質(zhì)量 的需求 的需求 創(chuàng)新的原動(dòng)力 受這兩方面原動(dòng)力的驅(qū)動(dòng) 人類不斷地研究新的方法和技受這兩方面原動(dòng)力的驅(qū)動(dòng) 人類不斷地研究新的方法和技 術(shù) 不斷地研制各種工具 儀器和機(jī)器 來(lái)術(shù) 不斷地研制各種工具 儀器和機(jī)器 來(lái)延伸 拓展和延伸 拓展和 增強(qiáng)自身的各種能力增強(qiáng)自身的各種能力 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 10 人類所處的客觀環(huán)境 所面對(duì)的客觀世界是變化的 發(fā)展的 是浩瀚無(wú)垠的 人類的知識(shí)雖然在不斷豐富 不斷更新 但是相對(duì)客 觀環(huán)境 客觀世界 始終是不完全的 不可靠的 不 精確的 不一致的和不確定的 人類正是用這不精確的 不完美的知識(shí) 不斷地 逐 步地了解了客觀世界 提高了生活質(zhì)量 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 11 智能信息處理 人工智能 人工神經(jīng)網(wǎng)絡(luò) 進(jìn)化計(jì)算 模糊系統(tǒng)理論等等都是 人類在對(duì)客觀世界 人類自身現(xiàn)有認(rèn)識(shí)的基礎(chǔ)上所產(chǎn)生的新的 方法和理論 是人類進(jìn)一步探索自然規(guī)律 了解未知世界 探 索自身奧妙 提高生活質(zhì)量的各種工具 智能信息處理就是將不完全的 不可靠的 不精確的 不一致 的和不確定的知識(shí)和信息逐步 逐步變得完全 可靠 精確 一致和確定的過(guò)程和方法 就是利用對(duì)不精確性 不確定性的 容忍來(lái)達(dá)到問(wèn)題的可處理性和魯棒性 智能信息處理的對(duì)象及方法均具有多樣性 復(fù)雜性和綜合性的 特點(diǎn) 智能信息處理涉及到信息科學(xué)的多個(gè)領(lǐng)域 是多學(xué)科理 論和方法的綜合應(yīng)用 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 12 經(jīng)過(guò)數(shù)萬(wàn)年的演化 大自然中的各種生物均具有智能 研究智能信息處理不能只研究人的智能 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 13 人類不能感受到紅外線 但響尾蛇的紅外探測(cè)器可以探測(cè)人類不能感受到紅外線 但響尾蛇的紅外探測(cè)器可以探測(cè) 到幾米外的老鼠到幾米外的老鼠 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 14 纖毛蟲(chóng)沒(méi)有 眼睛 但有視覺(jué) 具有趨光和避光的功能 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 15 解決問(wèn)題的途徑解決問(wèn)題的途徑 仿生 仿生 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 16 仿生學(xué)為科學(xué)技術(shù)創(chuàng)新提供新思路 新原理和新理論仿生學(xué)為科學(xué)技術(shù)創(chuàng)新提供新思路 新原理和新理論 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 17 仿生學(xué)經(jīng)歷了四個(gè)層次 1 功能仿生 2 結(jié)構(gòu)仿生 3 機(jī)理仿生 4 組織仿生 在經(jīng)過(guò)了遠(yuǎn)古時(shí)代 工業(yè)時(shí)代 信息時(shí)代 知識(shí)時(shí)代的仿生 科學(xué)正朝著微觀 系統(tǒng) 智能 精細(xì) 潔凈方向發(fā)展 仿生正向著模仿生物體感知環(huán)境等 智能方向發(fā)展 智能信息處理簡(jiǎn)介 將思想的力量注入齒輪機(jī)械 信息簡(jiǎn)史 圖 像 信 息 處 理 研 究 室 2014 10 03 18 仿生仿生 智能信息處理簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 19 神經(jīng)網(wǎng)絡(luò) Neural Networks NN 是由大量處理單元 神經(jīng)元 Neurons 廣泛互連而成的網(wǎng)絡(luò) 是對(duì)人腦的抽象 簡(jiǎn)化和模擬 反映人腦的基本特性 從人腦的生理結(jié)構(gòu)出發(fā)來(lái)研究人的智能行為 模擬人腦信息處 理的功能 它是根植于神經(jīng)科學(xué) 數(shù)學(xué) 統(tǒng)計(jì)學(xué) 物理學(xué) 計(jì) 算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù) 由簡(jiǎn)單的處理單元所組成的大量并行分布的處理機(jī) 這種處理 機(jī)具有存儲(chǔ)和應(yīng)用經(jīng)驗(yàn)知識(shí)的自然特性 它與人腦的相似之處 概括為兩個(gè)方面 一是通過(guò)學(xué)習(xí)過(guò)程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識(shí) 二是內(nèi)部神經(jīng)元 突觸權(quán)值 用來(lái)存儲(chǔ)獲取的知識(shí)信息 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 20 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 與與 電子計(jì)算機(jī)電子計(jì)算機(jī) 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 圖 像 信 息 處 理 研 究 室 2014 10 03 21 1931年進(jìn)入劍橋大學(xué)King s College攻讀數(shù)學(xué) 學(xué)位論文獲 Smith Prize 1936年發(fā)表了著名論文 On Computable Numbers with an Application to the Entscheidungs Problem 提出了計(jì)算模型 圖靈機(jī) Turing Machine 1938年獲美國(guó)普林斯頓大學(xué)博士學(xué)位 博士論文 Systems of Logic Based on Ordinals 1939年在英國(guó)外交部科研機(jī)構(gòu)工作 二戰(zhàn)期間協(xié)助軍方破解德國(guó)的著名 密碼系統(tǒng)Enigma 戰(zhàn)后到英國(guó)國(guó)家物理實(shí)驗(yàn)室 National Physical Lab NPL 設(shè)計(jì)和建造電 子計(jì)算機(jī) Automatic Computing Engine ACE 1950年10月發(fā)表論文 Computing Machinery and Intelligence 認(rèn)為計(jì)算機(jī) 可以具有智能 并提出了一種用于判定機(jī)器是否具有智能的試驗(yàn)方法 即圖靈試驗(yàn) Turing Test 1951年當(dāng)選英國(guó)皇家學(xué)會(huì)院士 Alan Turing 1912 1954 圖靈 圖 像 信 息 處 理 研 究 室 2014 10 03 22 1966年美國(guó)計(jì)算機(jī)協(xié)會(huì)設(shè)立計(jì)算機(jī)界的第一獎(jiǎng)項(xiàng)年美國(guó)計(jì)算機(jī)協(xié)會(huì)設(shè)立計(jì)算機(jī)界的第一獎(jiǎng)項(xiàng) 圖靈獎(jiǎng) 圖靈獎(jiǎng) 被稱為被稱為 計(jì)算機(jī)界的諾貝爾獎(jiǎng) 計(jì)算機(jī)界的諾貝爾獎(jiǎng) ACM Association for Computing Machinery IEEE Computer Society 圖靈獎(jiǎng) 圖 像 信 息 處 理 研 究 室 2014 10 03 23 John von Neumann 1903 1957 20世紀(jì)最杰出的數(shù)學(xué)家之一 于1945年提出了 程序內(nèi)存式 計(jì)算機(jī)的 設(shè)計(jì)思想 被譽(yù)為 計(jì)算機(jī)之父 1903年出生于匈牙利的布達(dá)佩斯 不滿30歲成為美國(guó)普林斯頓大學(xué)的第一批終身教授 1944年參加原子彈的研制工作 1944年8月加入莫爾計(jì)算機(jī)研制小組 一個(gè)全新的存儲(chǔ)程序通用電子計(jì)算機(jī)方案一個(gè)全新的存儲(chǔ)程序通用電子計(jì)算機(jī)方案 EDVAC Electronic Discrete Variable Automatic Computer 關(guān)于關(guān)于EDVAC的報(bào)告草案的報(bào)告草案 1954年6月 諾伊曼到美國(guó)普林斯頓高級(jí)研究所工作 IAS計(jì)算機(jī)研制計(jì)算機(jī)研制 圖 像 信 息 處 理 研 究 室 2014 10 03 24 諾伊曼與諾伊曼與IAS 圖 像 信 息 處 理 研 究 室 2014 10 03 25 1949年 在Illinois大學(xué)四次講座的第二次講座中 闡述了 McCulloch Pitts正式的神經(jīng)網(wǎng)絡(luò)理論特點(diǎn) 1955年 應(yīng)邀去Yale大學(xué)進(jìn)行Silliman講座 直至1956年 他未完成的Silliman講座的手稿于1958年作為一本書(shū)被出版 書(shū)名為 The Computer and the Brain 1956年用約簡(jiǎn)的思想解決了一個(gè)在神經(jīng)網(wǎng)絡(luò)中特別令人關(guān)注的 問(wèn)題 如何用認(rèn)為是不可靠的神經(jīng)元來(lái)設(shè)計(jì)一個(gè)可靠的網(wǎng)絡(luò)問(wèn) 題 John von Neumann 與神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò) 圖 像 信 息 處 理 研 究 室 2014 10 03 26 神經(jīng)網(wǎng)絡(luò)與現(xiàn)代數(shù)字計(jì)算機(jī)的不同 神經(jīng)網(wǎng)絡(luò)的信息存儲(chǔ)與處理 計(jì)算 是合二為一的 即信 息的存儲(chǔ)體現(xiàn)在神經(jīng)元互連的分布上 傳統(tǒng)的計(jì)算機(jī)存儲(chǔ) 與計(jì)算是獨(dú)立的 因而在存儲(chǔ)與計(jì)算之間存在著瓶頸 神經(jīng)網(wǎng)絡(luò)以大規(guī)模模擬計(jì)算為主 數(shù)字計(jì)算機(jī)是以串行離 散符號(hào)處理為主 神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的魯棒性和容錯(cuò)性 善于聯(lián)想 概括 類比和推廣 任何局部的損傷不會(huì)影響整體結(jié)果 神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力 能為新的輸入產(chǎn)生合理 的輸出 可在學(xué)習(xí)過(guò)程之中不斷完善自己 具有創(chuàng)新特點(diǎn) 神經(jīng)網(wǎng)絡(luò)是一大規(guī)模自適應(yīng)非線性動(dòng)力系統(tǒng) 具有集體運(yùn) 算的能力 這與本質(zhì)上是線性系統(tǒng)的現(xiàn)代數(shù)字計(jì)算機(jī)迥然 不同 圖 像 信 息 處 理 研 究 室 2014 10 03 27 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 經(jīng)歷了興起 蕭條和興盛三個(gè)時(shí)期經(jīng)歷了興起 蕭條和興盛三個(gè)時(shí)期 興起階段興起階段 1943年 精神病學(xué)家和神經(jīng)解剖學(xué)家McCulloch與數(shù)學(xué)家 Pitts在數(shù)學(xué)生物物理學(xué)會(huì)刊 Bulletin of Mathematical Biophysics 上發(fā)表文章 總結(jié)了生物神經(jīng)元的一些基本生 理特征 提出了形式神經(jīng)元的數(shù)學(xué)描述與結(jié)構(gòu) 即MP模型 MP的提出興起了的NN研究 同時(shí)產(chǎn)生了人工智能 圖 像 信 息 處 理 研 究 室 2014 10 03 28 1948年 Wiener所著的著 名的 Cybernetics 一書(shū) 出版 Wiener提出了控制 通信和統(tǒng)計(jì)信號(hào)處理的重 要概念 在學(xué)科之間抓住 了統(tǒng)計(jì)方法的物理意義 Norbert Wiener 控制論之父 控制論之父 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 29 1949年 生理學(xué)家D O Hebb出版了 The Organization of Behavior 一書(shū) 該書(shū)第一次提出了改變神經(jīng)元連接強(qiáng)度的 Hebb 規(guī)則 提出腦中互連信息隨著感官學(xué)習(xí)任務(wù)的不同而 不斷變化 學(xué)習(xí)過(guò)程是在突觸 Synapse 上發(fā)生的 突觸的 聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化 根據(jù)這一假設(shè)提出 的學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ) 使神經(jīng)網(wǎng)絡(luò) 的研究進(jìn)入了一個(gè)重要的發(fā)展階段 1952年 Ashby所著的 Design for a Brain The Origin of Adaptive Behavior 一書(shū)出版 論述了自適應(yīng)行為不是天生 的 而是學(xué)習(xí)的結(jié)果 而且通過(guò)學(xué)習(xí)會(huì)有更好的改變 本書(shū) 還強(qiáng)調(diào)了類似機(jī)器的生物動(dòng)態(tài)和相關(guān)的穩(wěn)定性概念 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 30 Marvin Lee Minsky 1927 人工智能之父 和框架理論 frame theory 的創(chuàng)立者 1969年獲ACM圖靈獎(jiǎng) 1989年獲MIT授予的Killian獎(jiǎng) 1990年獲日本政府所設(shè)立的 日本獎(jiǎng) 1995年獲IEEE計(jì)算機(jī)先驅(qū)獎(jiǎng) 現(xiàn)在MIT Media Lab 任職 minsky media mit edu 圖 像 信 息 處 理 研 究 室 2014 10 03 31 1946年入哈佛大學(xué)主修物理后改為數(shù)學(xué) 1950年入普林斯頓大學(xué) 攻讀博士學(xué)位 1951年提出了關(guān)于思維如何萌發(fā)并形成的一些基本理論 并建造 了一臺(tái)名為Snarc的學(xué)習(xí)機(jī) 1954年 Minsky在Princeton大學(xué)完成了博士論文 Theory of Neural Analog Reinforcement Systems and Its Application to the Brain Model Problem 1961年 Minsky寫了一篇關(guān)于早期AI的優(yōu)秀論文 題為 Steps Toward Artificial Intelligence 論文的后半部包含了當(dāng)今神經(jīng)網(wǎng) 絡(luò)的大部分內(nèi)容 1967年 Minsky的 Computation Finite and Infinite Machines 一書(shū)出版 擴(kuò)展了McCulloch和Pitts1943年的成果 并將其歸入 自動(dòng)機(jī)和計(jì)算理論中 1969年 Minsky和Papert所著的 Perceptron 一書(shū)出版 Marvin Lee Minsky 1927 圖 像 信 息 處 理 研 究 室 2014 10 03 32 1954年 通信理論的先驅(qū) 和全息照相術(shù)的發(fā)明者 Gabor提出了非線性自適 應(yīng)濾波思想 他希望與合 作者一起發(fā)明一種機(jī)器 通過(guò)將一個(gè)隨機(jī)過(guò)程的樣 本輸入機(jī)器中 連同目標(biāo) 函數(shù) 實(shí)現(xiàn)機(jī)器學(xué)習(xí) Gabor 圖 像 信 息 處 理 研 究 室 2014 10 03 33 1957年 Rosenblatt 提出感知機(jī) Perceptron 1958年Rosenblatt基于對(duì)感知器的研究 提出了解決模式識(shí)別問(wèn)題 的新的監(jiān)督學(xué)習(xí)方法 并證明了所謂的感知器收斂定理 首次把 神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐 1960年 Widrow和Hoff引入了最小均方差 Least Mean Square LMS 算法 并用它系統(tǒng)闡明了自適應(yīng)線性元件 Adaptive Linear Element 1962年Widrow和他的學(xué)生提出多學(xué)習(xí)機(jī)結(jié)構(gòu) 1965年 Nilsson所著的 Learning Machines 一書(shū)出版 至今這 本書(shū)仍然是關(guān)于超平面中線性模型的一本佳作 1967年 Amari用推測(cè)梯度方式進(jìn)行自適應(yīng)模式分類 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 34 在感知器盛行的二十世紀(jì)六十年代 人們對(duì)神經(jīng) 網(wǎng)絡(luò)的研究過(guò)于樂(lè)觀 認(rèn)為只要將這種NN互連成 一個(gè)網(wǎng)絡(luò) 就可以解決人腦思維的模擬問(wèn)題 因 此 當(dāng)時(shí)有上百家實(shí)驗(yàn)室紛紛投入這項(xiàng)研究 美 國(guó)軍方也投入了巨額資金 當(dāng)時(shí)NN在聲納信號(hào)識(shí) 別等領(lǐng)域的應(yīng)用取得了一定的成績(jī) 圖 像 信 息 處 理 研 究 室 2014 10 03 35 1969年 Minsky和Papert所著的 Perceptron 一書(shū)出版 該書(shū) 從數(shù)學(xué)角度證明了關(guān)于單層感知器的計(jì)算具有根本的局限性 論述了單層感知器的所有局限性在多層感知器中是不可能被全 部克服的 AI出現(xiàn)了轉(zhuǎn)機(jī) 產(chǎn)生了以知識(shí)信息處理為基礎(chǔ)的 知識(shí)工 程 Knowledge Engineering 專家系統(tǒng) Expert System ES 給AI從實(shí)驗(yàn)室走向?qū)嵱脦?lái)了希望 同時(shí) 微電子技 術(shù)的進(jìn)步 以及傳統(tǒng)的Von Neumann型數(shù)字計(jì)算機(jī)發(fā)展 使整 個(gè)學(xué)術(shù)界陶醉于數(shù)字計(jì)算機(jī)的成功之中 從而使NN的研究進(jìn) 入了蕭條時(shí)期 蕭條時(shí)期蕭條時(shí)期 圖 像 信 息 處 理 研 究 室 2014 10 03 36 根據(jù)Cowan 1990 的觀點(diǎn) 有三個(gè)原因?qū)е铝松窠?jīng)網(wǎng)絡(luò)研 究的十多年滯后 原因之一是技術(shù)上的 沒(méi)有個(gè)人計(jì)算機(jī)和工作空間站進(jìn)行 實(shí)驗(yàn) 如Gabor發(fā)展了他的非線性學(xué)習(xí)濾波器 而卻花費(fèi)了額 外的六年時(shí)間建造了含有類推裝置的濾波器 原因之二一半是心理上的 即Minsky和Papert對(duì)感知器的悲觀 結(jié)論 一半是資金上的 即沒(méi)有代理商資助 原因之三是神經(jīng)網(wǎng)絡(luò)和晶格旋轉(zhuǎn)之間的類推還未成熟 直到 1975年才由Sherrington和Kirkpartrick創(chuàng)建出旋轉(zhuǎn)鏡片模型 圖 像 信 息 處 理 研 究 室 2014 10 03 37 1972年Teuvo Kohonen和James Anderson各自獨(dú)立發(fā)展了用 于記憶的新的神經(jīng)網(wǎng)絡(luò) Amari獨(dú)立提出了一個(gè)神經(jīng)元的加性模型 并將其應(yīng)用于研 究隨機(jī)聯(lián)接類似于神經(jīng)元元件的動(dòng)態(tài)行為之中 Wilson和Cowan從含有興奮和抑制神經(jīng)元空間局部化模型的 動(dòng)態(tài)行為中獲取非線性微分方程組 1973年von der Malsburg完成了計(jì)算機(jī)模擬 第一次演示了 自組織 圖 像 信 息 處 理 研 究 室 2014 10 03 38 1975年Sherrington和Kirkpatrick發(fā)明了自旋玻璃網(wǎng)模型 1975年描述了神經(jīng)元激活或不激活的概率模型 并發(fā)展了短 期記憶理論 1976年Willshaw和von der Malsburg發(fā)表了第一篇受人腦拓?fù)?次序映射啟發(fā) 構(gòu)筑自組織映射的論文 1977年Anderson Silverstein Ritz和Jones提出了黑箱腦狀態(tài) Brain State in a Box BSB 模型 其中包括含有非線性動(dòng)力 的一個(gè)簡(jiǎn)單聯(lián)想網(wǎng)絡(luò) 1980年Grossberg在早期對(duì)競(jìng)爭(zhēng)學(xué)習(xí)研究的基礎(chǔ)上 創(chuàng)立了自 組織新理論 被稱為自適應(yīng)性諧振理論 Adaptive Resonance Theory ART 圖 像 信 息 處 理 研 究 室 2014 10 03 39 20世紀(jì)80年代 神經(jīng)網(wǎng)絡(luò)有了迅猛發(fā)展 功能日漸強(qiáng)大的 個(gè)人計(jì)算機(jī)和工作站開(kāi)始被廣泛的應(yīng)用 此時(shí)也產(chǎn)生了神 經(jīng)網(wǎng)絡(luò)研究的新觀念 第一個(gè)是利用統(tǒng)計(jì)機(jī)制解釋循環(huán)網(wǎng)絡(luò)的運(yùn)行過(guò)程 這種 機(jī)制可用于一個(gè)聯(lián)想記憶 此觀念是由物理學(xué)家John Hopfield在他的核心論文中提出的 第二個(gè)核心發(fā)展是用于訓(xùn)練多層感知器的反向傳播算法 此算法同時(shí)被幾個(gè)學(xué)者所發(fā)現(xiàn)該算法是對(duì)60年代Minsky 和Papert的一個(gè)有力的回答 圖 像 信 息 處 理 研 究 室 2014 10 03 40 研究視 聽(tīng)覺(jué)的人工智能專家首先遇到挫折 計(jì)算機(jī)一般 不能從現(xiàn)實(shí)世界的實(shí)例與現(xiàn)象中獲取并總結(jié)出知識(shí) 也就 是說(shuō)計(jì)算機(jī)不具備學(xué)習(xí)能力 人們于是開(kāi)始意識(shí)到了Von Neumann 體系結(jié)構(gòu)的局限性 轉(zhuǎn)而研究數(shù)據(jù)流機(jī)和并行計(jì) 算機(jī)體系結(jié)構(gòu) 日本第五代計(jì)算機(jī)計(jì)劃遠(yuǎn)未達(dá)到預(yù)想水平 使人們覺(jué)得有必 要弄清人們習(xí)以為常的認(rèn)知功能是如何進(jìn)行的 這些認(rèn)知功 能包括視聽(tīng)覺(jué)感知 學(xué)習(xí)記憶 運(yùn)行控制等 從而使人們認(rèn) 識(shí)到必須開(kāi)拓新的思路 探索新的實(shí)現(xiàn)途徑 與人腦的生 理組織更為接近的NN模型自然成為理想的候選模型 圖 像 信 息 處 理 研 究 室 2014 10 03 41 在人類智能行為研究方面 神經(jīng)生理學(xué)家 心理學(xué)家和計(jì) 算機(jī)科學(xué)家相互結(jié)合 認(rèn)為人腦是一個(gè)功能十分強(qiáng)大 結(jié) 構(gòu)異常復(fù)雜的信息系統(tǒng) 但其基本仍是神經(jīng)元及其之間的 連接 NN的研究依靠眾多學(xué)科的共同發(fā)展 是眾學(xué)科的綜合產(chǎn)物 而當(dāng)時(shí)眾學(xué)科都有了相應(yīng)的發(fā)展 如普里高津 Prigogine 提 出了非平穩(wěn)系統(tǒng)的自組織理論 獲諾貝爾獎(jiǎng) 哈肯 Haken 研究了大量單元集團(tuán)運(yùn)動(dòng)而產(chǎn)生的宏觀效果 提出了 協(xié) 同學(xué) 非線性系統(tǒng) 混沌 態(tài)的提出及其研究等等 這 些都是研究如何通過(guò)單元之間的相互連接作用建立復(fù)雜系 統(tǒng) 類似于生物系統(tǒng)的自組織行為 圖 像 信 息 處 理 研 究 室 2014 10 03 42 腦科學(xué)與神經(jīng)科學(xué)的研究成果 迅速反映到神經(jīng)網(wǎng)絡(luò)的改進(jìn) 上 例如視覺(jué)研究中發(fā)現(xiàn)的側(cè)抑制原理 感受野的概念 聽(tīng) 覺(jué)通道上神經(jīng)元的自組織排列等 生物的生物的NN研究成果對(duì)研究成果對(duì)ANN的研究起了重要的推動(dòng)作的研究起了重要的推動(dòng)作 用 用 所有這些方面重新引起了人們對(duì)所有這些方面重新引起了人們對(duì)ANN的研究興趣 的研究興趣 圖 像 信 息 處 理 研 究 室 2014 10 03 43 興盛階段 學(xué)術(shù)界公認(rèn) 標(biāo)志NN研究 高潮的又一次到來(lái)是美國(guó)加 州理工學(xué)院生物物理學(xué)家J Hopfield教授于1982年和 1984年發(fā)表在美國(guó)科學(xué)院院 刊上的兩篇文章以及1986年 Rumelhart與McClelland的兩 冊(cè)書(shū) 圖 像 信 息 處 理 研 究 室 2014 10 03 44 1982年Hopfield用能量函數(shù)的思想形成了一種新的計(jì)算的方 法 將其與統(tǒng)計(jì)物理的Ising模型相類推 為大量的物理學(xué)理 論和許多的物理學(xué)家進(jìn)入神經(jīng)網(wǎng)絡(luò)領(lǐng)域鋪平了道路 Hopfield闡明了NN與動(dòng)力學(xué)的關(guān)系 并用非線性動(dòng)力學(xué)的方 法來(lái)研究這種NN的特性 建立了NN穩(wěn)定性判據(jù) 并指出信 息存儲(chǔ)在網(wǎng)絡(luò)中NN之間的連接上 形成了Hopfield網(wǎng)絡(luò) 1984年 Hopfield設(shè)計(jì)與研制了他所提出的神經(jīng)網(wǎng)絡(luò)模型的 電路 指出神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn) 所有神經(jīng)元的 連接可用電子線路來(lái)模擬 同時(shí)他也進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研 究 成功的解決了旅行商 TSP 計(jì)算難題 優(yōu)化問(wèn)題 令人震驚 使神經(jīng)網(wǎng)絡(luò)的研究步入了興盛時(shí)期 圖 像 信 息 處 理 研 究 室 2014 10 03 45 1982年Kohonen的關(guān)于自組織圖的論文發(fā)表 其中用到了一 個(gè)一維或二維的晶體結(jié)構(gòu) 這種模型已成為衡量在此領(lǐng)域中 有價(jià)值創(chuàng)新的基準(zhǔn) 1983 年 Kirkpatrick Gelatt 和 Vecchi 提 出 了 模 擬 退 火 Simulated Annealing SA 的新方法 該方法以統(tǒng)計(jì)理論為基 礎(chǔ) 用于解決組合最優(yōu)問(wèn)題 1983 年 Barto Sutton 和 Anderson 發(fā) 表 了 關(guān) 于 強(qiáng) 化 學(xué) 習(xí) Reinforcement Learning RL 的論文 論文將強(qiáng)化學(xué)習(xí)應(yīng)用 于實(shí)際 驗(yàn)證了其應(yīng)用的具有可行性 對(duì)強(qiáng)化學(xué)習(xí)的發(fā)展及 應(yīng)用產(chǎn)生了重要的影響 圖 像 信 息 處 理 研 究 室 2014 10 03 46 1985年 Ackley Hinton和Sejnowski 以模擬退火思想為基礎(chǔ) 對(duì)Hopfield模型引入了隨機(jī)機(jī)制 提出了Boltzmann機(jī) 第一次 成功實(shí)現(xiàn)了多層神經(jīng)網(wǎng)絡(luò)的功能 打破了人們心理上的局限 證明了Minsky和Papert 1969 的推測(cè)根據(jù)是不正確的 1986年 Rumelhart Hinton和Williams發(fā)展了反向傳播算法 Back Propagation algorithm BP 同年 Rumelhert和 McClelland編寫的名為 Parallel Distributed Processing Explorations in the Microstructures of Cognition 出版 BP已成 為大多數(shù)多層感知器訓(xùn)練所采用的流行學(xué)習(xí)算法 該算法解決 了多層NN的學(xué)習(xí)問(wèn)題 證明了多層神經(jīng)網(wǎng)絡(luò)的計(jì)算能力并不 象Minsky等人所預(yù)料的那樣弱 相反他可以完成許多學(xué)習(xí)任務(wù) 解決許多實(shí)際問(wèn)題 圖 像 信 息 處 理 研 究 室 2014 10 03 47 1988年 Linsker在感知器網(wǎng)絡(luò)上提出了一種新的自組織理論 在Shanno信息論的基礎(chǔ)上 形成了最大互信息理論 Linsker 的論文重新點(diǎn)燃了基于神經(jīng)網(wǎng)絡(luò)的信息應(yīng)用理論的光芒 尤 其對(duì)Bell和Sejnowski提出的盲源分離問(wèn)題 Blind Source Separation Problem 的信息應(yīng)用理論產(chǎn)生了影響 同時(shí)激起許 多學(xué)者去探索用其他信息理論模型去解決各自廣泛領(lǐng)域中的 問(wèn)題 該種方法稱為盲反卷積 Blind Deconvolution 1989年 Mead的 Analog VLSI and Neural System 一書(shū)出版 這本書(shū)將生物神經(jīng)和集成電路結(jié)合在一起 給出了硅視網(wǎng)膜 和硅耳蝸 圖 像 信 息 處 理 研 究 室 2014 10 03 48 二十世紀(jì)九十年代初期 Vapnik和合作者們發(fā)明了一類計(jì) 算功能強(qiáng)大的有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò) 用于解決模式識(shí)別 回歸 及密度估測(cè)問(wèn)題 這種網(wǎng)絡(luò)被稱為支持向量機(jī) Support Vector Machines SVM 以有限樣本學(xué)習(xí)理論的結(jié)論為基 礎(chǔ) 支持向量機(jī)的新特征在于Vapnik Chervonenkis VC 維特征蘊(yùn)含在向量機(jī)的設(shè)計(jì)中 VC維數(shù)為衡量神經(jīng)網(wǎng) 絡(luò)樣本學(xué)習(xí)能力提供了一種有效的量度 深度學(xué)習(xí) 圖 像 信 息 處 理 研 究 室 2014 10 03 49 神經(jīng)網(wǎng)絡(luò)的研究熱潮 1987年6月 在美國(guó)加州舉行了第一屆NN國(guó)際會(huì)議 有 一千多名學(xué)者參加 并成立了國(guó)際NN學(xué)會(huì) 以后每年召 開(kāi)兩次國(guó)際聯(lián)合NN大會(huì) IJCNN 其他國(guó)際學(xué)術(shù)會(huì)議 也都列有NN主題 較有影響的國(guó)際學(xué)術(shù)刊物有 IEEE Transaction on Neural Network Neural Network 圖 像 信 息 處 理 研 究 室 2014 10 03 50 美國(guó)IBM AT T 貝爾實(shí)驗(yàn)室 神經(jīng)計(jì)算機(jī)公司 各高校 美國(guó)政府制定了 神經(jīng) 信息 行為科學(xué) NIBS 計(jì)劃 投資5 5億美元作為第六代計(jì)算機(jī)的基礎(chǔ)研究 美國(guó)科學(xué)基金 會(huì) NSF 海軍研究局 ONR 和空軍科學(xué)研究部 AFOSR 三家投資一千萬(wàn)美元 美國(guó)國(guó)防部DARPA認(rèn)為 NN 看來(lái)是解決機(jī)器智能的唯一希望 這是一項(xiàng)比原子彈 工程更重要的技術(shù) 投資四億美元 主要研究目標(biāo) 目標(biāo)識(shí)別與跟蹤 連續(xù)語(yǔ)音識(shí)別 聲納信號(hào) 辨別 圖 像 信 息 處 理 研 究 室 2014 10 03 51 日本的富士通 日本電氣 日立 三菱 東芝急起直追 1988年日本提出了所謂的人類尖端科學(xué)計(jì)劃 Human Frontier Science Program 即第六代計(jì)算機(jī)研究計(jì)劃 法國(guó)提出了 尤里卡 計(jì)劃 德國(guó)的 歐洲防御 蘇聯(lián)的 高技術(shù)發(fā)展 圖 像 信 息 處 理 研 究 室 2014 10 03 52 我國(guó)于1989年在北京召開(kāi)了一個(gè)非正式的NN會(huì)議 1990年 12月在北京召開(kāi)了中國(guó)NN大會(huì) 1991年在南京成立了中國(guó) NN學(xué)會(huì) 由國(guó)內(nèi)十五個(gè)一級(jí)學(xué)會(huì)共同發(fā)起 攜手探智能 聯(lián)盟攻大關(guān) 863高技術(shù)研究計(jì)劃 自然科學(xué)基金 國(guó)防科技預(yù)研基金也 都列入了NN研究?jī)?nèi)容 圖 像 信 息 處 理 研 究 室 2014 10 03 53 人工智能簡(jiǎn)介 人工智能簡(jiǎn)介 人工智能的發(fā)展簡(jiǎn)史 人工智能與人工神經(jīng)網(wǎng)絡(luò) 圖 像 信 息 處 理 研 究 室 2014 10 03 54 人工智能是用計(jì)算機(jī)模型模擬思維功能的科學(xué) AI是計(jì)算 機(jī)科學(xué)的一個(gè)重要分支 是跨學(xué)科的前沿科學(xué) 涉及到心 理學(xué) 腦生理學(xué) 計(jì)算機(jī)科學(xué) 哲學(xué)等學(xué)科 廣義人工智能的定義為 通過(guò)對(duì)人類智力活動(dòng)奧秘的探索 與記憶思維機(jī)理的研究 以實(shí)現(xiàn)兩方面的目的 1 開(kāi)發(fā)人類智力活動(dòng)的潛能 2 探討用各種 電氣的 光學(xué)的 生物的甚至機(jī)械的 機(jī) 器模擬人類智能的途徑 使人類的智能得以物化與延伸 圖 像 信 息 處 理 研 究 室 2014 10 03 55 1 表示 知識(shí)存儲(chǔ) 2 推理 用存儲(chǔ)知識(shí)解決問(wèn)題 3 學(xué)習(xí) 通過(guò)經(jīng)驗(yàn)獲取新知識(shí) 表表 示示 學(xué)學(xué) 習(xí)習(xí) 推推 理理 人工智能的三個(gè)關(guān)鍵部分 圖 像 信 息 處 理 研 究 室 2014 10 03 56 人工智能發(fā)展簡(jiǎn)史 1946年第一臺(tái)通用電子數(shù)字計(jì)算機(jī)ENIAC誕生 1948年N Wiener所著的 Cybernetics 一書(shū)出版 C E Shannon創(chuàng)立 了信息論 1950年A Turing明確提出機(jī)器能思維的觀點(diǎn) 并設(shè)計(jì)了 圖 靈測(cè)驗(yàn) 1951年M L Missky提出了關(guān)于思維如何萌發(fā)和形成的一些 基本理論 并建造了一臺(tái)學(xué)習(xí)機(jī)Snarc 1956年初C E Shannon和J McCarthy收集了關(guān)于 思維 機(jī) 器研究的13篇論文 匯編成 Automata Studies 一書(shū)出版 這一切先驅(qū)性的開(kāi)創(chuàng)工作為人工智能的產(chǎn)生奠定了基礎(chǔ) 圖 像 信 息 處 理 研 究 室 2014 10 03 57 1956年夏季 作為東道主的J McCarthy聯(lián)合哈佛大學(xué)的M L Missky Bell實(shí)驗(yàn)室的C E Shannon IBM公司的N Lochester 并邀請(qǐng)了IBM公司的T More A L Samuel MIT的O Selfridge R Solomonff Carnagie工科大學(xué)的A Newell和H A Simon在Dartmoth大學(xué)召開(kāi)了關(guān)于用機(jī)器模擬 人類智能問(wèn)題的研討會(huì) 在這次會(huì)上第一次正式使用了人 工智能這一術(shù)語(yǔ) 標(biāo)志著人工智能學(xué)科的誕生 圖 像 信 息 處 理 研 究 室 2014 10 03 58 1956年Newell Shaw和Simon編寫了名為 Logic Theorist 簡(jiǎn)稱LP 的程序 它可以證明命題邏輯中的定理 用該 程序證明了由編寫的A N Whitehead和B A W Russel合著 的數(shù)學(xué)名著 數(shù)學(xué)原理 一書(shū)第2章中52個(gè)定理的38個(gè)定理 受到了高度的評(píng)價(jià) 認(rèn)為它是用計(jì)算機(jī)探討人類智力活動(dòng) 的第一個(gè)真正的成果 也是圖靈關(guān)于機(jī)器可以具有智能這一 論斷的第一個(gè)實(shí)際的證明 圖 像 信 息 處 理 研 究 室 2014 10 03 59 1956年A L Samuel研制成功具有自學(xué)習(xí) 自組織和自適應(yīng) 能力的跳棋程序 該程序和LP的程序都是第一次在計(jì)算機(jī)上 運(yùn)行的啟發(fā)式程序 并發(fā)表了著名的關(guān)于機(jī)器學(xué)習(xí)的論文 Some Studies in Machine Learning Using Game of Checkers 后人將A L Samuel稱為 機(jī)器學(xué)習(xí)之父 同年N Chomsky提出了一種文法的數(shù)學(xué)模型 開(kāi)創(chuàng)了形式語(yǔ) 言的研究 圖 像 信 息 處 理 研 究 室 2014 10 03 60 1958年J McCarthy到MIT任職 與M L Missky組建了世界上 第一個(gè)人工智能實(shí)驗(yàn)室 J McCarthy建議 在他稱之為 意 見(jiàn)采納者 的系統(tǒng)中 采用謂詞演算這種語(yǔ)言來(lái)表示和運(yùn)用 知識(shí) 從此 謂詞演算和一些它的變形構(gòu)成了人工智能知識(shí) 表示的基礎(chǔ) 1959年J McCarthy基于A Church的 演算和H A Simon和A Newell首創(chuàng)的 表結(jié)構(gòu) 開(kāi)發(fā)了著名的LISP語(yǔ)言 LISt Processing language 它不僅能進(jìn)行數(shù)值處理 更能方便地處 理符號(hào) 成為人工智能界第一個(gè)廣為流行的語(yǔ)言 圖 像 信 息 處 理 研 究 室 2014 10 03 61 1960年Newell Shaw和Simon等人通過(guò)心理學(xué)實(shí)驗(yàn) 發(fā)現(xiàn)了 人在解題時(shí)的思維過(guò)程 基于這一發(fā)現(xiàn) 他們編制了通用 問(wèn)題求解的程序 General Problem Solving GPS 該程序 可以解11種不同類型的課題 使啟發(fā)式程序有了較大的普 適性 1961年M L Missky發(fā)表了著名的 走向人工智能的步驟 論文 極大地推動(dòng)了人工智能的發(fā)展 圖 像 信 息 處 理 研 究 室 2014 10 03 62 1968年Standfort大學(xué)的E Feigenbaum教授領(lǐng)導(dǎo)的課題組研制 成功了一個(gè)化學(xué)質(zhì)譜分析的專家系統(tǒng)DENDRAL 它可以根 據(jù)所提供的化學(xué)分子式和質(zhì)譜分析圖來(lái)預(yù)測(cè)有機(jī)物分子的結(jié) 構(gòu) DENDRAL系統(tǒng)的成功 為AI開(kāi)拓了一個(gè)新的研究領(lǐng)域 專家系統(tǒng) Expert System ES ES是一個(gè)具有大量的專門知識(shí) 并能夠利用這些知識(shí)解決特 定領(lǐng)域中需要由專家才能解決的那些問(wèn)題的計(jì)算機(jī)程序 ES 實(shí)現(xiàn)了AI從理論研究走向?qū)嶋H應(yīng)用 圖 像 信 息 處 理 研 究 室 2014 10 03 63 從通用問(wèn)題求解的程序 General Problem Solving GPS 誕 生到專家系統(tǒng)的不斷出現(xiàn) 表明以邏輯為基礎(chǔ)的符號(hào)計(jì)算 處 理 方法 無(wú)論在智能模擬上 還是在智能系統(tǒng)的建造上都同 樣能取得成功 20世紀(jì)70年代其他 專家系統(tǒng) 相繼出現(xiàn) 包括醫(yī)療診斷專 家系統(tǒng) 計(jì)算機(jī)結(jié)構(gòu)設(shè)計(jì)專家系統(tǒng) 符號(hào)積分與定理證明專 家系統(tǒng) 鉆井?dāng)?shù)據(jù)分析專家系統(tǒng)和電話電纜維護(hù)專家系統(tǒng)等 等 這些系統(tǒng)的性能與同類專家的智能不相上下 圖 像 信 息 處 理 研 究 室 2014 10 03 64 1969年 由國(guó)際上許多學(xué)術(shù)團(tuán)體共同發(fā)起成立了國(guó)際人工 智能聯(lián)合會(huì)議 International Joint Conferences on Artificial Intelligence IJCAI 并決定以后每?jī)赡暾匍_(kāi)一次國(guó)際人工 智能學(xué)術(shù)會(huì)議 這標(biāo)志著人工智能作為一門獨(dú)立學(xué)科已經(jīng) 得到國(guó)際學(xué)術(shù)界的認(rèn)可 1970年國(guó)際性的人工智能專業(yè)雜志 Artificial Intelligence 創(chuàng)刊 這是由IJCAI主辦的雙月刊 這一切對(duì)開(kāi)展人工智能 國(guó)際學(xué)術(shù)活動(dòng) 促進(jìn)入工智能的研究和發(fā)展起到了重大的 積極作用 圖 像 信 息 處 理 研 究 室 2014 10 03 65 1973年由A Colmerauer領(lǐng)導(dǎo)的研究小組在法國(guó)馬塞大學(xué)研制 成功了世界上第一個(gè)Prolog系統(tǒng) 它是繼LISP之后最主要的 人工智能語(yǔ)言 在人工智能領(lǐng)域有著廣泛的應(yīng)用 后被日本 的第五代計(jì)算機(jī)選為核心語(yǔ)言 1974年M L Missky提出了框架理論 其核心是以框架這種形 式來(lái)表示知識(shí) 1975年E H Shortliffe提出了確定性理論 圖 像 信 息 處 理 研 究 室 2014 10 03 66 1976年A Newell和H A Simon提出了物理符號(hào)系統(tǒng)假設(shè) 認(rèn)為物理系統(tǒng)表現(xiàn)智能行為的充要條件是它是一個(gè)物理符號(hào) 系統(tǒng) 創(chuàng)立了人工智能的 符號(hào)主義學(xué)派 1976年Standfort大學(xué)國(guó)際人工智能中心的R D Duda提出了 主觀貝葉斯理論 并將其應(yīng)用于所研制的地質(zhì)勘探專家系統(tǒng) PROSPECTOR中 圖 像 信 息 處 理 研 究 室 2014 10 03 67 1977年在第五屆國(guó)際人工智能聯(lián)合會(huì)議上E Feigenbaum正式 提出了知識(shí)工程 Knowledge Engineering KE 的概念 并 預(yù)言20世紀(jì)80年代是專家系統(tǒng)發(fā)展的黃金時(shí)期 這一思想成 功地指導(dǎo)了許多智能系統(tǒng)的研制 并被廣泛應(yīng)用于各個(gè)領(lǐng)域 也被稱為 專家系統(tǒng)與知識(shí)工程之父 在開(kāi)發(fā)專家系統(tǒng)的過(guò)程中 許多研究者獲得共識(shí) 即人工智 能系統(tǒng)是一個(gè)知識(shí)處理系統(tǒng) 而知識(shí)表示 知識(shí)利用和知識(shí) 獲取則成為人工智能系統(tǒng)的三個(gè)基本問(wèn)題 圖 像 信 息 處 理 研 究 室 2014 10 03 68 1978年L A Zadeh提出了可能性理論 1980年在MIT召開(kāi)了 The Workshop on Distributed Artificial Intelligence 提出了分布式人工智能 Distributed Artificial Intelligence DAI 的概念 就是要?jiǎng)?chuàng)建大粒度的協(xié)作群體 共同工作以對(duì)某一問(wèn)題進(jìn)行求解 分布式人工智能分為 分布式問(wèn)題求解 Distributed Problem Solving DPS 和 多 主 體 系 統(tǒng) Multi Agent System MAS 圖 像 信 息 處 理 研 究 室 2014 10 03 69 1981年J A Barnett引入專家系統(tǒng)的證據(jù)理論 1984年A Bundy提出了發(fā)生率計(jì)算以及假設(shè)推理 定性推 理和證據(jù)空間理論 1984年 IBM 360系列計(jì)算機(jī)的總設(shè)計(jì)師和總指揮 時(shí)任 美國(guó)國(guó)防科學(xué)委員會(huì)AI攻關(guān)領(lǐng)導(dǎo)小組成員的F B Brooks提 出了面向現(xiàn)實(shí)環(huán)境的 無(wú)需表示和推理的 行為人工智 能 認(rèn)為研制可適應(yīng)環(huán)境的 機(jī)器蟲(chóng) 比空想智能機(jī)器 人要好 主張從智能體與環(huán)境的交互即現(xiàn)場(chǎng)中研究智能現(xiàn) 象 以解決人工智能中的難題 圖 像 信 息 處 理 研 究 室 2014 10 03 70 20世紀(jì)80年代初 美國(guó) 歐洲和日本都先后制訂了一批針對(duì) AI的大型計(jì)劃 其目的是為了實(shí)現(xiàn)AI的進(jìn)一步突破 其中最 典型的是以PROLOG語(yǔ)言為核心的并行智能推理機(jī) 日本 第五代計(jì)算機(jī)計(jì)劃 它所追求的是推理執(zhí)行速度 另外還有 美國(guó)的陸地自主車 Autonomous Land Vehicle ALV 計(jì)劃 CYC計(jì)算機(jī)大百科全書(shū)計(jì)劃等 但這些計(jì)劃中的多數(shù)執(zhí)行 到80年代中期就開(kāi)始面臨重重困難 看不出有能達(dá)到預(yù)想目 標(biāo)的可能 進(jìn)一步分析便發(fā)現(xiàn) 這些困難不只是個(gè)別項(xiàng)目的 問(wèn)題 而是涉及AI研究的根本性問(wèn)題 圖 像 信 息 處 理 研 究 室 2014 10 03 71 總的來(lái)講是兩個(gè)問(wèn)題 一是所謂的交互 Interaction 問(wèn)題 即 傳統(tǒng)方法只能模擬人類深思熟慮的行為 而不包括人與環(huán)境 的交互行為 另一個(gè)問(wèn)題是擴(kuò)展 Scaling Up 問(wèn)題 即所謂的 大規(guī)模的問(wèn)題 傳統(tǒng)的人工智能方法只適合于建造領(lǐng)域狹窄 的專家系統(tǒng) 不能把這種方法簡(jiǎn)單地推廣到規(guī)模更大 領(lǐng)域 更寬的復(fù)