人工智能的演進培訓課件

人工智能的演進。內(nèi)容簡介:

電子計算機的發(fā)明不僅大大改變了人們的工作方式，同時也極大改變了人類的學習甚至生活方式。計算機科學研究的終極目標之一是實現(xiàn)與人類智能水平相當甚至更高的人工智能，其檢驗標準是圖靈測試。目前我們離這一目標還很遙遠。本報告介紹討論人工智能的由來、進展和挑戰(zhàn)性問題主講人：

高文北京大學信息科學技術(shù)學院教授。中國工程院院士、ACM

Fellow、IEEE

Fellow。1991年獲日本東京大學電子工程學博士。曾任國家八六三計劃智能計算機主題專家組成員、組長，973項目首席科學家。曾任中國科學院計算技術(shù)研究所所長、中國科學技術(shù)大學副校長、中國科學院研究生院常務(wù)副院長。曾任第四屆、第五屆國務(wù)院學位委員會計算機科學技術(shù)學科評議組成員、計算機學報主編、IEEE

T-MM、IEEE

T-CSVT、SPIC、JVCIR、IEEE

T-IP等編委。是第十屆、十一屆、十二屆全國政協(xié)委員。目前兼任國家自然科學基金委員會副主任、中國計算機學會理事長、全國信息技術(shù)標準化技術(shù)委員會多媒體技術(shù)分委員會主任委員、IEEE

1857（AVS）標準工作組組長、數(shù)字音視頻編解碼技術(shù)標準（AVS）工作組組長。1人工智能的演進。內(nèi)容簡介:電子計算機的發(fā)明不僅大大改變了人1人工智能的演進高

文北京大學人工智能的演進高文2目錄3從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望o 總結(jié)目錄3從AlphaGo談起目錄4從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 總結(jié)目錄4從AlphaGo談起AlphaGo

5：0戰(zhàn)勝歐洲冠軍樊麾2段。樊麾出生于中國西安，曾入國家少年隊，后入籍法國，曾獲歐洲圍棋冠軍，目前是法國國家圍棋隊總教練。October5–9,

2015<Official

match>- Timelimit:1

hourAlphaGo，AI重要里程碑AlphaGo5：0戰(zhàn)勝歐洲冠軍樊麾2段。樊麾出生于中5AlphaGo，AI重要里程碑AlphaGo戰(zhàn)勝世界冠軍李世石9段。李世石，被認為是過去十年間韓國最強棋手。March9–15,

2016<Official

match>- Timelimit:2

hoursVenue:Seoul,Four

SeasonsHotelAlphaGo，AI重要里程碑AlphaGo戰(zhàn)勝世界冠軍李6ComputerGo

AI?2016年1月28日，《自然》

在AlghaGo與李世石開賽前，刊登封面文章David

Silver，

黃世杰（Aja

Huang），DemisHassabis用深層卷積神v經(jīng)s.網(wǎng)絡(luò)來縮小傳統(tǒng)蒙特卡洛樹搜索的廣度和深度，以挑選最佳招數(shù)。作者來自GoogleComputerGoAI?2016年1月28日，《自然7AINext

Step？Science2015年12月12日發(fā)表封面文章《

Human-levelconceptlearningthroughprobabilistic

programinduction

》提出利用貝葉斯的小樣本學習方法作者來自MIT、紐約大學和多倫多大學8AINextStep？Science2015年12月12人工智能的三個派別9o 邏輯主義（符號主義）n 符號推理與機器推理n 奠基人：西蒙（CMU）o 連接主義n 神經(jīng)元網(wǎng)絡(luò)與深度學習n 奠基人：明斯基（MIT）o 行為主義n 控制、自適應(yīng)與進化計算n 奠基人：維納（MIT）人工智能的三個派別9o 邏輯主義（符號主義）AI時代真的到來了嗎？10o Yes/Non Yes，如果你僅僅期望計算機能夠比以往做得更多更好n No，如果你認為從此開始，人類就是計算機的敗將了邏輯主義大行其道30年，又沉寂了30年連接主義發(fā)育成長了50多年，現(xiàn)在正當年行為主義發(fā)育較慢，尚處于幼年AI時代真的到來了嗎？10o Yes/No目錄11從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 總結(jié)目錄11從AlphaGo談起人類為什么做計算機？12o 進化的需要n 約150萬年前，人類開始用火?；鸬氖褂檬侨祟愇幕M化的關(guān)鍵轉(zhuǎn)折點n 約1.8萬年前，新石器時代，人類開始種植、畜牧、紡織，人類社會進入農(nóng)業(yè)社會n 18世紀中葉，蒸汽機的發(fā)明，開啟了工業(yè)革命，人類社會進入工業(yè)化時代n 20世紀中葉，計算機的出現(xiàn)，使我們進入了信息化社會人類為什么做計算機？12o 進化的需要人類為什么做計算機？131946年，第一臺全自動電子數(shù)字計算機ENIAC（ElectronicNumericalIntegratorand

Calculator）在美國研制完成，用于計算彈道1954年,第一臺通用數(shù)據(jù)處理機IBM650誕生，用于商業(yè)數(shù)據(jù)處理1964年,

IBM360系列制成，用于軍事計算或商業(yè)數(shù)據(jù)處理軍事用途，是計算機發(fā)展的第一動力事務(wù)處理，是計算機發(fā)展普及的根本動力人工智能，是計算機發(fā)展的最高挑戰(zhàn)人類為什么做計算機？131946年，第一臺全自動電子數(shù)字計算何謂智能14智力或知能n

是指生物一般性的精神能力。這個能力包括以下幾點：理解、計劃、解決問題，抽象思維，表達意念以及語言和學習的能力。智力三因素理論（RobertSternberg）n 成分性智力（componential

intelligence），指思維和問題解決等所依賴的心理過程n 經(jīng)驗智力（experiential

intelligence），指人們在兩種極端情況下處理問題的能力：新異的或常規(guī)的問題n

情境智力（contextual

intelligence）反映，在對日常事物的處理上。它包括對新的和不同環(huán)境的適應(yīng)，選擇合適的環(huán)境以及有效地改變環(huán)境以適應(yīng)你的需要何謂智能14智力或知能多元智能理論15由哈佛大學心理學家加德納創(chuàng)立，著作：Framesof

Mind邏輯

(logical)語言文字

(linguistic)空間

(spatial)音樂

(musical)肢體運作

(kinesthetic)內(nèi)省

(intra-personal)人際

(inter-personal)（這里可以指家庭比較好些）自然探索

(naturalist)圖形圖像

(Graphics)多元智能理論15由哈佛大學心理學家加德納創(chuàng)立，著作：何謂人工智能16人工智能（ArtificialIntelligence,AI）n

也稱作機器智能，是指由人工制造出來的系統(tǒng)所表現(xiàn)出來的智能。通常人工智能是指通過普通計算機實現(xiàn)的智能。人工智能研究n

主要研究內(nèi)容包括認知建模、知識表示、推理及應(yīng)用、機器感知、機器思維、機器學習、機器行為和智能系統(tǒng)等n

研究動機包括推理，知識，規(guī)劃，學習，交流，感知，移動和操作物體的能力等。n

目前有大量人工智能應(yīng)用系統(tǒng)，其中包括搜索和數(shù)學優(yōu)化，邏輯，基于概率論和經(jīng)濟學的方法等。何謂人工智能16人工智能（ArtificialIntellAlan

TuringusMathison

Turing）n 計算機科學之父n 人工智能之父n 1912.6.23-1954.6.7n 父親朱利斯·麥席森·圖靈（Juli英屬印度公務(wù)員。n

1911年，圖靈的母親Ethel在印度的Chatrapur懷孕。他們希望艾倫在英國出生，所以回到倫敦，住在帕丁頓（Paddington）。Alan出生于倫敦。n 由于擔心印度的氣候不利于兒童成長，父母把家庭留在英倫與朋友同住。養(yǎng)成了圖靈的性格。n

圖靈很小的時候就表現(xiàn)出他的天才，據(jù)說他在三個星期里自己學會閱讀。而且，從小就對數(shù)字和智力游戲著迷。17AlanTuringusMathisonTuring）Alan的孩童和年輕時代186歲的時候，他的父母為他在一間叫圣邁克爾的（St.Michael's）學校注了冊。校長很快就注意到他的天才，隨后Marlborough學院的許多教育家也注意到這點。14歲的時候，轉(zhuǎn)到在多塞特郡（Dorset）的Sherborne寄宿學校。圖靈天生對科學的喜好并沒有給他在Sherborne的老師留下好印象。他們對教育的定義是著重于人文學科而不是科學。雖然如此，圖靈繼續(xù)在他喜歡的學科表現(xiàn)出驚人的能力，還沒有學過基礎(chǔ)微積分的他，就已經(jīng)能夠解答以他年紀來說算是很高深的難題。16歲的時候，開始閱讀阿爾伯特·愛因斯坦的著作。他不但能夠理解，而且看出了愛因斯坦理論與牛頓力學不相符合，即使愛因斯坦的著作中并沒有明白指出這點。Alan的孩童和年輕時代186歲的時候，他的父母為他在一間叫Alan大學和研究生時代191931年，考入劍橋大學國王學院。1934年他以優(yōu)異成績畢業(yè)。1935年因中心極限定理論文當選為國王學院Fellow1936年，他的論文《論可計算數(shù)及其在判定問題上的應(yīng)用》（OnComputableNumbers,withanApplicationto

theEntscheidungsproblem，）發(fā)表。他對哥德爾1931年證明和計算的限制的結(jié)果作了重新論述，他用有限狀態(tài)自動機（也稱圖靈機）的簡單形式設(shè)備代替了哥德爾的以通用算術(shù)為基礎(chǔ)的形式語言。圖靈證明了圖靈機有能力解決任何可想像的數(shù)學難題，如果這些難題是用一種算法來表達。圖靈機的最大貢獻是奠定了今天電子計算機的理論基礎(chǔ)：由0和1組成的有限狀態(tài)自動機演算，以及電子計算機的體系結(jié)構(gòu)：處理器、存儲器、輸入輸出設(shè)備在普林斯頓大學度過了1937年和1938年的大部分時間。1938年，他取得了博士學位。他的論文研究了超計算（hypercomputation）的概念，在圖靈機加上了預(yù)言機，讓研究圖靈機無法解的問題變得可能Alan大學和研究生時代191931年，考入劍橋大學國王學院密碼破譯1938-1945，參加英國Bletchley

Park密碼破譯團隊但是德國的潛艇經(jīng)常襲擊英國戰(zhàn)略物資運輸船隊，德國使用了由機器生成密碼的技術(shù)，可以產(chǎn)生1500萬種以上的組合圖靈設(shè)計了可以破譯上述密碼的算法，主要思想利用統(tǒng)計方法優(yōu)化處理過程，有效減小搜索空間，為二戰(zhàn)勝利做了貢獻他的上述成果一直保密，直到完成70多年以后，2012年百歲誕辰時才公開Turing–Welchmanbombe20密碼破譯1938-1945，參加英國BletchleyPa二戰(zhàn)以后的研究興趣211945年到1948年，圖靈在英國國家物理實驗室工作，負責自動計算引擎（ACE）的工作

。1949年，他成為曼徹斯特大學計算機實驗室的副主任，負責最早的電子計算機--曼徹斯特一號的軟件工作。在這段時間，他繼續(xù)作一些比較抽象的研究，如“計算機械和智能”。圖靈在對人工智能的研究中，提出了一個叫做圖靈測試（Turing

test）的實驗，嘗試定出一個決定機器是否有感覺的標準。1952年，圖靈寫了一個國際象棋程序?？墒?，當時沒有一臺計算機有足夠的運算能力去執(zhí)行這個程序，他就模仿計算機，每走一步要用半小時。他與一位同事下了一盤，結(jié)果程序輸了。二戰(zhàn)以后的研究興趣211945年到1948年，圖靈在英國國家二戰(zhàn)以后的研究興趣22從1952年直到去世，圖靈一直在生物數(shù)學方面做研究。他在1952年發(fā)表了一篇論文《形態(tài)發(fā)生的化學基礎(chǔ)》（The

Chemical

Basisof

Morphogenesis）。他主要的興趣是斐波那契葉串行，存在于植物結(jié)構(gòu)的斐波那契數(shù)。他應(yīng)用了反應(yīng)-擴散公式，現(xiàn)在已經(jīng)成為圖案形成范疇的核心。他后期的論文都沒有發(fā)表，一直等到1992年《艾倫·圖靈選集》出版，這些文章才見天日。二戰(zhàn)以后的研究興趣22從1952年直到去世，圖靈一直在生物數(shù)判罪受罰23圖靈中學時代有一位摯友Christopher

Morcom，極為聰明，愛好天文學，圖靈對他極為崇拜。1930年，Chris因為不慎飲用感染病毒的牛奶而去世。圖靈悲痛欲絕，立志幫他完成想做的事情。這段經(jīng)歷使他形成了同性戀傾向。1952年，他的同性伴侶的熟人在圖靈的房子盜竊，他丟失了父親送給他的手表，圖靈為此而報警。英國警方調(diào)查后判他流氓罪。他沒有申辯，被定罪。公審后，他被給予了兩個選擇：坐牢或女性荷爾蒙注射“療法”（即化學閹割）。他最后選擇了后者，持續(xù)一年。在這段時間里，他對政府極度失望，加上藥物的作用使他身體發(fā)生變化，大腦思維緩慢，圖靈的身心受到極大傷害。判罪受罰23圖靈中學時代有一位摯友ChristopherM英年早逝o 1954年6月8日，圖靈被發(fā)現(xiàn)去世，原因是食用了浸過氰化物溶液的半個蘋果。24英年早逝o 1954年6月8日，圖靈被發(fā)現(xiàn)去世，原因是食用罪名赦免252009年9月10日，一份超過3萬人的請愿簽名，使英國首相戈登·布朗在《每日電訊報》撰文，因為英國政府當年以同性戀相關(guān)罪名起訴圖靈并定罪，導致他自殺身亡，正式向艾倫·圖靈公開道歉2012年，有21000多人簽名請愿，要求英國政府追授圖靈死后赦免狀，但被當局拒絕。英國上議院的麥克納利勛爵解釋說，死后赦免狀是不合適的，因為圖靈是根據(jù)當時的法律被定罪2013年12月24日，英國司法大臣宣布英國女王伊麗莎白二世赦免1952年因同性戀行為被定罪的艾倫·圖靈罪名赦免252009年9月10日，一份超過3萬人的請愿簽名，蘋果故事的繼續(xù)o 蘋果公司的Logo和圖靈的蘋果有關(guān)嗎？n Itisn’ttrue,butGod,we

wishitwere.–Steve

Jobs26蘋果故事的繼續(xù)o 蘋果公司的Logo和圖靈的蘋果有關(guān)嗎？226蘋果故事的繼續(xù)o Tim

Cookn Steve

Jobs的接班人n

2014年10月30日，《商業(yè)周刊》網(wǎng)站發(fā)表文章27蘋果故事的繼續(xù)o TimCook27圖靈獎28被稱為是計算機領(lǐng)域的諾貝爾獎1966年，由ACM（Association

for

ComputingMachinery

，1947年成立，總部紐約）學會設(shè)立每年1-3名獲獎人迄今為止，共有60余人獲獎華人獲獎?wù)撸阂ζ谥莕 2000年，Inrecognitionofhisfundamentalcontributionstothe

theoryofcomputation,includingthecomplexity-basedtheoryof

pseudorandomnumbergeneration,

cryptography,and

communicationcomplexity.圖靈獎28被稱為是計算機領(lǐng)域的諾貝爾獎圖靈獎與人工智能Minsky,Marvin

(1969)，MITMcCarthy,

John

(1971)，斯坦福大學Newell,Allen

(1975)，CMUSimon,Herbert(“Herb”)Alexander

(1975)，CMUFeigenbaum,

Edward

A(“Ed”)

(1994)，斯坦福大學Reddy,DabbalaRajagopal(“Raj”)

(1994)，CMUValiant,

Leslie

Gabriel

(2010)，哈佛大學，機器學習與神經(jīng)計算理論Pearl,Judea

(2010)，UCLA，概率計算與因果推理圖靈獎與人工智能Minsky,Marvin(1969)，29目錄從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 小結(jié)30目錄從AlphaGo談起3030圖靈測試o 圖靈測試（Turing

Test）n 計算機具有智能的判據(jù)p 讓一臺計算機器和一個人參與測試p

提問人無法通過非智能特征（例如語音語調(diào)）區(qū)分人和機器p

如果測試結(jié)束后人不能判斷哪個是人，哪個是機器，則可以認為該計算機器具有智能31圖靈測試o 圖靈測試（TuringTest）3131人工智能起源32o 兩個標志性基石n 圖靈測試。n

香農(nóng)信息論，引入了語義無關(guān)的假設(shè)，以熵作為信息量的測量，使得傳統(tǒng)的數(shù)據(jù)處理轉(zhuǎn)向信息處理。統(tǒng)計方法成為研究主流。人工智能起源32o 兩個標志性基石人工智能發(fā)展里程碑33年代20世紀40年代20世紀50年代20世紀60年代20世紀70年代20世紀80年代20世紀90年代計算機1945

計算機（ENIAC）1957FORTRAN語言人工智能研究1953

博弈論1956

達特矛斯會議1977

知識工程（英語：Knowledge

engineering）宣言1982

第五代電腦計劃開始1991

人工神經(jīng)網(wǎng)絡(luò)人工智能語言1960

LISP語言1973

PROLOG語言知識表達1973

生產(chǎn)系統(tǒng)1976

框架理論專家系統(tǒng)1965DENDRAL（英語：Dendral）1975

MYCIN（英語：Mycin1980

Xcon人工智能發(fā)展里程碑33年代20世紀40年代20世紀50年代21976）34基于規(guī)則的產(chǎn)生式系統(tǒng)=》功能系統(tǒng)領(lǐng)頭羊n 斯坦福大學n CMUn MIT、IBMn 哈佛大學o

標志性基石：在統(tǒng)計方法中引入符號方法進行語義處理，出現(xiàn)了基于知識的方法，人機交互開始成為可能。1976）34基于規(guī)則的產(chǎn)生式系統(tǒng)=》功能系統(tǒng)達特茅斯會議暑期會議351956年夏天，在Dartmouth大學，由JohnMcKarthy、Marvin

Minsky,

Nathaniel

Rochester、Claude

Shannon聯(lián)合發(fā)起為期2個月，10人，討論研究人工智能問題其他參加人包括：n RaySolomonoff,

OliverSelfridge

(MIT)

n TrenchardMore,

ArthurSamuel

(IBM)

n HerbertA.Simon,

AllenNewell

(CMU)提出人工智能定義n 使一部機器的的反應(yīng)方式就像是一個人在行動時所依據(jù)的智能達特茅斯會議暑期會議351956年夏天，在Dartmouth人工智能的優(yōu)秀研究者o HerbertAlexander

Simonn 1916-2001年n

1936年，芝加哥大學本科n

1943年，芝加哥大學博士n

1949-2001年，CMU教授n 1967年，NAS院士n 1975年，ACMTuringAwardp “basiccontributionstoartificialintelligence,thepsychologyofhumancognition,andlist

processing”n 1978年，Nobel

Prize

inEconomicsn 1986年，美國國家科學獎n 貢獻：LogicTheory

Machine、GeneralProblemSolver、Boundedrationality36人工智能的優(yōu)秀研究者o HerbertAlexander人工智能的優(yōu)秀研究者o

AllenNewelln 1927-1992年n 1949年，斯坦福大學本科n 1952年，CMU博士（導師H

ASimon）n 1972年，NAS院士n 1975年，

ACMTuringAwardp fortheirbasiccontributionstoartificialintelligenceandthepsychologyofhuman

cognitionn 1992年，美國國家科學獎n 貢獻：Information

Processing

Language、Soar人工智能的優(yōu)秀研究者oAllenNewell37人工智能的優(yōu)秀研究者o

JohnMcCarthyn 1927.09.04-2011.10.24n 1948年，CalTech本科n 1951年，普林斯頓博士n 1962-2000，斯坦福大學教授n 1971年，

ACMTuringAwardn NAE院士（1987），NAS院士（1989）n 1990年，美國國家科學獎n 貢獻：Artificialintelligence;

Lisp;

Circumscription;Situationcalculus人工智能的優(yōu)秀研究者oJohnMcCarthy38人工智能的優(yōu)秀研究者o Marvin

Minskyn 1927.08.09–

2016.01.24n

1950年，哈佛大學本科n

1954年，普林斯頓博士n

1958年-，MIT教授n NAE院士，NAS院士n 1969年，

ACMTuringAwardp Forhiscentralroleincreating,shaping,promoting,andadvancingthefieldofArtificial

Intelligence人工智能的優(yōu)秀研究者o MarvinMinsky39克勞德·香農(nóng)

(Claude

Shannon)信息論創(chuàng)始人克勞德·香農(nóng)

(Claude

Shannon)也被麥卡錫邀請參加了達特茅斯會議。當時已是貝爾實驗室的資深學者。香農(nóng)的碩士和博士論文都是關(guān)于如何實現(xiàn)布爾代數(shù)方面的，由當時麻省理工學院校長布什(Bush)

親自指導。博士畢業(yè)后香農(nóng)去了普林斯頓高等研究院，曾和愛因斯坦、哥德爾、外爾

(Weyl)等共事。戰(zhàn)爭中，他一直在貝爾實驗室做密碼學工作，阿蘭·圖靈

(Alan

Turing)

在

1943

年曾秘訪美國，和同行交流破解德國密碼的經(jīng)驗，期間和香農(nóng)曾有會晤，一起聊過通用圖靈機。戰(zhàn)后香農(nóng)去英國還回訪過圖靈，一起討論計算機下棋的問題。香農(nóng)內(nèi)向，以前從沒說過這段往事，直到

1982

年接受一次采訪時才提起。1950

年，香農(nóng)在《科學美國人》發(fā)表過一篇關(guān)于計算機下棋的文章。40克勞德·香農(nóng)(ClaudeShannon)信息論創(chuàng)始人克40AI領(lǐng)域著名預(yù)言o 1958年，Simon

&

Newelln 十年內(nèi)，計算機將成為國際象棋冠軍n 十年內(nèi)，計算機將發(fā)現(xiàn)和證明有意義的數(shù)學定理n 十年內(nèi)，計算機將能譜寫優(yōu)美的樂曲n 十年內(nèi)，計算機將能實現(xiàn)大多數(shù)的心理學理論41AI領(lǐng)域著名預(yù)言o 1958年，Simon&Newell41Selfridge)1955

年,

洛杉磯,

美國西部計算機聯(lián)合大會

(WesternJointComputer

Conference),“學習機討論會”(SessiononLearningMachine)。討論會的參加者中有兩個人參加了第二年的達特茅斯會議n 奧利弗·賽弗里奇

(Oliver

Selfridge),

維納最喜歡的學生n 艾倫·紐厄爾

(Alan

Newell)賽弗里奇發(fā)表了一篇關(guān)于模式識別的文章，而紐厄爾則探討了計算機是否能下棋。他們分別代表兩派觀點。討論會的主持人是神經(jīng)網(wǎng)絡(luò)的鼻祖之一皮茨

(Pitts)，他最后總結(jié)時說“

（一派人）企圖模擬神經(jīng)系統(tǒng)，而紐厄爾則企圖模擬心智? ? 但殊途同歸”這預(yù)示了隨后的幾十年人工智能關(guān)于“結(jié)構(gòu)與功能”兩條路線的”斗爭”。42Selfridge)1955年,洛杉磯,美國西部計算機42克勞德·香農(nóng)

(Claude

Shannon)信息論創(chuàng)始人克勞德·香農(nóng)

(Claude

Shannon)也被麥卡錫邀請參加了達特茅斯會議。當時已是貝爾實驗室的資深學者。香農(nóng)的碩士和博士論文都是關(guān)于如何實現(xiàn)布爾代數(shù)方面的，由當時麻省理工學院校長布什(Bush)

親自指導。博士畢業(yè)后香農(nóng)去了普林斯頓高等研究院，曾和愛因斯坦、哥德爾、外爾

(Weyl)等共事。戰(zhàn)爭中，他一直在貝爾實驗室做密碼學工作，阿蘭·圖靈

(Alan

Turing)

在

1943

年曾秘訪美國，和同行交流破解德國密碼的經(jīng)驗，期間和香農(nóng)曾有會晤，一起聊過通用圖靈機。戰(zhàn)后香農(nóng)去英國還回訪過圖靈，一起討論計算機下棋的問題。香農(nóng)內(nèi)向，以前從沒說過這段往事，直到

1982

年接受一次采訪時才提起。1950

年，香農(nóng)在《科學美國人》發(fā)表過一篇關(guān)于計算機下棋的文章。43克勞德·香農(nóng)(ClaudeShannon)信息論創(chuàng)始人克43人工智能第一次浪潮的特點44o 結(jié)構(gòu)與功能n 功能主義占主流人工智能第一次浪潮的特點44o 結(jié)構(gòu)與功能這一時期的主要進展45o 定理證明n 1956年，CMU的LT程序證明了數(shù)學家羅素（Russel）所著《數(shù)學原理》第二章的38條定理n 1959年，洛克菲勒大學教授王浩使用“王算法”，證明了《數(shù)學原理》全部350條定理n 1963年，CMU改進的LT程序證明了《數(shù)學原理》第二章全部52條定理，該程序其后被改進成GPS邏輯程序語言n Prolog產(chǎn)生式系統(tǒng)n 一個綜合DB

+

一組產(chǎn)生式規(guī)則

+

一個控制系統(tǒng)n 研究重點p 規(guī)則表達、規(guī)則生成、謂詞演算、知識獲取、...p 搜索算法、啟發(fā)式策略、…這一時期的主要進展45o 定理證明第一次論戰(zhàn)461976年前后，由于四大預(yù)言實現(xiàn)遙遙無期，關(guān)于人工智能方法論的爭論風聲漸緊1977年，曾是Simon研究生的Feigenbaum提出知識工程的概念，1981年，日本提出第五代計算所研究計劃，延續(xù)第一次浪潮的基本思路1960年代中后期，Minsky發(fā)表perceptrons，提出用神經(jīng)元網(wǎng)絡(luò)仿真人工智能1979年，

Minsky發(fā)表“K-lines:A

TheoryofMemory”第一次論戰(zhàn)461976年前后，由于四大預(yù)言實現(xiàn)遙遙無期，關(guān)人工智能的優(yōu)秀研究者o EdwardA("Ed")

Feigenbaumn 1936-n 1956年，CMU本科n 1960年，CMU博士n 1965-2000年，斯坦福大學教授n NAE院士（1986）n 1994年，

ACMTuringAwardp Forpioneeringthedesignandconstructionoflargescaleartificialintelligencesystems,demonstratingthepracticalimportanceandpotentialcommercialimpactofartificialintelligence

technology人工智能的優(yōu)秀研究者o EdwardA("Ed")Fe47人工智能的優(yōu)秀研究者o DabbalaRajagopal

("Raj")Reddyn 1937年，出生于印度n 1958年，印度Anne大學本科n 1966年，斯坦福大學博士n 1969年-，CMU教授n NAE院士（1984）n 中國工程院、中國科學院外籍院士n ACMTuringAward(1994)p “Forpioneeringthedesignandconstructionoflargescaleartificialintelligence

systems”48人工智能的優(yōu)秀研究者o DabbalaRajagopal2006）49人工神經(jīng)元網(wǎng)絡(luò)1975年，PaulWerbos提出了backpropagationalgorithm（BP算法），使得多層人工神經(jīng)元網(wǎng)絡(luò)的學習變?yōu)榭赡?978年，甘利俊一出版《神經(jīng)元網(wǎng)絡(luò)的數(shù)理》1983年，Les

Valiant發(fā)表“A

theory

of

thelearnable,”AI神經(jīng)元網(wǎng)絡(luò)方法（Neural

Network

Approachto

AI）2006）49人工神經(jīng)元網(wǎng)絡(luò)人工智能與控制論ArtificialIntelligence/artificial

intelligenceCybernetics/cybernetics199050200019801960

1970AICybernetics人工智能與控制論ArtificialIntelligenc人體的神經(jīng)系統(tǒng)CNSprocessesinformationandgeneratesbehavioral

planPNSsensoryneuronscollect

informationPNSmotorneuronsrelaybehavioralplanto

musclesThenervoussystem

hasthreefunctions:1.Collect

information2.Processinformation3.Generate

behavior[MarkGlucketal,LearningandMemory,2007

]人體的神經(jīng)系統(tǒng)CNSprocessesinformati51突觸連接的可塑性lTherearemanydifferent

neurotransmitters.lEachtransmitterhasseveraldifferent

receptors.lTheprecisemessagedependsonthespecifictransmitter

andthespecificreceptor,somanydifferentmessagesarepossible.[MarkGlucketal,LearningandMemory,2007

]突觸連接的可塑性lTherearemanydiffer52大腦皮層的功能區(qū)lFrontal

lobes(額葉)

–

planning

and

performing

complex

actionslParietallobes(頂葉)–touch,feeling,senseofspacelOccipitallobes(枕葉)–visionlTemporallobes(顳葉)–hearingandtemporalprocessing[MarkGlucketal,LearningandMemory,2007

]大腦皮層的功能區(qū)lFrontallobes(額葉)–p53視覺信息處理的多通道和深層學習結(jié)構(gòu)Where

通路What

通路視點視點視覺信息處理的多通道和深層學習結(jié)構(gòu)Where通路What54視覺信息處理的多通道和深層學習結(jié)構(gòu)[NorbertKrügeretal,PAMI2013]視覺信息處理的多通道和深層學習結(jié)構(gòu)[NorbertKrü55視覺信息處理的多通道和深層學習結(jié)構(gòu)視覺信息處理的多通道和深層學習結(jié)構(gòu)56聚類模型-自組織映射神經(jīng)網(wǎng)絡(luò)(Self-Organization

Map,

SOM)SOM[T.Kohonen,

SCIP’1981]W0

W1W0’=W0+αW1,W1’=W1+

αW0+ +輸出層有橫向連接的神經(jīng)元把各自代表的數(shù)據(jù)相互拉近聚類模型-自組織映射神經(jīng)網(wǎng)絡(luò)(Self-Organizati57感知機(Perceptron,

1957)1Rosenblatt,Frank(1957),ThePerceptron--aperceivingandrecognizingautomaton.Report85-460-1,CornellAeronautical

Laboratory.l

線性分類模型l

使用差量法(Delta

Rule)進行學習，在數(shù)據(jù)線性可分時可以證明收斂偏置輸出層y輸入層xW,b2ii 2minLoss

||

t

y

||iwji (t

j

y

j

)xi1 wx

b

0otherwisey

0感知機(Perceptron,1957)1Rosenbla58誤差反傳網(wǎng)絡(luò)(Back

Propagation

Net,

1986)McClellandJL,RumelhartDE,PDPResearchGroup.Paralleldistributedprocessing[J].Explorationsinthemicrostructureofcognition,1986,2.1偏置輸出層yR,c隱含層h1W,b輸入層xh(Wx

b)y(Rh

c)2ii 2iminLoss

||

t

y

||Loss

Loss

y hW y h

Wl

引入隱含層，可以進行非線性分類l

理論上不限制隱含層個數(shù)的情況下可以擬合任意平滑曲線l

使用誤差反傳算法進行快速學習誤差反傳網(wǎng)絡(luò)(BackPropagationNet,159支持向量機(Support

Vector

Machine,

1995)Cortes,C.;Vapnik,V.(1995)."Support-vectornetworks".MachineLearning20(3):

73.1偏置輸出層yw,b核映射層hl

約束分類器獲取類間最大Margin，推廣性能良好l

利用核函數(shù)處理非線性分類問題hi

(x,

ki)輸入層x22min12||w

||w.r.t t(wh

b)

1y

wh

by>1y<-1y=022||w

||2Margin支持向量支持向量機(SupportVectorMachine,60人工智能第二次浪潮的特點61o 結(jié)構(gòu)與功能n 結(jié)構(gòu)主義占優(yōu)勢人工智能第二次浪潮的特點61o 結(jié)構(gòu)與功能第三次浪潮（2006-至今）o 基于互聯(lián)網(wǎng)大數(shù)據(jù)的深度學習62第三次浪潮（2006-至今）o 基于互聯(lián)網(wǎng)大數(shù)據(jù)的深度學習6人類大腦基本信息n 1.4-1.5公斤，占體重2%n 功耗：20W，占人體的20%大腦皮層：意識與信息處理n 神經(jīng)元數(shù)~100B

（100

/

200

/1000億）n 水平分功能區(qū)。區(qū)內(nèi)密集連接，區(qū)間有側(cè)連接n 縱向分層6層。成柱(1~2M個)，每柱10K個神經(jīng)元n 每個神經(jīng)元通過1000-10000突觸與其他神經(jīng)元相聯(lián)n 突觸總數(shù)~100T

（60

/150

/240

T）n 初級視皮層v1所在Brodmann

17區(qū)突觸1~2Tn 神經(jīng)元的放電頻率為200Hzo 新皮層的計算能力估計n 人腦：100B突觸×200Hz

=

20

P/s

@20W

n 天河2號：33.86

pfs @18×106W/chudler/facts.html#brain人類大腦基本信息63何謂機器學習AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperience

E“機器學習是一門人工智能的科學，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學習中改善具體算法的性能”?！皺C器學習是對能通過經(jīng)驗自動改進的計算機算法的研究”?！皺C器學習是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標準?！?4何謂機器學習Acomputerprogramissa64機器學習的分類監(jiān)督學習從給定的訓練數(shù)據(jù)集中學習出一個函數(shù)，當新的數(shù)據(jù)到來時，可以根據(jù)這個函數(shù)預(yù)測結(jié)果。監(jiān)督學習的訓練集要求是包括輸入和輸出，也可以說是特征和目標。訓練集中的目標是由人標注的。常見的監(jiān)督學習算法包括回歸分析和統(tǒng)計分類。無監(jiān)督學習與監(jiān)督學習相比，訓練集沒有人為標注的結(jié)果。常見的無監(jiān)督學習算法有聚類。半監(jiān)督學習介于監(jiān)督學習與無監(jiān)督學習之間。增強學習通過觀察來學習做成如何的動作。每個動作都會對環(huán)境有所影響，學習對象根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。65機器學習的分類監(jiān)督學習從給定的訓練數(shù)據(jù)集中學習出一個函數(shù)，65機器學習算法o 構(gòu)造條件概率：回歸分析和統(tǒng)計分類n 人工神經(jīng)網(wǎng)絡(luò)n 決策樹（Decision

tree）n 高斯過程回歸n 線性判別分析n 最近鄰居法n 感知器n 徑向基函數(shù)核n 支持向量機o 通過再生模型構(gòu)造概率密度函數(shù)（Probabilitydensityfunction）：n 最大期望算法（Expectation-maximizationalgorithm）n graphical

model：包括貝葉斯網(wǎng)和Markov隨機場n GenerativeTopographic

Mappingo 近似推斷技術(shù)n 馬爾可夫鏈（Markov

chain）蒙特卡羅方法n 變分法o 最優(yōu)化（Optimization）66機器學習算法o 構(gòu)造條件概率：回歸分析和統(tǒng)計分類66AIo

DeepBluebeatsKasparov(1997)n WonFredkin

Prizen NewellmedalsforGreenblatt,Berliner,Thompson,

etcp EssentialsteppingstonesforDeepBlue

SuccessAIoDeepBluebeatsKasparov(671997ChessWorldChampionTeam(TopImage)andChessPioneers(BottomImage)withFredkinandReddyTopImage:RajReddy,MurrayCampbell,CBHsu,andJosephHoaneJr.,Ed

FredkinBottomImage:MurrayCampbell,JoeCondon,RajReddy,KenThompson,CBHsu,RichardGreenblatt,LarryAtkin,HansBerliner,DavidSlate,AndreasNowatzyk,ThomasAnantharaman,GordonGoetsch,EdFredkin,JosephHoane

Jr1997ChessWorldChampionTeam68AIo MachineTranslation:GoogleTranslate

(2006+)n Tolerabletranslationamong60+

languagesn Deemedimpossible10years

agon RankedNo1inNISTevaluationin

2009n Accesstoverylargedatasetskey,notjust

statisticsAIo MachineTranslation:Googl69Jeoperdyo Feb.2011,withtwolastchampionsKenand

Brad70Jeoperdyo Feb.2011,withtwo）71o 非確定性信息處理與貝葉斯網(wǎng)絡(luò)n 以知識處理為核心的人工智能研究，常常遭遇非確定性難題n 以神經(jīng)元網(wǎng)絡(luò)為主的感知與識別系統(tǒng)，也會常常遭遇識別率天花板n 1984年，Judea

Peral

發(fā)表了啟發(fā)式搜索的論文：Heuristics:IntelligentSearchStrategiesforComputerProblemSolving，n 1985年，Judea

Peral

提出貝葉斯網(wǎng)絡(luò)概念o AI概率方法（ProbabilisticApproachto

AI））71o 非確定性信息處理與貝葉斯網(wǎng)絡(luò)人工智能的優(yōu)秀研究者本科士o LeslieGabriel

Valiantn 1949-n 1970年，King’s

College,

Cambridge

n 1974年，University

of

Warwick博n 1982年-，哈佛大學教授n NAS院士（2001）n 2010，

ACMTuringAwardp Fortransformativecontributionstothetheoryofcomputation,includingthetheoryofprobablyapproximatelycorrect(PAC)learning,thecomplexityofenumerationandofalgebraiccomputation,andthetheoryofparallelanddistributed

computing人工智能的優(yōu)秀研究者本科o LeslieGabrielV72人工智能的優(yōu)秀研究者o Judea

Pearln 1936-n 1960年，Technion本科n

1965年，PIB@NY博士n 1969年-，UCLA教授n NAE院士（1995）n 2010，

ACMTuringAwardp Forfundamentalcontributionstoartificialintelligencethroughthedevelopmentofacalculusforprobabilisticandcausal

reasoning人工智能的優(yōu)秀研究者o JudeaPearl7319601986（1975）2006感知機誤差反傳網(wǎng)絡(luò)深度網(wǎng)絡(luò)線性模型非線性非線性無解過擬合判別式無法學習深層生成式深度學習發(fā)展歷程19601986（1975）2006感知機誤差反傳網(wǎng)絡(luò)深度網(wǎng)7420062010(1989)2013深度網(wǎng)絡(luò)判別式生成式深度卷積網(wǎng)絡(luò)DropOut、DropConnect卷積網(wǎng)絡(luò)過擬合無法利用圖像先驗卷積DropOutDropConnect深度學習發(fā)展歷程20062010(1989)2013深度網(wǎng)絡(luò)判別式生成式深度75)★海量圖像識別l

ImageNet(1000類圖像120+30萬張)l

2010:72%l

2011:74%l

2013:85%(11%(CNN)深度學習重大標志性進展-圖像識別)★海量圖像識別深度學習重大標志性進展-圖像識別76★

手寫數(shù)字識別l

MNIST(10類圖像6+1萬張)l

Human:99.8%l

2013:99.79%(CNN-DropConnect)深度學習重大標志性進展-字符識別★手寫數(shù)字識別深度學習重大標志性進展-字符識別7720092012★

語音識別

87.7%(深度)深度學習重大標志性進展-語音識別2009★語音識別87.7%(深度)深度學習重大標志性進78深度學習方法分類o 非監(jiān)督特征學習n Deep

Belief

Networks

(DBN,

深度信念網(wǎng)絡(luò)，Hinton2006)n Deep

Auto-Encoder(DAE,

深度自編碼機,Bengio

etal

2010)n DeepBoltzmannMachine

(DBM,深度玻耳茲曼機)o 全監(jiān)督分類識別n Convolutional

Neural

Networks

(CNN,卷積神經(jīng)網(wǎng)絡(luò)，LeCun1989)n DeepConvexNetwork(DCN,深度凸網(wǎng)絡(luò))n DeepStackingNetwork(DSN,

深度堆疊網(wǎng)絡(luò))深度學習方法分類o 非監(jiān)督特征學習79}}}}DBN/DBM/DAE(深度信念網(wǎng)絡(luò),

深度玻耳茲曼機,

深度自編碼機)緊致投影(判別式)數(shù)據(jù)重構(gòu)(產(chǎn)生式)非監(jiān)督深度學習構(gòu)造模塊：雙層全連接網(wǎng)絡(luò)(RBM,Auto-Encoder)}緊致投影數(shù)據(jù)重構(gòu)非監(jiān)督深度學習80誤差反響傳播(BP)層間施加局部連接先驗，代替非監(jiān)督學習卷積神經(jīng)網(wǎng)絡(luò)

(CNN)

[

Y.

LeCun,

et

al.,

Neural

Computation

1989

]監(jiān)督性深度學習誤差反響傳播(BP)層間施加局部連接先驗，代替非監(jiān)督學習81卷積神經(jīng)網(wǎng)絡(luò)

(Convolutional

Neural

Net)非監(jiān)督學習+監(jiān)督學習卷積核 CIFAR-10,

Conv-AutoEncoder卷積核 Kyoto自然圖像數(shù)據(jù)庫,

Conv-RBM監(jiān)督性深度學習-CNN卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralN82深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)CELMCELMCELM…j

1l

1X

j

(X1

Wl

Ol)O1O2OLXLX1X2n構(gòu)造單元:CELM[Vinyals,etal.,NIPS’

2012]監(jiān)督性深度學習-DSN深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)83深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)原始數(shù)據(jù)第10層第20層監(jiān)督性深度學習-DSN第21層第23層第22層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)84深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)第24層第25層第26層監(jiān)督性深度學習-DSN第27層第29層第28層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)85深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)第35層第36層第37層監(jiān)督性深度學習-DSN第50層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)86谷歌大腦

（Google

Brain）無標注樣本谷歌大腦人臉、貓臉非監(jiān)督學習神經(jīng)元篩選最大的神經(jīng)網(wǎng)絡(luò)典型應(yīng)用谷歌圖像搜索谷歌語音谷歌眼鏡谷歌自駕車谷歌大腦（GoogleBrain）無標注樣本谷歌大腦人臉87Facebook人臉識別

（Deep

Face）人臉三維對齊8層卷積網(wǎng)絡(luò)學習LFW數(shù)據(jù)庫97.25%準確率，接近人類的97.53%！YTF數(shù)據(jù)庫91.4%準確率典型應(yīng)用Facebook人臉識別（DeepFace）人臉三維對齊88微軟語音識別、翻譯&合成l

2012.10.25

在中國天津首秀l

實時語音識別、語言翻譯和語音合成l

誤差下降10%~20%,

提速30%l Deep+HMM典型應(yīng)用微軟語音識別、翻譯&合成l2012.10.25在中國天津89蘋果SIRI使用深度學習技術(shù)輔助語音識別與自然語言理解細節(jié)不明典型應(yīng)用蘋果SIRI使用深度學習技術(shù)輔助語音識別與自然語言理解典型應(yīng)90百度圖片內(nèi)容搜索、廣告投放、為你寫詩、百度翻譯使用深度學習技術(shù)進行學習（CNN、深度條件隨機場?）典型應(yīng)用百度圖片內(nèi)容搜索、廣告投放、為你寫詩、百度翻譯使用深度學習技91AlphaGo對人工智能發(fā)展的作用好處：獲得全社會的關(guān)注，將可變現(xiàn)成成豐富研究的資源壞處：給人們的預(yù)期值太高92AlphaGo對人工智能發(fā)展的作用好處：獲得全社會的關(guān)注，將92Definition00000000000000000000000010

0000000000000000000000000000000000000000000000(e.g.wecanrepresenttheboardintoamatrix--likeform)s

(state)d=

1=*Theactualmodelusesotherfeaturesthanboardpositionsas

wellDefinition000000000s(93Definitions

(state)d=

1d=

2a

(action)Givens,pickthebest

aComputer

GoArtificialIntelligencesas'Definitions(state)d=1d=2a94ComputerGoAI–

AnImplementation

Idea?d=

1d=

2…Howaboutsimulatingallpossibleboard

positions?ComputerGoAI–AnImplementat95ComputerGoAI–

AnImplementation

Idea?d

=

1 d=

2d=

3……………ComputerGoAI–AnImplementat96d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultsComputerGoAI–AnImplementationIdea?d=1 d=2d=3…………d=maxDPr97d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultse.g.itwins13timesifthenextstonegetsplaced

here37,839

times431,320

timesChoosethe“nextaction/

stone”thathasthemostwin---countsinthe

full---scale

simulationComputerGoAI–AnImplementationIdea?d=1 d=2d=3………………d=maxD98ThisisNOTpossible;itissaidthepossibleconfigurationsoftheboardexceedsthenumberofatomsinthe

universeKey:ToReduceSearch

Space！ThisisNOTpossible;itissa99ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…d=

maxDWin?Loss?………IFthereisamodelthatcantellyouthatthesemovesarenotcommon/

probable(e.g.byexperts,etc.)

……ReducingSearchSpace1.Reduci100ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…………Removethesefromsearchcandidates

inadvance(breadth

reduction)…d=

maxDWin?Loss?ReducingSearchSpace1.Reduci101ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3……d=

maxDWin?Loss?Insteadofsimulatinguntilthemaximumdepth

..…ReducingSearchSpace2.Positi102ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3…V=

1V=

2…V=

10…IFthereisafunctionthatcanmeasure:V(s):“boardevaluationofstate

s”ReducingSearchSpace2.Positi103candidates”Learning:P(nextaction|currentstate

)=P(a|s

)candidates”Learning:P(next1041.Reducing

“actioncandidates”(1)Imitatingexpertmoves(supervised

learning)Current

StatePredictionModelNext

States1s2s2s3s3s4Data:OnlineGoexperts(5~9

dan)160Kgames,30Mboardpositions1.Reducing“actioncandidates”105candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

Boardcandidates”(1)Imitatingexper106candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

BoardThereare19X19=

361possible

actions(withdifferent

probabilit