人工智能的演進(jìn)培訓(xùn)課件

人工智能的演進(jìn)。內(nèi)容簡介:

電子計(jì)算機(jī)的發(fā)明不僅大大改變了人們的工作方式，同時(shí)也極大改變了人類的學(xué)習(xí)甚至生活方式。計(jì)算機(jī)科學(xué)研究的終極目標(biāo)之一是實(shí)現(xiàn)與人類智能水平相當(dāng)甚至更高的人工智能，其檢驗(yàn)標(biāo)準(zhǔn)是圖靈測試。目前我們離這一目標(biāo)還很遙遠(yuǎn)。本報(bào)告介紹討論人工智能的由來、進(jìn)展和挑戰(zhàn)性問題主講人：

高文北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授。中國工程院院士、ACM

Fellow、IEEE

Fellow。1991年獲日本東京大學(xué)電子工程學(xué)博士。曾任國家八六三計(jì)劃智能計(jì)算機(jī)主題專家組成員、組長，973項(xiàng)目首席科學(xué)家。曾任中國科學(xué)院計(jì)算技術(shù)研究所所長、中國科學(xué)技術(shù)大學(xué)副校長、中國科學(xué)院研究生院常務(wù)副院長。曾任第四屆、第五屆國務(wù)院學(xué)位委員會(huì)計(jì)算機(jī)科學(xué)技術(shù)學(xué)科評議組成員、計(jì)算機(jī)學(xué)報(bào)主編、IEEE

T-MM、IEEE

T-CSVT、SPIC、JVCIR、IEEE

T-IP等編委。是第十屆、十一屆、十二屆全國政協(xié)委員。目前兼任國家自然科學(xué)基金委員會(huì)副主任、中國計(jì)算機(jī)學(xué)會(huì)理事長、全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)多媒體技術(shù)分委員會(huì)主任委員、IEEE

1857（AVS）標(biāo)準(zhǔn)工作組組長、數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)（AVS）工作組組長。1人工智能的演進(jìn)。內(nèi)容簡介:電子計(jì)算機(jī)的發(fā)明不僅大大改變了人1人工智能的演進(jìn)高

文北京大學(xué)人工智能的演進(jìn)高文2目錄3從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望o 總結(jié)目錄3從AlphaGo談起目錄4從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 總結(jié)目錄4從AlphaGo談起AlphaGo

5：0戰(zhàn)勝歐洲冠軍樊麾2段。樊麾出生于中國西安，曾入國家少年隊(duì)，后入籍法國，曾獲歐洲圍棋冠軍，目前是法國國家圍棋隊(duì)總教練。October5–9,

2015<Official

match>- Timelimit:1

hourAlphaGo，AI重要里程碑AlphaGo5：0戰(zhàn)勝歐洲冠軍樊麾2段。樊麾出生于中5AlphaGo，AI重要里程碑AlphaGo戰(zhàn)勝世界冠軍李世石9段。李世石，被認(rèn)為是過去十年間韓國最強(qiáng)棋手。March9–15,

2016<Official

match>- Timelimit:2

hoursVenue:Seoul,Four

SeasonsHotelAlphaGo，AI重要里程碑AlphaGo戰(zhàn)勝世界冠軍李6ComputerGo

AI?2016年1月28日，《自然》

在AlghaGo與李世石開賽前，刊登封面文章David

Silver，

黃世杰（Aja

Huang），DemisHassabis用深層卷積神v經(jīng)s.網(wǎng)絡(luò)來縮小傳統(tǒng)蒙特卡洛樹搜索的廣度和深度，以挑選最佳招數(shù)。作者來自GoogleComputerGoAI?2016年1月28日，《自然7AINext

Step？Science2015年12月12日發(fā)表封面文章《

Human-levelconceptlearningthroughprobabilistic

programinduction

》提出利用貝葉斯的小樣本學(xué)習(xí)方法作者來自MIT、紐約大學(xué)和多倫多大學(xué)8AINextStep？Science2015年12月12人工智能的三個(gè)派別9o 邏輯主義（符號主義）n 符號推理與機(jī)器推理n 奠基人：西蒙（CMU）o 連接主義n 神經(jīng)元網(wǎng)絡(luò)與深度學(xué)習(xí)n 奠基人：明斯基（MIT）o 行為主義n 控制、自適應(yīng)與進(jìn)化計(jì)算n 奠基人：維納（MIT）人工智能的三個(gè)派別9o 邏輯主義（符號主義）AI時(shí)代真的到來了嗎？10o Yes/Non Yes，如果你僅僅期望計(jì)算機(jī)能夠比以往做得更多更好n No，如果你認(rèn)為從此開始，人類就是計(jì)算機(jī)的敗將了邏輯主義大行其道30年，又沉寂了30年連接主義發(fā)育成長了50多年，現(xiàn)在正當(dāng)年行為主義發(fā)育較慢，尚處于幼年AI時(shí)代真的到來了嗎？10o Yes/No目錄11從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 總結(jié)目錄11從AlphaGo談起人類為什么做計(jì)算機(jī)？12o 進(jìn)化的需要n 約150萬年前，人類開始用火。火的使用是人類文化進(jìn)化的關(guān)鍵轉(zhuǎn)折點(diǎn)n 約1.8萬年前，新石器時(shí)代，人類開始種植、畜牧、紡織，人類社會(huì)進(jìn)入農(nóng)業(yè)社會(huì)n 18世紀(jì)中葉，蒸汽機(jī)的發(fā)明，開啟了工業(yè)革命，人類社會(huì)進(jìn)入工業(yè)化時(shí)代n 20世紀(jì)中葉，計(jì)算機(jī)的出現(xiàn)，使我們進(jìn)入了信息化社會(huì)人類為什么做計(jì)算機(jī)？12o 進(jìn)化的需要人類為什么做計(jì)算機(jī)？131946年，第一臺全自動(dòng)電子數(shù)字計(jì)算機(jī)ENIAC（ElectronicNumericalIntegratorand

Calculator）在美國研制完成，用于計(jì)算彈道1954年,第一臺通用數(shù)據(jù)處理機(jī)IBM650誕生，用于商業(yè)數(shù)據(jù)處理1964年,

IBM360系列制成，用于軍事計(jì)算或商業(yè)數(shù)據(jù)處理軍事用途，是計(jì)算機(jī)發(fā)展的第一動(dòng)力事務(wù)處理，是計(jì)算機(jī)發(fā)展普及的根本動(dòng)力人工智能，是計(jì)算機(jī)發(fā)展的最高挑戰(zhàn)人類為什么做計(jì)算機(jī)？131946年，第一臺全自動(dòng)電子數(shù)字計(jì)算何謂智能14智力或知能n

是指生物一般性的精神能力。這個(gè)能力包括以下幾點(diǎn)：理解、計(jì)劃、解決問題，抽象思維，表達(dá)意念以及語言和學(xué)習(xí)的能力。智力三因素理論（RobertSternberg）n 成分性智力（componential

intelligence），指思維和問題解決等所依賴的心理過程n 經(jīng)驗(yàn)智力（experiential

intelligence），指人們在兩種極端情況下處理問題的能力：新異的或常規(guī)的問題n

情境智力（contextual

intelligence）反映，在對日常事物的處理上。它包括對新的和不同環(huán)境的適應(yīng)，選擇合適的環(huán)境以及有效地改變環(huán)境以適應(yīng)你的需要何謂智能14智力或知能多元智能理論15由哈佛大學(xué)心理學(xué)家加德納創(chuàng)立，著作：Framesof

Mind邏輯

(logical)語言文字

(linguistic)空間

(spatial)音樂

(musical)肢體運(yùn)作

(kinesthetic)內(nèi)省

(intra-personal)人際

(inter-personal)（這里可以指家庭比較好些）自然探索

(naturalist)圖形圖像

(Graphics)多元智能理論15由哈佛大學(xué)心理學(xué)家加德納創(chuàng)立，著作：何謂人工智能16人工智能（ArtificialIntelligence,AI）n

也稱作機(jī)器智能，是指由人工制造出來的系統(tǒng)所表現(xiàn)出來的智能。通常人工智能是指通過普通計(jì)算機(jī)實(shí)現(xiàn)的智能。人工智能研究n

主要研究內(nèi)容包括認(rèn)知建模、知識表示、推理及應(yīng)用、機(jī)器感知、機(jī)器思維、機(jī)器學(xué)習(xí)、機(jī)器行為和智能系統(tǒng)等n

研究動(dòng)機(jī)包括推理，知識，規(guī)劃，學(xué)習(xí)，交流，感知，移動(dòng)和操作物體的能力等。n

目前有大量人工智能應(yīng)用系統(tǒng)，其中包括搜索和數(shù)學(xué)優(yōu)化，邏輯，基于概率論和經(jīng)濟(jì)學(xué)的方法等。何謂人工智能16人工智能（ArtificialIntellAlan

TuringusMathison

Turing）n 計(jì)算機(jī)科學(xué)之父n 人工智能之父n 1912.6.23-1954.6.7n 父親朱利斯·麥席森·圖靈（Juli英屬印度公務(wù)員。n

1911年，圖靈的母親Ethel在印度的Chatrapur懷孕。他們希望艾倫在英國出生，所以回到倫敦，住在帕丁頓（Paddington）。Alan出生于倫敦。n 由于擔(dān)心印度的氣候不利于兒童成長，父母把家庭留在英倫與朋友同住。養(yǎng)成了圖靈的性格。n

圖靈很小的時(shí)候就表現(xiàn)出他的天才，據(jù)說他在三個(gè)星期里自己學(xué)會(huì)閱讀。而且，從小就對數(shù)字和智力游戲著迷。17AlanTuringusMathisonTuring）Alan的孩童和年輕時(shí)代186歲的時(shí)候，他的父母為他在一間叫圣邁克爾的（St.Michael's）學(xué)校注了冊。校長很快就注意到他的天才，隨后Marlborough學(xué)院的許多教育家也注意到這點(diǎn)。14歲的時(shí)候，轉(zhuǎn)到在多塞特郡（Dorset）的Sherborne寄宿學(xué)校。圖靈天生對科學(xué)的喜好并沒有給他在Sherborne的老師留下好印象。他們對教育的定義是著重于人文學(xué)科而不是科學(xué)。雖然如此，圖靈繼續(xù)在他喜歡的學(xué)科表現(xiàn)出驚人的能力，還沒有學(xué)過基礎(chǔ)微積分的他，就已經(jīng)能夠解答以他年紀(jì)來說算是很高深的難題。16歲的時(shí)候，開始閱讀阿爾伯特·愛因斯坦的著作。他不但能夠理解，而且看出了愛因斯坦理論與牛頓力學(xué)不相符合，即使愛因斯坦的著作中并沒有明白指出這點(diǎn)。Alan的孩童和年輕時(shí)代186歲的時(shí)候，他的父母為他在一間叫Alan大學(xué)和研究生時(shí)代191931年，考入劍橋大學(xué)國王學(xué)院。1934年他以優(yōu)異成績畢業(yè)。1935年因中心極限定理論文當(dāng)選為國王學(xué)院Fellow1936年，他的論文《論可計(jì)算數(shù)及其在判定問題上的應(yīng)用》（OnComputableNumbers,withanApplicationto

theEntscheidungsproblem，）發(fā)表。他對哥德爾1931年證明和計(jì)算的限制的結(jié)果作了重新論述，他用有限狀態(tài)自動(dòng)機(jī)（也稱圖靈機(jī)）的簡單形式設(shè)備代替了哥德爾的以通用算術(shù)為基礎(chǔ)的形式語言。圖靈證明了圖靈機(jī)有能力解決任何可想像的數(shù)學(xué)難題，如果這些難題是用一種算法來表達(dá)。圖靈機(jī)的最大貢獻(xiàn)是奠定了今天電子計(jì)算機(jī)的理論基礎(chǔ)：由0和1組成的有限狀態(tài)自動(dòng)機(jī)演算，以及電子計(jì)算機(jī)的體系結(jié)構(gòu)：處理器、存儲器、輸入輸出設(shè)備在普林斯頓大學(xué)度過了1937年和1938年的大部分時(shí)間。1938年，他取得了博士學(xué)位。他的論文研究了超計(jì)算（hypercomputation）的概念，在圖靈機(jī)加上了預(yù)言機(jī)，讓研究圖靈機(jī)無法解的問題變得可能Alan大學(xué)和研究生時(shí)代191931年，考入劍橋大學(xué)國王學(xué)院密碼破譯1938-1945，參加英國Bletchley

Park密碼破譯團(tuán)隊(duì)但是德國的潛艇經(jīng)常襲擊英國戰(zhàn)略物資運(yùn)輸船隊(duì)，德國使用了由機(jī)器生成密碼的技術(shù)，可以產(chǎn)生1500萬種以上的組合圖靈設(shè)計(jì)了可以破譯上述密碼的算法，主要思想利用統(tǒng)計(jì)方法優(yōu)化處理過程，有效減小搜索空間，為二戰(zhàn)勝利做了貢獻(xiàn)他的上述成果一直保密，直到完成70多年以后，2012年百歲誕辰時(shí)才公開Turing–Welchmanbombe20密碼破譯1938-1945，參加英國BletchleyPa二戰(zhàn)以后的研究興趣211945年到1948年，圖靈在英國國家物理實(shí)驗(yàn)室工作，負(fù)責(zé)自動(dòng)計(jì)算引擎（ACE）的工作

。1949年，他成為曼徹斯特大學(xué)計(jì)算機(jī)實(shí)驗(yàn)室的副主任，負(fù)責(zé)最早的電子計(jì)算機(jī)--曼徹斯特一號的軟件工作。在這段時(shí)間，他繼續(xù)作一些比較抽象的研究，如“計(jì)算機(jī)械和智能”。圖靈在對人工智能的研究中，提出了一個(gè)叫做圖靈測試（Turing

test）的實(shí)驗(yàn)，嘗試定出一個(gè)決定機(jī)器是否有感覺的標(biāo)準(zhǔn)。1952年，圖靈寫了一個(gè)國際象棋程序。可是，當(dāng)時(shí)沒有一臺計(jì)算機(jī)有足夠的運(yùn)算能力去執(zhí)行這個(gè)程序，他就模仿計(jì)算機(jī)，每走一步要用半小時(shí)。他與一位同事下了一盤，結(jié)果程序輸了。二戰(zhàn)以后的研究興趣211945年到1948年，圖靈在英國國家二戰(zhàn)以后的研究興趣22從1952年直到去世，圖靈一直在生物數(shù)學(xué)方面做研究。他在1952年發(fā)表了一篇論文《形態(tài)發(fā)生的化學(xué)基礎(chǔ)》（The

Chemical

Basisof

Morphogenesis）。他主要的興趣是斐波那契葉串行，存在于植物結(jié)構(gòu)的斐波那契數(shù)。他應(yīng)用了反應(yīng)-擴(kuò)散公式，現(xiàn)在已經(jīng)成為圖案形成范疇的核心。他后期的論文都沒有發(fā)表，一直等到1992年《艾倫·圖靈選集》出版，這些文章才見天日。二戰(zhàn)以后的研究興趣22從1952年直到去世，圖靈一直在生物數(shù)判罪受罰23圖靈中學(xué)時(shí)代有一位摯友Christopher

Morcom，極為聰明，愛好天文學(xué)，圖靈對他極為崇拜。1930年，Chris因?yàn)椴簧黠嬘酶腥静《镜呐Ｄ潭ナ?。圖靈悲痛欲絕，立志幫他完成想做的事情。這段經(jīng)歷使他形成了同性戀傾向。1952年，他的同性伴侶的熟人在圖靈的房子盜竊，他丟失了父親送給他的手表，圖靈為此而報(bào)警。英國警方調(diào)查后判他流氓罪。他沒有申辯，被定罪。公審后，他被給予了兩個(gè)選擇：坐牢或女性荷爾蒙注射“療法”（即化學(xué)閹割）。他最后選擇了后者，持續(xù)一年。在這段時(shí)間里，他對政府極度失望，加上藥物的作用使他身體發(fā)生變化，大腦思維緩慢，圖靈的身心受到極大傷害。判罪受罰23圖靈中學(xué)時(shí)代有一位摯友ChristopherM英年早逝o 1954年6月8日，圖靈被發(fā)現(xiàn)去世，原因是食用了浸過氰化物溶液的半個(gè)蘋果。24英年早逝o 1954年6月8日，圖靈被發(fā)現(xiàn)去世，原因是食用罪名赦免252009年9月10日，一份超過3萬人的請?jiān)负灻褂紫喔甑恰げ祭试凇睹咳针娪崍?bào)》撰文，因?yàn)橛?dāng)年以同性戀相關(guān)罪名起訴圖靈并定罪，導(dǎo)致他自殺身亡，正式向艾倫·圖靈公開道歉2012年，有21000多人簽名請?jiān)?，要求英國政府追授圖靈死后赦免狀，但被當(dāng)局拒絕。英國上議院的麥克納利勛爵解釋說，死后赦免狀是不合適的，因?yàn)閳D靈是根據(jù)當(dāng)時(shí)的法律被定罪2013年12月24日，英國司法大臣宣布英國女王伊麗莎白二世赦免1952年因同性戀行為被定罪的艾倫·圖靈罪名赦免252009年9月10日，一份超過3萬人的請?jiān)负灻O果故事的繼續(xù)o 蘋果公司的Logo和圖靈的蘋果有關(guān)嗎？n Itisn’ttrue,butGod,we

wishitwere.–Steve

Jobs26蘋果故事的繼續(xù)o 蘋果公司的Logo和圖靈的蘋果有關(guān)嗎？226蘋果故事的繼續(xù)o Tim

Cookn Steve

Jobs的接班人n

2014年10月30日，《商業(yè)周刊》網(wǎng)站發(fā)表文章27蘋果故事的繼續(xù)o TimCook27圖靈獎(jiǎng)28被稱為是計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)1966年，由ACM（Association

for

ComputingMachinery

，1947年成立，總部紐約）學(xué)會(huì)設(shè)立每年1-3名獲獎(jiǎng)人迄今為止，共有60余人獲獎(jiǎng)華人獲獎(jiǎng)?wù)撸阂ζ谥莕 2000年，Inrecognitionofhisfundamentalcontributionstothe

theoryofcomputation,includingthecomplexity-basedtheoryof

pseudorandomnumbergeneration,

cryptography,and

communicationcomplexity.圖靈獎(jiǎng)28被稱為是計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)圖靈獎(jiǎng)與人工智能Minsky,Marvin

(1969)，MITMcCarthy,

John

(1971)，斯坦福大學(xué)Newell,Allen

(1975)，CMUSimon,Herbert(“Herb”)Alexander

(1975)，CMUFeigenbaum,

Edward

A(“Ed”)

(1994)，斯坦福大學(xué)Reddy,DabbalaRajagopal(“Raj”)

(1994)，CMUValiant,

Leslie

Gabriel

(2010)，哈佛大學(xué)，機(jī)器學(xué)習(xí)與神經(jīng)計(jì)算理論P(yáng)earl,Judea

(2010)，UCLA，概率計(jì)算與因果推理圖靈獎(jiǎng)與人工智能Minsky,Marvin(1969)，29目錄從AlphaGo談起人工智能與Alan

Turing人工智能發(fā)展歷程n 圖靈測試n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo對人工智能發(fā)展的作用n 挑戰(zhàn)與展望4. 小結(jié)30目錄從AlphaGo談起3030圖靈測試o 圖靈測試（Turing

Test）n 計(jì)算機(jī)具有智能的判據(jù)p 讓一臺計(jì)算機(jī)器和一個(gè)人參與測試p

提問人無法通過非智能特征（例如語音語調(diào)）區(qū)分人和機(jī)器p

如果測試結(jié)束后人不能判斷哪個(gè)是人，哪個(gè)是機(jī)器，則可以認(rèn)為該計(jì)算機(jī)器具有智能31圖靈測試o 圖靈測試（TuringTest）3131人工智能起源32o 兩個(gè)標(biāo)志性基石n 圖靈測試。n

香農(nóng)信息論，引入了語義無關(guān)的假設(shè)，以熵作為信息量的測量，使得傳統(tǒng)的數(shù)據(jù)處理轉(zhuǎn)向信息處理。統(tǒng)計(jì)方法成為研究主流。人工智能起源32o 兩個(gè)標(biāo)志性基石人工智能發(fā)展里程碑33年代20世紀(jì)40年代20世紀(jì)50年代20世紀(jì)60年代20世紀(jì)70年代20世紀(jì)80年代20世紀(jì)90年代計(jì)算機(jī)1945

計(jì)算機(jī)（ENIAC）1957FORTRAN語言人工智能研究1953

博弈論1956

達(dá)特矛斯會(huì)議1977

知識工程（英語：Knowledge

engineering）宣言1982

第五代電腦計(jì)劃開始1991

人工神經(jīng)網(wǎng)絡(luò)人工智能語言1960

LISP語言1973

PROLOG語言知識表達(dá)1973

生產(chǎn)系統(tǒng)1976

框架理論專家系統(tǒng)1965DENDRAL（英語：Dendral）1975

MYCIN（英語：Mycin1980

Xcon人工智能發(fā)展里程碑33年代20世紀(jì)40年代20世紀(jì)50年代21976）34基于規(guī)則的產(chǎn)生式系統(tǒng)=》功能系統(tǒng)領(lǐng)頭羊n 斯坦福大學(xué)n CMUn MIT、IBMn 哈佛大學(xué)o

標(biāo)志性基石：在統(tǒng)計(jì)方法中引入符號方法進(jìn)行語義處理，出現(xiàn)了基于知識的方法，人機(jī)交互開始成為可能。1976）34基于規(guī)則的產(chǎn)生式系統(tǒng)=》功能系統(tǒng)達(dá)特茅斯會(huì)議暑期會(huì)議351956年夏天，在Dartmouth大學(xué)，由JohnMcKarthy、Marvin

Minsky,

Nathaniel

Rochester、Claude

Shannon聯(lián)合發(fā)起為期2個(gè)月，10人，討論研究人工智能問題其他參加人包括：n RaySolomonoff,

OliverSelfridge

(MIT)

n TrenchardMore,

ArthurSamuel

(IBM)

n HerbertA.Simon,

AllenNewell

(CMU)提出人工智能定義n 使一部機(jī)器的的反應(yīng)方式就像是一個(gè)人在行動(dòng)時(shí)所依據(jù)的智能達(dá)特茅斯會(huì)議暑期會(huì)議351956年夏天，在Dartmouth人工智能的優(yōu)秀研究者o HerbertAlexander

Simonn 1916-2001年n

1936年，芝加哥大學(xué)本科n

1943年，芝加哥大學(xué)博士n

1949-2001年，CMU教授n 1967年，NAS院士n 1975年，ACMTuringAwardp “basiccontributionstoartificialintelligence,thepsychologyofhumancognition,andlist

processing”n 1978年，Nobel

Prize

inEconomicsn 1986年，美國國家科學(xué)獎(jiǎng)n 貢獻(xiàn)：LogicTheory

Machine、GeneralProblemSolver、Boundedrationality36人工智能的優(yōu)秀研究者o HerbertAlexander人工智能的優(yōu)秀研究者o

AllenNewelln 1927-1992年n 1949年，斯坦福大學(xué)本科n 1952年，CMU博士（導(dǎo)師H

ASimon）n 1972年，NAS院士n 1975年，

ACMTuringAwardp fortheirbasiccontributionstoartificialintelligenceandthepsychologyofhuman

cognitionn 1992年，美國國家科學(xué)獎(jiǎng)n 貢獻(xiàn)：Information

Processing

Language、Soar人工智能的優(yōu)秀研究者oAllenNewell37人工智能的優(yōu)秀研究者o

JohnMcCarthyn 1927.09.04-2011.10.24n 1948年，CalTech本科n 1951年，普林斯頓博士n 1962-2000，斯坦福大學(xué)教授n 1971年，

ACMTuringAwardn NAE院士（1987），NAS院士（1989）n 1990年，美國國家科學(xué)獎(jiǎng)n 貢獻(xiàn)：Artificialintelligence;

Lisp;

Circumscription;Situationcalculus人工智能的優(yōu)秀研究者oJohnMcCarthy38人工智能的優(yōu)秀研究者o Marvin

Minskyn 1927.08.09–

2016.01.24n

1950年，哈佛大學(xué)本科n

1954年，普林斯頓博士n

1958年-，MIT教授n NAE院士，NAS院士n 1969年，

ACMTuringAwardp Forhiscentralroleincreating,shaping,promoting,andadvancingthefieldofArtificial

Intelligence人工智能的優(yōu)秀研究者o MarvinMinsky39克勞德·香農(nóng)

(Claude

Shannon)信息論創(chuàng)始人克勞德·香農(nóng)

(Claude

Shannon)也被麥卡錫邀請參加了達(dá)特茅斯會(huì)議。當(dāng)時(shí)已是貝爾實(shí)驗(yàn)室的資深學(xué)者。香農(nóng)的碩士和博士論文都是關(guān)于如何實(shí)現(xiàn)布爾代數(shù)方面的，由當(dāng)時(shí)麻省理工學(xué)院校長布什(Bush)

親自指導(dǎo)。博士畢業(yè)后香農(nóng)去了普林斯頓高等研究院，曾和愛因斯坦、哥德爾、外爾

(Weyl)等共事。戰(zhàn)爭中，他一直在貝爾實(shí)驗(yàn)室做密碼學(xué)工作，阿蘭·圖靈

(Alan

Turing)

在

1943

年曾秘訪美國，和同行交流破解德國密碼的經(jīng)驗(yàn)，期間和香農(nóng)曾有會(huì)晤，一起聊過通用圖靈機(jī)。戰(zhàn)后香農(nóng)去英國還回訪過圖靈，一起討論計(jì)算機(jī)下棋的問題。香農(nóng)內(nèi)向，以前從沒說過這段往事，直到

1982

年接受一次采訪時(shí)才提起。1950

年，香農(nóng)在《科學(xué)美國人》發(fā)表過一篇關(guān)于計(jì)算機(jī)下棋的文章。40克勞德·香農(nóng)(ClaudeShannon)信息論創(chuàng)始人克40AI領(lǐng)域著名預(yù)言o 1958年，Simon

&

Newelln 十年內(nèi)，計(jì)算機(jī)將成為國際象棋冠軍n 十年內(nèi)，計(jì)算機(jī)將發(fā)現(xiàn)和證明有意義的數(shù)學(xué)定理n 十年內(nèi)，計(jì)算機(jī)將能譜寫優(yōu)美的樂曲n 十年內(nèi)，計(jì)算機(jī)將能實(shí)現(xiàn)大多數(shù)的心理學(xué)理論41AI領(lǐng)域著名預(yù)言o 1958年，Simon&Newell41Selfridge)1955

年,

洛杉磯,

美國西部計(jì)算機(jī)聯(lián)合大會(huì)

(WesternJointComputer

Conference),“學(xué)習(xí)機(jī)討論會(huì)”(SessiononLearningMachine)。討論會(huì)的參加者中有兩個(gè)人參加了第二年的達(dá)特茅斯會(huì)議n 奧利弗·賽弗里奇

(Oliver

Selfridge),

維納最喜歡的學(xué)生n 艾倫·紐厄爾

(Alan

Newell)賽弗里奇發(fā)表了一篇關(guān)于模式識別的文章，而紐厄爾則探討了計(jì)算機(jī)是否能下棋。他們分別代表兩派觀點(diǎn)。討論會(huì)的主持人是神經(jīng)網(wǎng)絡(luò)的鼻祖之一皮茨

(Pitts)，他最后總結(jié)時(shí)說“

（一派人）企圖模擬神經(jīng)系統(tǒng)，而紐厄爾則企圖模擬心智? ? 但殊途同歸”這預(yù)示了隨后的幾十年人工智能關(guān)于“結(jié)構(gòu)與功能”兩條路線的”斗爭”。42Selfridge)1955年,洛杉磯,美國西部計(jì)算機(jī)42克勞德·香農(nóng)

(Claude

Shannon)信息論創(chuàng)始人克勞德·香農(nóng)

(Claude

Shannon)也被麥卡錫邀請參加了達(dá)特茅斯會(huì)議。當(dāng)時(shí)已是貝爾實(shí)驗(yàn)室的資深學(xué)者。香農(nóng)的碩士和博士論文都是關(guān)于如何實(shí)現(xiàn)布爾代數(shù)方面的，由當(dāng)時(shí)麻省理工學(xué)院校長布什(Bush)

親自指導(dǎo)。博士畢業(yè)后香農(nóng)去了普林斯頓高等研究院，曾和愛因斯坦、哥德爾、外爾

(Weyl)等共事。戰(zhàn)爭中，他一直在貝爾實(shí)驗(yàn)室做密碼學(xué)工作，阿蘭·圖靈

(Alan

Turing)

在

1943

年曾秘訪美國，和同行交流破解德國密碼的經(jīng)驗(yàn)，期間和香農(nóng)曾有會(huì)晤，一起聊過通用圖靈機(jī)。戰(zhàn)后香農(nóng)去英國還回訪過圖靈，一起討論計(jì)算機(jī)下棋的問題。香農(nóng)內(nèi)向，以前從沒說過這段往事，直到

1982

年接受一次采訪時(shí)才提起。1950

年，香農(nóng)在《科學(xué)美國人》發(fā)表過一篇關(guān)于計(jì)算機(jī)下棋的文章。43克勞德·香農(nóng)(ClaudeShannon)信息論創(chuàng)始人克43人工智能第一次浪潮的特點(diǎn)44o 結(jié)構(gòu)與功能n 功能主義占主流人工智能第一次浪潮的特點(diǎn)44o 結(jié)構(gòu)與功能這一時(shí)期的主要進(jìn)展45o 定理證明n 1956年，CMU的LT程序證明了數(shù)學(xué)家羅素（Russel）所著《數(shù)學(xué)原理》第二章的38條定理n 1959年，洛克菲勒大學(xué)教授王浩使用“王算法”，證明了《數(shù)學(xué)原理》全部350條定理n 1963年，CMU改進(jìn)的LT程序證明了《數(shù)學(xué)原理》第二章全部52條定理，該程序其后被改進(jìn)成GPS邏輯程序語言n Prolog產(chǎn)生式系統(tǒng)n 一個(gè)綜合DB

+

一組產(chǎn)生式規(guī)則

+

一個(gè)控制系統(tǒng)n 研究重點(diǎn)p 規(guī)則表達(dá)、規(guī)則生成、謂詞演算、知識獲取、...p 搜索算法、啟發(fā)式策略、…這一時(shí)期的主要進(jìn)展45o 定理證明第一次論戰(zhàn)461976年前后，由于四大預(yù)言實(shí)現(xiàn)遙遙無期，關(guān)于人工智能方法論的爭論風(fēng)聲漸緊1977年，曾是Simon研究生的Feigenbaum提出知識工程的概念，1981年，日本提出第五代計(jì)算所研究計(jì)劃，延續(xù)第一次浪潮的基本思路1960年代中后期，Minsky發(fā)表perceptrons，提出用神經(jīng)元網(wǎng)絡(luò)仿真人工智能1979年，

Minsky發(fā)表“K-lines:A

TheoryofMemory”第一次論戰(zhàn)461976年前后，由于四大預(yù)言實(shí)現(xiàn)遙遙無期，關(guān)人工智能的優(yōu)秀研究者o EdwardA("Ed")

Feigenbaumn 1936-n 1956年，CMU本科n 1960年，CMU博士n 1965-2000年，斯坦福大學(xué)教授n NAE院士（1986）n 1994年，

ACMTuringAwardp Forpioneeringthedesignandconstructionoflargescaleartificialintelligencesystems,demonstratingthepracticalimportanceandpotentialcommercialimpactofartificialintelligence

technology人工智能的優(yōu)秀研究者o EdwardA("Ed")Fe47人工智能的優(yōu)秀研究者o DabbalaRajagopal

("Raj")Reddyn 1937年，出生于印度n 1958年，印度Anne大學(xué)本科n 1966年，斯坦福大學(xué)博士n 1969年-，CMU教授n NAE院士（1984）n 中國工程院、中國科學(xué)院外籍院士n ACMTuringAward(1994)p “Forpioneeringthedesignandconstructionoflargescaleartificialintelligence

systems”48人工智能的優(yōu)秀研究者o DabbalaRajagopal2006）49人工神經(jīng)元網(wǎng)絡(luò)1975年，PaulWerbos提出了backpropagationalgorithm（BP算法），使得多層人工神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)變?yōu)榭赡?978年，甘利俊一出版《神經(jīng)元網(wǎng)絡(luò)的數(shù)理》1983年，Les

Valiant發(fā)表“A

theory

of

thelearnable,”AI神經(jīng)元網(wǎng)絡(luò)方法（Neural

Network

Approachto

AI）2006）49人工神經(jīng)元網(wǎng)絡(luò)人工智能與控制論ArtificialIntelligence/artificial

intelligenceCybernetics/cybernetics199050200019801960

1970AICybernetics人工智能與控制論ArtificialIntelligenc人體的神經(jīng)系統(tǒng)CNSprocessesinformationandgeneratesbehavioral

planPNSsensoryneuronscollect

informationPNSmotorneuronsrelaybehavioralplanto

musclesThenervoussystem

hasthreefunctions:1.Collect

information2.Processinformation3.Generate

behavior[MarkGlucketal,LearningandMemory,2007

]人體的神經(jīng)系統(tǒng)CNSprocessesinformati51突觸連接的可塑性lTherearemanydifferent

neurotransmitters.lEachtransmitterhasseveraldifferent

receptors.lTheprecisemessagedependsonthespecifictransmitter

andthespecificreceptor,somanydifferentmessagesarepossible.[MarkGlucketal,LearningandMemory,2007

]突觸連接的可塑性lTherearemanydiffer52大腦皮層的功能區(qū)lFrontal

lobes(額葉)

–

planning

and

performing

complex

actionslParietallobes(頂葉)–touch,feeling,senseofspacelOccipitallobes(枕葉)–visionlTemporallobes(顳葉)–hearingandtemporalprocessing[MarkGlucketal,LearningandMemory,2007

]大腦皮層的功能區(qū)lFrontallobes(額葉)–p53視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)Where

通路What

通路視點(diǎn)視點(diǎn)視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)Where通路What54視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)[NorbertKrügeretal,PAMI2013]視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)[NorbertKrü55視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)視覺信息處理的多通道和深層學(xué)習(xí)結(jié)構(gòu)56聚類模型-自組織映射神經(jīng)網(wǎng)絡(luò)(Self-Organization

Map,

SOM)SOM[T.Kohonen,

SCIP’1981]W0

W1W0’=W0+αW1,W1’=W1+

αW0+ +輸出層有橫向連接的神經(jīng)元把各自代表的數(shù)據(jù)相互拉近聚類模型-自組織映射神經(jīng)網(wǎng)絡(luò)(Self-Organizati57感知機(jī)(Perceptron,

1957)1Rosenblatt,Frank(1957),ThePerceptron--aperceivingandrecognizingautomaton.Report85-460-1,CornellAeronautical

Laboratory.l

線性分類模型l

使用差量法(Delta

Rule)進(jìn)行學(xué)習(xí)，在數(shù)據(jù)線性可分時(shí)可以證明收斂偏置輸出層y輸入層xW,b2ii 2minLoss

||

t

y

||iwji (t

j

y

j

)xi1 wx

b

0otherwisey

0感知機(jī)(Perceptron,1957)1Rosenbla58誤差反傳網(wǎng)絡(luò)(Back

Propagation

Net,

1986)McClellandJL,RumelhartDE,PDPResearchGroup.Paralleldistributedprocessing[J].Explorationsinthemicrostructureofcognition,1986,2.1偏置輸出層yR,c隱含層h1W,b輸入層xh(Wx

b)y(Rh

c)2ii 2iminLoss

||

t

y

||Loss

Loss

y hW y h

Wl

引入隱含層，可以進(jìn)行非線性分類l

理論上不限制隱含層個(gè)數(shù)的情況下可以擬合任意平滑曲線l

使用誤差反傳算法進(jìn)行快速學(xué)習(xí)誤差反傳網(wǎng)絡(luò)(BackPropagationNet,159支持向量機(jī)(Support

Vector

Machine,

1995)Cortes,C.;Vapnik,V.(1995)."Support-vectornetworks".MachineLearning20(3):

73.1偏置輸出層yw,b核映射層hl

約束分類器獲取類間最大Margin，推廣性能良好l

利用核函數(shù)處理非線性分類問題hi

(x,

ki)輸入層x22min12||w

||w.r.t t(wh

b)

1y

wh

by>1y<-1y=022||w

||2Margin支持向量支持向量機(jī)(SupportVectorMachine,60人工智能第二次浪潮的特點(diǎn)61o 結(jié)構(gòu)與功能n 結(jié)構(gòu)主義占優(yōu)勢人工智能第二次浪潮的特點(diǎn)61o 結(jié)構(gòu)與功能第三次浪潮（2006-至今）o 基于互聯(lián)網(wǎng)大數(shù)據(jù)的深度學(xué)習(xí)62第三次浪潮（2006-至今）o 基于互聯(lián)網(wǎng)大數(shù)據(jù)的深度學(xué)習(xí)6人類大腦基本信息n 1.4-1.5公斤，占體重2%n 功耗：20W，占人體的20%大腦皮層：意識與信息處理n 神經(jīng)元數(shù)~100B

（100

/

200

/1000億）n 水平分功能區(qū)。區(qū)內(nèi)密集連接，區(qū)間有側(cè)連接n 縱向分層6層。成柱(1~2M個(gè))，每柱10K個(gè)神經(jīng)元n 每個(gè)神經(jīng)元通過1000-10000突觸與其他神經(jīng)元相聯(lián)n 突觸總數(shù)~100T

（60

/150

/240

T）n 初級視皮層v1所在Brodmann

17區(qū)突觸1~2Tn 神經(jīng)元的放電頻率為200Hzo 新皮層的計(jì)算能力估計(jì)n 人腦：100B突觸×200Hz

=

20

P/s

@20W

n 天河2號：33.86

pfs @18×106W/chudler/facts.html#brain人類大腦基本信息63何謂機(jī)器學(xué)習(xí)AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperience

E“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”?！皺C(jī)器學(xué)習(xí)是對能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)?！?4何謂機(jī)器學(xué)習(xí)Acomputerprogramissa64機(jī)器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒有人為標(biāo)注的結(jié)果。常見的無監(jiān)督學(xué)習(xí)算法有聚類。半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間。增強(qiáng)學(xué)習(xí)通過觀察來學(xué)習(xí)做成如何的動(dòng)作。每個(gè)動(dòng)作都會(huì)對環(huán)境有所影響，學(xué)習(xí)對象根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。65機(jī)器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，65機(jī)器學(xué)習(xí)算法o 構(gòu)造條件概率：回歸分析和統(tǒng)計(jì)分類n 人工神經(jīng)網(wǎng)絡(luò)n 決策樹（Decision

tree）n 高斯過程回歸n 線性判別分析n 最近鄰居法n 感知器n 徑向基函數(shù)核n 支持向量機(jī)o 通過再生模型構(gòu)造概率密度函數(shù)（Probabilitydensityfunction）：n 最大期望算法（Expectation-maximizationalgorithm）n graphical

model：包括貝葉斯網(wǎng)和Markov隨機(jī)場n GenerativeTopographic

Mappingo 近似推斷技術(shù)n 馬爾可夫鏈（Markov

chain）蒙特卡羅方法n 變分法o 最優(yōu)化（Optimization）66機(jī)器學(xué)習(xí)算法o 構(gòu)造條件概率：回歸分析和統(tǒng)計(jì)分類66AIo

DeepBluebeatsKasparov(1997)n WonFredkin

Prizen NewellmedalsforGreenblatt,Berliner,Thompson,

etcp EssentialsteppingstonesforDeepBlue

SuccessAIoDeepBluebeatsKasparov(671997ChessWorldChampionTeam(TopImage)andChessPioneers(BottomImage)withFredkinandReddyTopImage:RajReddy,MurrayCampbell,CBHsu,andJosephHoaneJr.,Ed

FredkinBottomImage:MurrayCampbell,JoeCondon,RajReddy,KenThompson,CBHsu,RichardGreenblatt,LarryAtkin,HansBerliner,DavidSlate,AndreasNowatzyk,ThomasAnantharaman,GordonGoetsch,EdFredkin,JosephHoane

Jr1997ChessWorldChampionTeam68AIo MachineTranslation:GoogleTranslate

(2006+)n Tolerabletranslationamong60+

languagesn Deemedimpossible10years

agon RankedNo1inNISTevaluationin

2009n Accesstoverylargedatasetskey,notjust

statisticsAIo MachineTranslation:Googl69Jeoperdyo Feb.2011,withtwolastchampionsKenand

Brad70Jeoperdyo Feb.2011,withtwo）71o 非確定性信息處理與貝葉斯網(wǎng)絡(luò)n 以知識處理為核心的人工智能研究，常常遭遇非確定性難題n 以神經(jīng)元網(wǎng)絡(luò)為主的感知與識別系統(tǒng)，也會(huì)常常遭遇識別率天花板n 1984年，Judea

Peral

發(fā)表了啟發(fā)式搜索的論文：Heuristics:IntelligentSearchStrategiesforComputerProblemSolving，n 1985年，Judea

Peral

提出貝葉斯網(wǎng)絡(luò)概念o AI概率方法（ProbabilisticApproachto

AI））71o 非確定性信息處理與貝葉斯網(wǎng)絡(luò)人工智能的優(yōu)秀研究者本科士o LeslieGabriel

Valiantn 1949-n 1970年，King’s

College,

Cambridge

n 1974年，University

of

Warwick博n 1982年-，哈佛大學(xué)教授n NAS院士（2001）n 2010，

ACMTuringAwardp Fortransformativecontributionstothetheoryofcomputation,includingthetheoryofprobablyapproximatelycorrect(PAC)learning,thecomplexityofenumerationandofalgebraiccomputation,andthetheoryofparallelanddistributed

computing人工智能的優(yōu)秀研究者本科o LeslieGabrielV72人工智能的優(yōu)秀研究者o Judea

Pearln 1936-n 1960年，Technion本科n

1965年，PIB@NY博士n 1969年-，UCLA教授n NAE院士（1995）n 2010，

ACMTuringAwardp Forfundamentalcontributionstoartificialintelligencethroughthedevelopmentofacalculusforprobabilisticandcausal

reasoning人工智能的優(yōu)秀研究者o JudeaPearl7319601986（1975）2006感知機(jī)誤差反傳網(wǎng)絡(luò)深度網(wǎng)絡(luò)線性模型非線性非線性無解過擬合判別式無法學(xué)習(xí)深層生成式深度學(xué)習(xí)發(fā)展歷程19601986（1975）2006感知機(jī)誤差反傳網(wǎng)絡(luò)深度網(wǎng)7420062010(1989)2013深度網(wǎng)絡(luò)判別式生成式深度卷積網(wǎng)絡(luò)DropOut、DropConnect卷積網(wǎng)絡(luò)過擬合無法利用圖像先驗(yàn)卷積DropOutDropConnect深度學(xué)習(xí)發(fā)展歷程20062010(1989)2013深度網(wǎng)絡(luò)判別式生成式深度75)★海量圖像識別l

ImageNet(1000類圖像120+30萬張)l

2010:72%l

2011:74%l

2013:85%(11%(CNN)深度學(xué)習(xí)重大標(biāo)志性進(jìn)展-圖像識別)★海量圖像識別深度學(xué)習(xí)重大標(biāo)志性進(jìn)展-圖像識別76★

手寫數(shù)字識別l

MNIST(10類圖像6+1萬張)l

Human:99.8%l

2013:99.79%(CNN-DropConnect)深度學(xué)習(xí)重大標(biāo)志性進(jìn)展-字符識別★手寫數(shù)字識別深度學(xué)習(xí)重大標(biāo)志性進(jìn)展-字符識別7720092012★

語音識別

87.7%(深度)深度學(xué)習(xí)重大標(biāo)志性進(jìn)展-語音識別2009★語音識別87.7%(深度)深度學(xué)習(xí)重大標(biāo)志性進(jìn)78深度學(xué)習(xí)方法分類o 非監(jiān)督特征學(xué)習(xí)n Deep

Belief

Networks

(DBN,

深度信念網(wǎng)絡(luò)，Hinton2006)n Deep

Auto-Encoder(DAE,

深度自編碼機(jī),Bengio

etal

2010)n DeepBoltzmannMachine

(DBM,深度玻耳茲曼機(jī))o 全監(jiān)督分類識別n Convolutional

Neural

Networks

(CNN,卷積神經(jīng)網(wǎng)絡(luò)，LeCun1989)n DeepConvexNetwork(DCN,深度凸網(wǎng)絡(luò))n DeepStackingNetwork(DSN,

深度堆疊網(wǎng)絡(luò))深度學(xué)習(xí)方法分類o 非監(jiān)督特征學(xué)習(xí)79}}}}DBN/DBM/DAE(深度信念網(wǎng)絡(luò),

深度玻耳茲曼機(jī),

深度自編碼機(jī))緊致投影(判別式)數(shù)據(jù)重構(gòu)(產(chǎn)生式)非監(jiān)督深度學(xué)習(xí)構(gòu)造模塊：雙層全連接網(wǎng)絡(luò)(RBM,Auto-Encoder)}緊致投影數(shù)據(jù)重構(gòu)非監(jiān)督深度學(xué)習(xí)80誤差反響傳播(BP)層間施加局部連接先驗(yàn)，代替非監(jiān)督學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

(CNN)

[

Y.

LeCun,

et

al.,

Neural

Computation

1989

]監(jiān)督性深度學(xué)習(xí)誤差反響傳播(BP)層間施加局部連接先驗(yàn)，代替非監(jiān)督學(xué)習(xí)81卷積神經(jīng)網(wǎng)絡(luò)

(Convolutional

Neural

Net)非監(jiān)督學(xué)習(xí)+監(jiān)督學(xué)習(xí)卷積核 CIFAR-10,

Conv-AutoEncoder卷積核 Kyoto自然圖像數(shù)據(jù)庫,

Conv-RBM監(jiān)督性深度學(xué)習(xí)-CNN卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralN82深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)CELMCELMCELM…j

1l

1X

j

(X1

Wl

Ol)O1O2OLXLX1X2n構(gòu)造單元:CELM[Vinyals,etal.,NIPS’

2012]監(jiān)督性深度學(xué)習(xí)-DSN深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)83深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)原始數(shù)據(jù)第10層第20層監(jiān)督性深度學(xué)習(xí)-DSN第21層第23層第22層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)84深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)第24層第25層第26層監(jiān)督性深度學(xué)習(xí)-DSN第27層第29層第28層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)85深度堆疊網(wǎng)絡(luò)

(Deep

Stacking

Network)第35層第36層第37層監(jiān)督性深度學(xué)習(xí)-DSN第50層深度堆疊網(wǎng)絡(luò)(DeepStackingNetwork)86谷歌大腦

（Google

Brain）無標(biāo)注樣本谷歌大腦人臉、貓臉非監(jiān)督學(xué)習(xí)神經(jīng)元篩選最大的神經(jīng)網(wǎng)絡(luò)典型應(yīng)用谷歌圖像搜索谷歌語音谷歌眼鏡谷歌自駕車谷歌大腦（GoogleBrain）無標(biāo)注樣本谷歌大腦人臉87Facebook人臉識別

（Deep

Face）人臉三維對齊8層卷積網(wǎng)絡(luò)學(xué)習(xí)LFW數(shù)據(jù)庫97.25%準(zhǔn)確率，接近人類的97.53%！YTF數(shù)據(jù)庫91.4%準(zhǔn)確率典型應(yīng)用Facebook人臉識別（DeepFace）人臉三維對齊88微軟語音識別、翻譯&合成l

2012.10.25

在中國天津首秀l

實(shí)時(shí)語音識別、語言翻譯和語音合成l

誤差下降10%~20%,

提速30%l Deep+HMM典型應(yīng)用微軟語音識別、翻譯&合成l2012.10.25在中國天津89蘋果SIRI使用深度學(xué)習(xí)技術(shù)輔助語音識別與自然語言理解細(xì)節(jié)不明典型應(yīng)用蘋果SIRI使用深度學(xué)習(xí)技術(shù)輔助語音識別與自然語言理解典型應(yīng)90百度圖片內(nèi)容搜索、廣告投放、為你寫詩、百度翻譯使用深度學(xué)習(xí)技術(shù)進(jìn)行學(xué)習(xí)（CNN、深度條件隨機(jī)場?）典型應(yīng)用百度圖片內(nèi)容搜索、廣告投放、為你寫詩、百度翻譯使用深度學(xué)習(xí)技91AlphaGo對人工智能發(fā)展的作用好處：獲得全社會(huì)的關(guān)注，將可變現(xiàn)成成豐富研究的資源壞處：給人們的預(yù)期值太高92AlphaGo對人工智能發(fā)展的作用好處：獲得全社會(huì)的關(guān)注，將92Definition00000000000000000000000010

0000000000000000000000000000000000000000000000(e.g.wecanrepresenttheboardintoamatrix--likeform)s

(state)d=

1=*Theactualmodelusesotherfeaturesthanboardpositionsas

wellDefinition000000000s(93Definitions

(state)d=

1d=

2a

(action)Givens,pickthebest

aComputer

GoArtificialIntelligencesas'Definitions(state)d=1d=2a94ComputerGoAI–

AnImplementation

Idea?d=

1d=

2…Howaboutsimulatingallpossibleboard

positions?ComputerGoAI–AnImplementat95ComputerGoAI–

AnImplementation

Idea?d

=

1 d=

2d=

3……………ComputerGoAI–AnImplementat96d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultsComputerGoAI–AnImplementationIdea?d=1 d=2d=3…………d=maxDPr97d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultse.g.itwins13timesifthenextstonegetsplaced

here37,839

times431,320

timesChoosethe“nextaction/

stone”thathasthemostwin---countsinthe

full---scale

simulationComputerGoAI–AnImplementationIdea?d=1 d=2d=3………………d=maxD98ThisisNOTpossible;itissaidthepossibleconfigurationsoftheboardexceedsthenumberofatomsinthe

universeKey:ToReduceSearch

Space！ThisisNOTpossible;itissa99ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…d=

maxDWin?Loss?………IFthereisamodelthatcantellyouthatthesemovesarenotcommon/

probable(e.g.byexperts,etc.)

……ReducingSearchSpace1.Reduci100ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…………Removethesefromsearchcandidates

inadvance(breadth

reduction)…d=

maxDWin?Loss?ReducingSearchSpace1.Reduci101ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3……d=

maxDWin?Loss?Insteadofsimulatinguntilthemaximumdepth

..…ReducingSearchSpace2.Positi102ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3…V=

1V=

2…V=

10…IFthereisafunctionthatcanmeasure:V(s):“boardevaluationofstate

s”ReducingSearchSpace2.Positi103candidates”Learning:P(nextaction|currentstate

)=P(a|s

)candidates”Learning:P(next1041.Reducing

“actioncandidates”(1)Imitatingexpertmoves(supervised

learning)Current

StatePredictionModelNext

States1s2s2s3s3s4Data:OnlineGoexperts(5~9

dan)160Kgames,30Mboardpositions1.Reducing“actioncandidates”105candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

Boardcandidates”(1)Imitatingexper106candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

BoardThereare19X19=

361possible

actions(withdifferent

probabilit