智能計算系統(tǒng)：從深度學習到大模型 第2版課件 1、第一章-緒論

智能計算系統(tǒng)

第一章概述中國科學院軟件所李玲研究員liling@教師簡介陳云霽，男，1983年生，江西南昌人主要經(jīng)歷1997-2002 中國科大少年班

本科生2002-2007 中科院計算所

碩博生 2007-2012 中科院計算所

助研、副研2012- 中科院計算所

研究員

2021- 中科院計算所

副所長從2008年起從事人工智能和芯片設計交叉研究曾獲國家杰出青年科學基金、全國五一勞動獎章、中國五四青年獎章、全國創(chuàng)新爭先獎狀、中國青年科技獎等2教師簡介李玲，女，研究員主要經(jīng)歷2000

-

2004

武漢大學學士2004

-

2009中國科學院計算技術研究所博士 2009

-

2013中國科學院計算技術研究所

助理研究員2013

-

2017中國科學院自動化研究所

副研究員

2017

-中國科學院軟件研究所

研究員研究方向和主要成果研究方向：智能計算主要成果：在相關領域發(fā)表多篇CCF

A類期刊和會議論文，獲得了CCFA類會議MICRO’14的最佳論文獎（該會議五十年來唯一一次美國以外國家獲此獎），中科院杰出科技成就獎等獎勵。作為負責人主持過多項國家自然科學基金項目、國家重點研發(fā)計劃課題、中科院先導C類專項課題等。3教師簡介李威，女，副研究員主要經(jīng)歷2001

-

2005中國科學技術大學本科2005

-

2010中國科學院電子學研究所博士 2010

-

2016中國科學院電子學研究所

助理研究員2016

-

2017中國科學院電子學研究所

副研究員

2017

-

中國科學院計算技術研究所

副研究員研究方向和主要成果研究方向：高性能智能計算系統(tǒng)設計技術主要成果：先后參與了多項國家重點研發(fā)計劃項目、國家科技重大專項項目、863項目、中科院國際合作項目等。作為核心成員參與了多款深度學習處理器的研發(fā)，發(fā)表或錄用學術論文近30篇，申請專利近20項。4提綱為什么要開這門課為什么來上這門課人工智能智能計算系統(tǒng)驅(qū)動范例5為什么要開這門課？這不是理論力學課，世界上不存在這樣一門課程中科院的研究員并沒有上課的義務主講研究生《并行系統(tǒng)》（13-15）和本科生《數(shù)字電路》（16-17）擔任研究生課《高性能計算機系統(tǒng)》（07-11）助教巨大的科研工作壓力思考、閱讀和寫作管理數(shù)百人的芯片研制團隊承擔幾十項科研項目無休止的會議和評審6人工智能技術分層應用層算法層系統(tǒng)層芯片層人工智能底層科技的缺失可能使得我國智能產(chǎn)業(yè)成為空中樓閣7AI期刊出版物8AI會議出版物9發(fā)表論文機構10人工智能技術分層應用層算法層系統(tǒng)層芯片層人工智能底層科技的缺失可能使得我國智能產(chǎn)業(yè)成為空中樓閣11人工智能方向應該培養(yǎng)什么樣的人才？兩個參考問題汽車專業(yè)應該培養(yǎng)什么樣的人才？同濟大學汽車專業(yè)培養(yǎng)目標：具有從事汽車、發(fā)動機和汽車電子的研究、設計、制造及汽車營銷和物流、車身與空氣動力學、汽車試驗學等方面工作的基本能力計算機專業(yè)應該培養(yǎng)什么樣的人才？計算機專業(yè)當培養(yǎng)計算機整機或子系統(tǒng)的設計者和研究者人工智能方向應該培養(yǎng)人工智能（子）系統(tǒng)的設計者和研究者12對課程體系的建議只包含各類機器學習算法、視聽覺應用這條軟件線，只能算是“人工智能應用專業(yè)”或者“人工智能算法專業(yè)”谷歌有世界上最大的AI算法研究團隊，然而谷歌董事長JohnHennessy是計算機體系結(jié)構科學家，圖靈獎得主谷歌AI的總領導者JeffDean是計算機系統(tǒng)研究者谷歌AI最令人矚目的三個進展都是系統(tǒng)（Tensorflow、AlphaGo、TPU），而不僅僅是某個特定算法，算法只是系統(tǒng)的一個環(huán)節(jié)OpenAIChatGPT的成功很大程度上來源于系統(tǒng)的發(fā)展10000個A100芯片組成的復雜系統(tǒng)每次訓練花費超過1000萬美元應當包含系統(tǒng)線的課程，幫助學生理解系統(tǒng)到底是怎樣執(zhí)行的13對課程體系的建議在高年級本科生（或者碩士研究生）階段，應當設置一門系統(tǒng)類課程，能幫助同學實現(xiàn)對當前主流智能軟硬件體系的融會貫通，具備自己動手完成一個完整智能系統(tǒng)的能力。這門課程就是智能計算系統(tǒng)14智能計算系統(tǒng)課程對學生的價值全面的實踐能力沒有系統(tǒng)知識、只會調(diào)參，對整個系統(tǒng)的耗時、耗電毫無感覺，不具備把一個算法在實際系統(tǒng)上部署起來的能力的學生做不出真東西會用Tensorflow賺20萬人民幣，會設計Tensorflow賺20萬美元更強的研究能力能夠從更廣闊的視野和維度開展研究，不只是盯著準確率形成系統(tǒng)思維，擁有科研道路更廣闊的舞臺15智能計算系統(tǒng)課程對教師的價值《禮記·學記》“教學相長”、開闊思路美國計算機方向Top4高校Stanford、CMU、UCBerkley和MIT以及多個國際單位聯(lián)合發(fā)布了白皮書——“SysML:TheNewFrontierofMachineLearningSystems”包括YannLeCun、MichaelI.Jordan、BillDally和JeffDean等培養(yǎng)教授智能計算系統(tǒng)課程的教師，能搶占這一國際熱點方向、也是未來重要學科增長點的先機16什么是智能計算系統(tǒng)？智能計算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計算系統(tǒng)通常是集成CPU和智能芯片的異構系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計算編程環(huán)境（包括編程框架和編程語言）17智能計算系統(tǒng)的形態(tài)數(shù)據(jù)中心智能手機嵌入式設備超級計算機語音識別自動翻譯藥物研制圖像分析商業(yè)分析廣告推薦機器人消費類電子18智能計算系統(tǒng)具有重大價值上世紀人類從工業(yè)時代過渡到信息時代現(xiàn)在已經(jīng)發(fā)展到向智能時代進化的拐點中國需要一大批智能計算系統(tǒng)的開發(fā)者和設計者19智能計算系統(tǒng)課程的三大實際困難沒有參考課程沒有現(xiàn)成師資沒有成熟教材20開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎21開創(chuàng)深度學習處理器方向1GHz，0.485W@65nm，通用CPU1/10的面積，100倍的性能2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎22開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎0.6GHz，16W@28nm，主流GPU21倍性能，300倍性能功耗比23開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎除人工神經(jīng)網(wǎng)絡，還支持k-NN、SVM、Bayes等其它主流ML方法GPU1/100面積功耗，相當?shù)男阅?4開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎Cambricon指令集25開創(chuàng)深度學習處理器方向已有十余種智能手機（共近億臺）集成寒武紀，實測能效提升一個數(shù)量級2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎26開創(chuàng)深度學習處理器方向國際上同期峰值速度最高的智能芯片MLU1002007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎27開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎28MLU270性能提升4倍開創(chuàng)深度學習處理器方向2007：開始智能和芯片交叉研究長期受到科學院自有項目的支持2013：國際首個深度學習處理器架構CCFA類會議ASPLOS’14最佳論文亞洲首獲體系結(jié)構四大頂會最佳論文2014：國際首個多核深度學習處理器架構CCFA類會議MICRO’14最佳論文2015：國際首個通用機器學習處理器CCFA類會議ASPLOS’152016：國際首個智能指令集CCFA類會議ISCA'16最高分論文2017：國際首個集成AI處理器的手機華為Mate102018：國際上同期峰值速度最高的智能芯片MLU1002019：MLU270性能提升4倍2022：MICRO2022最佳論文Runner-up獎29Cambricon-P是一種面向任意精度計算（APC）的新型處理器體系結(jié)構十年堅持，研制國際首個深度學習處理器,推動深度學習處理器成為計算機體系結(jié)構領域主要熱點之一2016-2018三年CCFA類會議ISCA共近1/4論文引用被深度學習開創(chuàng)者、圖靈獎獲得者Bengio的深度學習教科書引用兩百個國際機構(哈佛、斯坦福、MIT、CMU、普林斯頓、UCLA、Intel、谷歌、微軟等)跟蹤上百位國際知名學者（2位圖靈獎得主、10余位中美院士、41位ACM會士、120位IEEE會士

）引用寒武紀的國際影響30寒武紀的國際影響2018年2月9日Science雜志(vol.358,iss.6376)高度評價寒武紀的研究AI芯片的引領者(theleaders)專用芯片體系結(jié)構的先驅(qū)(pioneeringintermsofspecializedchiparchitecture)開創(chuàng)性進展(groundbreakingadvances)31寒武紀的國內(nèi)影響孵化寒武紀公司，科創(chuàng)板首個智能芯片公司16年上半年成立，天使輪估值近1億美元，融資近0.1億美元17年上半年A輪估值近10億美元，融資近1億美元18年上半年B輪估值超過25億美元，融資4億美元19年上半年B+輪估值超過35億美元，融資4億美元投資人包括國投、國風投、國新、中金、中信、TCL、阿里、聯(lián)想、訊飛元禾、中科院投資、圖靈等2020年科創(chuàng)板上市目前超過1500人32我們的嘗試2018年，我們在中國科學院大學計算機學院申請開設一門人工智能方向的系統(tǒng)課程，名為《智能計算系統(tǒng)》面向人群：計算機、軟件工程和人工智能方向研究生和高年級本科生課程目的：希望能培養(yǎng)同學對智能計算完整軟硬件技術棧（包括基礎智能算法、智能計算編程框架、智能計算編程語言、智能芯片體系結(jié)構等）融會貫通的理解前置課程要求：C/C++，計算機組成原理，算法導論（機器學習）

33智能計算系統(tǒng)課程開設情況34逐步解決課程、師資、教材三座大山課程ppt、講稿、錄像、代碼都已公開，提供云實驗環(huán)境2019年8月教指委組織了第一次智能計算系統(tǒng)課程導教班（西安）《智能計算系統(tǒng)》教材登上2020年3月京東大學教材榜第2名《智能計算系統(tǒng)實驗教程》于2021年9月份正式出版上市《AIComputingSystems》于2023年2月正式出版上市智能計算系統(tǒng)課程已推廣至國科大、北大、中科大、天大、北航、南開、北理工、武大等百余所高校部分開設課程的高校35提綱為什么要開這門課為什么來上這門課人工智能智能計算系統(tǒng)驅(qū)動范例36為什么來上這門課？好學生就是要上課具備實際解決問題能力是上課的目標37計算機專業(yè)培養(yǎng)計劃的正面啟示我國各高校計算機專業(yè)培養(yǎng)計劃都包含計算機組成原理、操作系統(tǒng)、編譯原理、計算機體系結(jié)構等硬件系統(tǒng)類課程38計算機專業(yè)培養(yǎng)計劃的負面啟示課程條塊分割，學生不能融會貫通做出一個完整系統(tǒng)，導致我國信息產(chǎn)業(yè)全棧式人才缺乏，核心硬科技競爭力缺失39應用驅(qū)動、全棧貫通的課程體系智能算法編程語言系統(tǒng)軟件體系結(jié)構應用牽引一門幫助學生學以致用、形成全局系統(tǒng)觀的工科課程40課程目標和目的中國需要一大批智能基礎設施的開發(fā)者和設計者專業(yè)普及課程應用驅(qū)動，全棧貫通智能計算系統(tǒng)建立智能計算系統(tǒng)設計及應用的知識體系掌握智能應用開發(fā)的基本技能培養(yǎng)開展智能計算系統(tǒng)基礎研究的興趣和能力技能融合創(chuàng)造能用智能計算系統(tǒng)，能開發(fā)智能應用實現(xiàn)對智能計算軟硬件技術棧的貫通理解創(chuàng)造未來智能計算系統(tǒng)的科研基礎41課程要求C/C++計算機體系結(jié)構機器學習/算法導論42課程考核不點名、不布置作業(yè)、不抓人，來去自由考核理念想要知識的同學收獲知識想要學分的同學收獲學分總分100分實驗80%期末考試20%43課程提綱44第一章 概述

第二章 深度學習基礎

第三章 深度學習應用

第四章 編程框架使用

第五章 編程框架機理

第六章 面向深度學習的處理器原理

第七章 深度學習處理器架構

第八章 智能編程語言第九章大模型計算系統(tǒng)

課程學時安排4540學時內(nèi)容上課學時第一章 概述3學時第二章 深度學習基礎3學時第三章 深度學習應用9學時第四章 編程框架使用6學時第五章 編程框架機理3學時第六章 面向深度學習處理器原理3學時第七章 深度學習處理器架構3學時第八章 智能編程語言4學時第九章大模型計算系統(tǒng)2學時期末復習+期末考試4學時我們的又一嘗試46學生要花50-60小時左右的課余時間動手做實驗，才能成為合格的智能計算系統(tǒng)設計者近年來，我們不僅著手于理論教材的改版，而且著力于為智能計算系統(tǒng)實驗教材——《智能計算系統(tǒng)實驗教程》的編寫與改版目的：為老師指導實驗教學提供依據(jù)，為學生查閱實驗中“疑難雜癥”提供參考今年，同步開設了《智能計算系統(tǒng)開發(fā)與實踐》實驗課僅通過理論學習無法把智能計算系統(tǒng)知識融會貫通智能計算系統(tǒng)實驗內(nèi)容47軟硬件技術棧分階段實驗綜合實驗及大模型實驗智能計算系統(tǒng)實驗內(nèi)容48軟硬件技術棧分階段實驗綜合實驗及大模型實驗利用三層全連接神經(jīng)網(wǎng)絡識別手寫數(shù)字，主要技能點包括：全連接神經(jīng)網(wǎng)絡的正向傳播隨機梯度下降法反向傳播設計優(yōu)化方法智能計算系統(tǒng)實驗內(nèi)容49軟硬件技術棧分階段實驗綜合實驗及大模型實驗CPU、DLP平臺上的VGG圖像分類及非實時風格遷移，主要技能點包括：卷積神經(jīng)網(wǎng)絡的網(wǎng)絡層及架構基于VGG的圖像分類基于VGG的非實時風格遷移算法智能計算系統(tǒng)實驗內(nèi)容50軟硬件技術棧分階段實驗主要技能點包括：編程框架Pytorch的編程模型的基本用法基于Pytorch的圖像分類以及實時圖像風格遷移預測基于Pytorch的實時深度風格遷移訓練自定義Pytorch算子綜合實驗及大模型實驗智能計算系統(tǒng)實驗內(nèi)容51軟硬件技術棧分階段實驗BCL算子開發(fā)與集成與BCL性能優(yōu)化實驗，主要技能點包括：智能計算系統(tǒng)抽象架構智能編程模型智能編程語言基礎智能應用編程接口功能調(diào)試接口及工具性能調(diào)優(yōu)接口及工具綜合實驗及大模型實驗智能計算系統(tǒng)實驗內(nèi)容52軟硬件技術棧分階段實驗設計深度學習處理器中高效支持卷積運算的運算器，主要技能點包括：算法計算特征和訪存特征分析深度學習運算器設計編譯調(diào)試仿真綜合實驗及大模型實驗智能計算系統(tǒng)實驗內(nèi)容53軟硬件技術棧分階段實驗實現(xiàn)不同領域的應用部署及優(yōu)化，主要技能點包括：模型推理：Tacotron2語音合成模型訓練：YOLOv5目標檢測模型訓練：BERT自然語言處理綜合實驗及大模型實驗智能計算系統(tǒng)實驗內(nèi)容54軟硬件技術棧分階段實驗實現(xiàn)大模型的應用部署及優(yōu)化，主要技能點包括：模型推理：Stable_diffusion基于Llama2實現(xiàn)聊天機器人基于CodeLlama實現(xiàn)代碼生成綜合實驗及大模型實驗實驗環(huán)境55硬件平臺軟件平臺CPU平臺DLP平臺：集成了4個智能處理器簇，以PCIe加速卡的形式提供給用戶，峰值算力128T，支持多種數(shù)據(jù)類型智能計算系統(tǒng)平臺集成了深度學習處理器DLP，并提供了配套軟件開發(fā)環(huán)境DLP硬件的軟件環(huán)境DLP芯片硬件架構DLP硬件的軟件環(huán)境包括編程框架、高性能庫CNNL、智能編程語言BCL及編譯器、運行時庫及驅(qū)動、開發(fā)工具包及領域?qū)Ｓ瞄_發(fā)包提綱為什么要開這門課為什么來上這門課人工智能智能計算系統(tǒng)驅(qū)動范例56智能時代上世紀人類從工業(yè)時代過渡到信息時代現(xiàn)在已經(jīng)發(fā)展到向智能時代進化的拐點蒸汽機集成電路智能計算系統(tǒng)57中國需要一大批智能計算系統(tǒng)的開發(fā)者和設計者國家戰(zhàn)略58國家戰(zhàn)略59加拿大于2017年3月正式推出了第一個國家人工智能戰(zhàn)略；迄今為止，總共發(fā)布了62個國家人工智能戰(zhàn)略。發(fā)布戰(zhàn)略的數(shù)量在2019年達到峰值。企業(yè)投入百度將AllinAI，我們在AI時代的核心戰(zhàn)略就是開放賦能，我們的將來必須建立在與每個開發(fā)者共贏的基礎上。[前COO陸奇@百度開發(fā)者大會2017]AIinAll，AI技術…能夠真正和各行各業(yè)實際應用結(jié)合在一起，從而讓AI新技術能夠得到實際價值的發(fā)揮。[COO任宇昕@騰訊全球合作伙伴大會2017]60PioneeringresearchonthepathtoAGI

[2015]未來3年阿里巴巴在技術研發(fā)上的投入將超過1000億人民幣.[馬云@2017杭州·云棲大會]研究趨勢AI相關論文指數(shù)增長61arXivcategoriesofAIandMLFrom:Forecastingthefutureofartificialintelligencewithmachinelearning-basedlinkpredictioninanexponentiallygrowingknowledgenetwork,nature,2023.研究趨勢2015至2021年，AI相關專利數(shù)量增長30多倍，復合年增長率76.9%62高等教育63AI新創(chuàng)公司64投資規(guī)模65在過去的十年里，與人工智能相關的投資增長了十三倍就業(yè)機會66國內(nèi)就業(yè)機會67AI領域人才緊缺度增加，研發(fā)崗位平均薪資漲幅明顯68參數(shù)規(guī)模大模型參數(shù)規(guī)模已達萬億級！68SNARCPerceptronMark-I、CAPS淺層神經(jīng)網(wǎng)絡芯片2010202019401980深度學習處理器下一代智能計算系統(tǒng)？LeNet-5GPT-3/ChatGPTVGG19DenseNet-201GPT-1單層神經(jīng)網(wǎng)絡芯片單層神經(jīng)網(wǎng)絡DianNao、MLU、TPU多層神經(jīng)網(wǎng)絡深層神經(jīng)網(wǎng)絡神經(jīng)元MP101511011106AlexNetResNet-152NETTalkALVINNT5神經(jīng)網(wǎng)絡參數(shù)規(guī)模將達到1015！2025人腦突觸規(guī)模約為1015GoogleNetGPT-2BLOOM算力需求69五年十倍五年一萬倍lfw人臉測試準確度99%（成人僅97%）AlphaGo戰(zhàn)勝李世石人工智能算法在多種應用上接近或超過了人類水平人工智能不斷飛速發(fā)展語音速記戰(zhàn)勝人類專業(yè)速記員70什么是人工智能人工智能：人制造出來的機器所表現(xiàn)出來的智能強人工智能或通用人工智能：具備與人類同等智慧、或超越人類的人工智能，能表現(xiàn)正常人類所具有的所有智能行為弱人工智能：能完成某種特定具體任務的人工智能，計算機科學的非平凡應用71人工智能的三次熱潮721956年達特茅斯人工智能研討會73人工智能的三次熱潮74人工智能都在研究什么？75人工智能三個流派行為主義：基于控制論，構建感知-動作型控制系統(tǒng)符號主義：基于符號邏輯的方法，用邏輯表示知識和求解問題連接主義：基于大腦中神經(jīng)元細胞連接的計算模型，用人工神經(jīng)網(wǎng)絡來擬合智能行為76符號邏輯的一個例子77一階謂詞邏輯符號主義的困難：邏輯，常識，求解器邏輯：未找到能表述世間所有知識的簡潔邏輯體系常識：無窮無盡的常識求解器：命題邏輯判定NP完全，一階謂詞邏輯不可判定78更本質(zhì)的問題人的智能主要是符號智能嗎？符號主義最本質(zhì)的問題是只考慮了理性認識的智能。人類的智能包括感性認識（感知）和理性認識（認知）兩個方面人類語言的例子：詞匯，時態(tài)，格，數(shù)字79連接主義：人工神經(jīng)網(wǎng)絡1943，

神經(jīng)元模型，McCulloch和Pitts，第一波神經(jīng)網(wǎng)絡1949，《TheOrganizationofBehaviour》，Hebb學習

1958，感知機模型（preceptron），Rosenblatt1986，BP反向傳播訓練方法，Rumelhart、Hinton和Williams，第二波神經(jīng)網(wǎng)絡1998，卷積神經(jīng)網(wǎng)絡，Lecun2000，自然語言模型，Bengio2006，深度置信網(wǎng)絡（DBN），Hinton,第三波神經(jīng)網(wǎng)絡2012，AlexNet（Dropout），Hinton團隊贏得ImageNet比賽ILSVRC的冠軍2015，DeepResidualNetwork，AlphaGo2016,生成對抗網(wǎng)絡，GAN2017,Transformer自然語言處理2018，BERT,GPT自然語言處理2020，ViT,GPT圖像處理2022，ChatGPT聊天機器人802024，Sora根據(jù)提示詞生成的視頻Prompt:Photorealisticcloseupvideooftwopirateshipsbattlingeachotherastheysailinsideacupofcoffee.人工神經(jīng)網(wǎng)絡*開始流行時間81人工神經(jīng)元軸突細胞體樹突82生物神經(jīng)元：人工神經(jīng)元=老鼠：米老鼠一個神經(jīng)元的單層感知機1-1101-11-100第一代，單層感知機83多層+多個神經(jīng)元1990s如今第二代，MLPSVMs第三代，深度神經(jīng)網(wǎng)絡84深而大的深度神經(jīng)網(wǎng)絡85十億參數(shù)Le,Q.V.,Ranzato,M.A.,Monga,R.,Devin,M.,Chen,K.,Corrado,G.S.,…Ng,A.Y.(2012).BuildingHigh-levelFeaturesUsingLargeScaleUnsupervisedLearning.InInternationalConferenceonMachineLearning.110億參數(shù)Coates,A.,Huval,B.,Wang,T.,Wu,D.J.,&Ng,A.Y.(2013).Deeplearningwithcotshpcsystems.InInternationalConferenceonMachineLearning.6千萬參數(shù)Krizhevsky,A.,Sutskever,I.,&Hinton,G.(2012).Imagenetclassificationwithdeepconvolutionalneuralnetworks.InAdvancesinNeuralInformationProcessingSystems(pp.1–9).ResNet152層BrownT,MannB,RyderN,etal.Languagemodelsarefew-shotlearners[J].Advancesinneuralinformationprocessingsystems,2020,33:1877-1901.1750億深而大的深度神經(jīng)網(wǎng)絡多層大規(guī)模人工神經(jīng)網(wǎng)絡86深度神經(jīng)網(wǎng)絡的組織方式TreeCarConvolutionConvolutionClassificationFeaturemapPooling87深度學習工作機理What’sdoesnetworksee?Zieler’snetworkvisualization88深度學習工作機理分類器89深度學習有意思的小應用/czaoth/p/6755609.html90深度學習的局限性深度學習是一把梯子，而不是火箭泛化能力有限缺乏邏輯推理能力缺乏可解釋性魯棒性欠佳91提綱為什么要開這門課為什么來上這門課人工智能智能計算系統(tǒng)驅(qū)動范例92什么是智能計算系統(tǒng)智能計算系統(tǒng)是智能的物質(zhì)載體現(xiàn)階段的智能計算系統(tǒng)通常是集成CPU和智能芯片的異構系統(tǒng)，軟件上通常包括一套面向開發(fā)者的智能計算編程環(huán)境（包括編程框架和編程語言）93異構智能計算系統(tǒng)為什么采用異構智能計算系統(tǒng)？近十年來通用CPU的計算能力增長近乎停滯，而智能計算能力的需求在不斷以指數(shù)增長，二者形成了剪刀差例如，寒武紀深度學習處理器能夠以比通用CPU低一個數(shù)量級的能耗，達到100倍以上的智能處理的速度異構系統(tǒng)在提高性能的同時，也帶來了編程上的困難一般會集成一套編程環(huán)境，方便程序員快速便捷地開發(fā)高能效的智能應用程序深度學習編程框架包括PyTorch、TensorFlow等深度學習編程語言包括CUDA語言和BCL語言等94為什么需要智能計算系統(tǒng)和李世石下一盤圍棋電費數(shù)千美元的AlphaGo1.6萬個CPU核學一周識別貓臉的谷歌大腦人工智能必須有其核心物質(zhì)載體95為什么需要智能計算系統(tǒng)和李世石下一盤圍棋電費數(shù)千美元的AlphaGo1.6萬個CPU核學一周識別貓臉的谷歌大腦人工智能必須有其核心物質(zhì)載體961萬個A100訓練1個月的ChatGPT三代智能計算系統(tǒng)第一代智能計算系統(tǒng)：1980年代，面向符號主義智能處理的專用計算機（Prolog機，LISP機）第二代智能計算系統(tǒng)：2010年代，面向連接主義智能處理的專用計算機（深度學習計算機）第三代智能計算系統(tǒng)：未來強人工智能/通用人工智能的載體97第一代智能計算系統(tǒng)1975，MITAILab的Greenblatt研制成功LISP機CONS1978，MITAILab發(fā)布CONS的后繼，CADR1980s，發(fā)展高峰

Symbolics(3600,3640,XL1200,MacIvory）LispMachinesIncorporated(LMILambda)TexasInstruments(ExplorerandMicroExplorer）Xerox(Interlisp-Dworkstations)日本，五代機Prolog機，1983，DavidH.D.WarrenWarrenAbstractMachine1980s末到1990s初，AIwinter，第一代智能機市場坍塌98第一代智能計算系統(tǒng)LISP機（MIT博物館）Symbolics364099第一代智能計算系統(tǒng)High-levellanguagecomputerarchitectureOS的編程語言和硬件“統(tǒng)一”化，如LISP只針對特定語言的優(yōu)化局限性沒有太多的實際應用需求由于摩爾定律發(fā)展，性能比不上CPU貴，幾十萬美元一臺100第二代智能計算系統(tǒng)面向連接主義（深度學習）處理的計算機或處理器第二代智能計算系統(tǒng)的優(yōu)勢深度學習有大量實際的工業(yè)應用，已經(jīng)形成了產(chǎn)業(yè)體系，因此相關研究能得到政府和企業(yè)的長期資助摩爾定律在21世紀發(fā)展放緩，通用CPU性能增長停滯，專用智能計算系統(tǒng)的性能優(yōu)勢越來越大因此，在可預見的將來，第二代智能計算系統(tǒng)還將長期健壯發(fā)展，持續(xù)迭代優(yōu)化101第二代智能計算系統(tǒng)圖像識別語音識別廣告推薦游戲競技自動駕駛汽車移動設備客戶端物端設備服務器氣象預報超級計算機DRAGON智能計算系統(tǒng)102第二代智能計算系統(tǒng)美國智能計算系統(tǒng)代表“頂點”（Summit）浮點運算速度峰值達每秒20億億次（200PFlops）中國智能計算系統(tǒng)代表“曙光7000”浮點運算速度峰值達每秒30億億次（300PFlops）103第二代智能計算系統(tǒng)104第三代智能計算系統(tǒng)展望大模型的發(fā)展為第三代智能計算系統(tǒng)的發(fā)展提供了一種可能隨著智能計算系統(tǒng)計算能力的逐步增強，深度學習大模型可以變得越來越大，甚至在規(guī)模上超過人腦，這將不僅僅是把個別弱人工智能問題做得更好，而是能逐步逼近強人工智能，從而