人工智能芯片設(shè)計(jì)第4章-人工智能與深度學(xué)習(xí)

第四章：人工智能與深度學(xué)習(xí)人工智能芯片設(shè)計(jì)ArtificialIntelligenceChipDesign2人工智能2ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能人工智能（ArtificialIntelligence，簡稱AI）是一門研究如何使機(jī)器能夠模擬和擴(kuò)展人類思維方式與智能行為的科學(xué)。涵蓋了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、知識(shí)表示與推理、自然語言處理、計(jì)算機(jī)視覺、專家系統(tǒng)等眾多領(lǐng)域的研究。33ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning發(fā)展歷程44ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning到了20世紀(jì)90年代，研究者提出了一系列機(jī)器學(xué)習(xí)算法。21世紀(jì)初，GeoffreyHinto等人正式提出了深度學(xué)習(xí)這一概念。55ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能演化的其他方向強(qiáng)化學(xué)習(xí)聯(lián)邦學(xué)習(xí)可解釋人工智能多模態(tài)人工智能可持續(xù)和倫理人工智能6深度學(xué)習(xí)6ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度學(xué)習(xí)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)重要分支。深度學(xué)習(xí)主要使用神經(jīng)網(wǎng)絡(luò)解決問題，由于其表現(xiàn)相比于傳統(tǒng)算法有很大的提升，深度學(xué)習(xí)逐漸成為主流。77ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度學(xué)習(xí)的發(fā)展歷程深度學(xué)習(xí)起源于1943年。在1949年，赫布在他的論文中提出了赫布學(xué)習(xí)規(guī)則。1958年，在前面的算法基礎(chǔ)之上，美國一名科學(xué)家提出了感知器學(xué)習(xí)。20世界90年代，其發(fā)展進(jìn)入了瓶頸期。2006年，Hinton提出了解決方案。2012年，在AlexNet使用ReLU作為激活函數(shù)，解決了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中梯度消失的問題。8卷積神經(jīng)網(wǎng)絡(luò)8ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

MP神經(jīng)元結(jié)構(gòu)模型 99ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning算法特征局部特征連接相比于全連接網(wǎng)絡(luò)，局部連接網(wǎng)絡(luò)權(quán)重?cái)?shù)量和計(jì)算量也獲得了成倍的降低全連接局部連接1010ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning二維圖像中的卷積神經(jīng)網(wǎng)絡(luò)局部連接1111ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning權(quán)值共享下圖為3×3的卷積核在5×5的輸入特征圖上滑動(dòng)進(jìn)行卷積運(yùn)算。當(dāng)卷積核滑動(dòng)到輸入特征圖的其他位置時(shí)，連接權(quán)重保持不變，這種特性被稱為權(quán)值共享。二維卷積運(yùn)算過程1212ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采樣（池化）降采樣（池化）極大值池化（Maxpooling）平均值池化（Averagepooling）等等1313ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采樣（池化）圖中池化窗尺寸為2×2，步長為2，通過池化操作，將左圖轉(zhuǎn)化為右圖表示。極大值池化（Maxpooling）過程1414ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)卷積層激活函數(shù)層池化層dropout層分類器1515ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)1616ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的加速運(yùn)算卷積神經(jīng)網(wǎng)絡(luò)的加速算法（1）網(wǎng)絡(luò)稀疏化網(wǎng)絡(luò)稀疏化處理可以顯著降低參數(shù)規(guī)模，下圖為一種典型的深度壓縮方法。1717ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning1818ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

1919ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2020ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2121ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning（3）輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型典型代表：MobileNet，ShuffleNet，ShuffleNetV2等2222ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器Google公司針對(duì)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的高性能加速運(yùn)算處理器TPU的體系結(jié)構(gòu)如圖所示：TPU體系結(jié)構(gòu)2323ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器TPU的運(yùn)算核心是矩陣乘法單元?？刂凭€路部分…………＋＋＋＋結(jié)束數(shù)據(jù)部分和矩陣乘法單元工作原理2424ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器核心問題是如何匹配計(jì)算吞吐量和FPGA平臺(tái)提供的內(nèi)存帶寬。加速器主要包括處理單元（Processingelement，PE）、片上緩存、片外存儲(chǔ)以及片上/片外交互單元組成。計(jì)算資源……處理單元處理單元-1處理單元處理單元-2處理單元處理單元-n互聯(lián)片上緩存緩沖區(qū)1緩沖區(qū)2片外存儲(chǔ)片上/片外交互單元2525ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning運(yùn)算引擎卷積神經(jīng)網(wǎng)絡(luò)硬件加速器基于數(shù)據(jù)間的關(guān)系可以確定出PE與緩存區(qū)的組織關(guān)系，如圖所示：2626ArtificialIntelligenceChipDesign,

Lecture

04:A