北京航空航天大學(xué)-模式識(shí)別2021年春季-模式識(shí)別八深度神經(jīng)網(wǎng)絡(luò)

第八章深度神經(jīng)網(wǎng)絡(luò)

人工智能

Laboratoryofintelligencerecognitionandimageprocessing

2018年圖靈獎(jiǎng)

YannLeCunGeoffreyHintonYoshuaBengio

Laboratoryofintelligencerecognitionandimageprocessing

2018年圖靈獎(jiǎng)

Laboratoryofintelligencerecognitionandimageprocessing

GeoffreyHinton

谷歌副總裁兼工程研究員，GoogleBrain

VectorInstitute的首席科學(xué)顧問

同時(shí)也是多倫多大學(xué)的名譽(yù)大學(xué)教授。

Laboratoryofintelligencerecognitionandimageprocessing

GeoffreyHinton

反向傳播二在1986年的一篇論文中，“學(xué)習(xí)誤差傳

播內(nèi)部表示“與DavidRumelhaD和Ronald

Williams,Hinton證明神經(jīng)網(wǎng)絡(luò)反向傳播算法，允

許發(fā)現(xiàn)自己的內(nèi)部表示的數(shù)據(jù)，使它可以使用神經(jīng)

網(wǎng)絡(luò)來解決問題，以前認(rèn)為是無可奈何。反向傳播

算法是目前大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)算法。

玻爾茲曼機(jī)：1983年，Hinton和Terrence

Sejnowski一起發(fā)明了玻爾茲曼機(jī)器，這是第一批

能夠?qū)W習(xí)神經(jīng)元內(nèi)部表征的神經(jīng)網(wǎng)絡(luò)之一，這些

神經(jīng)元不是輸入或輸出的一部分。

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)：2012年，Hinton和他的學(xué)

生亞AlexKrizhevsky和IlyaSutskever一起，利用校

正的線性神經(jīng)元和缺失正則化改進(jìn)了卷積神經(jīng)網(wǎng)

絡(luò)。在著名的ImageNet比賽中，Hinton和他的學(xué)

生幾乎將物體識(shí)別的錯(cuò)誤率減半，重塑了計(jì)算機(jī)

視覺領(lǐng)域。

Laboratoryofintelligencerecognitionandimageprocessing

YannLeCun

紐約大學(xué)的教授

Facebook的副總裁和首席人工智能科學(xué)家。

Laboratoryofintelligencerecognitionandimageprocessing

YannLeCun

卷積神經(jīng)網(wǎng)絡(luò)：在20世紀(jì)80年代，LeCun開

發(fā)了卷積神經(jīng)網(wǎng)絡(luò)，這是該領(lǐng)域的一個(gè)基本

原理，對(duì)于提高深度學(xué)習(xí)的效率至關(guān)重要。

如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計(jì)算機(jī)視覺以

及語音識(shí)別、語音合成、圖像合成和自然語

言處理領(lǐng)域的行業(yè)標(biāo)準(zhǔn)。

改進(jìn)后的反向傳播算法：LeCun提出了早期

版本的反向傳播算法(backprop),并基于變

分原理對(duì)其進(jìn)行了清晰的推導(dǎo)。他在加速反

向傳播算法方面的工作包括描述兩種加速學(xué)

習(xí)時(shí)間的簡單方法。

拓寬神經(jīng)網(wǎng)絡(luò)的視野：LeCun還被譽(yù)為為神

經(jīng)網(wǎng)絡(luò)開發(fā)了更廣闊的視野，例如，在識(shí)別

圖像的背景下，他研究了如何在神經(jīng)網(wǎng)絡(luò)中

學(xué)習(xí)分層特征表示一一這一概念現(xiàn)在經(jīng)常用

于許多識(shí)別任務(wù)。

Laboratoryofintelligencerecognitionandimageprocessing

YoshuaBengio

蒙特利爾大學(xué)教授

魁北克人工智能研究所Mila科學(xué)主任

與IanGoodfellow^AaronCourville兩人合

著《深度學(xué)習(xí)》一書。

Laboratoryofintelligencerecognitionandimageprocessing

YoshuaBengio

序列的概率模型：20世紀(jì)90年代，Bengio將

神經(jīng)網(wǎng)絡(luò)與序列的概率模型(如隱馬爾可夫

模型)結(jié)合起來。這些想法被納入

AT&T/NCR用于閱讀手寫檢查的系統(tǒng)中，現(xiàn)

代深度學(xué)習(xí)語音識(shí)別系統(tǒng)正在擴(kuò)展這些概念。

高維嵌入和注意模型：2000年，“神經(jīng)概

率語言模型”將高維嵌入作為詞義的表示。

他的小組介紹了一種注意力機(jī)制的形式，這

導(dǎo)致了機(jī)器翻譯的突破。

生成性對(duì)抗網(wǎng)絡(luò)：自2010年以來，Bengio關(guān)

于生成性深度學(xué)習(xí)的論文，特別是與Ian

Goodfellow共同開發(fā)的生成性對(duì)抗網(wǎng)絡(luò)

(gans),引發(fā)了計(jì)算機(jī)視覺和計(jì)算機(jī)圖形

的革命。在這項(xiàng)工作的一個(gè)迷人的應(yīng)用中，

計(jì)算機(jī)實(shí)際上可以創(chuàng)造出原始圖像，讓人想

起被認(rèn)為是人類智能標(biāo)志的創(chuàng)造力。

Laboratoryofintelligencerecognitionandimageprocessing

反向傳播-傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基本形式

?Perceptrons:

h=f(wTx+b)

?Asimplelinearclassifier.

?LogisticRegressioniffissigmoid

function.

inputlayer

?Training:

weightmatrix

outputlayer+1)=w(fc)-87/(w)

Laboratoryofintelligencerecognitionandimageprocessing

反向傳播-傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基本形式

?MultiLayerPerceptron

】

LayerLLayerL2

y=F(iy1.F(Ty°.X))y=F(WK.P(WKT.F(....F(W0.X)...)))

Laboratoryofintelligencerecognitionandimageprocessing

Non-linearity

SigmoidTanh

a{x)=1/(1+e~x)

?Warpfeaturespace.

Laboratoryofintelligencerecognitionandimageprocessing

Warpfeaturespace

Laboratoryofintelligencerecognitionandimageprocessing

反攻的號(hào)角

Unsupervisedpre-training-2006

?InspiredbytheunsupervisedtrainingofAutoEncoder,

Hintonetal.usedthisstrategytopre-trainMulti-layer

Laboratoryofintelligencerecognitionandimageprocessing

限制玻爾茲曼機(jī)

2000

W%7

1000

WJ+E6

500

500

W3^3

iqoo

W2+e2

20002000

RBM

PretrainingUnrollingFine-tuning

Laboratoryofintelligencerecognitionandimageprocessing

AutoEncoder

?AnAutoEncodertriestolearn

afunction:fw)b(%)7％

?Byoptimizingthis

reconstructionlossfunction,

wecanfindalow-

dimensionalrepresentation

fortheinputdata.

?Itcanachievesimilarresults

toPCA,butmoreefficient.

Laboratoryofintelligencerecognitionandimageprocessing

AutoEncoder

?FeaturevisualizationofSparseAutoEncoder.

MNISTCIFAR

Laboratoryofintelligencerecognitionandimageprocessing

AutoEncoder

Laboratoryofintelligencerecognitionandimageprocessing

Gradientbackpropagation

?ComputationalGraph

Laboratoryofintelligencerecognitionandimageprocessing

Gradientbackpropagation

Anotherexample:/(w,x)=1十6_弧g+孫6+孫)

Laboratoryofintelligencerecognitionandimageprocessing

Multi-layerperceptronsforCV?

be中

西sh

由de

er

a

R

\

2

g

5

3

q夕—

b

/

J

r

5

〃4

，?S

4

0

3

/

3

G

7

^

M

ES

1

5

6

7

1

7?

彳H，

2

3

q

1

q

3勺

ol

R崗

G?

9

s

4

/

7

3

F

3

1

3以

I

5

,王

q

q。

I

7

4

2

4

r

8

r夕

q

H

H

S

M

3

o

5

7夕

I

3

1

6

&

H

7分。夕?

3

BL

32x32

28x28

Laboratoryofintelligencerecognitionandimageprocessing

Multi-layerperceptronsforCV?

?MLPandAEreceivevector-1ikeinputs.

?Supposewehaveanimageswith200x200resolution.It

willbe40,000dimensionsiftheimageisflattenedinto

vectordirectly.Thisleadstoatremendousnumberof

parameters.Ifthefirsthiddenlayerhas20,000units,we

have40,000x20,000=8x108parametersforonlyonelayer!

?Welosethespatialcorrelationinformationinimages.

Laboratoryofintelligencerecognitionandimageprocessing

Convolutional

NeuralNetworks

Convolutionconv(180w+5b)non-linear

Poolingmaxpoolconv(450w+10b)

Activationnon-linear

Initialization

Normalizationmaxpool

non-linear

fully-connected

Optimizer(1600w+10b)

Architecture

Laboratoryofintelligencerecognitionandimageprocessing

LocallyConnected

FULLYCONNECTEDNEURALNETLOCALLYCONNECTEDNEURALNET

Example：1000x1000

IMhiddenunits

10*12porometersH!

Example：1000x1000irwge

IMhiddenunits

Filtersize：10x10

100Mparameters

?Spatialcorrelationislocal

-Bettertoputresourceselsewhere1

?Inspiredbyvisualcortexinbiology.Acortexonly

responsestocertainregionofimages.

Laboratoryofintelligencerecognitionandimageprocessing

Convolution

?

Regionsinimagescansharelo工】00

low-levelfeature(e.g.,color,Qolo10

edge,gradient).QiQo11

LOCALLYCONNECTEDNEURALNET00110

0i100

Convolved

Image

Feature

E.g.：1000x1000image

100Filters

Filtersize：10x10

10Kparameters

Laboratoryofintelligencerecognitionandimageprocessing

Convolution

0i

f

(4x/

0)

(Ox0?

Centerelementofthekernelisplacedoverthe(Ox

sourcepixel.Thesourcepixelisthenreplaced0

(Ox

withaweightedsumofitselfandne