深度學(xué)習(xí)導(dǎo)論-第4章-感知機(jī)

深度學(xué)習(xí)DEEPLEARNING第四章感知機(jī)4.1什么是感知機(jī)4.2

簡(jiǎn)單邏輯電路4.3感知機(jī)的局限性of4124.4多層感知機(jī)第四章感知機(jī)of413感知機(jī)接收多個(gè)輸入信號(hào)，輸出一個(gè)信號(hào)“信號(hào)”可以想象成電流或河流那樣具備“流動(dòng)性”的東西。像電流流過(guò)導(dǎo)線，向前方輸送電子一樣，感知機(jī)的信號(hào)也會(huì)形成流，向前方輸送信息。和實(shí)際的電流不同的是，感知機(jī)的信號(hào)只有“流/不流”（1/0）兩種取值。0對(duì)應(yīng)“不傳遞信號(hào)”，1對(duì)應(yīng)“傳遞信號(hào)”。4.1什么是感知機(jī)4.1什么是感知機(jī)of414下圖是一個(gè)接收兩個(gè)輸入信號(hào)的感知機(jī)的例子。x1、x2是輸入信號(hào)，y

是輸出信號(hào)，w1、w2是權(quán)重（w

是weight的首字母）。圖中的○稱為“神經(jīng)元”或者“節(jié)點(diǎn)”。輸入信號(hào)被送往神經(jīng)元時(shí)，會(huì)被分別乘以固定的權(quán)重（w1x1、w2x2）。神經(jīng)元會(huì)計(jì)算傳送過(guò)來(lái)的信號(hào)的總和，只有當(dāng)這個(gè)總和超過(guò)了某個(gè)界限值時(shí)，才會(huì)輸出1。這也稱為“神經(jīng)元被激活”。這里將這個(gè)界限值稱為閾值，用符號(hào)

θ

表示。第四章感知機(jī)4.1什么是感知機(jī)of415數(shù)學(xué)公式表示為感知機(jī)的多個(gè)輸入信號(hào)都有各自固有的權(quán)重，這些權(quán)重發(fā)揮著控制各個(gè)信號(hào)的重要性的作用。也就是說(shuō)，權(quán)重越大，對(duì)應(yīng)該權(quán)重的信號(hào)的重要性就越高。第四章感知機(jī)4.2簡(jiǎn)單的邏輯電路of416現(xiàn)在讓我們考慮用感知機(jī)來(lái)解決簡(jiǎn)單的問(wèn)題。這里首先以邏輯電路為題材來(lái)思考一下與門（ANDgate）。與門是有兩個(gè)輸入和一個(gè)輸出的門電路。這種輸入信號(hào)和輸出信號(hào)的對(duì)應(yīng)表稱為“真值表”。與門僅在兩個(gè)輸入均為1時(shí)輸出1，其他時(shí)候則輸出0。第四章感知機(jī)4.2.1與門4.2簡(jiǎn)單的邏輯電路of417用感知機(jī)來(lái)表示這個(gè)與門。需要做的就是確定能滿足真值表的

w1、w2、θ

的值。當(dāng)(w1,w2,θ)為(0.5,0.5,0.7)時(shí)，可以滿足真值表的條件。當(dāng)(w1,w2,θ)為(0.5,0.5,0.8)時(shí)，可以滿足真值表的條件當(dāng)(w1,w2,θ)為(1.0,1.0,1.0)時(shí)，可以滿足真值表的條件。設(shè)定這樣的參數(shù)后，僅當(dāng)

x1和

x2同時(shí)為1時(shí)，信號(hào)的加權(quán)總和才會(huì)超過(guò)給定的閾值

θ。第四章感知機(jī)4.2.1與門4.2簡(jiǎn)單的邏輯電路of418與非門（NANDgateNAND=

NotAND）與非門就是顛倒了與門的輸出。用真值表表示如下：僅當(dāng)

x1和

x2同時(shí)為1時(shí)輸出0，其他時(shí)候則輸出1與非門，可以用(w1,w2,θ)=(-0.5,-0.5,-0.7)這樣的組合（其他的組合也是無(wú)限存在的）。實(shí)際上，只要把實(shí)現(xiàn)與門的參數(shù)值的符號(hào)取反，就可以實(shí)現(xiàn)與非門。第四章感知機(jī)4.2.2與非門4.2簡(jiǎn)單的邏輯電路of419或門是“只要有一個(gè)輸入信號(hào)是1，輸出就為1”的邏輯電路?；蜷T真值表如下。第四章感知機(jī)4.2.3或門4.3感知機(jī)的局限性of4110決定感知機(jī)參數(shù)的并不是計(jì)算機(jī)，而是我們?nèi)?。我們看著真值表這種“訓(xùn)練數(shù)據(jù)”，人工考慮（想到）了參數(shù)的值。而機(jī)器學(xué)習(xí)的課題就是將這個(gè)決定參數(shù)值的工作交由計(jì)算機(jī)自動(dòng)進(jìn)行。學(xué)習(xí)是確定合適的參數(shù)的過(guò)程，而人要做的是思考感知機(jī)的構(gòu)造（模型），并把訓(xùn)練數(shù)據(jù)交給計(jì)算機(jī)。使用感知機(jī)可以表示與門、與非門、或門的邏輯電路。這里重要的一點(diǎn)是：與門、與非門、或門的感知機(jī)構(gòu)造是一樣的。實(shí)際上，3個(gè)門電路只有參數(shù)的值（權(quán)重和閾值）不同。也就是說(shuō)，相同構(gòu)造的感知機(jī)，只需通過(guò)適當(dāng)?shù)卣{(diào)整參數(shù)的值，就可以像“變色龍演員”表演不同的角色一樣，變身為與門、與非門、或門。第四章感知機(jī)of4111異或門也被稱為邏輯異或電路。僅當(dāng)

x1或

x2中的一方為1時(shí)，才會(huì)輸出1（“異或”是拒絕其他的意思）用前面介紹的感知機(jī)是無(wú)法實(shí)現(xiàn)這個(gè)異或門的。第四章感知機(jī)4.3.1異或門4.3感知機(jī)的局限性of4112或門的情況下，當(dāng)權(quán)重參數(shù)(b,w1,w2)=(-0.5,1.0,1.0)時(shí)，可滿足真值表?xiàng)l件。感知機(jī)公式為表示的感知機(jī)會(huì)生成由直線-0.5+x1+x2=0分割開的兩個(gè)空間。其中一個(gè)空間輸出1，另一個(gè)空間輸出0。第四章感知機(jī)4.3感知機(jī)的局限性4.3.1異或門of4113要用一條直線將圖中的○和△分開，無(wú)論如何都做不到。如果將“直線”這個(gè)限制條件去掉，就可以實(shí)現(xiàn)了。曲線分割而成的空間稱為非線性空間，由直線分割而成的空間稱為線性空間。線性、非線性這兩個(gè)術(shù)語(yǔ)在機(jī)器學(xué)習(xí)領(lǐng)域是很常見的。第四章感知機(jī)4.3.1異或門4.3感知機(jī)的局限性of4114感知機(jī)不能表示異或門。實(shí)際上，感知機(jī)可以“疊加層”通過(guò)疊加層來(lái)表示異或門把

s1作為與非門的輸出，把

s2作為或門的輸出，填入真值表中。結(jié)果符合異或門的輸出。第四章感知機(jī)4.4多層感知機(jī)4.4.1用感知機(jī)表示異或門of4115異或門是一種多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。這里，將最左邊的一列稱為第0層，中間的一列稱為第1層，最右邊的一列稱為第2層。感知機(jī)與前面介紹的與門、或門的感知