人工智能創(chuàng)新實(shí)驗(yàn)教程 課件 第13章 感知機(jī)算法

寧夏大學(xué)感知機(jī)算法第十三章感知機(jī)算法2目錄

CONTENT01引言02算法概述03實(shí)驗(yàn)數(shù)據(jù)04算法實(shí)戰(zhàn)05本章小結(jié)01引言引言

在對(duì)機(jī)器學(xué)習(xí)的相關(guān)內(nèi)容有一定了解后，我們將開(kāi)始學(xué)習(xí)機(jī)器學(xué)習(xí)最重要的一個(gè)分支——深度學(xué)習(xí)(DeepLearning)。本節(jié)將講述深度學(xué)習(xí)中一個(gè)經(jīng)典的基礎(chǔ)算法，感知機(jī)算法。本文將從算法概述講起，首先介紹感知機(jī)算法的實(shí)現(xiàn)原理，接著介紹感知機(jī)算法需要用到的實(shí)驗(yàn)數(shù)據(jù)集，最后，通過(guò)兩個(gè)簡(jiǎn)單的實(shí)驗(yàn)使讀者能夠更加直觀的理解感知機(jī)算法。02算法概述算法概述6感知機(jī)簡(jiǎn)介感知機(jī)是1957年由Rosenblatt提出的一個(gè)概念，是神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）的基礎(chǔ)。它的提出受到生物學(xué)的啟發(fā)，如右圖所示，人的大腦可以看作是一個(gè)神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)中的最小單元是神經(jīng)元，許多神經(jīng)元連接起來(lái)形成一個(gè)錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)，我們稱之為神經(jīng)網(wǎng)絡(luò)。

右圖展示了神經(jīng)元的工作機(jī)制，首先神經(jīng)元接收到一些信號(hào)，如眼睛看到的光信號(hào)和耳朵聽(tīng)到的聲音信號(hào)，這些信號(hào)會(huì)通過(guò)樹(shù)突組織并最終到達(dá)細(xì)胞核，細(xì)胞核對(duì)這些信號(hào)進(jìn)行綜合處理，當(dāng)信號(hào)達(dá)到一定閾值后就會(huì)被激活產(chǎn)生一個(gè)輸出，形成新的信號(hào)并傳輸至大腦，這就是人腦的一個(gè)神經(jīng)元在進(jìn)行感知時(shí)大致的工作原理。算法概述7算法實(shí)現(xiàn)原理

在理解神經(jīng)元的工作機(jī)制后，我們用算法模擬這個(gè)過(guò)程，左圖表示一個(gè)感知器。從圖中可以看到，一個(gè)感知器由以下部分組成：（1）輸入權(quán)值。一個(gè)感知器可以接收多個(gè)輸入：

每個(gè)輸入上有一個(gè)權(quán)值：

此外還有一個(gè)偏置項(xiàng)：

（2）激活函數(shù)。感知器的激活函數(shù)可以有很多選擇，比如我們可以選擇下面這個(gè)階躍函數(shù)來(lái)作為激活函數(shù)：（3）輸出。感知器的輸出由如下公式計(jì)算：算法概述8算法實(shí)現(xiàn)原理在理解感知器的工作原理后，我們用一個(gè)簡(jiǎn)單的例子來(lái)幫助理解。我們?cè)O(shè)計(jì)一個(gè)感知器，讓它來(lái)實(shí)現(xiàn)and運(yùn)算。and是一個(gè)二元函數(shù)（帶有兩個(gè)參數(shù)和），右圖是它的真值表：為了計(jì)算方便，我們用0表示false，用1表示true。我們令，

激活函數(shù)使用前面提到的階躍函數(shù)，這時(shí)我們就完成了一個(gè)能實(shí)現(xiàn)and函數(shù)功能的感知器，輸入真值表的第一行，即=0，=0，計(jì)算輸出：算法概述9算法實(shí)現(xiàn)原理事實(shí)上，感知機(jī)不僅僅能實(shí)現(xiàn)簡(jiǎn)單的布爾運(yùn)算。它可以擬合任何的線性函數(shù)，任何線性分類或線性回歸問(wèn)題都可以用感知機(jī)來(lái)解決。前面的布爾運(yùn)算可以看作是二分類問(wèn)題，即給定一個(gè)輸入，輸出0（屬于分類0）或1（屬于分類1）。如下圖左所示，and運(yùn)算是一個(gè)線性分類問(wèn)題，即可以用一條直線把分類0（false，紅叉表示）和分類1（true，綠點(diǎn)表示）分開(kāi)。然而，感知機(jī)卻不能實(shí)現(xiàn)異或運(yùn)算，如下圖右所示，異或運(yùn)算不是線性的，無(wú)法用一條直線把分類0和分類1分開(kāi)。算法概述10算法實(shí)現(xiàn)原理

前文直接給出了權(quán)重項(xiàng)和偏置項(xiàng)的值，接下來(lái)將解釋為何選取這些值，這里需要用到感知機(jī)的訓(xùn)練算法：將權(quán)重項(xiàng)和偏置項(xiàng)初始化為0，然后，利用下列公式迭代的修改和，直到訓(xùn)練完成。是與輸入對(duì)應(yīng)的權(quán)重項(xiàng)，是偏置項(xiàng)。事實(shí)上，可以把看作是值永遠(yuǎn)為1的輸入所對(duì)應(yīng)的權(quán)重。是訓(xùn)練樣本的實(shí)際值，一般稱之為label。而是感知器的輸出值。是一個(gè)稱為學(xué)習(xí)速率的常數(shù)，其作用是控制每一步調(diào)整權(quán)的幅度。每次從訓(xùn)練數(shù)據(jù)中取出一個(gè)樣本的輸入向量，使用感知器計(jì)算其輸出，再根據(jù)上面的規(guī)則來(lái)調(diào)整權(quán)重。每處理一個(gè)樣本就調(diào)整一次權(quán)重。經(jīng)過(guò)多輪迭代后（即全部的訓(xùn)練數(shù)據(jù)被反復(fù)處理多輪），就可以訓(xùn)練出感知器的權(quán)重，使之實(shí)現(xiàn)目標(biāo)函數(shù)。03實(shí)驗(yàn)數(shù)據(jù)實(shí)驗(yàn)數(shù)據(jù)12感知機(jī)算法可以解決線性分類問(wèn)題，為此本書(shū)采用鳶尾花（lris）數(shù)據(jù)集設(shè)計(jì)實(shí)驗(yàn)，該數(shù)據(jù)集是統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)典數(shù)據(jù)集。數(shù)據(jù)集內(nèi)包含3類共150條記錄，每類各50個(gè)數(shù)據(jù)，每條記錄都有4項(xiàng)特征：花萼長(zhǎng)度、花萼寬度、花瓣長(zhǎng)度、花瓣寬度，可以通過(guò)這4個(gè)特征預(yù)測(cè)鳶尾花卉屬于（iris-setosa,iris-versicolour,iris-virginica）中的哪一品種。下圖展示了該數(shù)據(jù)集的頭5條數(shù)據(jù)。該數(shù)據(jù)集可以從scikit-learn庫(kù)中加載。sklearn是一個(gè)Python第三方提供的非常強(qiáng)力的機(jī)器學(xué)習(xí)庫(kù)，它包含了從數(shù)據(jù)預(yù)處理到訓(xùn)練模型的各個(gè)方面。使用scikit-learn中可以極大的節(jié)省我們編寫(xiě)代碼的時(shí)間以及減少代碼量，使讀者有更多精力去分析數(shù)據(jù)分布、調(diào)整模型和修改超參。04案例實(shí)戰(zhàn)算法實(shí)戰(zhàn)14實(shí)驗(yàn)一：通過(guò)感知機(jī)實(shí)現(xiàn)邏輯與（and）運(yùn)算首先，我們定義一個(gè)感知器類（class）。我們先初始化感知器，設(shè)置輸入?yún)?shù)的個(gè)數(shù)，以及激活函數(shù)。激活函數(shù)的類型為double->double，接著我們將權(quán)重向量和偏置項(xiàng)初始化為0接著輸入向量，輸出感知器的計(jì)算結(jié)果:

然后我們輸入訓(xùn)練數(shù)據(jù)，即一組向量、與每個(gè)向量對(duì)應(yīng)的label；以及訓(xùn)練輪數(shù)、學(xué)習(xí)率。算法實(shí)戰(zhàn)15實(shí)驗(yàn)一：通過(guò)感知機(jī)實(shí)現(xiàn)邏輯與（and）運(yùn)算之后通過(guò)一次迭代，將所有訓(xùn)練數(shù)據(jù)過(guò)一遍。最后按照感知器的規(guī)則更新權(quán)重。

在完成感知器類后，我們利用它去實(shí)現(xiàn)and函數(shù)。首先我們定義一個(gè)激活函數(shù)，即上文所提到的階躍函數(shù)。接著我們基于and真值表構(gòu)建訓(xùn)練數(shù)據(jù)：

然后使用and真值表訓(xùn)練感知器：

最后將上述程序保存為.py文件，通過(guò)命令行執(zhí)行這個(gè)程序，其運(yùn)行結(jié)果為：算法實(shí)戰(zhàn)16實(shí)驗(yàn)二：通過(guò)感知機(jī)算法解決鳶尾花數(shù)據(jù)集分類問(wèn)題

上文中提到，感知機(jī)不僅僅能實(shí)現(xiàn)簡(jiǎn)單的布爾運(yùn)算，還能解決任何一個(gè)線性分類問(wèn)題。接下來(lái)我們將設(shè)計(jì)實(shí)驗(yàn)采用感知機(jī)算法解決線性分類問(wèn)題。首先，我們需要從sklearn庫(kù)中加載鳶尾花數(shù)據(jù)集并對(duì)其進(jìn)行預(yù)處理，僅采用花萼長(zhǎng)度、花萼寬度作為指標(biāo)進(jìn)行分類任務(wù)。算法實(shí)戰(zhàn)17實(shí)驗(yàn)二：通過(guò)感知機(jī)算法解決鳶尾花數(shù)據(jù)集分類問(wèn)題

之后，我們?cè)O(shè)置感知器的權(quán)重向量和偏置項(xiàng)，并將學(xué)習(xí)率初始化為0.1，之后采用隨機(jī)梯度下降的方法對(duì)算法進(jìn)行優(yōu)化。

最后，我們通過(guò)將分類結(jié)果通過(guò)plt函數(shù)繪制在一張圖上，代碼展示如下：算法實(shí)戰(zhàn)18實(shí)驗(yàn)二：通過(guò)感知機(jī)算法解決鳶尾花數(shù)據(jù)集分類問(wèn)題本實(shí)現(xiàn)的可視化實(shí)驗(yàn)結(jié)果如上圖所示，根據(jù)上圖可知，感知機(jī)算法可以用來(lái)解決線性分類問(wèn)題，且可以取得較為理想的結(jié)果。05本章小結(jié)本章小結(jié)20

本章作為由機(jī)器學(xué)習(xí)向深度學(xué)習(xí)的過(guò)渡章節(jié)，首先簡(jiǎn)單介紹了深度學(xué)習(xí)的背景知識(shí)并分析了深度學(xué)習(xí)的優(yōu)缺點(diǎn)，使讀者對(duì)深度學(xué)習(xí)有一個(gè)基本的了解。