一個說明性實例

一個說明性實例第一頁，共二十四頁，編輯于2023年，星期六3.1目的

這里將給出一個模式識別的簡單問題，并說明如何用三種不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)來求解這個問題。提供一個了解如何利用上一章所給出的網(wǎng)絡(luò)結(jié)構(gòu)解決實際問題的機(jī)會。第二頁，共二十四頁，編輯于2023年，星期六3.2問題和實例3.2.1問題描述某商販有一個存儲各種水果和蔬菜的貨倉。當(dāng)水果放進(jìn)貨倉時，不同類型的水果可能會混淆在一起，所以商販非常希望能夠有一臺能夠幫他將水果自動分類擺放的機(jī)器。假設(shè)從水果卸車的地方到貨倉之間有一條傳送帶。傳送帶將通過一組特定的傳感器，這組傳感器可以分別測量水果的三個特征：外形、質(zhì)地和重量（如下圖）。第三頁，共二十四頁，編輯于2023年，星期六第四頁，共二十四頁，編輯于2023年，星期六

這些傳感器功能比較簡單。如果水果基本上是圓形的，外形傳感器的輸出就是1；如果水果更接近于橢圓，那么外形傳感器的輸出就是-1。如果水果表面光滑，質(zhì)地傳感器的輸出就是1；如果水果表面比較粗糙，那么質(zhì)地傳感器的輸出就是-1。當(dāng)水果重量超過一磅時，重量傳感器的輸出為1；水果重量輕于1磅時，重量傳感器的輸出為-1。 然后，三個傳感器的輸出將會輸入到神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的功能就是要確定傳送帶上是什么類型的水果，這樣才能把不同類型的水果分別送到相應(yīng)的儲存?zhèn)}中。為了使問題更加簡單，假設(shè)傳送帶上只有兩種類型的水果：蘋果和橘子。

第五頁，共二十四頁，編輯于2023年，星期六

每個水果通過這些傳感器后，就可以用一個式（3.1）所示的三維向量表示：一個標(biāo)準(zhǔn)橘子可以表示為一個標(biāo)準(zhǔn)蘋果可以表示為（3.1）（3.2）（3.3）第六頁，共二十四頁，編輯于2023年，星期六

對傳送帶上的每個水果而言，神經(jīng)網(wǎng)絡(luò)都可以接受到一個三維輸入向量，并且判斷是一個橘子還是一個蘋果。下面討論三種不同類型的神經(jīng)網(wǎng)絡(luò)：3.2.2感知機(jī)第七頁，共二十四頁，編輯于2023年，星期六

上圖給出了采用對稱硬極限傳輸函數(shù)hardlims的單層感知機(jī)。

1兩輸入的情況在用感知機(jī)求解橘子/蘋果問題之前，有必要研究一下兩輸入單神經(jīng)元感知機(jī)（r=2）的能力。很容易用圖示方法對其進(jìn)行分析。第八頁，共二十四頁，編輯于2023年，星期六

單神經(jīng)元感知機(jī)可將輸入向量分成兩類。對于一個兩輸入感知機(jī)ω1，1=-1，且ω1，2=1。那么a=hardlims(n)=hardlims([-11]p+b) 所以，如果權(quán)值矩陣與輸入向量的內(nèi)積大于等于-b，感知機(jī)的輸出為1；如果權(quán)值向量和輸入的內(nèi)積小于-b，那么感知機(jī)的輸出為-1。這就將輸入空間分為兩部分。下圖表示當(dāng)b=-1時，感知機(jī)對輸入空間的這種劃分情況。 判定邊界總是和權(quán)值矩陣正交，且邊界位置隨b的改變而上下移動。第九頁，共二十四頁，編輯于2023年，星期六第十頁，共二十四頁，編輯于2023年，星期六2模式識別實例橘子/蘋果模式識別問題。向量輸入時三維的，輸入輸出關(guān)系由下式描述 選擇適當(dāng)?shù)腷和權(quán)值矩陣元素，使得感知機(jī)能將蘋果和橘子區(qū)分開來。比如當(dāng)輸出蘋果時，希望感知機(jī)輸出為1；輸出橘子時，希望感知機(jī)輸出為-1。第十一頁，共二十四頁，編輯于2023年，星期六第十二頁，共二十四頁，編輯于2023年，星期六

p1和p3兩個平面就是所求的判定邊界，可以分別表示為p2=0

或者權(quán)值矩陣和偏置值分別是W=[010],b=0

當(dāng)輸入時橘子時第十三頁，共二十四頁，編輯于2023年，星期六當(dāng)輸入是蘋果時3.2.3hamming網(wǎng)絡(luò)

hamming網(wǎng)絡(luò)是專門為求解二值模式識別問題而設(shè)計的。Hamming網(wǎng)絡(luò)的目標(biāo)是判定哪個標(biāo)準(zhǔn)向量最接近于輸入向量。判定結(jié)果由遞歸層的輸出表示。每個標(biāo)準(zhǔn)模式均對應(yīng)遞歸層一個神經(jīng)元。當(dāng)遞歸層收斂后，遞歸層中只有一個神經(jīng)元的輸出值為非0值，則指明了哪一個標(biāo)準(zhǔn)模式與輸入向量最接近。第十四頁，共二十四頁，編輯于2023年，星期六第十五頁，共二十四頁，編輯于2023年，星期六1.前饋層

前饋層用于實現(xiàn)每個標(biāo)準(zhǔn)模式和輸入模式之間的相關(guān)檢測或求內(nèi)積。為了使前饋層能夠完成其功能，可以用標(biāo)準(zhǔn)模式設(shè)置其權(quán)值矩陣的行，對于橘子/蘋果實例而言，有偏置值向量第十六頁，共二十四頁，編輯于2023年，星期六前饋層輸出為2.遞歸層

hamming網(wǎng)的遞歸層就是所謂的競爭層。該層神經(jīng)元用前饋層的輸出進(jìn)行初始化，此輸出指出標(biāo)準(zhǔn)模式和輸入向量之間的關(guān)系。然后遞歸層中的神經(jīng)元相互競爭決定誰是勝利者。競爭后只有一個神經(jīng)元的輸出不等于0。競爭取勝的神經(jīng)元就表示提供給網(wǎng)絡(luò)的輸入的類別。第十七頁，共二十四頁，編輯于2023年，星期六遞歸層的每次迭代過程可以用下式表示：將橢圓形橘子為例進(jìn)一步說明hamming網(wǎng)絡(luò)機(jī)理。一個橢圓形橘子用向量表示為：第十八頁，共二十四頁，編輯于2023年，星期六前饋層輸出為即遞歸層的初始化條件。遞歸層的第一次迭代得到第十九頁，共二十四頁，編輯于2023年，星期六第二次迭代結(jié)果為由于橘子標(biāo)準(zhǔn)向量和該輸入模式下hamming距離是1，而蘋果標(biāo)準(zhǔn)向量和該輸入模式下的hamming距離是2，可以看出該網(wǎng)絡(luò)識別結(jié)果是正確的。第二十頁，共二十四頁，編輯于2023年，星期六3.2.4hopfield網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)是有些類似于hamming網(wǎng)絡(luò)遞歸層的一種遞歸網(wǎng)絡(luò)，但它能有效的實現(xiàn)hamming網(wǎng)絡(luò)的兩層所完成的工作。Hopfield網(wǎng)絡(luò)利用輸入向量對網(wǎng)絡(luò)中的神經(jīng)元進(jìn)行初始化，然后網(wǎng)絡(luò)不斷迭代直至收斂。如果網(wǎng)絡(luò)運(yùn)行正確，那么最終的輸出結(jié)果將是一個標(biāo)準(zhǔn)向量。所以，hamming網(wǎng)絡(luò)是用取值不為0的神經(jīng)元表明選擇的是哪個標(biāo)準(zhǔn)模式，而hopfield網(wǎng)絡(luò)則聲稱一個標(biāo)準(zhǔn)模式作為輸出。第二十一頁，共二十四頁，編輯于2023年，星期六第二十二頁，共二十四頁，編輯于2023年，星期六

指定一個解決蘋果橘子識別問題的權(quán)值矩陣和偏置值矩陣Hopfield網(wǎng)絡(luò)操作等式寫成

a1(t+1)=satlins(0.2a1(t)+0.9)a2(t+1)=satlins(1.2a2(t))

a3(t+1)=satlins(0.2a3(t)-0.9)第二十三頁，共二十四頁，編輯于2023年，星期六

三次迭代過程結(jié)束時，hopfield輸出分別是

Hopfiel