機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第12章 神經(jīng)網(wǎng)絡(luò)

第十二章神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡稱ANNs）也稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱為連接模型（ConnectionModel）。神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物體所做出的交互反應(yīng)。112.1人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元

生物神經(jīng)系統(tǒng)由大量名為神經(jīng)元的基本單元通過某種方式構(gòu)成，其工作原理如下圖所示：

樹突是神經(jīng)元的分支，負(fù)責(zé)接收其他神經(jīng)元的信號。軸突是神經(jīng)元的傳遞通道，負(fù)責(zé)將信號傳遞給其他神經(jīng)元。其工作原理維：軸突接收其他神經(jīng)元的“信號”，當(dāng)這些“信號”疊加達(dá)到一定“閾值”時(shí)，會(huì)導(dǎo)致神經(jīng)元的電位發(fā)生變化，那么此神經(jīng)元會(huì)“興奮”起來，把新的“信號”通過軸突傳遞給其他神經(jīng)元。212.1人工神經(jīng)網(wǎng)絡(luò)概述M-P神經(jīng)元

312.1人工神經(jīng)網(wǎng)絡(luò)概述激活函數(shù)①階躍函數(shù)

階躍函數(shù)具有不連續(xù)，不光滑等性質(zhì)，對后續(xù)模型的求解不利。412.1人工神經(jīng)網(wǎng)絡(luò)概述②Sigmoid函數(shù)

512.1人工神經(jīng)網(wǎng)絡(luò)概述Sigmoid函數(shù)變型

612.1人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)由相互連接的M-P神經(jīng)元（也稱為節(jié)點(diǎn)或者處理單元）構(gòu)成。生物神經(jīng)元的連接和連接的強(qiáng)弱，在人工神經(jīng)網(wǎng)絡(luò)中以節(jié)點(diǎn)間的連線以及連接權(quán)重來表示。根據(jù)網(wǎng)絡(luò)的層數(shù)可分為兩層神經(jīng)網(wǎng)絡(luò)、三層及以上的神經(jīng)網(wǎng)絡(luò)或多層神經(jīng)網(wǎng)絡(luò)。712.1人工神經(jīng)網(wǎng)絡(luò)概述8

如右圖所示。圖中橢圓表示節(jié)點(diǎn)，有向線段表示節(jié)點(diǎn)之間的連接。人工神經(jīng)網(wǎng)絡(luò)一般分為輸入層、隱藏層、輸出層，隱藏層可以有也可以沒有，也可以有多層。如右圖，只有輸入層和輸出層，沒有隱藏層，即為最簡單的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，感知機(jī)（Perception）模型。

感知機(jī)能力有限，需要通過很多神經(jīng)元協(xié)作完成復(fù)雜的功能。通過一定的鏈接方式或信息傳遞方式進(jìn)行協(xié)作的多個(gè)神經(jīng)元可以看作一個(gè)神經(jīng)網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)，也簡稱為神經(jīng)網(wǎng)絡(luò)。到目前為止，研究者已經(jīng)發(fā)明了各種各樣的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。本章主要介紹“多層前饋神經(jīng)網(wǎng)絡(luò)”（Multi-LayerFeedforwardNeuralNetworks），也可稱為多層感知機(jī)（MultipleLayersPerception，簡記為MLP）。12.1人工神經(jīng)網(wǎng)絡(luò)概述9如左圖所示，其中輸入層負(fù)責(zé)接收外界信號輸入，隱藏層和輸出層負(fù)責(zé)對信號進(jìn)行處理，最后由輸出層輸出，其中隱藏層可以是單層也可以是多層，分別稱為“單隱層前饋網(wǎng)絡(luò)”和“多隱層前饋網(wǎng)絡(luò)”。多層前饋神經(jīng)網(wǎng)絡(luò)能夠解決復(fù)雜的分類和回歸問題。12.2

感知機(jī)

感知機(jī)是一種最基本的前饋式神經(jīng)網(wǎng)絡(luò)模型，僅由輸入層和輸出層構(gòu)成。

感知機(jī)模型原理

1012.2

感知機(jī)

感知機(jī)模型的幾何解釋感知機(jī)模型的適用性（1）對于線性可分問題感知機(jī)為線性模型，可以解決線性可分問題，例如邏輯與、或、非運(yùn)算

1112.2

感知機(jī)它們都可以通過只有兩個(gè)輸入節(jié)點(diǎn)的簡單感知機(jī)模型實(shí)現(xiàn)：

1212.2

感知機(jī)（2）對于非線性可分問題感知機(jī)原理簡單容易理解，但能力有限，不能解決非線性問題。比如邏輯異或。

此問題非線性可分，不存在直線可以將正負(fù)類分開，需要多層神經(jīng)網(wǎng)絡(luò)解決。

1312.2

感知機(jī)感知機(jī)的學(xué)習(xí)策略

1412.2

感知機(jī)1）我們可以通過隨機(jī)梯度下降法極小化目標(biāo)函數(shù)

1512.2

感知機(jī)2）我們可以通過對偶法極小化目標(biāo)函數(shù)

1612.2

感知機(jī)感知機(jī)隨機(jī)梯度下降法步驟

1712.2

感知機(jī)感知機(jī)對偶算法步驟

1812.3多層前饋神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

1912.3多層前饋神經(jīng)網(wǎng)絡(luò)20

12.3多層前饋神經(jīng)網(wǎng)絡(luò)

多層前饋神經(jīng)網(wǎng)絡(luò)的表示能力非常強(qiáng)大，例如可以輕松解決邏輯“異或”問題21

12.3多層前饋神經(jīng)網(wǎng)絡(luò)誤差傳播算法

前饋神經(jīng)網(wǎng)絡(luò)表示能力非常強(qiáng)，但隨著隱藏層的層數(shù)以及神經(jīng)元的個(gè)數(shù)的增加，需要確定的參數(shù)也會(huì)增加。訓(xùn)練如此多的參數(shù)需要強(qiáng)大的學(xué)習(xí)算法，誤差傳播（ErrorBackPropagation，簡稱BP）算法是目前最成功的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。（1）標(biāo)準(zhǔn)BP算法

2212.3多層前饋神經(jīng)網(wǎng)絡(luò)

23結(jié)合Sigmoid函數(shù)的性質(zhì)得

12.3多層前饋神經(jīng)網(wǎng)絡(luò)

24

并且各參數(shù)的更新公式如下：

12.3多層前饋神經(jīng)網(wǎng)絡(luò)（2）累積BP算法

累積BP算法在讀取整個(gè)訓(xùn)練集后才對參數(shù)進(jìn)行更新，其參數(shù)相對標(biāo)準(zhǔn)BP算法來說更新的頻率低得多。但是，當(dāng)累積誤差下降到一定程度時(shí)，下降速度會(huì)變得非常緩慢，此時(shí)標(biāo)準(zhǔn)BP算法會(huì)更快得到問題得解，尤其當(dāng)訓(xùn)練集為大規(guī)模數(shù)據(jù)集時(shí)。

2512.3多層前饋神經(jīng)網(wǎng)絡(luò)正則化（Regularization）

由于BP神經(jīng)網(wǎng)絡(luò)表示能力非常強(qiáng)，在實(shí)際使用過程中經(jīng)常出現(xiàn)過擬合問題，常用的方法有“早停”（EarlyStopping）和“正則化”（Regularization）。早停（EarlyStopping）

指將數(shù)據(jù)分成訓(xùn)練集和驗(yàn)證集。訓(xùn)練集用來訓(xùn)練網(wǎng)絡(luò)參數(shù)，更新權(quán)重和閾值，驗(yàn)證集用來估計(jì)誤差。在訓(xùn)練過程中，當(dāng)訓(xùn)練集誤差降低但驗(yàn)證集誤差升高時(shí)，停止訓(xùn)練，同時(shí)返回權(quán)重和閾值。

在目標(biāo)函數(shù)上增加正則項(xiàng)，用來描述網(wǎng)絡(luò)的復(fù)雜程度，在目標(biāo)函數(shù)和正則項(xiàng)之間設(shè)置不同權(quán)重，用來折中誤差和網(wǎng)絡(luò)復(fù)雜度。例如設(shè)置目標(biāo)函數(shù)為：

2612.3

多層前饋神經(jīng)網(wǎng)絡(luò)BP算法步驟

2712.4其他神經(jīng)網(wǎng)絡(luò)介紹

12.4.1常用神經(jīng)網(wǎng)絡(luò)記憶網(wǎng)絡(luò)（MemoryNetworks）

也稱為反饋網(wǎng)絡(luò)，是一種用于自然語言處理（NLP）任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。其中的神經(jīng)元不但可以接收其他神經(jīng)元的信息，也可以接收自己的歷史信息，具有記憶功能，在不同時(shí)刻具有不同的狀態(tài)。其在問答系統(tǒng)、機(jī)器翻譯、閱讀理解等任務(wù)中取得了顯著的成果，并且在處理具有不確定性和復(fù)雜上下文的自然語言問題方面具有很大的潛力。

2812.4.1常用神經(jīng)網(wǎng)絡(luò)輸入模塊（InputModule）：將輸入文本轉(zhuǎn)換為向量形式，并存儲(chǔ)到外部存儲(chǔ)器中。通常使用詞嵌入（WordEmbedding）技術(shù)將單詞表示為連續(xù)向量。記憶模塊（MemoryModule）：通過查詢內(nèi)存存儲(chǔ)的信息來獲取答案。它將查詢向量與存儲(chǔ)的鍵進(jìn)行匹配，并使用注意力機(jī)制（AttentionMechanism）來加權(quán)選擇相關(guān)的值。

輸出模塊（OutputModule）：把從記憶模塊中檢索到的信息進(jìn)行整合和處理，并生成最終的輸出。常見的方法是使用全連接層或邏輯回歸等。更新模塊（UpdateModule）：根據(jù)查詢和輸出的結(jié)果，更新外部存儲(chǔ)器中的信息。

記憶網(wǎng)絡(luò)的訓(xùn)練過程常常采用端到端的方式，通過最小化預(yù)測與真實(shí)答案之間的損失來優(yōu)化模型參數(shù)。

記憶網(wǎng)絡(luò)包含循環(huán)神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)，波爾茲曼機(jī)、受限波爾茲曼機(jī)等。此外，為了提高記憶網(wǎng)絡(luò)的性能，還可以使用額外的技術(shù)，如多層結(jié)構(gòu)、注意力機(jī)制和長短期記憶（LSTM）單元等，稱為記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)（MemoryAugmentedNeuralNetwork，簡稱MANN）29

基本結(jié)構(gòu)由輸入模塊（InputModule）、記憶模塊（MemoryModule）、輸出模塊（OutputModule）、更新模塊（UpdateModule）四個(gè)主要組件組成。12.4.1常用神經(jīng)網(wǎng)絡(luò)圖網(wǎng)絡(luò)（GraphNeuralNetwork，簡稱GNN）

GNN是一類用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)主要處理向量和序列數(shù)據(jù)不同，圖網(wǎng)絡(luò)能夠捕捉和利用圖中節(jié)點(diǎn)之間的關(guān)系和拓?fù)浣Y(jié)構(gòu)。

輸入數(shù)據(jù)被表示為圖的形式，由節(jié)點(diǎn)（或稱為頂點(diǎn)）和邊組成。每個(gè)節(jié)點(diǎn)可以包含與之相關(guān)的特征或?qū)傩孕畔ⅲ總€(gè)節(jié)點(diǎn)都由一個(gè)或一組神經(jīng)元構(gòu)成。

實(shí)現(xiàn)方式包括圖卷積網(wǎng)絡(luò)（GraphConvolutionalNetwork，GCN）、圖注意力網(wǎng)絡(luò)（GraphAttentionNetwork，GAT）、消息傳遞神經(jīng)網(wǎng)絡(luò)（MessagePassingNeuralNetwork，MPNN）等。3012.4.1常用神經(jīng)網(wǎng)絡(luò)GNN的設(shè)計(jì)目標(biāo)是對每個(gè)節(jié)點(diǎn)進(jìn)行聚合和更新，以綜合其相鄰節(jié)點(diǎn)的信息，并將這些信息反饋給下一層的節(jié)點(diǎn)。這種迭代的過程使得網(wǎng)絡(luò)能夠逐步地獲取全局圖結(jié)構(gòu)的信息。通常由以下幾個(gè)關(guān)鍵組件構(gòu)成：

輸入編碼（InputEncoding）：將節(jié)點(diǎn)和邊的特征轉(zhuǎn)換為向量的形式，常見的方法包括使用詞嵌入、圖像特征提取等技術(shù)。

圖卷積層（GraphConvolutionalLayer）：圖卷積層用于聚合節(jié)點(diǎn)的鄰居信息。通過考慮節(jié)點(diǎn)特征和鄰居節(jié)點(diǎn)特征之間的關(guān)系，可以有效地更新節(jié)點(diǎn)的表示。

節(jié)點(diǎn)更新（NodeUpdate）：根據(jù)聚合的鄰居信息來更新節(jié)點(diǎn)的表示。這些更新可以采用不同的函數(shù)和操作，如加權(quán)求和、非線性激活函數(shù)等。

輸出預(yù)測（OutputPrediction）：根據(jù)圖網(wǎng)絡(luò)中得到的節(jié)點(diǎn)表示，可以進(jìn)行各種任務(wù)的預(yù)測，如節(jié)點(diǎn)分類、圖分類、鏈接預(yù)測等。31圖池化（GraphPooling）：有時(shí)候，為了減少圖的規(guī)?；蛱崛D的關(guān)鍵信息，需要對圖進(jìn)行匯聚操作。圖池化可以將一個(gè)圖縮減為一個(gè)更小的子圖，保留重要的節(jié)點(diǎn)和邊。12.4.2

深度神經(jīng)網(wǎng)絡(luò)32為了學(xué)習(xí)一種好的表示，需要構(gòu)建具有一定“深度”的模型，并通過學(xué)習(xí)算法來讓模型自動(dòng)學(xué)習(xí)出好的特征表示（從底層特征，到中層特征，再到高層特征），從而最終提升預(yù)測模型的準(zhǔn)確率。所謂“深度”是指原始數(shù)據(jù)進(jìn)行非線性特征轉(zhuǎn)換的次數(shù)。理論上來說，參數(shù)越多的模型復(fù)雜度越高、"容量"(capacity)越大。這意味著它能完成更復(fù)雜的學(xué)習(xí)任務(wù)。但一般情形下，復(fù)雜模型的訓(xùn)練效率低，易陷入過擬合，因此難以受到人們青睞。而隨著云計(jì)算、大數(shù)據(jù)時(shí)代的到來，計(jì)算能力的大幅提高可緩解訓(xùn)練低效性，訓(xùn)練數(shù)據(jù)的大幅增加則可降低過擬合風(fēng)險(xiǎn)，因此，以“深度學(xué)習(xí)”(DeepLearning)為代表的復(fù)雜模型開始受到人們的關(guān)注，典型的深度學(xué)習(xí)模型就是很深層的神經(jīng)網(wǎng)絡(luò)。本小節(jié)介紹幾種常用的深度學(xué)習(xí)模型。12.4.2

深度神經(jīng)網(wǎng)絡(luò)33全連接層用于將特征圖與輸出進(jìn)行連接，進(jìn)行分類或預(yù)測任務(wù)。它將所有特征圖中的神經(jīng)元連接到每個(gè)輸出神經(jīng)元，實(shí)現(xiàn)輸入與輸出之間的全連接。全連接層通常使用softmax函數(shù)進(jìn)行多分類預(yù)測，或者使用線性激活函數(shù)得到回歸預(yù)測。總的來說，卷積神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)到輸入數(shù)據(jù)中的空間和位置信息，具有對平移和縮放的魯棒性。它在圖像處理和計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出色，在許多挑戰(zhàn)性的數(shù)據(jù)集上取得了優(yōu)異的性能。卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）CNN廣泛應(yīng)用于圖像識別和計(jì)算機(jī)視覺任務(wù)。主要由卷積層、池化層和全連接層組成.

卷積層是CNN的核心組件，它通過卷積操作對輸入進(jìn)行特征提取。卷積操作使用一個(gè)濾波器（也稱為卷積核）在輸入數(shù)據(jù)上滑動(dòng)，計(jì)算每個(gè)位置的局部乘積，并將其求和得到輸出特征圖。通過多個(gè)卷積核的并行計(jì)算，CNN能夠?qū)W習(xí)到輸入數(shù)據(jù)的不同特征表示。卷積操作還具有權(quán)值共享的特性，即同一個(gè)卷積核在輸入的不同位置共享相同的參數(shù)，大大減少了模型的參數(shù)數(shù)量。

池化層用于減小特征圖的尺寸并保留重要的特征。常見的池化操作有最大池化和平均池化，它們分別選擇局部區(qū)域中的最大值或平均值作為輸出。通過降低特征圖的維度，池化層能夠提高模型的計(jì)算效率，并增強(qiáng)模型對輸入的平移和縮放不變性。12.4.2

深度神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN)

RNN是一種常用于處理序列數(shù)據(jù)的深度學(xué)習(xí)模型，它主要用于自然語言處理、語音識別等任務(wù)。通過引入遞歸的結(jié)構(gòu)來建模序列數(shù)據(jù)之間的依賴關(guān)系。

RNN的基本結(jié)構(gòu)是一個(gè)循環(huán)單元，它包含一個(gè)隱藏狀態(tài)和一個(gè)輸入。在處理序列數(shù)據(jù)時(shí)，RNN會(huì)根據(jù)當(dāng)前的輸入和前一時(shí)刻的隱藏狀態(tài)計(jì)算出當(dāng)前時(shí)刻的隱藏狀態(tài)。這樣，RNN可以在時(shí)間維度上共享權(quán)重，并捕捉到序列數(shù)據(jù)的上下文信息。同時(shí)，為了有效解決RNN梯度消失和梯度爆炸問題，提出了門控循環(huán)單元（GRU），它將LSTM的輸入門和遺忘門合并為一個(gè)更新門，并引入候選隱藏狀態(tài)。GRU相對于LSTM具有更簡化的結(jié)構(gòu)，在某些情況下能夠取得與LSTM相當(dāng)?shù)男阅堋?412.4.2

深度神經(jīng)網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM）

LSTM是一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)，專門用于解決傳統(tǒng)RNN難以處理長期依賴問題的挑戰(zhàn)。LSTM通過引入門控機(jī)制來解決模型無法有效地“記住”較早期的信息這一問題，并在序列數(shù)據(jù)中選擇性地存儲(chǔ)和遺忘信息。已經(jīng)在自然語言處理、語音識別、機(jī)器翻譯等多個(gè)領(lǐng)域取得了重大突破和應(yīng)用。

LSTM包含了一個(gè)細(xì)胞狀態(tài)和三個(gè)控制單元：輸入門、遺忘門和輸出門。輸入門用于控制需要更新到細(xì)胞狀態(tài)的新信息，遺忘門用于控制需要從細(xì)胞狀態(tài)中遺忘的舊信息，輸出門用于控制輸出的內(nèi)容。這些門控單元通過對輸入、遺忘和輸出的加權(quán)處理，實(shí)現(xiàn)對細(xì)胞狀態(tài)的更新。3512.4.2

深度神經(jīng)網(wǎng)絡(luò)注意力機(jī)制（AttentionMechanism）

通過引入注意力權(quán)重，動(dòng)態(tài)地分配模型對不同位置或特征的關(guān)注度。具體而言，注意力機(jī)制通過計(jì)算注意力權(quán)重來獲取輸入的加權(quán)和，從而獲得更精準(zhǔn)的表示。

常見的注意力機(jī)制包括softmax注意力和硬注意力。softmax注意力將注意力權(quán)重計(jì)算為輸入的概率分布，使得所有權(quán)重之和為1；硬注意力則通過取最大值或使用貪婪算法來選擇重要的位置或特征。

注意力機(jī)制的引入可以提升模型對關(guān)鍵信息的集中學(xué)習(xí)能力，從而提高模型的性能和泛化能力。

注意力機(jī)制是一種常用于增強(qiáng)深度學(xué)習(xí)模型性能的技術(shù)，被