深度學(xué)習(xí)案例教程 課件3.3激活函數(shù)的含義

第二節(jié)激活函數(shù)的含義激活函數(shù)Sigmoid函數(shù)神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用的一個(gè)激活函數(shù)就是如圖表示的sigmoid函數(shù)(sigmoidfunction)。圖中的exp(?x)表示??x的意思。e是納皮爾常數(shù)2.7182…。該式子表示的的sigmoid函數(shù)看上去有些復(fù)雜，但它也僅僅是個(gè)函數(shù)而已。而函數(shù)就是給定某個(gè)輸入后，會(huì)返回某個(gè)輸出的轉(zhuǎn)換器。神經(jīng)網(wǎng)絡(luò)中用sigmoid函數(shù)作為激活函數(shù)，進(jìn)行信號(hào)的轉(zhuǎn)換，轉(zhuǎn)換后的信號(hào)被傳送給下一個(gè)神經(jīng)元。激活函數(shù)ReLU函數(shù)在神經(jīng)網(wǎng)絡(luò)發(fā)展的歷史上，sigmoid函數(shù)很早就開(kāi)始被使用了，而最近則主要使用ReLU

(RectifiedLinearUnit)函數(shù)。激活函數(shù)ReLU函數(shù)ReLU（RectifiedLinearUnit）是一種常用的神經(jīng)網(wǎng)絡(luò)激活函數(shù)，具有以下優(yōu)點(diǎn)計(jì)算速度快：ReLU函數(shù)的計(jì)算非常簡(jiǎn)單，只需要判斷輸入是否大于0，因此計(jì)算速度非常快。收斂速度快：ReLU函數(shù)在非負(fù)區(qū)間內(nèi)斜率為1，因此當(dāng)輸入大于0時(shí)，梯度不會(huì)變得特別小，這有助于避免梯度消失問(wèn)題，提高網(wǎng)絡(luò)的訓(xùn)練速度和穩(wěn)定性。非線性：ReLU函數(shù)在輸入大于0時(shí)是線性的，在輸入小于等于0時(shí)是非線性的，因此可以幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)非線性的特征。激活函數(shù)Tanh函數(shù)Tanh函數(shù)激活函數(shù)Tanh函數(shù)優(yōu)點(diǎn)：有助于減緩梯度的消失問(wèn)題，提高模型的訓(xùn)練效果。缺點(diǎn)：它的輸出范圍為[-1,1]，因此需要對(duì)輸入數(shù)據(jù)進(jìn)行歸一化，避免輸出值過(guò)大或過(guò)小。激活函數(shù)Softmax函數(shù)Softmax是常用且重要的一種歸一化函數(shù)，其將輸入值映射為0-1之間的概率實(shí)數(shù)，常用于多分類。激活函數(shù)Softmax函數(shù)Softmax函數(shù)的優(yōu)點(diǎn)包括：1.輸出結(jié)果可解釋性強(qiáng)，可以表示不同類別的概率分布。2.可以使用交叉熵?fù)p失函數(shù)來(lái)訓(xùn)練分類模型，簡(jiǎn)化模型訓(xùn)練過(guò)程。3.Softmax函數(shù)具有平