長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型(LSTM)簡(jiǎn)介

1、511LSTM模型概述長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)是一種深度學(xué)習(xí)方法，目前是機(jī)器學(xué)習(xí)領(lǐng)域中應(yīng)用最廣泛的模型，并在科技領(lǐng)域有了眾多應(yīng)用。在2015年，谷歌通過(guò)LSTM模型大幅提升了安卓手機(jī)和其他設(shè)備中語(yǔ)音識(shí)別的能力，之后谷歌使用LSTM的范圍更加廣泛，它可以自動(dòng)回復(fù)電子郵件，生成圖像字幕，同時(shí)顯著地提高了谷歌翻譯的質(zhì)量；蘋(píng)果的iPhone也在QucikType和Siri中使用了LSTM；微軟不僅將LSTM用于語(yǔ)音識(shí)別，還將這一技術(shù)用于虛擬對(duì)話形象生成和編寫(xiě)程序代碼等等56LSTM算法全稱為L(zhǎng)ongshort-termmemory,最早由SeppHochreiter和JurgenSchmidhuber于1997

2、年提出57，是一種特定形式的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,Recurrentneuralnetwork,),而循環(huán)神經(jīng)網(wǎng)絡(luò)是一系列能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的總稱。RNN在處理時(shí)間序列上距離較遠(yuǎn)的節(jié)點(diǎn)時(shí)會(huì)發(fā)生梯度膨脹和梯度消失的問(wèn)題,為了解決RNN的這個(gè)問(wèn)題，研究人員提出基于門限的RNN(GatedRNN),而LSTM就是門限RNN中應(yīng)用最廣泛的一種，LSTM通過(guò)增加輸入門(InputGate)，輸出門(OuputGate)和遺忘門(ForgetGate)，使得神經(jīng)網(wǎng)絡(luò)的權(quán)重能夠自我更新，在網(wǎng)絡(luò)模型參數(shù)固定的情況下，不同時(shí)刻的權(quán)重尺度可以動(dòng)態(tài)改變，從而能夠避免梯度消失或者梯度膨脹的問(wèn)題。LSTM的結(jié)構(gòu)

3、中每個(gè)時(shí)刻的隱層包含了多個(gè)記憶單元(MemoryBlocks)，每個(gè)單元(Block)包含了多個(gè)記憶細(xì)胞(MemoryCell)，每個(gè)記憶細(xì)胞包含一個(gè)細(xì)胞(Cell)和三個(gè)門(Gate)58，一個(gè)基礎(chǔ)的LSTM結(jié)構(gòu)示例如圖5-1所示：ForgetGate其CellA圖5-1LSTM的基礎(chǔ)結(jié)構(gòu)58OutputBlackInputGale一個(gè)記憶細(xì)胞只能產(chǎn)出一個(gè)標(biāo)量值，一個(gè)記憶單元能產(chǎn)出一個(gè)向量丄STM的算法包括兩個(gè)部分:1.LSTM的前向傳播(ForwardPass),用于解決已知LSTM輸入如何得到輸出的問(wèn)題;2.LSTM的反向傳播(BackwardPass)，用于更新LSTM中每個(gè)權(quán)重的梯度

4、，解決LSTM的訓(xùn)練問(wèn)題。5.1.2LSTM的前向傳播算法本文應(yīng)用最基礎(chǔ)的LSTM結(jié)構(gòu)來(lái)進(jìn)行公共自行車出行鏈出行目的需求預(yù)測(cè)，該模型每個(gè)時(shí)刻的隱含層只包括一個(gè)記憶單元，每個(gè)記憶單元只包含一個(gè)記憶細(xì)胞。LSTM的前向傳播算法從輸入開(kāi)始，逐個(gè)求解輸入門、遺忘門、細(xì)胞門和輸出門，求解過(guò)程如圖5-2所示：OutputGate前輸出Ca輸入t點(diǎn)-%垃J=l.或=%牢*+瓦肌成）圖5-2LSTM的前向傳播算法流程圖ForgetGale的輸入InputGait的輸人（1）輸入門（）的計(jì)算輸入門接受兩個(gè)輸入：1.當(dāng)前時(shí)刻的輸入：；2.上一時(shí)刻同一單元內(nèi)所有細(xì)胞作為輸入：。最終輸入門的輸出為：（5-1）（5-2

5、）（2）遺忘門（）的計(jì)算遺忘門接受兩個(gè)輸入：1.當(dāng)前時(shí)刻的輸入：；2.上一時(shí)刻同一單元內(nèi)所有細(xì)胞作為輸入：。最終輸入門的輸出為：（5-3）（5-4）（3）記憶細(xì)胞（）的計(jì)算記憶細(xì)胞的計(jì)算稍有些復(fù)雜，接受兩個(gè)輸入：1.輸入門和輸入的乘積；2.遺忘門和上一時(shí)刻對(duì)應(yīng)記憶細(xì)胞輸出的乘積。最終記憶細(xì)胞的輸出為：（5-5）（5-6）（4）輸出門（）的計(jì)算遺忘門接受兩個(gè)輸入：1.當(dāng)前時(shí)刻的輸入：；2.當(dāng)前時(shí)刻同一單元內(nèi)所有細(xì)胞作為輸入：。最終輸出門的輸出為：（5-7）（5-8）（5）記憶細(xì)胞（）輸出的計(jì)算記憶細(xì)胞輸出的計(jì)算，即將輸出門和記憶細(xì)胞做乘積即可。最終記憶細(xì)胞輸出的輸出為：（5-9）至此，整個(gè)記憶單

6、元從輸入到輸出整個(gè)前向傳播算法已經(jīng)結(jié)束，其中涉及三個(gè)門和中間記憶細(xì)胞的計(jì)算，其中三個(gè)門使用的激活函數(shù)是，而輸入的激活函數(shù)是、記憶細(xì)胞輸出的激活函數(shù)是。5.1.3LSTM的反向傳播算法LSTM的反向傳播算法，利用鏈?zhǔn)角髮?dǎo)求解整個(gè)LSTM中每個(gè)權(quán)重的梯度。LSTM的反向傳播算法從求解輸出門梯度開(kāi)始，逐個(gè)求解細(xì)胞門、遺忘門和輸入門的梯度，應(yīng)用梯度下降原則訓(xùn)練LSTM網(wǎng)絡(luò)模型，求解過(guò)程如圖5-3所示：d=y；t=i冷啦仇血F斶+彗計(jì)*3胡刊+叫聊InputGat?的怫瞳Btecjc0圖5-3LSTM的反向傳播算法流程圖（1）權(quán)重的更新對(duì)于神經(jīng)網(wǎng)絡(luò)中的每一個(gè)權(quán)重，都需要找到對(duì)應(yīng)的梯度，從而通過(guò)不斷地用訓(xùn)

7、練樣本進(jìn)行隨機(jī)梯度下降找到全局最優(yōu)解。一般層次分明的神經(jīng)網(wǎng)絡(luò)有輸入層、隱含層和輸出層，層與層之間的權(quán)重比較直觀；旦在LSTM中通過(guò)公式才能找到對(duì)應(yīng)的權(quán)重，圖5-3標(biāo)識(shí)了LSTM的單個(gè)記憶單元中需要更新的權(quán)重：、。（2）記憶細(xì)胞輸出的梯度首先計(jì)算每個(gè)樣本輸出的梯度5- )即每一個(gè)樣本輸出的梯度僅和其預(yù)測(cè)值和真實(shí)值相關(guān)，這樣對(duì)于記憶細(xì)胞輸出的梯度則可以通過(guò)鏈?zhǔn)角髮?dǎo)法則推導(dǎo)出來(lái)：(5-11)其中輸出結(jié)果還可以連接下一個(gè)時(shí)刻的一個(gè)記憶細(xì)胞和三個(gè)門，則下一個(gè)時(shí)刻的一個(gè)記憶細(xì)胞和三個(gè)門的梯度則可以傳遞回當(dāng)前時(shí)刻輸出，以此來(lái)訓(xùn)練LSTM網(wǎng)絡(luò)。輸出門的梯度根據(jù)鏈?zhǔn)角髮?dǎo)法則，輸出門的梯度可以由以下公式推導(dǎo)出來(lái)：，(5-12)記憶細(xì)胞的梯度記憶細(xì)胞的輸入數(shù)據(jù)為，而細(xì)胞同時(shí)能夠接受輸入門和遺忘門的輸入。這樣梯度就直接從記憶細(xì)胞向下傳遞：，(5-13)在這個(gè)過(guò)程中，記憶細(xì)胞的梯度由4個(gè)計(jì)算單元傳遞回來(lái)：1.當(dāng)前時(shí)刻的記憶細(xì)胞輸出；2.下一時(shí)刻的記憶細(xì)胞；3.下一時(shí)刻的輸入門；4.下一時(shí)刻的輸出門。定義當(dāng)前記憶細(xì)胞的狀態(tài)(States)函數(shù)，則梯度可以這樣求解：5- )帶入式(5-13)那么記憶細(xì)胞的梯度為：(5-15)遺忘門的梯度遺忘門的梯度計(jì)算比較簡(jiǎn)單明了：，(5-16