《注意力機(jī)制探析》1100字

注意力機(jī)制分析綜述注意力機(jī)制（AttentionMechanism）[60]早期被應(yīng)用于機(jī)器翻譯任務(wù)，通過基于RNN的編碼-解碼器框架中使用注意力機(jī)制為特征的不同方面分配權(quán)重從而達(dá)到忽略輸入的中噪聲或者冗余，而后被廣泛使用在自然語(yǔ)言處理、圖像識(shí)別及語(yǔ)音識(shí)別等各種不同類型的深度學(xué)習(xí)任務(wù)中。注意力機(jī)制根據(jù)覆蓋范圍或窗口選擇可以分為全局注意力和局部注意力。其中全局注意力機(jī)制的基本思想是將所有的隱藏狀態(tài)融合成新的上下文向量，如下圖2.3所示：圖2.3全局注意力機(jī)制結(jié)構(gòu)示意圖在全局注意力機(jī)制下，編碼器的隱藏狀態(tài)?t會(huì)與序列中所有的源狀態(tài)?s進(jìn)行比較，通過這種方式對(duì)?t與?s相關(guān)程度進(jìn)行打分，接著對(duì)每一個(gè)隱藏狀態(tài)?t的score(?t，?a(2-12)其中對(duì)于打分函數(shù)的計(jì)算方法，LuongAttention[61]中提出了三種，實(shí)驗(yàn)表明第一種點(diǎn)積的的方式對(duì)于全局注意力機(jī)制比較有效。score(2-13)得到每個(gè)步驟的注意力權(quán)重后，通過對(duì)這些步驟進(jìn)行一個(gè)加權(quán)和的操作得到最終上下文向量的表示：c(2-14)全局注意力機(jī)制充分結(jié)合了編碼器所有的隱藏狀態(tài)，將解碼器的隱藏狀態(tài)與編碼器的隱藏狀態(tài)一一比較得出評(píng)分，最后得到注意力權(quán)重。由于全局注意力機(jī)制是一種軟注意力機(jī)制，即每一時(shí)刻解碼器都要對(duì)所有的編碼器狀態(tài)進(jìn)行比較，因此這種方式對(duì)于長(zhǎng)序列來說計(jì)算成本很大，效率低下，同時(shí)遠(yuǎn)距離的單詞效果并不理想。為了克服這一困難，提出了局部注意力機(jī)制[61]，解碼器只需注意一小部分編碼器狀態(tài)即可，如下圖2.4所示：圖2.4局部注意力機(jī)制結(jié)構(gòu)示意圖局部注意力機(jī)制對(duì)軟注意力機(jī)制以及硬注意力機(jī)制進(jìn)行了對(duì)比與權(quán)衡，借鑒了硬注意力機(jī)制的方式，每一次取部分狀態(tài)進(jìn)行計(jì)算，同時(shí)對(duì)模型進(jìn)行改進(jìn)，使其更易于訓(xùn)練。就局部注意力機(jī)制而言，首先要做的就是尋找局部的中心位置。當(dāng)源序列和目標(biāo)序列不是單調(diào)對(duì)齊時(shí)，尋找局部中心位置算法稱為PredictiveAlignment，通過構(gòu)建參數(shù)，讓網(wǎng)絡(luò)自學(xué)習(xí)并優(yōu)化參數(shù)，最終找到正確的中心位置。如下（2-15）式所示：p(2-15)vt和Wp均為模型的可學(xué)習(xí)參數(shù)，ht得到中心位置以后，我們?cè)俅_定其周圍位置點(diǎn)的權(quán)重因子。這里我們假設(shè)局部注意力機(jī)制滿足高斯分布，即中心點(diǎn)的注意力權(quán)重計(jì)算方式同全局注意力機(jī)制里面一樣，但是周圍點(diǎn)的注意力權(quán)重則以此為高斯分布展開。添加了以pt為均值、σ=D2為標(biāo)準(zhǔn)差的高斯分布系數(shù)Upt