課件神經(jīng)網(wǎng)絡(luò)-課程匯報

神經(jīng)網(wǎng)絡(luò)課程匯報內(nèi)容介紹神經(jīng)網(wǎng)絡(luò)的基本原理BP神經(jīng)網(wǎng)絡(luò)在詞義消歧（WordSenseDisambiguation）中的應(yīng)用總結(jié)背景“人工神經(jīng)網(wǎng)絡(luò)”（ArtificialNeuralNetwork,ANN）是在對人腦組織結(jié)構(gòu)和運行機制的認(rèn)識理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。早在20世紀(jì)40年代初期,心理學(xué)家McCulloch,數(shù)學(xué)家Pitts就提出了人工神經(jīng)網(wǎng)絡(luò)的第一個數(shù)學(xué)模型,從此開創(chuàng)了神經(jīng)科學(xué)理論的研究時代。其后,Rosenblatt,Widrow和Hopfield等學(xué)者又先后提出了感知模型,使得人工神經(jīng)網(wǎng)絡(luò)技術(shù)得以蓬勃發(fā)展?；咎卣鳎?）神經(jīng)元及其連接。從系統(tǒng)構(gòu)成的形式上看,由于人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)系統(tǒng)的啟發(fā)構(gòu)成的,從神經(jīng)元本身到連接模式,基本上都是以與生物神經(jīng)系統(tǒng)相似的方式工作的。（2）信息的存儲與處理。從表現(xiàn)特征上看,人工神經(jīng)網(wǎng)絡(luò)也力求模擬生物神經(jīng)系統(tǒng)的基本運行方式,并且可以通過相應(yīng)的學(xué)習(xí)/訓(xùn)練算法,將蘊含在一個較大數(shù)據(jù)集中的數(shù)據(jù)聯(lián)系抽象出來,就像人們可以不斷地探索規(guī)律,總結(jié)經(jīng)驗一樣,可以從先前得到的例子中找出一般規(guī)律或一般框架,再按要求產(chǎn)生出新的實例。人工神經(jīng)網(wǎng)絡(luò)的特點可以充分逼近任意復(fù)雜的非線性關(guān)系所有定量或定性的信息都等勢分布存儲于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元,故有很強的魯棒性和容錯性采用并行分布處理方法,使得快速進行大量運算成為可能可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)能夠同時處理定量,定性知識人工神經(jīng)元的組成一個神經(jīng)網(wǎng)絡(luò)由多個互連的神經(jīng)元組成,神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元,它一般是多個輸入、一個輸出的非線性單元,如下圖

…

人工神經(jīng)元的組成神經(jīng)元的輸入為其中,wij是單元j與前一層單元i之間的連接權(quán)值；Oi是單元i的輸出；為改變單元j活性的偏置,一般在區(qū)間[-1,1]上取值。神經(jīng)元的輸出Yj=f(netj)其中f(netj)為神經(jīng)元輸入/輸出關(guān)系的函數(shù),稱為神經(jīng)元功能函數(shù),激活函數(shù)。通常,神經(jīng)元功能函數(shù)（激活函數(shù)）f描述了神經(jīng)元在輸入信號作用下產(chǎn)生的輸出信號的規(guī)律,這是神經(jīng)元模型的外特征f函數(shù)形式多樣，根據(jù)激活函數(shù)的不同，相應(yīng)的有不同的形式神經(jīng)元模型:(1)閾值型:激活函數(shù)f為一階躍函數(shù)(2)線性飽和型:輸入/輸出特性在一定的區(qū)間內(nèi)滿足線性關(guān)系。(3)S(sigmoid)型:f為sigmoid函數(shù)，它是一個有最大輸出值的非線性函數(shù)，其輸出值是在某個范圍內(nèi)連續(xù)取值的。S型激活函數(shù)反映了神經(jīng)元的非線性輸出特性。(4)子閾累積型(5)概率型神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)分層網(wǎng)絡(luò)結(jié)構(gòu)分層網(wǎng)絡(luò)結(jié)構(gòu)又稱為層次網(wǎng)絡(luò)結(jié)構(gòu),按層的多少,可分為單層,雙層及多層的網(wǎng)絡(luò)結(jié)構(gòu)(1)單層或雙層網(wǎng)絡(luò)結(jié)構(gòu)。最早的神經(jīng)網(wǎng)絡(luò)模型的互連模式是單層或雙層結(jié)構(gòu),這種互連模式是最簡單的層級結(jié)構(gòu)。感知機就是采用這種結(jié)構(gòu),如下圖所示單層與雙層神經(jīng)網(wǎng)絡(luò)互連結(jié)構(gòu)…(2)多層網(wǎng)絡(luò)結(jié)構(gòu)。在神經(jīng)網(wǎng)絡(luò)模型中,有一種十分典型的互連模式,這就是多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),這種互連模式的代表有簡單的前向網(wǎng)絡(luò)(BP神經(jīng)網(wǎng)絡(luò))模式,多層側(cè)抑制(神經(jīng)網(wǎng)絡(luò)內(nèi)有相互連接的前向網(wǎng)絡(luò))模式和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型。如下圖所示,一個簡單的前向多層神經(jīng)網(wǎng)絡(luò)輸入模式由輸入層進入網(wǎng)絡(luò),經(jīng)過中間層的順序模式變換,最后由輸出層產(chǎn)生一個輸出模式,便完成一次網(wǎng)絡(luò)狀態(tài)更新。神經(jīng)網(wǎng)絡(luò)模型分類按學(xué)習(xí)方式分類按學(xué)習(xí)方式分為有導(dǎo)學(xué)習(xí)(有監(jiān)督訓(xùn)練),強化學(xué)習(xí)和無導(dǎo)學(xué)習(xí)(無監(jiān)督訓(xùn)練)3類網(wǎng)絡(luò)模型。(1)在有導(dǎo)的學(xué)習(xí)中,必須預(yù)先知道學(xué)習(xí)的期望結(jié)果,并按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。(2)強化學(xué)習(xí)是利用某一技術(shù)表示“獎/懲”的全局信號,衡量與強化輸入相關(guān)的局部決策。(3)無導(dǎo)學(xué)習(xí)不需要指導(dǎo)信息,只要給定輸入信息,網(wǎng)絡(luò)能通過自組織,自調(diào)整,自學(xué)習(xí)并給出一定意義下的輸出響應(yīng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)確定了網(wǎng)絡(luò)結(jié)構(gòu)（網(wǎng)絡(luò)層數(shù),各層單元數(shù)）之后,應(yīng)該確定各單元的偏置及單元之間的連接權(quán)值。學(xué)習(xí)過程就是調(diào)整這組權(quán)值和偏置,使每個訓(xùn)練樣本在輸出層單元上獲得期望輸出。學(xué)習(xí)目的就是找出一組權(quán)值和偏置,這組權(quán)值和偏置能使所有訓(xùn)練樣本在輸出層單元上獲得期望輸出。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法誤差向后傳播方法誤差修正學(xué)習(xí)方法是一種監(jiān)督學(xué)習(xí)（有導(dǎo)）過程,其基本思想是利用神經(jīng)網(wǎng)絡(luò)的期望輸出與實際輸出間的偏差作為調(diào)整連接權(quán)值的參考依據(jù),并最終減少這種偏差。誤差向后傳播方法的基本思想首先賦予每條有向加權(quán)邊初始權(quán)值、每個隱藏層與輸出層單元初始偏置；然后迭代地處理每個訓(xùn)練樣本；輸入它的描述屬性值,計算輸出層單元的實際輸出；比較實際輸出與期望輸出（類別屬性值）,將它們之間的誤差從輸出層經(jīng)每個隱藏層到輸入層“后向傳播”；根據(jù)誤差修改每條有向加權(quán)邊的權(quán)值及每個隱藏層與輸出層單元的偏置,使實際輸出與期望輸出之間的誤差最小。對于某個訓(xùn)練樣本,實際輸出與期望輸出的誤差Error定義為式中,c為輸出層的單元數(shù)目；Tk為輸出層單元k的期望輸出；Ok為輸出層單元k的實際輸出。首先考慮輸出層單元k與前一層單元j之間的權(quán)值wjk的修改量Δwjk、單元k的偏置的修改量。式中,l為避免陷入局部最優(yōu)解的學(xué)習(xí)率,一般在區(qū)間[0,1]上取值。求解上式可以得到權(quán)值,偏置的修改量為式中,Oj為單元j的輸出；Errk是誤差Error對單元k的輸入netk的負(fù)偏導(dǎo)數(shù),即類似地,隱藏層單元j與前一層單元i之間的權(quán)值wij的修改量Δwij、單元j的偏置的修改量為式中,l為學(xué)習(xí)率；Oi為單元i的輸出；Oj為單元j的輸出；Errk為與單元j相連的后一層單元k的誤差；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)值。權(quán)值，偏置的修改公式為權(quán)值、偏置的更新有兩種策略:1）處理一個訓(xùn)練樣本更新一次，稱為實例更新，一般采用這種策略。2）累積權(quán)值、偏置，當(dāng)處理所有訓(xùn)練樣本后再一次更新，稱為周期更新。一般，在訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)時，誤差后向傳播算法經(jīng)過若干周期以后，可以使誤差Error小于設(shè)定閾值，此時認(rèn)為網(wǎng)絡(luò)收斂，結(jié)束迭代過程。此外，也可以定義如下結(jié)束條件:1）前一周期所有的權(quán)值變化都很小，小于某個設(shè)定閾值；2）前一周期預(yù)測的準(zhǔn)確率很大，大于某個設(shè)定閾值；3）周期數(shù)大于某個設(shè)定閾值。23算法:誤差后向傳播算法輸入:訓(xùn)練數(shù)據(jù)集S，前饋神經(jīng)網(wǎng)絡(luò)NT，學(xué)習(xí)率l輸出:經(jīng)過訓(xùn)練的前饋神經(jīng)網(wǎng)絡(luò)NT步驟:（1）在區(qū)間[-1,1]上隨機初始化NT中每條有向加權(quán)邊的權(quán)值、每個隱藏層與輸出層單元的偏置（2）while結(jié)束條件不滿足（2.1）forS中每個訓(xùn)練樣本s24（2.1.1）for隱藏層與輸出層中每個單元j//從第一個隱藏層開始向前傳播輸入（2.1.2）for輸出層中每個單元k

Errk=Ok(1-Ok)(Tk-Ok)25（2.1.3）for隱藏層中每個單元j//從最后一個隱藏層開始向后傳播誤差（2.1.4）forNT中每條有向加權(quán)邊的權(quán)值wij

wij=wij+l·ErrjOi（2.1.5）for隱藏層與輸出層中每個單元的偏置θj

θj=θj+l·Errj一個學(xué)習(xí)的例子例.假設(shè)訓(xùn)練樣本s的描述屬性值與類別屬性值分別為{1,0,1}與1,前饋神經(jīng)網(wǎng)絡(luò)NT如下圖所示,NT中每條有向加權(quán)邊的權(quán)值、每個隱藏層與輸出層單元的偏置如表7.3所示,學(xué)習(xí)率為0.9。寫出輸入s訓(xùn)練NT的過程。前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)28表1NT中邊的權(quán)值、單元的偏置x1

x2

x3

w14

w15

w24

w25w34

w35

w46w56θ4

θ5

θ6

1010.2－0.30.40.1－0.50.2－0.3－0.2－0.40.20.1wij和θj是隨機產(chǎn)生的,l＝0.929表7.4隱藏層與輸出層中單元的輸入、輸出單元j

輸入netj

輸出Oj

40.2*1+0.4*0+(－0.5)*1+(－0.4)=－0.71/(1+e－(－0.7))=0.3325(－0.3)*1+0.1*0+(0.2)*1+0.2=0.11/(1+e－0..1)=0.5256(－0.3)*0.332+(－0.2)*0.525+0.1=－0.1051/(1+e－(－0.105))=0.47430表7.5隱藏層與輸出層中單元的Err

單元j

Errj

60.474*(1－0.474)*(1－0.474)=0.131150.525*(1－0.525)*(0.1311*(－0.2))=－0.006540.332*(1－0.332)*(0.1311*(－0.3))=－0.0087Errk=Ok(1-Ok)(Tk-Ok)31表7.6NT中邊的新權(quán)重、單元的新偏置

w46

－0.3+0.9*0.1311*0.332=－0.261w56

－0.2+0.9*0.1311*0.525=－0.138w14

0.2+0.9*(－0.0087)*1=0.192w15

－0.3+0.9*(－0.0065)*1=－0.306w24

0.4+0.9*(－0.0087)*0=0.4w25

0.1+0.9*(－0.0065)*0=0.1w34

－0.5+0.9*(－0.0087)*1=－0.508w35

0.2+0.9*(－0.0065)*1=－0.194θ6

0.1+0.9*0.1311=0.218θ5

0.2+0.9*(－0.0065)=0.194θ4

－0.4+0.9*(－0.0087)=－0.408wij=wij+l·ErrjOiθj=θj+l·Errj神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)結(jié)束后,神經(jīng)網(wǎng)絡(luò)得到一組固定的權(quán)值及偏置。新樣本到來后,將其描述屬性值送入輸入層各單元,從輸入層到輸出層正向傳播,計算輸出層各單元的值{O1,O2,…,On},令r=max(O1,O2,…,On),則第r個輸出層單元所代表的類別就是該樣本所屬的類別。例如,在例7.6中,只有一個輸出層單元,表示只有兩個類別（A類、B類）。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)束后,表7.6中的各權(quán)值和偏置都固定。將一個新樣本X=（x1,x2,x3）送入輸入層后可以計算出O6,若O6≈1,則表示X應(yīng)屬于A類；若O6≈0,則表示X應(yīng)屬于B類；若O6≈0.5,則拒絕分類。神經(jīng)網(wǎng)絡(luò)在詞義消歧中的應(yīng)用詞義消歧(WSD)一直是自然語言處理(NLP)領(lǐng)域一個非常重要的研究課題,詞義消歧問題幾乎覆蓋了各種自然語言處理系統(tǒng),其中包括信息檢索(IR)、機器翻譯(MT)、關(guān)鍵詞的提取、語音識別、文本分類和自動文摘等。據(jù)統(tǒng)計,在信息檢索中引入詞義消歧技術(shù)術(shù)后,可使檢索的準(zhǔn)確率提高5.2%?？梢?詞義消歧在自然語言處理中是不可避免的基礎(chǔ)問題。Forinstance,considerthefollowingsentences:(a)Icanhearbasssounds.(b)Theylikegrilledbass.出現(xiàn)在上面兩個句子中的bass很明顯表示不同的意思:低音的(adj)和一種魚(n.鱸魚).問題描述多義詞的詞義消歧主要是為了解決自然語言中同形異義詞義在不同語境下的義項問題,因此主要利用多義詞的上下文信息來決定義項類別的歸屬問題。在早期主要采用規(guī)則方式來解決詞義消歧,此種方法主要通過約束性規(guī)則來定義上下文中帶消歧的詞義,這樣需要一個具有完備性、一致性、可擴充性和對開放領(lǐng)域適應(yīng)性的語料庫,如何有效構(gòu)造規(guī)則庫和進行知識獲取是該方法的瓶頸問題。隨著用在詞義消歧上的機器學(xué)習(xí)方法的增多,如決策樹、決策表、Na?ve-Bayes、神經(jīng)網(wǎng)絡(luò)、最大熵方法等,我們逐步使用基于語料庫的統(tǒng)計方法來進行詞義消歧。基于語料庫的統(tǒng)計方法根據(jù)訓(xùn)練語料事先是否經(jīng)過人工標(biāo)注又分為有指導(dǎo)的和無指導(dǎo)的兩類。有指導(dǎo)的機器學(xué)習(xí)方法在此問題上取得了比較好的效果,但是它存在數(shù)據(jù)稀疏問題,要獲得更有效的消歧效果,必須要有一個規(guī)模大、覆蓋廣、有效的、帶標(biāo)注的語料庫的支持。而語料庫始終難以覆蓋自然語言領(lǐng)域中所有的情況,并且?guī)?biāo)注的語料庫需要大量的人工勞動,客觀上這些問題限制了該類方法的應(yīng)用?；贐P神經(jīng)網(wǎng)絡(luò)(Back-Propagation)的有導(dǎo)詞義消歧方法利用BP神經(jīng)網(wǎng)絡(luò)的泛化功能來解決傳統(tǒng)有導(dǎo)消歧中的數(shù)據(jù)稀疏問題,達到比較好的詞義消歧實驗結(jié)果BP神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)BP網(wǎng)絡(luò)對于在樣本集合中未訓(xùn)練過的輸入,也能根據(jù)網(wǎng)絡(luò)的節(jié)點分析給出合適的輸出,即BP網(wǎng)絡(luò)的泛化(Generalization)功能。從函數(shù)擬合的角度看,這種泛化也說明BP網(wǎng)絡(luò)具有插值功能。這個功能也就是我們在詞義消歧中采用此種方法重要的原因之一,因為它可以很好地避免數(shù)據(jù)稀疏問題。利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建WSD模型對BP神經(jīng)網(wǎng)絡(luò)模型來說,如何較好地確定神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)的應(yīng)用效果是非常重要的。在實驗過程中,對神經(jīng)網(wǎng)絡(luò)的參數(shù)要進行優(yōu)化和研究,主要有:輸入層節(jié)點數(shù),隱藏層節(jié)點數(shù),輸出層節(jié)點數(shù),激發(fā)函數(shù),學(xué)習(xí)因子等。

漢語多義詞統(tǒng)計(4)確定輸出量

對于每一個待消歧詞都會訓(xùn)練一個模型,由表2可知,多義詞的平均義項在2～3個,因此,實驗中取每個待消歧詞的三個義項來構(gòu)成輸出向量。(5)確定隱藏層的節(jié)點數(shù)中間的隱含層的節(jié)點數(shù)比較靈活,在實驗中通過枚舉的辦法最終確定15個節(jié)點的實驗結(jié)果最優(yōu)。(6)實驗的過程與結(jié)果利用BP神經(jīng)網(wǎng)絡(luò)進行詞義消歧主要包括兩個階段:訓(xùn)練或?qū)W習(xí)階段(trainingorlearningphase)