廣義逆矩陣在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中的應(yīng)用

1、廣義逆矩陣在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中的應(yīng)用摘要：廣義逆矩陣是一種數(shù)學(xué)優(yōu)化技術(shù)。其在線性差分方程、線性微分方程、在求解系統(tǒng)的最優(yōu)化控制時(shí)非常有。本文主要介紹廣義逆矩陣在神經(jīng)網(wǎng)絡(luò)算法中的應(yīng)用，利用pseudoinverse學(xué)習(xí)算法實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練功能。1問(wèn)題的提出早在20世紀(jì)20年代初期，e.h.moor 就提出了廣義逆矩陣的概念，但長(zhǎng)期以來(lái)廣義逆矩陣的研究卻沒(méi)有受到人們的注意。直到1955年，隨著科學(xué)技術(shù)的迅猛發(fā)展，特別是電子計(jì)算機(jī)的出現(xiàn)，推動(dòng)了計(jì)算科學(xué)的進(jìn)步。r.penrose又獨(dú)立提出廣義逆矩陣的概念后，情況才開(kāi)始發(fā)生了變化。由于廣義逆矩陣在測(cè)量學(xué)，統(tǒng)計(jì)學(xué)等多個(gè)領(lǐng)域中得到了廣泛應(yīng)用，產(chǎn)生了巨大的推

2、動(dòng)力量，使其在之后的近四十年的時(shí)間得到了迅猛發(fā)展，形成了完整的理論體系。（1）廣義逆矩陣若a為非奇異矩陣，則線性方程組ax=b的解為x=ab，其中a的逆矩陣a滿足aa=a a=i(i為單位矩陣)。若a是奇異陣或長(zhǎng)方陣，ax=b可能無(wú)解或有很多解。若有解，則解為x=xb+(i-xa)，其中是維數(shù)與a的列數(shù)相同的任意向量，x是滿足axa=a的任何一個(gè)矩陣，通常稱x為a的廣義逆矩陣，用a、a或a等符號(hào)表示，有時(shí)簡(jiǎn)稱廣義逆或偽逆。當(dāng)a非奇異時(shí)，a也滿足a aa=a，且x= ab+(i- aa)= ab。故非異陣的偽逆矩陣就是它的逆矩陣，說(shuō)明偽逆矩陣確是通常逆矩陣概念的推廣。 對(duì)每個(gè)mn階矩陣a，都存在

3、唯一的nm階矩陣x，滿足：axa=a；xax=x；(ax)ax；(xa)xa。通常稱x為a的穆?tīng)?彭羅斯廣義逆矩陣，簡(jiǎn)稱m-p逆，記作a。當(dāng)a非奇異時(shí)，a也滿足，因此m-p逆也是通常逆矩陣的推廣。在矛盾線性方程組axb的最小二乘解中，xab是范數(shù)最小的一個(gè)解。 若a是n階方陣，k為滿足最小正整數(shù)，記作k=ind(a)，則存在唯一的n階方陣x，滿足： (1) akxa=ak；(2) xax=x； (3) ax=xa。通常稱x為a的德雷津廣義逆矩陣，簡(jiǎn)稱d逆，記作ad，a(d)或ad等。雖然它和線性代數(shù)方程組的解無(wú)關(guān)，但它在線性差分方程、線性微分方程、最優(yōu)控制等方面都有應(yīng)用。（2）人工神經(jīng)網(wǎng)絡(luò)人工

4、神經(jīng)網(wǎng)絡(luò)也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型，是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡(luò)以對(duì)大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面的功能。國(guó)際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人hecht nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進(jìn)行信息處理?！?神經(jīng)網(wǎng)絡(luò)的發(fā)展無(wú)疑和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以及多樣的適應(yīng)性強(qiáng)的學(xué)習(xí)算法是分不開(kāi)的，生物神經(jīng)網(wǎng)絡(luò)無(wú)疑是極其復(fù)雜的，但是在實(shí)際工程應(yīng)用當(dāng)中，我們對(duì)生物神經(jīng)網(wǎng)絡(luò)做了簡(jiǎn)化和抽象，其主要的組成元素為網(wǎng)

5、絡(luò)節(jié)點(diǎn)下所示 人工神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)其中，x為神經(jīng)元的輸入，w為各輸入的權(quán)值，b為外部輸入，在神經(jīng)元的第一級(jí)加權(quán)求和，在經(jīng)過(guò)f處理函數(shù)從神經(jīng)元輸出。神經(jīng)元構(gòu)成的人工神經(jīng)網(wǎng)絡(luò) 單層神經(jīng)網(wǎng)絡(luò)對(duì)上神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)學(xué)描述 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法就是找到最優(yōu)的權(quán)值w，使目標(biāo)輸出=f(wp)和正確值相等。這個(gè)尋找求解的過(guò)程這就是所謂的用訓(xùn)練樣本來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程。2問(wèn)題的解決（1）廣義逆矩陣用于解線性方程組，對(duì)于線性方程組 ax=b 的求解問(wèn)題，如果a是n階可逆矩陣，則方程有唯一解，且可表述為 x= ab但是在一般情況下，a不是n階方陣或者在n階方陣的條件下，矩陣的秩小于n 。方程有解的充要條件是 rank(a)=

6、rank(a b) 自然人們會(huì)想到，是否也存在某個(gè)矩陣g，把解表示為 x=gb 的形式，此式中的g必定與a具有某些行聯(lián)系。通過(guò)研究不難發(fā)現(xiàn)，式中的g應(yīng)滿足 aga=a 一般g不是唯一的。這樣我們就找到了通過(guò)求取矩陣的廣義逆矩陣解線性方程組的方法。這個(gè)方法在神經(jīng)網(wǎng)絡(luò)感知機(jī)的學(xué)習(xí)算法中被應(yīng)用，pseudoinverse學(xué)習(xí)算法也成為一種經(jīng)典的算法，下面就介紹這種算法。（2）pseudoinverse學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程實(shí)質(zhì)就是利用訓(xùn)練樣本不斷調(diào)整神經(jīng)元之間的連接權(quán)，使其在錯(cuò)誤中不斷提高處理性能。所謂的訓(xùn)練樣本是指事先給定的樣本對(duì)其中包含正確的輸入及輸出信息，用這些正確的信息就能實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)

7、練功能。pseudoinverse學(xué)習(xí)算法也不例外，其網(wǎng)絡(luò)為單層多輸入結(jié)構(gòu)。輸出函數(shù)為 y=wp 誤差可表述為 為使誤差函數(shù)達(dá)到最小值，我們直觀的可以看到應(yīng)該找到這樣的w使 wp=t 可得 w=tp 不難發(fā)現(xiàn)若成立， p矩陣必須存在可逆矩陣p?？墒?，在實(shí)際的工程應(yīng)用當(dāng)中p不存在逆矩陣的現(xiàn)象是極其常見(jiàn)的。在w的求解過(guò)程中我們就會(huì)遇到求解廣義逆矩陣的問(wèn)題。我們更一般的表達(dá) w=tp 其中 p= (pp)p 這樣復(fù)雜的方程組就順利的用數(shù)學(xué)方法求解出來(lái)了，正是在實(shí)際工程當(dāng)中的現(xiàn)實(shí)需求，廣義逆矩陣?yán)碚摰玫搅搜杆俚陌l(fā)展。3應(yīng)用小結(jié) 廣義逆矩陣源于線性方程組，但是廣義逆矩陣不僅與線性方程組的求解問(wèn)題有關(guān)，而且在求解系統(tǒng)的最優(yōu)化控制時(shí)非常有用，上述pseudoinverse學(xué)習(xí)算法就是一例。廣義逆矩陣的理論已經(jīng)成為數(shù)理統(tǒng)計(jì)，最優(yōu)化理論，現(xiàn)代控制理論和網(wǎng)絡(luò)理論的重要工具。相信隨著各項(xiàng)理論技術(shù)的迅猛發(fā)展，矩陣廣義逆理論一定會(huì)得到更多的應(yīng)用