哈工大模式識別—多層神經網絡

1、1會計學哈工大模式識別哈工大模式識別多層神經網絡多層神經網絡1,dti iiyffwxwxf稱為激活稱為激活函數(shù)函數(shù)第1頁/共51頁 輸入層輸入層 隱含層隱含層 輸出層輸出層第2頁/共51頁第3頁/共51頁 1,01,0 xf xx第4頁/共51頁 f xx第5頁/共51頁 11xf xe第6頁/共51頁 tanh( )xxxxeef xxee第7頁/共51頁第8頁/共51頁第9頁/共51頁 210011Hndkkjji ijkjigfwfwx wwx第第k個輸出層神經元的輸出，其個輸出層神經元的輸出，其中中d為特征維數(shù)，為特征維數(shù)，nH為隱層節(jié)為隱層節(jié)點數(shù)。點數(shù)。第10頁/共51頁 2211

2、122ciiiJt zwt-z 1Jmmmm wwwww迭代公式：迭代公式：第11頁/共51頁kkjkkjnetJJwnetw1,Hnkki iinetwykjkjnetyw kkkkkkkzJJtz f netnetz net kkkjkjkjJtz f net yyw kkkktz f net第12頁/共51頁jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第13頁/共51頁21112cckkkkkkkjjjzJtztzyyy 11cckkkkkkkkjkkkjznettztz f net wnety 1ckkkkjjik

3、jiJtz f net w f net xw1cjjkkjkf netw,j ijiJxw第14頁/共51頁,k jkjJyw kkkkt z f net ,j ijiJxw1cjjkkjkf netw第15頁/共51頁第16頁/共51頁11.end第17頁/共51頁11d wd 111bpmmmm wwww第18頁/共51頁第19頁/共51頁第20頁/共51頁第21頁/共51頁第22頁/共51頁第23頁/共51頁 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目標函數(shù)增量：目標函數(shù)增量：使目標函數(shù)下降最大：使目標函數(shù)下降最大：第24頁/共51頁

4、 12kttkkkkJJ wwwwwwHww 0kkkkd JJd w wwwHwww 1kkJw wwwHwH是是Hessian矩陣，求取目標函數(shù)增量的矩陣，求取目標函數(shù)增量的極大值：極大值：第25頁/共51頁 11mmmdJdww mw mdJdJdwdw 第26頁/共51頁0tH l 對于二次優(yōu)化函數(shù)對于二次優(yōu)化函數(shù)，權值沿著任意一，權值沿著任意一個初始方向移動到個初始方向移動到最小點，然后再沿最小點，然后再沿著該方向關于著該方向關于H的的共軛方向移動到最共軛方向移動到最小點即可達到全局小點即可達到全局最小點。最小點。第27頁/共51頁 1mmJmm www3.如算法未收斂，則繼續(xù)在共軛

5、方向上如算法未收斂，則繼續(xù)在共軛方向上計算下一個搜索方向。計算下一個搜索方向。 111tmtJmJmJmJmJm wwwww第28頁/共51頁 vw t-z 1ttkkkkkkwJ w J wIJ w v w 111122221212nnNNNnvvvwwwvvvwwwvvvwwwwwwwwwJ wwww權值增量：權值增量：其中其中I為單位矩陣，為單位矩陣，k k為參數(shù)，為參數(shù)，J J為為JacobiJacobi矩陣：矩陣：第29頁/共51頁第30頁/共51頁 expPEEkT其中其中T是固體的溫度，是固體的溫度，k為為Boltzmann常數(shù)常數(shù)第31頁/共51頁第32頁/共51頁 2expP

6、Ew T第33頁/共51頁第34頁/共51頁Ew第35頁/共51頁第36頁/共51頁第37頁/共51頁第38頁/共51頁第39頁/共51頁g = w11,w12, w13; w21,w22, w23; w31,w32, w33第40頁/共51頁, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;, ,33333a r b s c t d ui

7、z22222,;, ,33333r a s b t c u bz i第41頁/共51頁 , , ; , , ; , ,;, ,abcd e f ghiaabbccddii 第42頁/共51頁1,dti iiyffwxwxf稱為激活稱為激活函數(shù)函數(shù)第43頁/共51頁 tanh( )xxxxeef xxee第44頁/共51頁jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第45頁/共51頁第46頁/共51頁第47頁/共51頁 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目標函數(shù)增量：目標函數(shù)增量：使目標函數(shù)下降最大：使目標函數(shù)下降最大：第48頁/共51頁, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;