性能曲線和最優(yōu)點

1、神經(jīng)網(wǎng)絡(luò)設(shè)計(美)Martin T. Hagan Howard B. Demuth Mark H. Beale 著 戴葵等譯第八章性能曲面和最優(yōu)點性能指數(shù)：衡量網(wǎng)絡(luò)性能的定量標(biāo)準(zhǔn)。性能指數(shù)在網(wǎng)絡(luò)性能良好的時候，是很小的，反 之則很大。在這里我們假設(shè)性能指數(shù)是已知的，以后討論性能指數(shù)的選擇方法。優(yōu)化過程的第二步是搜索減小性能指數(shù)的參數(shù)空間(調(diào)整網(wǎng)絡(luò)權(quán)值和偏置值)。1.泰勒級數(shù)用函數(shù)F(x)表示要最小化的性能指數(shù)，其中x是要調(diào)整的參數(shù)。假設(shè)F(x)的各級導(dǎo)數(shù)均 存在。那么F(x)可表示成災(zāi)某些指定點x*傷的泰勒級數(shù)展開。F (x) = F (x*) + F (x)(x 一 x *)dxx=x*+1

2、 土 F (x)(x - x *)22 dx 2x=x*F (x )(x - x *)nx=x*+1 dn+ n! dxnF (x )= cos( x)通過泰勒級數(shù)展開項的數(shù)量，可以用泰勒級數(shù)近似估計性能指數(shù)，例如設(shè)F (x )= cos( x)F(x)= F(x ,x ,. x )2.向量的情況神經(jīng)網(wǎng)絡(luò)的性能參數(shù)并不是一個純量x的函數(shù)，它是所有網(wǎng)絡(luò)參數(shù)(各個權(quán)值和偏置值) 的函數(shù)，參數(shù)的數(shù)量可能是很大的。因此要將泰勒級數(shù)展開形式擴展為多變量形式。F(x)= F(x ,x , x )F (x )=這個函數(shù)在x*的泰勒級數(shù)展開為.3/ / HYPERLINK l bookmark1 o Curr

3、ent Document F (x) = F (x*) + F (x)(xdx11x=x*-x1*)+dF (x )(x2-x2*)2x=x*dF(x) (xxn *)+ 2余F(x)nx=x*x=x*2 Mf(x)R1 2x=x*-x1*)(x2 -x2*)+這個表達(dá)式有些復(fù)雜，可以寫成矩陣形式F (x )= F (x)+ VF (x)(x - x *)x=x*+ L(x - x * V 2 F (x )|(x - x *)+2x=x*這里VF (x )為梯度，定義為VF (x )=Fdx1(x)# F(x)g F(x) TOC o 1-5 h z exex2nV2F(x)為赫森矩陣，其定義

4、為:V2 F (x)=0 20 20 2F(x) F(x) F(x)0 x 20 x 0 xOx Ox1 1 2 1 n020202F(x)F(x) F(x)0 x 0 x0 x 20 x 0 x:n020202F(x) F(x) F(x)0 x 0 x0 x 0 x0 x 2n 1n 2n TOC o 1-5 h z 方向?qū)?shù)梯度的第i個元素# F(x)，是性能指數(shù)F在x軸的一階導(dǎo)數(shù)，赫森矩陣的第i個對角 oxii0 2元素云 F(x)是性能指數(shù)F沿x,軸的二階導(dǎo)數(shù)。這就要求我們能夠求出函數(shù)在任意方向 i上的一階、二階導(dǎo)數(shù)。設(shè)為沿p所求導(dǎo)數(shù)方向上的一個向量，此方向?qū)?shù)可由下式求出：pTVF

5、(x )IpT沿p的二階導(dǎo)數(shù)也可以寫成pT V2 F (x)pllpl I2我們觀察上面的兩個式子會發(fā)現(xiàn)，分子部分是方向向量與梯度的內(nèi)積，所以，最大斜率 出現(xiàn)在方向向量和梯度同向時。極小點強極小點 如果存在某個純量5 0，使得當(dāng)8|Ax| 0時，對所有Ax都有F(x*) F x、Ax成立，這個點x*稱為F(x)的強極小點。換句話說，從一個強極小點出發(fā)，沿任意方向移動任何一個小的距離都將使F(x)增大。全局最小點 如果點x*使得F(x*) Axx=x*+ Axt V 2 F (x ) Ax + .2x=x*此處Ax = x x * 一階條件要使x*為極小點，則要使函數(shù)在Ax。0時增大或不減小。這就要求VF (x )tAx 0 x=x*但是，如果這一項為正，即VF (xAx 0，x=x*則推導(dǎo)出：F (x* Ax)= F (x*)VF (xAx 0 x=x*要使上式對于任意的Ax。0成立，赫森矩陣必須為正定矩陣。正定矩陣定義為：對于