非線(xiàn)性主軸降維映射法

1、非線(xiàn)性主軸降維映射法                          2非線(xiàn)性主軸降維映射法由上述設(shè)計(jì)優(yōu)化降維映射理論可知,高維設(shè)計(jì)優(yōu)化問(wèn)題的降維過(guò)程(包括線(xiàn)性、非線(xiàn)性降維)可以分解為既相互獨(dú)立又相互關(guān)聯(lián)的3個(gè)階段:1)獲得設(shè)計(jì)樣本集;2)設(shè)計(jì)樣本集的結(jié)構(gòu)描述;3)基于結(jié)構(gòu)的降維準(zhǔn)則.與之相對(duì)應(yīng),設(shè)計(jì)優(yōu)化降維方法的提出和形成主要包含3方面工作:1)高維設(shè)計(jì)

2、空間采樣并通過(guò)仿真分析獲得目標(biāo)函數(shù)和約束函數(shù)值;2)根據(jù)設(shè)計(jì)優(yōu)化數(shù)學(xué)模型提出設(shè)計(jì)樣本集結(jié)構(gòu)模型;3)建立基于設(shè)計(jì)樣本集結(jié)構(gòu)的降維準(zhǔn)則或損失規(guī)則.設(shè)計(jì)優(yōu)化降維方法可以看作是保持設(shè)計(jì)方案樣本集某種特性的數(shù)學(xué)變換,包括線(xiàn)性變換和非線(xiàn)性變換.首先探求設(shè)計(jì)方案樣本集某種感興趣特征,然后尋求具有此種特征的低維數(shù)據(jù)表示方式.設(shè)計(jì)優(yōu)化降維方法在一定程度上抓住了設(shè)計(jì)方案樣本集的數(shù)學(xué)特征,降維結(jié)果在一定程度上反映了設(shè)計(jì)方案樣本集的產(chǎn)生機(jī)制.在設(shè)計(jì)優(yōu)化降維映射理論框架下,進(jìn)一步完善非線(xiàn)性主軸降維映射法5,研究該方法的模型假設(shè)、降維本質(zhì)和有效性,并將其與主成分回歸方法和響應(yīng)面法進(jìn)行比較.2.1數(shù)學(xué)模型非線(xiàn)性主軸降維映

3、射法認(rèn)為優(yōu)化模型中目標(biāo)函數(shù)和約束是高維設(shè)計(jì)空間中具有較低本征維數(shù)的光滑數(shù)據(jù)流形,能夠在2個(gè)或3個(gè)特征主軸上反映優(yōu)化模型的主要信息,在一定先驗(yàn)信息基礎(chǔ)上,通過(guò)主軸的各種非線(xiàn)性函數(shù)描述和逼近目標(biāo)函數(shù)和約束,從而將高維優(yōu)化模型映射到二維或三維空間進(jìn)行可視化顯示和分析.非線(xiàn)性主軸降維映射法以如下假設(shè)為前提:1)高維設(shè)計(jì)方案樣本集源于光滑數(shù)據(jù)流形,即認(rèn)為目標(biāo)函數(shù)和約束位于各種光滑數(shù)據(jù)流形之上;2)優(yōu)化模型中目標(biāo)函數(shù)和約束具有低于原設(shè)計(jì)空間維數(shù)的本征維數(shù),對(duì)設(shè)計(jì)空間可視化應(yīng)用二維或三維可視展示;3)設(shè)計(jì)優(yōu)化具有較強(qiáng)的先驗(yàn)信息,以確定非線(xiàn)性映射函數(shù).非線(xiàn)性主軸降維映射法通過(guò)非線(xiàn)性函數(shù)描述優(yōu)化模型中的非線(xiàn)性特

4、征,將高維優(yōu)化模型(通過(guò)設(shè)計(jì)方案樣本集描述)降低到適當(dāng)維數(shù),并在保證一定精度前提下盡可能保留原模型信息(或稱(chēng)之為特征),達(dá)到識(shí)別目標(biāo)函數(shù)和設(shè)計(jì)空間幾何形態(tài)之目的.通過(guò)采樣獲得設(shè)計(jì)樣本集.非線(xiàn)性主軸降維映射模型的精度在很大程度上依賴(lài)于設(shè)計(jì)空間中設(shè)計(jì)點(diǎn)分布情況,因而不能隨意選擇設(shè)計(jì)點(diǎn),而應(yīng)該依據(jù)某種策略進(jìn)行采樣.對(duì)設(shè)計(jì)優(yōu)化而言,通常應(yīng)用試驗(yàn)設(shè)計(jì)理論采樣,如拉丁超立方抽樣和正交設(shè)計(jì)等.通過(guò)試驗(yàn)設(shè)計(jì)得到D維設(shè)計(jì)空間采樣容量為N的采樣點(diǎn)矩陣X,利用系統(tǒng)分析模型計(jì)算每個(gè)采樣點(diǎn)處的目標(biāo)函數(shù)值及各約束值,得到L×N(L為目標(biāo)函數(shù)和約束個(gè)數(shù))的輸出矩陣Y.非線(xiàn)性主軸降維映射法降維映射概念模型如圖1所示

5、.在圖1中,主軸Z為設(shè)計(jì)變量的線(xiàn)性組合,P為主軸Z的非線(xiàn)性函數(shù).為簡(jiǎn)潔起見(jiàn),在描述非線(xiàn)性主軸降維映射法時(shí),假設(shè)數(shù)據(jù)流形的本征維數(shù)為2,對(duì)主軸數(shù)目大于2的數(shù)據(jù)流形降維映射,依此類(lèi)推.數(shù)據(jù)流形本征維數(shù)為2,則主軸數(shù)目為2.首先將主軸z1和z2表示為X的線(xiàn)性組合:z1z2=w1X+b1w2X+b2.式中:w1和w2為權(quán)值向量,代表設(shè)計(jì)變量向主軸平面映射的投影方向;b1和b2為閾值.X=x11x12x1Nx21x22x2N xD1xD2xDN,wj= wj1,wj2,wjD;j=1,2.從映射平面z1z2到輸出響應(yīng)的映射為Y=vP,P= f1z1,z2,f2z1,z2,fpz1,z2.式中:fk(&#

6、183;,·),k=1,2,p可為任意非線(xiàn)性基函數(shù),由設(shè)計(jì)人員根據(jù)先驗(yàn)信息指定;v為非線(xiàn)性映射權(quán)值矩陣.Y=y11y12y1Ny21y22y2N yL1yL2yLN,v=v11v12v1pv21v22v2p vL1vL2vLp.選取輸出誤差作為結(jié)構(gòu)度量準(zhǔn)則:=pk=1Ni=1yki-yki.式中:yki為通過(guò)系統(tǒng)分析模型計(jì)算所得采樣點(diǎn)計(jì)算值,yki為非線(xiàn)性主軸降維映射估計(jì)值.*|X,Y=min=(w1,w2,v)|X,Y.式中:*= w*1,w*2,v*為高維設(shè)計(jì)方案樣本集到低維空間的最優(yōu)結(jié)構(gòu)描述,顯然這是第I類(lèi)結(jié)構(gòu)映射.*的確定可以轉(zhuǎn)化為求解一個(gè)無(wú)約束非凸非線(xiàn)性?xún)?yōu)化問(wèn)題,也可以通過(guò)

7、建立二層神經(jīng)網(wǎng)絡(luò),采用BP算法獲得.2.2預(yù)估精度檢驗(yàn)在獲得非線(xiàn)性主軸降維映射模型后,還需要通過(guò)驗(yàn)證數(shù)據(jù)集檢驗(yàn)?zāi)Ｐ皖A(yù)估精度.若使用z1和z2兩個(gè)主軸擬合目標(biāo)函數(shù)和約束能夠獲得足夠的預(yù)估精度,則認(rèn)為優(yōu)化模型本征維數(shù)為2,z1和z2為設(shè)計(jì)空間數(shù)據(jù)流形的本征變量;若預(yù)估精度不滿(mǎn)足要求,需要加入新的主軸方向z3重新擬合,直到滿(mǎn)足所要求的預(yù)估精度.非線(xiàn)性主軸降維映射法具有發(fā)現(xiàn)數(shù)據(jù)流形數(shù)學(xué)特征的能力.2.3可視化在降維映射模型中,Z為X的線(xiàn)性組合,Z通過(guò)P和v的作用,與Y建立起非線(xiàn)性映射關(guān)系.由此可以在低維主軸空間以Z為坐標(biāo)軸描繪Y的分布規(guī)律,從而可視化目標(biāo)函數(shù)和約束在設(shè)計(jì)空間中的整體拓?fù)湫螒B(tài)和幾何形態(tài).

8、2.4與其他數(shù)據(jù)處理方法的比較非線(xiàn)性主軸降維映射法是基于可視化目的,將高維設(shè)計(jì)空間降到二維或三維空間顯示的數(shù)據(jù)處理方法,也可以將其看作可視化流程中的數(shù)據(jù)預(yù)處理.將非線(xiàn)性主軸降維映射法與主成分回歸方法和響應(yīng)面法比較,加深對(duì)非線(xiàn)性主軸降維映射法數(shù)學(xué)本質(zhì)的認(rèn)識(shí).2.4·1與主成分回歸方法比較主成分分析4是一種線(xiàn)性降維方法,主成分回歸是在主成分分析基礎(chǔ)上對(duì)主成分進(jìn)行的線(xiàn)性回歸.主成分分析,又稱(chēng)主軸分析,是將多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)的統(tǒng)計(jì)分析方法.主成分分析方法由于概念簡(jiǎn)單,計(jì)算方便,便于最優(yōu)線(xiàn)性重構(gòu),成為數(shù)據(jù)處理中應(yīng)用最為廣泛的降維方法之一.類(lèi)似地,假設(shè)高維數(shù)據(jù)集本征維數(shù)為2,數(shù)據(jù)集結(jié)構(gòu)

9、模型為z1z2=w1Xw2X,即主軸Z為X的線(xiàn)性變換.降維準(zhǔn)則為=2,*|X=max=(w1,w2)|X.式中:2表示zi的方差,2越大表示zi包含的信息越多.一般地,求X的第i主成分可以通過(guò)求X的協(xié)方差矩陣的第i大特征值所對(duì)應(yīng)的單位特征向量得到.主成分回歸是在主成分分析基礎(chǔ)上,首先由X計(jì)算Z的得分值,將其作為主成分的觀測(cè)值,然后建立Y與Z的線(xiàn)性回歸模型即得主成分回歸方程.主成分回歸的數(shù)據(jù)處理過(guò)程如圖2所示.與主成分回歸不同,非線(xiàn)性主軸降維映射法的數(shù)據(jù)處理過(guò)程如圖3所示.可以看出,主成分回歸是針對(duì)X的降維,即采用較少的綜合變量Z代替原來(lái)較多的原始變量X,而Z能夠盡可能多地反映X的信息,且彼此互

10、不相關(guān).非線(xiàn)性主軸降維映射法是針對(duì)Y的降維,其前提是ynNn=1來(lái)自或近似來(lái)自維數(shù)為L(zhǎng)的某一數(shù)據(jù)流形,其目的是探求高維數(shù)據(jù)流形合適的低維坐標(biāo)描述.主成分回歸和非線(xiàn)性主軸降維映射中的主軸都是X的線(xiàn)性組合,但含義有所不同.主成分回歸中的主軸是使X變差最大的方向,而非線(xiàn)性主軸降維映射中的主軸是表征Y的重要方向.因此,雖然2個(gè)映射模型看起來(lái)類(lèi)似,降維本質(zhì)卻有所不同.從代數(shù)觀點(diǎn)看,非線(xiàn)性主軸降維映射是基于主軸Z的非線(xiàn)性函數(shù)擬合,而Z是X的一種特殊線(xiàn)性變換;從幾何上看,經(jīng)X線(xiàn)性變換產(chǎn)生的主軸Z代表數(shù)據(jù)流形Y的重要方向,使得Y在由主軸Z張成的坐標(biāo)系中的投影保留了Y的大部分信息和數(shù)學(xué)特征.2.4·2與響應(yīng)面法比較    響應(yīng)面法是以試驗(yàn)設(shè)計(jì)為基礎(chǔ)的用于試驗(yàn)?zāi)Ｐ徒⒑湍Ｐ头治龅慕y(tǒng)計(jì)方法,在多學(xué)科設(shè)計(jì)優(yōu)化中得到廣泛應(yīng)用.響應(yīng)面法往往將輸出變量y表示為X的非線(xiàn)性函數(shù)形式,二次多項(xiàng)式響應(yīng)面模型為y = v0+Di=1vixi+Di=1viix2i+D-1i=1Dj=i+1vijxixj+.函數(shù)擬合準(zhǔn)則為=pk=1Ni=1yki-yki,*|X,Y=min=(v)|X,Y.響應(yīng)面法的數(shù)據(jù)處理過(guò)程如圖4所示.非線(xiàn)性主軸降維映射法與響應(yīng)面法都是通過(guò)假定非線(xiàn)性函數(shù)