計(jì)算機(jī)實(shí)踐數(shù)學(xué)實(shí)驗(yàn)報(bào)告

計(jì)算機(jī)實(shí)踐數(shù)學(xué)實(shí)驗(yàn)報(bào)告（一）實(shí)驗(yàn)名稱：神經(jīng)網(wǎng)絡(luò)模型問題描述1. 利用BP算法及sigmoid函數(shù)，研究以下各函數(shù)的逼近問題(1) fx=1x , 1x100 (2) fx=sinx, 0x2對(duì)每一函數(shù)要完成如下工作： 獲取兩組數(shù)據(jù)，一組作為訓(xùn)練集，一組作為測(cè)試集； 利用訓(xùn)練集訓(xùn)練一個(gè)單隱層的網(wǎng)絡(luò)；用測(cè)試集檢驗(yàn)訓(xùn)練結(jié)果，改變隱層單元數(shù)，研究它對(duì)逼近效果的影響. 2 給定待擬合的曲線形式為fx=0.5+0.4sin(2x)在fx上等間隔取11個(gè)點(diǎn)的數(shù)據(jù)，在此數(shù)據(jù)的輸出值上加均值為0，均方差=0.05的正態(tài)分布噪聲作為給定訓(xùn)練數(shù)據(jù)，用多項(xiàng)式擬合此函數(shù)，分別取多項(xiàng)式的階次為1，3和11階，圖示出擬合結(jié)果，并討論多項(xiàng)式階次對(duì)擬合結(jié)果的影響. 實(shí)驗(yàn)?zāi)康?. 運(yùn)用神經(jīng)網(wǎng)絡(luò)模型的知識(shí)解決上述問題；2. 改變網(wǎng)絡(luò)構(gòu)造，研究不同逼近效果. 3. 高次多項(xiàng)式擬合出現(xiàn)的現(xiàn)象. 實(shí)驗(yàn)原理與數(shù)學(xué)模型問題一利用多層前饋網(wǎng)絡(luò)求解. 輸入層每個(gè)數(shù)據(jù)包含兩個(gè)元素，分別為自變量和因變量. 輸出層包含一個(gè)元素目的是將結(jié)果進(jìn)行區(qū)分. 判斷輸入的數(shù)據(jù)是否滿足相應(yīng)的函數(shù)關(guān)系. 所以輸出層的結(jié)果為1，分別表示滿足函數(shù)關(guān)系. 圖 1. 多層前饋網(wǎng)絡(luò)單隱層的單元個(gè)數(shù)對(duì)輸出結(jié)果的逼近有一定的影響. 不一定會(huì)出現(xiàn)準(zhǔn)確的1，可能接近于1. 改變其個(gè)數(shù)查看相應(yīng)的逼近效果. 問題二用不同階多項(xiàng)式擬合函數(shù)，也可以選取多層前饋網(wǎng)絡(luò). 單隱層單元數(shù)目對(duì)應(yīng)階數(shù). 輸入層包含一個(gè)元素即自變量. 輸出層包含一個(gè)元素即因變量. 選取數(shù)據(jù)并加入高斯噪聲后進(jìn)行訓(xùn)練，得到不同的網(wǎng)絡(luò). 再對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)，得到多項(xiàng)式擬合結(jié)果. 主要內(nèi)容：1. 針對(duì)fx=1x , 1x100選取訓(xùn)練集：輸入為x|x=1+10k,k=0,1,2,9,y=f(x). 輸出均為1. 測(cè)試集：輸入為：x*|x*=5+30k,k=0,1,2,3,y*=f(x*). 2. 將訓(xùn)練級(jí)和測(cè)試集放在一個(gè)圖中，它們是同一個(gè)函數(shù)上的點(diǎn). 3. 網(wǎng)絡(luò)結(jié)構(gòu)選定相應(yīng)的參數(shù)，對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練. 4. 將分別將訓(xùn)練集和測(cè)試集代入網(wǎng)絡(luò)結(jié)構(gòu)，得到輸出結(jié)果. 5. 單隱層設(shè)置不同的單元數(shù)進(jìn)行訓(xùn)練. 6. 針對(duì)第二個(gè)函數(shù)進(jìn)行類似操作. 7. 針對(duì)問題二中的函數(shù)fx=0.5+0.4sin(2x)選取x|x=0.1k,k=0,1,2,10為輸入值. y=fx，xx|x=0.1k,k=0,1,2,10, 對(duì)y加均值為0，均方差=0.05的正態(tài)分布噪聲后的結(jié)果作為訓(xùn)練集. 8. 網(wǎng)絡(luò)結(jié)果中單隱層單元數(shù)分別設(shè)置2,4,12. 其它參數(shù)做相應(yīng)設(shè)定后進(jìn)行訓(xùn)練. 9. 對(duì)x|x=0.1k,k=0,1,2,10進(jìn)行預(yù)測(cè)，做出圖像. 實(shí)驗(yàn)過程記錄第一題第一個(gè)函數(shù)的代碼如下（第二個(gè)函數(shù)的類似，不列出）：clear all;x1=1:10:91;y1=1./x1;x11=5:30:95;y11=1./x11;p1=x1;y1;p11=x11;y11;pr=minmax(p1);goal=ones(1,10);plot(p1(1,:),p1(2,:),h,p11(1,:),p11(2,:),o) net=newff(pr,10,1,logsig,logsig); net.trainParam.show = 10;net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.trainParam.epochs = 50000; net = train(net,p1,goal); x=p11;y0=sim(net,p1)y=sim(net,x)第二題的部分代碼如下：clear all;x=0:0.1:1y0=0.5+0.4*sin(2*pi*x)noise=normrnd(0,0.05,1,11);y0=y0+noise;net2=newff(pr,4,1,logsig,logsig); net2.trainParam.show = 10;net2.trainParam.lr = 0.05; net2.trainParam.goal = 1e-10; net2.trainParam.epochs = 50000; net2 = train(net2,x,goal); y2=sim(net2,x)plot(x,y0,h,x,y1,o,x,y2,.,x,y3,*)實(shí)驗(yàn)結(jié)果及實(shí)驗(yàn)總結(jié)第一題：不同單元個(gè)數(shù)下的預(yù)測(cè)結(jié)果3個(gè)1.00001.00001.00001.00001.00001.00001.00001.00001.00001.00001.00001.00001.00001.00008個(gè)0.99980.99980.99970.99970.99970.99980.99991.00001.00001.00000.99990.99971.00001.0000可以看出，單隱層的元素個(gè)數(shù)不同會(huì)影響擬合的值，但影響程度不大。圖 2. 兩個(gè)函數(shù)的訓(xùn)練集和測(cè)試集的選取注：為方便計(jì)算，采取間隔選取的方式。實(shí)際應(yīng)用中可能不是這樣。第二題表 1 不同階數(shù)的多項(xiàng)式擬合結(jié)果1階0.50210.69840.87960.87270.78110.45600.29900.27550.27250.27210.27213階0.50210.69810.87990.89000.75790.48050.25350.22070.00670.37640.516911階0.50210.69840.87890.89200.75640.48140.25310.22080.00670.37640.5169圖 3. 不同階數(shù)的多項(xiàng)式擬合結(jié)果結(jié)果表明，階數(shù)越高，靠后的擬合值震蕩越強(qiáng)烈。思考與深入神經(jīng)網(wǎng)絡(luò)模型解決數(shù)據(jù)分類問題時(shí)計(jì)算的工作量較大。實(shí)際輸出與理想輸出會(huì)出現(xiàn)不同，只能盡量靠近。本實(shí)驗(yàn)的第一題中僅設(shè)置一種結(jié)果，當(dāng)輸入一個(gè)其他不在考慮范圍內(nèi)的數(shù)據(jù)時(shí)，也會(huì)將其進(jìn)行分類，只不過它的擬合結(jié)果較理想值大而已，但算法也會(huì)讓其盡量靠近。所以，當(dāng)選取已知樣本學(xué)習(xí)時(shí)，樣本分類要明確。（二）實(shí)驗(yàn)名稱：偏最小二乘回歸分析問題描述1（化工實(shí)驗(yàn)例子）考察的指標(biāo)（因變量）y表示原辛烷值，自變量x1表示直接蒸餾成分，x2表示重整汽油，x3表示原油熱裂化油，x4表示原油催化裂化油，x5表示聚合物，x6表示烷基化物，x7表示天然香精. 7個(gè)變量表示7個(gè)成分含量的比例（滿足x1+x2+x7=1 ）. 給出12種混合物中7種成分和y的數(shù)據(jù)（數(shù)據(jù)可見程序）. 試用偏最小二乘方法建立y與x1,x2,x7的回歸方程，用于確定7種構(gòu)成元x1,x2,x7對(duì)y的影響. 2根據(jù)38名學(xué)生的體質(zhì)和運(yùn)動(dòng)能力數(shù)據(jù)，用偏最小二乘法建立5個(gè)運(yùn)動(dòng)能力指標(biāo)與7個(gè)體質(zhì)變量的回歸方程. （數(shù)據(jù)存放至data.txt）實(shí)驗(yàn)?zāi)康?. 掌握用偏最小二乘回歸提取主成分的方法，并建立更為合理的回歸模型；2. 通過模型完成主成分分析，嘗試得到更豐富，深入的信息. 實(shí)驗(yàn)原理與數(shù)學(xué)模型考慮p個(gè)因變量 y1, y2, yp與m個(gè)自變量x1, x2, xm的建模問題. 偏最小二乘回歸的基本作法是首先在自變量集中提出第一成分t1（t1是x1, x2, xm的線性組合，且盡可能多地提取原自變量集中的變異信息）；同時(shí)在因變量集中也提取第一成分u1，并要求t1與u1相關(guān)程度達(dá)到最大. 然后建立因變量y1, y2, yp與t1的回歸，如果回歸方程已達(dá)到滿意的精度，則算法中止. 否則繼續(xù)第二對(duì)成分的提取，直到能達(dá)到滿意的精度為止. 若最終對(duì)自變量集提取r個(gè)成分t1, xt2, tr，偏最小二乘回歸將通過建立y1, y2, yp與t1, xt2, tr的回歸式，然后再表示為 y1, y2, yp與原自變量的回歸方程式，即偏最小二乘回歸方程式. 主要內(nèi)容1. 讀入源數(shù)據(jù)，得到各個(gè)變量的均值，標(biāo)準(zhǔn)差和他們的相關(guān)系數(shù)矩陣. 并將數(shù)據(jù)標(biāo)準(zhǔn)化；2. 提取第一對(duì)成分t1和u1，并將各自的線性組合系數(shù)分別記錄在w1和u1中；3. 計(jì)算t1的得分向量，w1*和殘差矩陣. 判斷是否還需提取成分對(duì)；4. 如果需要提取成分對(duì)則重復(fù)2，3步驟，直到不需要提取為止；5. 分別還原出標(biāo)準(zhǔn)化的因變量關(guān)于 t 的回歸系數(shù)，關(guān)于自變量的回歸系數(shù). 元數(shù)據(jù)回歸方程的系數(shù). 即為結(jié)果；6. 第二題與第一題步驟類似. 實(shí)驗(yàn)過程記錄第一題求解代碼如下clc,clear pz=0 0.23 0 0 0 0.74 0.03 98.7;. 0 0.1 0 0 0.12 0.74 0.04 97.8;. 0 0 0 0.1 0.12 0.74 0.04 96.6;. 0 0.49 0 0 0.12 0.37 0.02 92.0;. 0 0 0 0.62 0.12 0.18 0.08 86.6;. 0 0.62 0 0 0 0.37 0.01 91.2;. 0.17 0.27 0.1 0.38 0 0 0.08 81.9;. 0.17 0.19 0.1 0.38 0.02 0.06 0.08 83.1;. 0.17 0.21 0.1 0.38 0 0.06 0.08 82.4;. 0.17 0.15 0.1 0.38 0.02 0.1 0.08 83.2;. 0.21 0.36 0.12 0.25 0 0 0.06 81.4;. 0 0 0 0.55 0 0.37 0.08 88.1;mu=mean(pz);sig=std(pz);rr=corrcoef(pz);data=zscore(pz);n=7;m=1;x0=pz(:,1:n);y0=pz(:,n+1:end);e0=data(:,1:n);f0=data(:,n+1:end);num=size(e0,1);chg=eye(n);for i=1:n matrix=e0*f0*f0*e0; vec,val=eig(matrix); val=diag(val); val,ind=sort(val,descend); w(:,i)=vec(:,ind(1); w_star(:,i)=chg*w(:,i); t(:,i)=e0*w(:,i);alpha=e0*t(:,i)/(t(:,i)*t(:,i);chg=chg*(eye(n)-w(:,i)*alpha); e=e0-t(:,i)*alpha; e0=e; beta=tf0; cancha=f0-t*beta; ss(i)=sum(sum(cancha.2); for j=1:num t1=t(:,1:i);f1=f0; she_t=t1(j,:);she_f=f1(j,:); t1(j,:)=;f1(j,:)=; beta1=t1,ones(num-1,1)f1; cancha=she_f-she_t*beta1(1:end-1,:)-beta1(end,:); press_i(j)=sum(cancha.2); end press(i)=sum(press_i); Q_h2(1)=1; if i1, Q_h2(i)=1-press(i)/ss(i-1); end if Q_h2(i)0. 由 Karush-Kuhn-Tucker 互補(bǔ)條件，通過對(duì)w和b求偏導(dǎo)可得Lw=w-i=1nigiti=0Lb=i=1nigi=0帶入原始拉格朗日函數(shù)得L=i=1ni-12i=1nj=1nijgigj(titi)=0其中(titi)表示向量的內(nèi)積，因策得到新的模型maxi=1ni-12i=1nj=1nijgigj(titi)=0s.t. j=1nigi=00i, i=1,2,n從而得到最優(yōu)解*，從而得權(quán)重向量w*=j=1ni*giti. 主要內(nèi)容1. 讀入數(shù)據(jù)；2. 將不同類的樣本分開并分別計(jì)數(shù)；3. 計(jì)算出不同樣本對(duì)應(yīng)的系數(shù)矩陣；4. 調(diào)用二次規(guī)劃命令，計(jì)算得到超平面；5. 將待分類數(shù)據(jù)代入，得到分類結(jié)果. 實(shí)驗(yàn)過程記錄代碼如下：clc,clear;AC=1.24 1.27;1.36 1.74;1.38 1.64;. 1.38 1.82;1.38 1.90;1.40 1.70;. 1.48 1.82;1.54 1.82;1.56 2.08;. 1.14 1.82;1.18 1.96;1.20 1.86;. 1.26 2.00;1.28 2.00;1.30 1.96;%9 6Afn=1:9;n1=9;Apfn=10:15;n2=6;Af=AC(Afn,:);Apf=AC(Apfn,:);xd=1.