模式識(shí)別關(guān)于男女生身高和體重的神經(jīng)網(wǎng)絡(luò)算法

模式識(shí)別實(shí)驗(yàn)報(bào)告（二）學(xué)院：專業(yè)：學(xué)號(hào)：姓名：XXXX教師：目錄TOC\o"1-5"\h\z1實(shí)驗(yàn)?zāi)康?12實(shí)驗(yàn)內(nèi)容 13實(shí)驗(yàn)平臺(tái) 14實(shí)驗(yàn)過程與結(jié)果分析 14.1基于BP神經(jīng)網(wǎng)絡(luò)的分類器設(shè)計(jì)..1\o"CurrentDocument"4.2基于SVM的分類器設(shè)計(jì) .4\o"CurrentDocument"4.3基于決策樹的分類器設(shè)計(jì) 7\o"CurrentDocument"4.4三種分類器對(duì)比 85.總結(jié) 81實(shí)驗(yàn)?zāi)康耐ㄟ^實(shí)際編程操作，實(shí)現(xiàn)對(duì)課堂上所學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)、SVM支持向量機(jī)和決策樹這三種方法的應(yīng)用，加深理解，同時(shí)鍛煉自己的動(dòng)手實(shí)踐能力。2實(shí)驗(yàn)內(nèi)容本次實(shí)驗(yàn)提供的樣本數(shù)據(jù)有149個(gè)，每個(gè)數(shù)據(jù)提取5個(gè)特征，即身高、體重、是否喜歡數(shù)學(xué)、是否喜歡文學(xué)及是否喜歡運(yùn)動(dòng)，分別將樣本數(shù)據(jù)用于對(duì)BP神經(jīng)網(wǎng)絡(luò)分類器、SVM支持向量機(jī)和決策樹訓(xùn)練，用測(cè)試數(shù)據(jù)測(cè)試分類器的效果，采用交叉驗(yàn)證的方式實(shí)現(xiàn)對(duì)于性能指標(biāo)的評(píng)判。具體要求如下：BP神經(jīng)網(wǎng)絡(luò)一自行編寫代碼完成后向傳播算法，采用交叉驗(yàn)證的方式實(shí)現(xiàn)對(duì)于性能指標(biāo)的評(píng)判(包含SE,SP,ACC和AUC，AUC的計(jì)算可以基于平臺(tái)的軟件包)；SVM支持向量機(jī)一采用平臺(tái)提供的軟件包進(jìn)行分類器的設(shè)計(jì)以及測(cè)試，嘗試不同的核函數(shù)設(shè)計(jì)分類器，采用交叉驗(yàn)證的方式實(shí)現(xiàn)對(duì)于性能指標(biāo)的評(píng)判；決策樹一采用平臺(tái)提供的軟件包進(jìn)行分類器的設(shè)計(jì)以及測(cè)試，采用交叉驗(yàn)證的方式實(shí)現(xiàn)對(duì)于性能指標(biāo)的評(píng)判(包含SE,SP,ACC和AUC，AUC的計(jì)算基于平臺(tái)的軟件包)。3實(shí)驗(yàn)平臺(tái)專業(yè)研究方向?yàn)閳D像處理，用的較多的編程語言為C++，因此此次程序編寫用的平臺(tái)是VisualStudio及opencv，其中的BP神經(jīng)網(wǎng)絡(luò)為自己獨(dú)立編寫，SVM支持向量機(jī)和決策樹通過調(diào)用Opencv3.0庫(kù)中相應(yīng)的庫(kù)函數(shù)并進(jìn)行相應(yīng)的配置進(jìn)行實(shí)現(xiàn)。將Excel中的119個(gè)數(shù)據(jù)作為樣本數(shù)據(jù)，其余30個(gè)作為分類器性能的測(cè)試數(shù)據(jù)。4實(shí)驗(yàn)過程與結(jié)果分析4.1基于BP神經(jīng)網(wǎng)絡(luò)的分類器設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。其學(xué)習(xí)規(guī)則是使用梯度下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hiddenlayer)和輸出層(outputlayer)。在獨(dú)自設(shè)計(jì)的BP神經(jīng)中，激勵(lì)函數(shù)采用sigmod函數(shù)，輸入層節(jié)點(diǎn)個(gè)數(shù)為5,一個(gè)隱層并且節(jié)點(diǎn)數(shù)為5,輸出節(jié)點(diǎn)數(shù)為1個(gè)，通過讀取excel中相應(yīng)的特征數(shù)據(jù)，進(jìn)行訓(xùn)練，再用測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。如圖4-1為所設(shè)計(jì)的BP類。杞土.上二3E：IZT_：?tderineBFNIT_JIIdafiseinziodsm.〃輸入站點(diǎn)弒"ShidenodE計(jì)調(diào)含■結(jié)點(diǎn)數(shù)//StderinecutiKCteL/7輸出結(jié)點(diǎn)愈//IIdafisetrainsanpl=LL9//EP訓(xùn)練欄玄敏〃購(gòu)數(shù)據(jù)泌publicsraidtrainfdD'iibiepftrainsaziiTile][isinode]r t[train^&iipls][DiLtnode]|iQublea[cralnsanuzle][Irnode]; 〃氣■入的茸玄doublet[tramsainpla][oLncnode];FF梓本至翊出的double^resog^ize(daoble*p};JFEptR5JWetO:virtual^BpWet(];pufallG；voidmit{);dculb-lew[inriDde][tiidenodE]莞含募點(diǎn)項(xiàng)侄doublewl[hiderade][DLLtncdel;/7塹出最.點(diǎn)權(quán)信loufrleblihilerodej""便.含務(wù)占溟恒ia^ibleb2[a^cnode];//椅出始點(diǎn)閥值louMeracew〃權(quán)螢學(xué)習(xí)室：輸入晨-晦駕厚}doublerate樹&學(xué)習(xí)卒[隱含厚-輸出層}double 學(xué)習(xí)半lou&lerace_[況;.”輸出堂闕值學(xué)習(xí)*此吐:M：：，〃設(shè)差計(jì)蕪doubleerro己/F允許■最大誤差dolbLerGsult[citn;:de]■//Ep折三lEDdl.^圖4-1BP類的設(shè)計(jì)源碼如圖4-1，其中重要的兩個(gè)函數(shù)便是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練train和識(shí)別函數(shù)recognize,具體的源碼如圖4-2，圖4-3，圖4-4。其中訓(xùn)練函數(shù)包括了前向傳播以及后向傳播的權(quán)值修正，而識(shí)別函數(shù)只包括了前向傳播后輸出計(jì)算結(jié)果。vo二dEpNet::tram[do-iibLep[trai:n.san.plei[innnde]rdoublEt[train[outno-ie-]|oz'ublcpprtiidsnc-ic-l;//晅舍t(yī)S.-f的校正詼Soz'ublsqqlDUtnaiic-]；〃弟苦輸出逾與實(shí)際輸出值的俯差ec-ubloydfoutin口da]七SE描已植dc-ublLexCinjKi-de];〃輸入向空doublexlttiidenadfel^/a-a-S點(diǎn)的輸出值tfcublejc?(outnode]ji/7輸出皓專輸己施olltiidencKleJdouMeoZltiidencMej.j/.-'jft出MSfc入但for[IntLJ-amp—;saop<tc-a_na-amplerisamp**)ZX 懷—忒樣品for[inti=l;i<innodc-;i+4-Ji(i]=p[i=amp][i];for(int1—ij;i<i:iitn.-E-dG?i++J>yd[i]-t[isamp)(i]?打期SE甫出撲樣本。'構(gòu)造每個(gè)悴&在誨妄打輸入和輸出 輸入層待建含后tor[intj=}j<liid&ncde^j**J□1[3]■「口$〃睡皆冬滌活值for(inti-;zCiiunade-ra*+)|oi<1-ci[j：+,r：：i；〃■晾音京號(hào)隼元財(cái)I人誨;舌(fiIl[j]=1.0/i.+sap[-=l[j]-bltjll) 元的蝴EE 叫5函數(shù) hl為I?■舍皓點(diǎn)啊值for[lkt■:- ;k<3utru>iQ；lc++J"Et舍妄到描出嶼o2[k]■0.0;for(inti-OrjOiidencde;j+M02[JC]=C?2[IJ十?l[j]UJ*Sl[j]，:〃輸出屋吝云^贛,\券活值圖4-2BP分類器的訓(xùn)練函數(shù)一

o￡[k.]—D.Djf[Lei=j.0；j^hidcncide?j+4|iB^[k]l=a2[k]?i-H[j][l]*心[j]；〃松出后@■單元精5暨源K2[M=L.C/（LrD*eKp（-D2[X]-ID引K.]，N.：■〃輸M買各旦無輸出fm11EZ-k-rXdUt口口ck]k+勺/「根摳?jìng)饕灿?jì)算隱W■變到輸匕S之J可的枳.值qq[l]三f-l）*^d[kl-?2[1]）*?2[1]?￡1■心皿]?"啟誤差對(duì)于節(jié)點(diǎn)輸入的房導(dǎo)即節(jié)點(diǎn)勒出的誤差具注香恥文檔公式for4ld-j"0?jChidsnadajllMHtJ—EBtB^qqli]-K1[]]J打,度下降法李的下一次的隆吉層和愉出房之間的新迷接枳f^xliazj-M<hi業(yè)g土;z++】.r,.根至勃±蕓計(jì)算葡人J瓦隱觀壬間的杭僚PP[:I=forlintk—Of'■E^autnodc;上+利 fJ反亶/隱白節(jié)點(diǎn)輸出的忌誤差ppEjl■Pf[jl*qq[>：J*wlI]][^1.；pptjll*ppLj]*?L[j]*（-k1[]]|i；〃隱的峻正誤蕓IS登 具怵蟲式：Sep立榜for1Ld3-1s0?ICiDDcde;:i十十，-Ea-e_H^p[n*事N]J〃現(xiàn)度下降法更帝下一次的輸入房利國(guó)臺(tái).蕓之I司的新連接權(quán)forin?jc-■?;jcCouznadejk44）a+=fiba^d[i）-心估][+代矣yd|kJ-心|kj?”:十#幻方瑩Inoi-b/八：，;.呼即“二由:為訓(xùn)維的目標(biāo)法藏即噓差函致史其困可船的小f-7-r<1r3：1-rMoutncdrjk++Jh2[l]-b2[k]-rHTe_b2*qq[kJ;打下一讀的隱"S■善和制白蘭W間的昔南值for4i.E3j—Ofj<hj.deaodi=;j■*■■*■}bl[j]'-blTjl-ra^ejal^pprilj//下一沃的輸入E和國(guó)含M之間的新闞恒圖4-3BP分類器的訓(xùn)練函數(shù)二douBle*BpNet!srec&gnize(d&uhle*p)□{■■■doiibledoubledciibledouibledoublek[-[icindc]doiibledoubledciibledouibledoublexL[nidtncKie]://隱吉弟.=掠三;Mx2[outnode]; 輸出結(jié)點(diǎn)輸出恒ol[hidtnodt];//隱含層輸A值r.z[ni<i-encrtie]:〃新三:卓輒入仕far(inti=0;i<innade;i十十}X[l]=p[L]:〃正向計(jì)算陷含.忘煎輸入和輸三for(intj=0；j<hidenode;j十十)ol[jJ=D.D：for(inti—D;i<innnde;u：[]l=OL[]]十H[L][]]*X[_];"聰竺號(hào)答旦元■活竺Ml[jJ=1.0/(I-■+exp(-ol[jJ-bl[jj)):〃■舍.妄各單元輸出J?王向計(jì)套輸出.號(hào)的翰入和輸出ror(mtY=口：}c<Dutncxle:K++]d2[k]=o.o；For(intj=?:3<hldenode:〕++】o2[k]=o2[k]+wl[j][k]*心口];//輸出號(hào)備單元滋活蜜x2[k]=LU/[1.3十exp(-Q2[k]-h2[k]));//^5出懸名單元輸出//ir((>2[k|4-b2[k]>3)x2[k]=l://elsex2[k]=D;'，計(jì)堂結(jié)果for(intk=0;kCDUtnode;lr++]r^salL[k]=x2[k]:"返叵土界returnzesult;圖4-4BP分類器的識(shí)別函數(shù)輸入119個(gè)樣本數(shù)據(jù)進(jìn)行訓(xùn)練后，輸入30個(gè)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，測(cè)試結(jié)果如圖4-5所示。通過數(shù)據(jù)可以看出共30個(gè)測(cè)試數(shù)據(jù)，其中有兩個(gè)正樣本被分為

負(fù)樣本，即男生分類成了女生。其中ROC曲線（受試者工作特性曲線）如圖4-6,可見該曲線的AUC值為0.96表示分類器的效果是較好的，從敏感性（SE）、特異性（SP）和準(zhǔn)確率（ACC）也可以看出分類器的效果還是不錯(cuò)的。圖4-5BP測(cè)試結(jié)果圖4-6BP測(cè)試結(jié)果的ROC曲線4.2基于SVM的分類器設(shè)計(jì)SVM即支持向量機(jī)。SVM的主要思想可以概括為兩點(diǎn)：第一是針對(duì)線性可分情況進(jìn)行分析，對(duì)于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對(duì)樣本的非線性特征進(jìn)行線性分析成為可能。通常在線性不可分的情況下，通過核函數(shù)進(jìn)行非線性映射達(dá)到線性可分的效果。其中核函數(shù)的類型包括線型、多項(xiàng)式型和RBF高斯核等，采用不同的核函數(shù)可能造成的分類效果有所區(qū)別，在本實(shí)驗(yàn)中分別利用三種核函數(shù)對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試°SVM調(diào)用Opencv3.0中的庫(kù)函數(shù)來實(shí)現(xiàn)，Opencv3.0所集成的SVM為libsvm。源碼如圖4-7。//SV曜氏逢蘭沒置番素PtrCYU>nodel=5VM:::reate(1:mdci-yH(svy：：T_^；.'也美立節(jié)向民分糞規(guī).充許喜宜炬罰因子t進(jìn)行不完全務(wù)琵model->KLKeiDEl:73?):門和二772、RE是美的32!彥故只有g(shù)anma和?：：.■'.■■肅專集卷響玻大?。赫鍱Mf役向是】備諉在靠自吾的一個(gè)替更快運(yùn)f石捐映形到菁的特征蘭W虧的分■布rodEl->5=t{jarrn(0-31||;.■7mM?l-^tC{10,0h//才惹.土主對(duì)君其產(chǎn)生彩喧!!/券整氣，迂謁妄的克布底，諺慈富，轟云琶不曲戀忍F；理隹姜BMiei-?seiTenicnL￡ria(TemcriLena(cvjEKKEir_EP3ji:::rnj_EF3iLOtfn；"'舞土條件雖大之代工，口口至Ptr^I^ainData^tEeta=TrainCaza!!ersa(traiDiogfatal^ai:,R-^SMTIE.ImhelEMmt]：//訓(xùn)裁分類器 -irodje1->tE,ain(zCata>:COUt? ?W1L；fw(inti=0;i<30;i++]Ua.GEarplWt-UaX(lrErWJ2FC1,t^dCaza[i]>;擰生威刃昌我兜filDatresponse=mn-leL-^iedictEaaiE'L^Jlatl; 退衛(wèi)1或」tsacExpauz[i]-{int)uespo曰金旦；CDUt?Eespo^e?fEdl?圖4-7SVM調(diào)用源碼由圖4-7可以看到，首先對(duì)SVM進(jìn)行了參數(shù)設(shè)置，接著調(diào)用訓(xùn)練函數(shù)，接著進(jìn)行測(cè)試數(shù)據(jù)測(cè)試，分別采用高斯核、線型核和SIGMOD核測(cè)試結(jié)果如圖4-8到4-10，所對(duì)應(yīng)的ROC曲線如圖4-11到4-13所示。TP：23TH=5FP=0FN：2SE：0_92SF：1ACC：8_21739圖4-8高斯核分類結(jié)果圖4-9線型核分類結(jié)果圖4-10SIGMOD核分類結(jié)果1.0 0.& 0.6 04 0.2 0.0Specifinb/-言170察常1.0 0.& 0.6 04 0.2 0.0Specifinb/-言170察常1|易圖4-11高斯核分類ROC曲線圖4-13SIGMOD核分類ROC曲線由上面的圖4-8到圖4-13可以看出，高斯核出現(xiàn)2個(gè)分類錯(cuò)誤，線性核出現(xiàn)3個(gè)分類錯(cuò)誤，而sigmod核未出現(xiàn)分類錯(cuò)誤，再結(jié)合ROC曲線及AUC值，可以看出對(duì)于測(cè)試數(shù)據(jù)，sigmod核函數(shù)具有最高的分類效果，可以實(shí)現(xiàn)完全的正確分類，而高斯核其次，線性核性能稍微差一點(diǎn)，出現(xiàn)誤差的類型都是將男生錯(cuò)分為了女生。4.3基于決策樹的分類器設(shè)計(jì)決策樹(DecisionTree)是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率，評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn)，判斷其可行性的決策分析方法，是直觀運(yùn)用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。在機(jī)器學(xué)習(xí)中，決策樹是一個(gè)預(yù)測(cè)模型，他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。在本次實(shí)驗(yàn)中，調(diào)用Opencv3.0中的決策樹類來進(jìn)行數(shù)據(jù)的訓(xùn)練與分類。調(diào)用源碼如圖4-14?！QSSI#創(chuàng)建芒ki巍r預(yù)濯Ft工<DI二宅己nAdiess=DTrees;;create1);dzret-Mti^aiD=pEti(..D]可沔的最尢深里d-creE-^etMlDSHTOleCaunr() 在—個(gè)節(jié).u性的.樣本Ei小于￡的將下分建d口?■eEFgLRjegEmmM皿:ou羿叫4： 司一節(jié)亡散沽訐U印的是蘊(yùn)北于口.「虬I不再七?轟duTts-^etOseSuzzc^atej1tfalsel* 七匚陌擔(dān)鈣安tHai:餌興〃不點(diǎn)的分工數(shù)夠?yàn)樨S本的檸征匡轉(zhuǎn)過則含并坦昱土村生疏小斗算蘭W分會(huì)谿毛不剽drr&B-^etcr-rFoiiHCJ1:lireE-MecUaeLSEJiJile〔raiLes”d.u±ee->5etZruricatePruntcrIz?TCfalsel/dzre-t->J4tFricir3(Mat(]];Fcrcrrml汕9以*GDaM-T^alnPataErcreate(traLnlngDatiiHacrRQ0?_5AMPLEJm睡LsMmH：/.-訓(xùn)筌分類游duTts->traj.n.1tData|ijf&Tli-nti-Ofi<2D?\Max耳皿以由就-MaHlr5xC^SZECljie3L<3Da.ca[i]]?〃蘭岐測(cè)或鼓拒! ￡1z-9LrespDJiss=dires-predict(3anc-ielii-i)j〃港廿氐測(cè).近回[錄]ts3tZxp^u~[i]二(inzji；cc-ut44resps-n^e?cullj圖4-14 決策樹調(diào)用源碼在圖4-14中，首先初始化決策樹，設(shè)置了決策樹的最大深度等初始化信息，接著進(jìn)行樣本數(shù)據(jù)訓(xùn)練，最后進(jìn)行預(yù)測(cè)數(shù)據(jù)預(yù)測(cè)，其結(jié)果如圖4-