matlab-CNN代碼理解

1、卷積神經(jīng)網(wǎng)絡(luò)代碼理解1、代碼來(lái)源：代碼來(lái)自DeepLearnToolbox-maste,是 matlab 個(gè)深度學(xué)習(xí)的工具包，里 面含有很多機(jī)器學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)CNN，深度信念網(wǎng)絡(luò)DBN，自動(dòng)編碼 AutoEncoder 等。2、CNN函數(shù)介紹函數(shù)名稱(chēng)功能使用樣例，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)卷積，下米樣 層數(shù)；卷積核大小，下米樣降幅，學(xué)習(xí)率，迭代次數(shù) 等構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并初始化網(wǎng)絡(luò)中各參數(shù)，包括各層特 征圖大小，卷積核權(quán)重訓(xùn)練網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)一向前傳播過(guò)程卷積、下米樣、全連接、 輸出等訓(xùn)練網(wǎng)絡(luò)一誤差反向傳播過(guò)程權(quán)重修改，更新模型驗(yàn)證測(cè)試樣本的準(zhǔn)確率3、函數(shù)調(diào)用關(guān)系圖3-1函數(shù)調(diào)用關(guān)系圖4、樣例數(shù)

2、據(jù)集該模型使用了 mnist的數(shù)字mnist_uint8.mat作為樣本，每個(gè)樣本特征為一 個(gè)28*28的向量。其中訓(xùn)練集樣本60000,測(cè)試集樣本10000,并將首先將樣本像 元值轉(zhuǎn)化為一維向量作為網(wǎng)絡(luò)的輸入：樣本例如如以下圖所示:0_2.bmp0_0.bmpO./nbmpO_8.bmp0_10.bmp0_lLbmp0_12pbmp0_13rbmp0_14.bmp0_15.bmp0_16.bmp0_20.bmp0_21.bmp0_17*bmpQ0_22rbmpOJSrbmp0_25.bmp0_26.bmp0_19,bmp0_27.bmpQ_23rbmpQ0_28rbmp0_2J.bmp0_2

3、9.bmp0j4.bmp圖4-1樣本例如圖圖4-2樣本預(yù)處理5、樣例網(wǎng)絡(luò)結(jié)構(gòu)G*featLreMapl6*subFeatureM3pl回回 tUtU EO Uh旦jl_ L_|12*L2|12叫|12*L2|S*ElZhjbFvdtuieMdpa.192'3圖5-1網(wǎng)絡(luò)結(jié)構(gòu)圖6、算法流程邃杠構(gòu)送CXN幽堵，初始化客懇艷皺善層將征圖大小+卷枳枚及下采料祝童.偏置等訓(xùn)穌剛絡(luò).莓次選取一牛厲0個(gè)樣本邊" 亠疔訓(xùn)賺向前祐導(dǎo)4兩次吐積利下采棹及亍辻按Gj| *計(jì)算損失曲範(fàn)計(jì)算俁差反向傳揭 *從后問(wèn)前邂宦計(jì)算靈玻滾枚但更靳從后問(wèn)前遜啟計(jì)If梯廈<7到達(dá)選吒次數(shù)'二>川

4、練過(guò)程捕入測(cè)試築1*I按去前訓(xùn)麻F的網(wǎng)分類(lèi)過(guò)程絡(luò)，向前恬播V輸出分類(lèi)蚌果圖6-1算法流程7、誤差反向傳播過(guò)程7.1計(jì)算誤差和Loss Function7.2計(jì)算單層感知機(jī)的靈敏度% backprop delt tlsnet. od - net. e . w (net. o . * 1 1 - net. ) ) :*?輸出層靈頤度nmt.fvd = (net. ffIT * net. od) :% 靈敏度反向佶疇回前一層，即單匡感知肌7.3把單層感知機(jī)的輸入層的誤差矩陣，恢復(fù)為4*4二維矩陣形式KfffirtuFe wrt fiy del t u * rrte atztpirr t.bji gt

5、 yle“壬打鞏(曲11孑亡"的*【訃)俺 益肓一層詩(shī)西圖玄爪轉(zhuǎn)后一底畢眾橫輸凸匸的蔥一民辭:*因?yàn)樾菍㈠莺笠粚幼V證*明悴直一濫回斫顯時(shí)于一卡特草來(lái)恒,杵匹雅曲是這樣fsr J = 1 £ mniel (Mt»Jay ra Inl - al 星后一巨的片吃和過(guò)朗蒂乂 tSmf SF存的壬斷有口本閉特任向?qū)弇srH逛新中冃特丁骯遼疑翦的八 陽(yáng)以返甲器曇童掛費(fèi)丼回乘特迫卻涉形式offt- lnezsfn. dLijj = nshape Ijnrt u f vd- ( (j 1,朮 fmm. + 1) : j * Evnmu :、sa(|) j, "口).皆0

6、 ; > 4 樨存的呈 deltai 也 tft 星.貝迪屋 柬右 詼煙 e_id7.4誤差在特征提取網(wǎng)絡(luò)【卷積降采樣層】的傳播if str cup (net 1 町mi:自(JJ "typm， ' rP )黑薦段三目鉗麻特輸for jj = l : n.e 1 'rwt -1 aye r e 1 _ a) % 壬層特證“琴的牛埶S net. larerB(.l+d(j保存的是BUS的 弼平 w 的靈戦度nep也*是誓個(gè)柚元節(jié)點(diǎn)的機(jī)H斕値* rpri朋勺榻乍祖當(dāng)二固1!尾的不助IS"砂講行上辛樣Q就后前帀的舞倍相當(dāng)于對(duì)詩(shī)層fr愉k*滸訐 imoirl方

7、異net. IsytiEU.dj = net. laytrt【XL 【H 岸 <1 - nrt. Lagrtrcdl. (】)(expar-d net1 ayersll 4 1. dlj,lay亡rs：l. + 1. s亡也1.亡 net- Layts 11 * 1 seals 1J) 上此航4 】 seal? 2；er.de Jseif strenp (nei JLayers 1»typa? ' s')弟乘拝層刃螢鹿傳輸fQ T i = l : 11101 (iWt I irye TS 1 1-) z m#3(Bdze CekI. loriEallL all)

8、;蛇走冥毎"MS 為。的、天小手于 Efeature jwp 的距 P?for j = l : juuntel(net.layers(1 + 11 + a)z = a -4 cionviiCnet. laperfi1 * 11. d(jj rot L80(net. layers 1 + iLk j) 、 'f jll')；=ndn&T . IzyeTS 1. di) = zendend7.卷積層敏感度向前傳播假設(shè)拿出第I層某個(gè)特征圖圖，大小為3X3第1+1層核大小為2X2卷積核為：0.4靈敏度為:1322采用ful模式需先將第1+1層2個(gè)卷積

9、圖擴(kuò)充，周?chē)?,0000013002200000I層靈敏度0000013002200000742采樣層靈敏度向前傳播假設(shè)卷積層的矩形大小為4X 4, pooling區(qū)域大小為2X 2,那么pooling后得到的矩形大小也為2*2，如果此時(shí)pooling后的矩形誤差敏感值如下：1324那么按照mean-pooling,首先得到的卷積層應(yīng)該是4X 4大小，其值分布為等值復(fù)制:113313322442244因?yàn)榈脻M(mǎn)足反向傳播時(shí)各層間誤差敏感總和不變，所以卷積層對(duì)應(yīng)每個(gè)值需要平攤除以pooling區(qū)域大小，這里pooling層大小為2X 2=4，最后的卷積層值分布為：f 50

10、.750.750.50.5110.50.5117.5計(jì)算卷積層和單層感知機(jī)的梯度韓計(jì)K特匹攜現(xiàn)層f整枳*采AP的鴨展for 1 = 2 : ntmLayersif st reap * net. layers (1. type. ' r *) > £ IPfor j = 1 : nunelfnH* layrdlh JiN：層餉和屮'打"*丁的和恿for 1 = I :. lsjer 1 - 1.詁霊 I 7.1 .Jf * L l ur e> a? flli 屮覧牲鞅和樓茁槪観里二輻入斟檢*報(bào)出圏嗓的吐net. layers

11、 1L dk-|i )=.eonvr! ( f lipall < nrt layers (1 - 1. ai), ntf. layeri (1 d fj J j vi' i(T ). /labels 1. d(jT 3):end%EtetT layers 1» dj («)是一嚇24*2*50的矩Pt* db仮謊丁岡Mt* 芹#1. db j】=n U d 【：)】/ 空 liy 亡上壬.)心(j?,3"mdendffld備計(jì)尊崑韶單層儺知雅前林再Ksxzedf= L1Q» 5QJ蔦修眈量求和曉子50 (bate缺水n*t.dff¥

12、;=* net.fy廠 / 2):|not. dfft>二鼻Fan也時(shí).必 2卜岸鬲二難取均值7.6權(quán)重及偏置修改，更新模型fund ion ret cnnapplygrds (net, opt 5'f Dr 1 2 ; TUKel fnet1 sjfcts)ii srtrenp(nets Layers !)«type, ° c") for j = 1 : njni# 11 ntt- l>y#re f 1L th for ii = l £ nuniltnt. Ly»ts1 - LM意枳亙更締厄01校重璽対| net亡e IJ

13、jLkh工】 仃】-:a" JayesU-k lid jl - ap"tsalpha * net Layers HI. dk hi j:etA4總魁層扁宜更爭(zhēng)益貧朗| iwtf layers(U.b(jl 二 net. lasers1.b 1j 一 ojjts. alpha 粵 陽(yáng)t15j?»*rs II, dt j |endBTrd«Tid%單層価田機(jī)更可樂(lè)的覘垂?fàn)幘萷itt.ffV * nr-t,m - Wt S. altA4 4 nrt.dffV.£單匡醐冊(cè)亦測(cè)證曼知| nat. ftb - n-et-ffb - apd：s. alpka

14、 * Mt. dfib;an 1"8例如訓(xùn)練一個(gè)樣本8.1初始化網(wǎng)絡(luò)初始化網(wǎng)絡(luò)結(jié)構(gòu)，代碼如下:cnn layers 二struct (J type" , ' £' ) Kinput layerstruct (Jj J c f J cutputuvaps'J kemelsize' 5 1 + convalut i on 1 ay?rstruct C? s',J scaled 2)Ksub sapling laysrstruct (J type'J cJ ,' outputnLaps't 12, '

15、; Lernelsize ,5) Sconvolut ion layierstruct C typt" jJ sJ,J scaled 2)M sub samp ling layer):其結(jié)構(gòu)如以下圖所示，從左到右依次命名為：輸入層、卷積層1、降采樣層1、卷積層2、降采樣層2、全連接層、輸出層命名方便后面闡述12*fejturf VjpJinput輸入層< Seattle VI apl卷積層1卷積層1E3E3降采樣層1卷積層2n全費(fèi)10* *降采樣層2全連接層輸岀層隨機(jī)初始化卷積核權(quán)重,代碼為:if *trkiwdt - laf triU. type, ' £J

16、)= np-sir* - nrl. IggnFrsdl .lieraelTize + I.f is_flLrl - nei:. l£vei£LJI_ putupi * aiEt. 1 LjKi llj-. ce cne-lxlie £Irr j = I ： rwt. I vtttUk賢 苗=懾芒弗klElSB.f«h_m a血1 ty#iil|. krrneliij ' 2,ftr i s J 3匚珂時(shí)歹野鼬V訂馬嵐卞肝旺IB flEi*t. 1 ayrrs 1 k= : randl nirt. Istet 雪IF iime-lniei - 0.

17、 'r 2 » E-jrt I & / farm + tDi=3rt r rr" - n 阱 ihl 7盲墳'耳凱蟲(chóng)申"僵 1斗 J 3： .-1 當(dāng)孑盧 5-0,5«, E2SfflttI 5 «2螢嵐丸卸【i叮占那上耳矗芝ajr甲虹曲“護(hù)特対憐屜対r、.斛叩 皿*. 1 «wn ril ,lh1 hl、'疑問(wèn)：rand(n)是產(chǎn)生n x n的0-1之間均勻取值的數(shù)值的矩陣，再減去就相當(dāng)于產(chǎn)生到之間的隨機(jī)數(shù)，再*2就放大到-1,1。然后不明白再乘以后面那一數(shù)？8.1.卷積層1有1*6=6個(gè)卷積核卷積層

18、1第一個(gè)卷積核權(quán)重為：0.16670.09710-0427-C.031&-0.1637-0. 0996-0.C161I0.10810.1013T 05450.0396-0.17830,. 1562C.15140-1150-0.00520.11900. 0882'C.033Z-0, 1315Q, 1449-0.0205-0. 119&0.1458-0.1337卷積層1第二個(gè)卷積核權(quán)重為:-C.IL011-0, 1795-0. 03010. 12520. 0010-fl.11156 Q9140. 1232-QU7730.07750.0384-0, O2J30. 00930.

19、 0671-0. 0263-0.08140. 159S-0.1101-0,0446-工m-0.1115-0.01260-05370. 12297 1149卷積層1第二個(gè)卷積核權(quán)重為:-C.11350. 0733-0.0013X 05930. 0841C.0S75-0, 04506 14S0-X 0535-0-070S-0,07300. 13330. U91-0. 07790.1254C.01540, 13100. Q537-». 05830. 0252-0.12930.03460.11780.012(-0,04SO卷積層1第四個(gè)卷積核權(quán)重為:0. 07510.10920. 1777-

20、 13460. 0980.01720-1692-0. 0846-0. 1S0S-0, 0798-0. 02040.0034-6 09170. B59-0, 01140. 07210.14080.1391-0* 1114-0, 1120-0449-0. 12110 0379-0,07450. ISOS卷積層1第五個(gè)卷積核權(quán)重為:0. 0307-0. 101E-0.10770.0251-0.0313-0. 02630, 0236-0.04450,1090-0.07220. 00570. 09640.1049-0.16320- I30S7 06150, 011C0.06700, 0381-0.179

21、5-0. 024S0. 0520-0.0144-0. 16650-0902卷積層1第六個(gè)卷積核權(quán)重為:0. 1744-0_1059-0. 03260. 0579-tk 10850. 16150. 05316 09067 10640. 03970.1070Q. 0665-0. 05590. 1256ft.01S1-0. 02270.1704-0. 02220. 0477-X 048Q-O.OOOS0. 0S3&0. 16()5-0. 13560.02TS其存儲(chǔ)在*1即會(huì)工£1k i j格式為方便理解卷積運(yùn)算：8.1.卷積層2有6*12=72個(gè)卷積核，其權(quán)重不在這里一一列出，其存

22、儲(chǔ)格式為8初始化卷積層偏置，均設(shè)為 0net 1 ayers 1右寸 土 0 :-Tra I亠宀 -f n宀 BB t h隨機(jī)初始化全連接層權(quán)重構(gòu)造一個(gè)10*192的矩陣fLmoi 二 pr<>d iiapsize) 臣 LTiDiitJi-aps ：.K'lf j 即 "DTTUHL = sizfy f ):萬(wàn)戟士 .屋-卜埶只"1. 1diqp i： enm);n«t,ffb - zeECGCDn'jmj 1庁ill盍狗潔化為th zisroc生真1帖lk的邁阡 五明空邃捌Sfflffi方);disp ( net.ffh )Bn&#

23、177;t- ff V - (rand., firujiTii fTTium) - 0. 5)2 * sqrt (6 / (ontni 4 £mm； ：!tir口& onjm, dEvnioi ?生寓一J 0 -1 -Blr 徑恒在0; 11 疋忸五環(huán)廠全芭擾蕓収堂劃).dist： | sizr (net f z¥t).全連接層有10*192個(gè)權(quán)重，以下圖截取局部值:顯:UNMvhT4iith Gt噸彈汨4. II. tta. na4LJ474噸i*対d. i4i<HLHMd.胃*-4.17M-4_wr4. IMS4L13N噸曲 IE專(zhuān)HMY P7U4 IMa

24、.Hi4 113a. Ivaa.C4M：«. Mi船 Z4B3«.04Mm nw-4LH3B«.fl¥7T.CliH* | l£7T LW«.b£E-4LMS-a dl i.«H.«S7-4. DOH-Jl. IX13 .3a. ms4 ra n-a. HB9-4-931-1MSBa. lira-4LIQE3-4. M«-la. HDDOLDIMEa. amCL MS-4 alK fiiM-0.14374L&IN«.cca4.M4J駄聞兀T,M>：<N<a41

25、. IL474k 14 It4.11H-9. U734 iiai-<3EK札HDi-4 34St4. £4：4YL詼飢7.叩魅-fl. Oita-4.1711*.M2-a.iscTa4. 1371-4li IM4Q>4MBr2«.«Mli. «3i-<aic9-fl.LkK<olr-o. sni-94,聞口-to4 ILN4川丟T.HHL4.(T)H-4.IL3I«.IM-a. im-fl-WW* IW-4. ftp?-fl. LLfl配 iq*4v4.«3444.«s IWT4. rHI4.MI3a

26、. im4.144-t-*. I3Ma. iw4.94MI.4. MT44LMM«. 11444. ATM-fUIIIrl19. L+H i百空-： .：=-r-4.1S0I-4. lisa0_»12cd. i呵乩砂HLJ4Sa.crM-4.94&E«. I2T7a.u&3d; 037a_昭裁Y. i也4lMH>< NH 01*-fl. irMT, 1474«i0KQ.m)4rl4tl4.I】*)a. «tN務(wù)Ml«.4M-fl. Ifh«. Llj4. k?l4-<0144 El山im&#

27、171; QH卻.sw.Wlf :rm01WH W3q(fH44i 1期恥眄CduAub thrwl.h M磅Th婷間-4】2翼-fl.KHM-flnWMO 2FT0.0*53-4.5JTa.nnQHETL何翻a.«r-fl. fflMTCL啊訊4."曲0 Linfl"71-4 137i4L1JM0.I4M-4.M-d.tllk>L越盅fl. hAi?4.曲a. dtl4l IdttY. i«tr"4.ttlk-4l I.3MA.«Ll4 斛2円<at$LMgEmi札mQr 14-3： OU：a.iuM-<$Sda,

28、 pfN17ui飢注a. m» iMl«.KMf one-9 M U!孔 P7J1-<.OTZ7HJb tlM-fl ws:TLJET,PI 同Qi IZF?-a. rawa. im-fl1. mfl I.W7a. im4.Q3ZI7, MH EK?-i.MJT.轉(zhuǎn)科Ti«*T. 1機(jī)】a.ww仇國(guó)?？?"：-fl. IN «-«C4 4-IWY, W4全連接層偏蠱対00000000008.2信號(hào)向前傳播輸入訓(xùn)練樣本為28*28截取局部值，及期望輸出為10*1Iumk I Cku-ough I i41«電tfC4atD

29、Q«00«aa«I40aQa«0Q«QQ4N40»4at0a4p04a0tei«40dat電d«Da«d0tdVa0QatDa«DQ«a04I4«01aa»44404a0eif4Qfl$0d«El0«dQ«I«40d尊Da«0Q5iaQi«40VI&a4D04a0t«I40加草幹：0.751a.uaaG_1»C9.MNfi-EmaO-lDdO虬時(shí)*O-fiSlItI«4

30、仇曲；UShLIQQ.斡釜£l.M22Olli ill：>.眈！Q-國(guó)淪Ik沁z>.dKEh礙5(L5J：t«i«4&區(qū)":4.4ma. HAT1.14?34i<TllLUTl4 MJDM1-#NIkNIl!kl7»aiflifld ?iitIL !| BIS. aRAqtq:ba4L-BHI-B. |Pflo MH& 叩hDiDCaA曲a4DD«aH&J53tLJKZ審1#40ta*Q4fit04.tJMV.MhHkM43ih imei«0QV9QlQE怙畑鼻1w曲H mtp.SK

31、)*MEP mia VM*Didi0£daL WQ7Cl血nh時(shí)蛙ElW£>_AKe心300.71 r«Ci«電01aaL 14(Ltd竝Sl沁Ol測(cè)a.flMi也ME匸磁血血ei«0巾V9an?m"期QP-W2：OilHIfi. ML|JQ MW«Lim«!ia4Dtaan曲d4it meEl C -M34L IBS?O. 1 IjD3CL kSia. 3 STS«i4fl0iaa»d«D6«afi4q第一個(gè)訓(xùn)練祥直期望輸出背0000I00(Ja0822第一次卷積過(guò)程

32、第一次卷積，獲取6張24*24的特征圖IT st Lnet. Lstcex 11. tTK. ' . IR I ibeLmr £fee Widlcd bf liiiw trill'll. fperM Jtoas -s I : bn. 1 wfti-Clk.au?rpmiifi(pst> T«r rKk Miruc1 強(qiáng)曽睢曹tev «uiiJip 11 j_2.± _n£l- 14'-L il -I - fi.ll I .i Mma9i»tMiunttd iil.tUH i «mXvhiUl.t

33、a«uaiitt - 1;« s 1 *;-?r 屮* i電叵忖三憫遼田廠I LSrn= zeri書(shū) r事口唱期t 1 - h$T lav±i3 Fl - k«EnelQU：t - 19-ks (19 - 1 Q丨d3J5plZ)Lf*r i - I i iitiirtii鉀量 ini Tich Input *3(?4 w-cqi t4nd 時(shí)總© q*督誓' 1di'ip t).frdft uU hiiUi pu-s tkwivujth n«nuH«ntjr| nel > 1-Bjeis-111 a

34、l：il = siTjwl-JLiirej-stlS 6157!|.tjpFPlsrOET朋1ip 細(xì)神 lffT*Ti III. bJjF 1 |end獲取第一個(gè)特征圖24*24截取局部值：第一個(gè)卷積核與輸入的特征圖進(jìn)行卷積得到第一個(gè)特征圖C-3ilk3i L thr-niti. 3 EC09fl尊Q040Q4ItQ4DaaDQraaD0g>D輻Dad4«D0QA6td1tD4Cfr4440fi«a4«P4a14P0Dg4«DD«Q0P«q1tD0° 4I4SQ. H3S$:irK 2ZI&也mp*聞“Q.W

35、FJ山呻丁隔。山曲打7 M4J.-*. IJT7fl. II LI-4.Q7WTJIll4“訂OL Itil-LS4I44.2IM9 Hit Li4fi弼Qi IIfH4. 1 Mtl LKA止AOJ«i IM4-ILlikZ；說(shuō)y噸E44&, flT«l£：I：&7Q, J7J7trCl由審山帶*dLM«7寧LEMFd秋器g貞泊*.55*6Q, >UIonf i期-fl, 1$|>-<M5j0.25 KQ. 414fCi4iM4Ck4J734.號(hào)*山2K 2S"3D.SLFCk L73«G2l

36、71;I*.5W4L 4lDT I4W-«MI IFQi li-M«>«»3QO0,MK IW0.1434Q.IDP9 LUItriiOtlT|4. JWQitiaiIL4M4H»EV皿咖ift niQ. ffil鼻內(nèi)n4 |»勢(shì)»am4 IflV賦羽機(jī)(0,4191l 11傘E詞L I冋.:.-J.D. 2Lnraz.宀冷T-dm噸(-CL&151-flLDLffifl.07«D6a.iBU.L28tEDl筑mQ.226E丄加俯a.0l2D!&Cl朗P-<L I7&9.也wfi

37、t曲*LUMT 詢(xún)4 LM2虹3<M沁R«"L*iiUaft. L«4t虬MHd Illik.liM454-4L llffitf*Q4 rHf«, S*|$ |M>瓦箕翳4.申Q, «!X刪4lMT電 111#DflQYLQ】盟RQB.OT5ft詡廳5.5TMa.33«0 AW:D.Ti：pS.CL5!a.M：CL 1-HA0 J9K9弔弟7杯MTJ4.U3?山腳電弭樸4.1-14£畑氧了阿1d4注dJH*0&4a.om収加DL l«llIk 21-336. M2a. tm 2渤4坤1鸞利忙亂柵

38、a.M?yL IW7ZE2Dafla_ Q2L4a l34：Cl IB7BAl MHd. 27W0.43J4t.!Dd-E：0l£k2&CLMihh4. M：d0-0424(L 32E5-44*JA«ft LQdi札iM贈(zèng)悔4. I:I1LdMN,S mJ* eg4lliL't也 It340AQ«0Q4Q.MrfJa.*w* 4 mClPITTWfls#W!PlW：tnru0鮮墟0QQfl400n00art1unfl nfiirr輸入層截積檢獲取第二個(gè)特征圖24*24:輸入層卷積核以此類(lèi)推，直至第六張?zhí)卣鲌D，即得到卷積層1:輸入層卷積核2d *24

39、24*224*2428*2821*24823第一次降采樣過(guò)程采用均值采樣法，模板為 2*2，模板上值為0.25,得 到6個(gè)12*12的特征圖st zzn'jietu lackers 11 .trpf-i s .j e i i 伸i «- cEmrMinjrt'faXaFeiraHF. Jrc-rzlJI.-eciIc1 /Carers .l.srolw R. * wlM 7 H-et. Layers.rir*hF = zU 七L±f, l*yeri.1>Pscalt : ±iid, I t iuH = Lattsfl| B sc円込 )也塑躍

40、碟耳特訂曰燈;di -sgi net Jsteia |1F. a IjH=*jiJ第一張降采樣后特征圖其他不再列舉Q. 50 30罰QCCI.5QW0. TOOO0.5DODh晰QQQWOp號(hào)吭Qa 6OQ00.50Waoaoa. soon0- 50004 5C000.5000I. MKO0.50000.50000.50000l5000a. seco0+ 5000IhSOSO0.5Q0I0- 50Q1山 4993q. ign|. 4826Qb 4B160.Ov：S79a轉(zhuǎn)陽(yáng)蠶 5000-仇 5000EL JiSES0.4651a. 47411. ugi0- 4B32nrD.464601JK9E

41、(L 4&1E0. 1995a.saaaD. 50000- 5D110. 52610.5210a. 5042D_ 5DDDCL 弓CEOL5376OLJ6saCL M Bn.saaocl son a乩 4933九 4S&60.40931. 47600.4B03厲4W20,44Ti0-.4：esOr 4060.49T0.SOOO0 50000.60025 4S70鈾曲0,4«8J0H62I厲4閃咅0,454*oBOT9a.蛙 pis0,472B0,4920'0.4DBI0- 50 30O.EC-OCa. 49M1. E1S1C.5DSB礦 4D. 19330.4

42、B9T0.46310.47461.47520.0570. 5000d. 190Q.513S. 47»：X ad.8CL 飾 15jk a 0丨<LO.M 1Q.4.1B730.旳加m SCOOCL 19Ma.燉訊0.4BB1a.鮭沾0. £9910.m屈jl0.油僵WCl 1B01Dl BDKI0.屜皿a sooo1. 50000- &DQO0.5000il «aoDisooa0.也99BIO.SOO1.49570. 5D2J0. EDHm MHOd SOM1. WMC. ED900. sooosooaa. HDD0.SDWa.QM0<初M米樣

43、過(guò)程分為兩步:1采樣模板與上層特征圖進(jìn)行卷積，得到6張23*23的特征圖，該過(guò)程與8類(lèi)似123455-891011121314151617IS：92021222324251234567S9101112B141$1£17lfi192021222425nEHs£824第二次卷積第二次卷積時(shí)，輸入6張?zhí)卣鲌D，與72個(gè)卷積核進(jìn)行卷積，得到12張8*8特征圖，每張?zhí)卣鲌D要與6個(gè)卷積核進(jìn)行卷積，卷積過(guò)程如下：1上層輸出的6張?zhí)卣鲌D與第一列的6個(gè)卷積核分別進(jìn)行卷積運(yùn)算，得到6張圖，然后這6張圖對(duì)應(yīng)位置值相加矩陣相加，即得到第一張8*8特征 圖;上層特征圖72個(gè)卷積模板2上層輸出的6張?zhí)卣?/p>

44、圖與第二列的6個(gè)卷積核分別進(jìn)行卷積運(yùn)算，同樣得到6張圖，然后這6張圖對(duì)應(yīng)位置相加，即得到第二張 8*8特征圖；上層特征圏72個(gè)卷積模板22列6行12*126行12*1212*12以此類(lèi)推，最終得到12張8*8的特征圖 825第二次降采樣第二次降采樣過(guò)程與第一次完全相同， 在此不再贅述，本次降采樣，得到12 張4*4的特征圖826構(gòu)建全連接層即將12個(gè)4*4的矩陣，構(gòu)建成1*192的一維向量每次在fv后面追加一個(gè)長(zhǎng)度為4*4=16的向量：n=t, fv = tt*毎蟲(chóng)臺(tái)？11 0#hatc'isifor j - 1 ； nunel (net 1即鮮 sbi 川sa 二 si2e :net

45、 Iayeis rj. a j), disp -net ly匕匸占zi 壬 lj：.Mnet. fv = net fv; reshape 'net. layers fcj . a ： j , net. fv = net. CvB 匕匚巧h孔pt Lnct Layers nJB ej, dispC全連按層討程中特江圖為3);diap (net. f r)tnd竝羽全連援層特Ht圉力disp (nd:,;sa(l) +"2), 31(3) t是 192耳bat 匚血讓亡為矩陸5a(l) *巧孔小巔后"是ITOtartCHiix的矩1酷全連接層特征圖值截取局部值全連接層特

46、征圖苦0.41ST0. 46010.43S40. W80. 45430. 44C80. 43430. 44450. 45660.0.45250.44S30. 45480. 4跡0. 46320. 45E30.5B770.58920. 68S60. 584&Q.5S«30. 59930. 5&260.5916827輸出結(jié)果輸出結(jié)果為10*1的矩陣% feedforward into output perceptrons% D5t,ffVlQ*192 的矩睞% net. fvJ192*batchsi2e的拒陣% net - ff¥ * net, fy為ICHba

47、t 命理在的矩PS9Sr epmat Cnet. ffb, L? size (net. fv? 2)藥把偏畫(huà)旦制為batcHsi工亡份排開(kāi)net. o = si cm (net* ffl * net. fv + repeat (net. ffb, 1, size (net. 2): di-pf輸出為J ；di sp (net .o'1;輸出藥0. 52050.頂10. 69550. 417&0. 37560. 3G230, 71120. 673S0. 54 9S6 47198.3誤差反向傳播8計(jì)算輸出誤差誤差二輸出-期望832計(jì)算輸出層靈敏度即殘差n backprap delt

48、asnet. cd = net. e . * (net. .4： (1 - ret - o) ) :% 轉(zhuǎn)出層靈敏虔dispc輸出層靈>：disp (net. <?d);輸出層靈敏度対0.12990.5205出為1輜出為0_ 14130, 53010. 520510. 52050.1473D. 69550 6U110.53410_ 10160. 41790. &95510.49SS-0 1464-0.62410.417910,41790-OS370. 36230.37561Q*和0.3623th 36230-14610 711?0. 7U210,71120.14810.67330. 573S0.673S0.136110.54980. 54朋10.54«fl0,11760. 47190. 47W10.471D* * 833計(jì)算全連接層殘差全連接層殘差等于全連接層權(quán)重與輸出層殘差的點(diǎn)乘，結(jié)果為 192*1的矩陣net.fvd = (net.ffl1 * net. od):*靈鎖