人工智能導(dǎo)論作業(yè)1Key

1、1、CNN中，對(duì)全連接層做批量歸一化（BN。設(shè)全連接層的輸？為 u ,權(quán)重參數(shù)和偏差參數(shù)分別為 W和 b ,仿射變換為 x = Wit + bB =。考慮由 m個(gè)樣本組成的小批量，川也）。 a;e 帆1 i （）是-個(gè)很小的常數(shù)，保證彌大干o0在上面標(biāo)準(zhǔn)化的基礎(chǔ)上，批景歸-化層引入r 兩個(gè)可以學(xué)習(xí)的鯉參氨拉升（scale）參站和翩（shift）參數(shù)仇這兩個(gè)參數(shù)和拙）蹴 相鳳皆為“維向量它們與於分別做按元素乘袪（符號(hào)0）和加法計(jì)算：2、正則化的作用主要是什么？如果已知經(jīng)驗(yàn)風(fēng)險(xiǎn)是，請(qǐng)分別給出厶和厶范數(shù)的正則化形式。答: ?正則化通過(guò)為模型損失函數(shù)添加懲罰項(xiàng)使得學(xué)出的模型參數(shù)值較小，是應(yīng)對(duì)過(guò)擬合的常

2、？ ？段。/正則化是指我們修改學(xué)習(xí)算法,使其降低泛化誤差而非訓(xùn)練誤差。（以上兩種解法都o(jì)k）?厶范數(shù)正則化。（&）= |訓(xùn)1 = 52 働兒范數(shù)正則化3、請(qǐng)簡(jiǎn)單給出隨機(jī)梯度下降SGD算法的原理，給出它的梯度下降估計(jì)。答:隨機(jī)梯度下 ( SGD )及H變種觀吋能足-fcfJlffi學(xué)打中應(yīng)川赧為的優(yōu)化算達(dá). 持別是在深度學(xué)勺中克如第節(jié)中所討論的*按照數(shù)鋸于成分布抽取優(yōu)/小批 疑(獨(dú)玄同分布的)樣本，通過(guò)計(jì)算它們梯度均俏.我們可以得到梯度的無(wú)傭佔(zhàn)譏、算法農(nóng)L展示了如何沿著這個(gè)梯度的怙計(jì) m.算送&1隨機(jī)獨(dú)下降(SGD)金第個(gè)訓(xùn)練送代的 Roquiro!學(xué)習(xí)率(kRequire：初始參數(shù)円while停止準(zhǔn)則*滿越do從訓(xùn)練集中采包含m個(gè)樣本糾，的的小批hL其中曲)対應(yīng)目標(biāo)為 l/o汁算梯度估計(jì)：-桔VL(f(曲冋許)應(yīng)用更新：0 i- 0 -tgend while或者隨機(jī)梯度下降的核心是.梯度是期望。期望可便用小規(guī)模的樣本近似估計(jì)。具 休而言.在算法的每一步*我們從訓(xùn)練集中均勻抽岀一小批 (mtoibatch)樣本 図=卻*詔旳。小批雖的數(shù)目皿通常是一個(gè)桶肘較小的數(shù).從一到幾乂 巫 要的是.當(dāng)訓(xùn)練集大小m増長(zhǎng)時(shí)5 通常是固定的。我們可能東擬合兒卜億的樣 本時(shí).曲次更新計(jì)算貝用到兒耳個(gè)禪本。梯度的佔(zhàn)卄可以喪示雀1卅9 = V嵐円叫飾(5.98)rrr1 = 1使用來(lái)自小批址E的樣本。然