昆明理工大學(xué)人工智能實(shí)驗(yàn)二

1、（20112012 學(xué)年第1學(xué)期）課程名稱：人工智能開課實(shí)驗(yàn)室：4442011年12月23日年級(jí)、專業(yè)、班計(jì)科093學(xué)號(hào)200910405310姓名孫浩川成績(jī)實(shí)驗(yàn)項(xiàng)目名稱線性回歸、梯度下降指導(dǎo)教師王劍教師該同學(xué)是否了解實(shí)驗(yàn)原理：a. 了解口基本了解口c.不了解口該同學(xué)的實(shí)驗(yàn)?zāi)芰Γ篴.強(qiáng)口b.中等c.差評(píng)該同學(xué)的實(shí)驗(yàn)是否達(dá)到要求：a.達(dá)到口b.基本達(dá)到口c.未達(dá)到口實(shí)驗(yàn)報(bào)告是否規(guī)范：a.規(guī)范口b.基本規(guī)范口c.不規(guī)范口語實(shí)驗(yàn)過程是否詳細(xì)記錄：a.詳細(xì)口b. 般c.沒有教師簽名：年月日回歸在數(shù)學(xué)上來說是給定一個(gè)點(diǎn)集，能夠用一條曲線去擬合z,如果這個(gè)曲線是一條 直線，那就被稱為線性冋歸，如果曲線是一

2、條二次曲線，就被稱為二次冋歸。舉個(gè)例子，做一個(gè)房屋價(jià)值的評(píng)估系統(tǒng)，一個(gè)房屋的價(jià)值來自很多地方，比如說面積、 房間的數(shù)量（幾室?guī)讖d）、地段、朝向等等，這些影響房屋價(jià)值的變量被稱為特征（feature）, feature在機(jī)器學(xué)習(xí)屮是一個(gè)很重要的概念，右很多的論文專門探討這個(gè)東西。在此處，為 了簡(jiǎn)單，假設(shè)我們的房屋就是一個(gè)變量影響的，就是房屋的面積。假設(shè)有一個(gè)房屋銷售的數(shù)據(jù)如下：面檳（m八2）涓售價(jià)錢（萬元）12325015032087160102220這個(gè)表類似于帝都5環(huán)左右的房屋價(jià)錢，我們可以做出一個(gè)圖，x軸是房屋的面積。y軸是房屋的售價(jià)，如下：如果來了一個(gè)新的面積，假設(shè)在銷售價(jià)錢的記錄中沒有

3、的，我們可以用一條曲線去盡量準(zhǔn)的擬合這些數(shù)據(jù)，然后如果冇新的輸入過來，我們可以在將曲線上這個(gè)點(diǎn)對(duì)應(yīng)的值返冋。如果用-條直線去擬合，可能是下面的樣子:綠色的點(diǎn)就是我們想要預(yù)測(cè)的點(diǎn)。首先給出一些概念和常用的符號(hào)，在不同的機(jī)器學(xué)習(xí)書籍屮可能有一定的差別。房屋銷售記錄表-訓(xùn)練集(training set)或者訓(xùn)練數(shù)據(jù)(training data)，是我們流程中的輸入數(shù)據(jù)，一般稱為x。房屋銷售價(jià)錢-輸出數(shù)據(jù)，一般稱為y。擬合的函數(shù)(或者稱為假設(shè)或者模型)，一般寫做y = h(x)o訓(xùn)練數(shù)據(jù)的條目數(shù)(tttraining set), 一條訓(xùn)練數(shù)據(jù)是由一對(duì)輸入數(shù)據(jù)和輸出數(shù)據(jù)組成的。輸入數(shù)據(jù)的維度(特征的個(gè)數(shù)

4、，#fcatums), no下而是一個(gè)典型的機(jī)器學(xué)習(xí)的過程，首先給出一個(gè)輸入數(shù)據(jù)，算法會(huì)通過一系列的過程得到一個(gè)估計(jì)的函數(shù)，這個(gè)函數(shù)有能力對(duì)沒有見過的新數(shù)據(jù)給出一個(gè)新的估計(jì)，也被稱 為構(gòu)建一個(gè)模型。就如同上而的線性回歸函數(shù)。輸入敖據(jù)機(jī)器學(xué)習(xí)方注新裟卷>1估計(jì)函坯"用xi, x2. xn去描述feature里面的分量,比如xl二房間的面積,x2二房間的朝向， 等等，可以做出一個(gè)估計(jì)函數(shù)：= h0 (x) = % + o2x28在這兒稱為參數(shù)，意思是調(diào)整featured每個(gè)分量的影響力，就是到底是房屋的面積更重要還是房屋的地段更重要。為了如杲令x0 = 1,就可以用向量的方式來表示

5、了：h0x) = 0 x程序也需要一個(gè)機(jī)制去評(píng)估我們e是否比較好，所以說需要對(duì)做出的h函數(shù)進(jìn)行評(píng)估, 一般這個(gè)函數(shù)稱為損失函數(shù)(loss function)或者錯(cuò)誤函數(shù)(error function),描述h函 數(shù)不好的程度，在下面，稱這個(gè)函數(shù)為j函數(shù)。在這兒我們可以做出下面的一個(gè)錯(cuò)誤函數(shù):i ffi丿話乞仇(卍)-)")22 i»i min j口o 0這個(gè)錯(cuò)誤估計(jì)函數(shù)是去對(duì)x(i)的估計(jì)值與真實(shí)值y(i)差的平方和作為錯(cuò)誤估計(jì)函數(shù)， 而面乘上的1/2是為了在求導(dǎo)的時(shí)候，這個(gè)系數(shù)就不見了。如何調(diào)整b以使得j( b )取得最小值冇很多方法，其中冇最小二乘法(min squar

6、e),是 一種完全是數(shù)學(xué)描述的方法，在stanford機(jī)器學(xué)習(xí)開放課最后的部分會(huì)推導(dǎo)最小二乘法的 公式的來源，這個(gè)來很多的機(jī)器學(xué)習(xí)和數(shù)學(xué)書上都可以找到，這里就不提最小二乘法，而 談?wù)勌荻认陆捣?。梯度下降法是按下面的流程進(jìn)行的：1) 首先對(duì)0賦值，這個(gè)值可以是隨機(jī)的，也可以讓0是一個(gè)全零的向量。2) 2)改變b的值，使得j(b)按梯度下降的方向進(jìn)行減少。3) 為了更清楚，給出下面的圖：gradient descent這是一個(gè)表示參數(shù)0與誤差函數(shù)j( &)的關(guān)系圖，紅色的部分是表示j( e)冇著比較高的取值，我們需耍的是，能夠讓j()的值盡量的低。也就是深藍(lán)色的部分。()0,()1表示0向

7、量的兩個(gè)維度。在上面提到梯度下降法的第一步是給0給一個(gè)初值，假設(shè)隨機(jī)給的初值是在圖上的十字點(diǎn)。 然后我們將b按照梯度下降的方向進(jìn)行調(diào)整，就會(huì)使得j(e)往更低的方向進(jìn)行變化，如圖 所示，算法的結(jié)束將是在8下降到無法繼續(xù)下降為止。gradient descent當(dāng)然，可能梯度下降的最終點(diǎn)并非是全局最小點(diǎn)，可能是一個(gè)局部最小點(diǎn)，可能是下面的情況：gradient descent上面這張圖就是描述的-個(gè)局部最小點(diǎn)，這是我們重新選擇了一個(gè)初始點(diǎn)得到的，看 來我們這個(gè)算法將會(huì)在很大的程度上被初始點(diǎn)的選擇影響而陷入局部最小點(diǎn)。下面我將用一個(gè)例子描述一下梯度減少的過程，對(duì)丁我們的函數(shù)j( 0 )求偏導(dǎo)j：?p 1丿=喬牙 e (爲(wèi)(x) - y)2 =(爲(wèi)(x) - y)x(l) ou0& 2 /=下面是更新的過程，也就是bi會(huì)向著梯度最小的方向進(jìn)行減少。oi表示更新之前的值，后面的部分表示按梯度方向減少的量，a表示步長(zhǎng)，也就是每次按照梯度減少的方向變化多少。0=0 -a三丿(&) = 0 -a仇-y)xct)一個(gè)很重要的地方值得注意的是，梯度是有方向的，對(duì)于一個(gè)向量每一維分量gi都可以求出一個(gè)梯度的方向，我們就可以找到一個(gè)整體的方向，在變化的時(shí)候，我們就朝著下降最多的方向進(jìn)行變化就可以達(dá)到一個(gè)最小點(diǎn)，不管它是局部的