隨機(jī)梯度下降法概述

1、本節(jié)開始介紹第一個(gè)機(jī)器學(xué)習(xí)模型：線性回歸模型(Linear Regression Model)。線性回 歸的目的是預(yù)測(cè)連續(xù)變量的值，比如股票走勢(shì)，房屋的價(jià)格預(yù)測(cè)。從某種程度上說，線性 回歸模型，就是函數(shù)擬合。而線性回歸，針對(duì)線性模型擬合，是回歸模型當(dāng)中最簡(jiǎn)單一種。形式化描述回歸模型：對(duì)于給定的訓(xùn)練樣本集包含N個(gè)訓(xùn)練樣本x(i)相應(yīng)的目標(biāo)值 t(i)(i=1,2,.N)，我們的目的是給定一個(gè)新樣本x預(yù)測(cè)其值t，注意與分類問題不同是地 屬于連續(xù)變量。最簡(jiǎn)單的線性回歸模型:。(犯 W)=祀口 +，+ WDXD其中，x=x1,x2,x3,.xD，D個(gè)特征項(xiàng)，w=w1,w2,w3.wD，被稱為參數(shù)或者權(quán)

2、重。線性回 歸模型的關(guān)系是求出w。上面的公式可以簡(jiǎn)化為:M-g(g W)=初口 + 2 嗎飽 I*)其中$(x)被成為集函數(shù)，令0O(X)= 1，則上式又可以寫成:M-1(3)gw) = E 叱飽(x) = wT(x)；：=n集函數(shù)的一般有多項(xiàng)式集函數(shù)，比如Gaussian集函數(shù)，Sigmoidal集函數(shù)。為方便出公 式推導(dǎo)，我們假設(shè)：最簡(jiǎn)單的集函數(shù)形式：氣(x) = xj為了求出模型參數(shù)(一旦w求出，模型就被確定)，我們首先需要定義出錯(cuò)誤函數(shù) 或者(error function)或者又被成為損失函數(shù)(cost function)，優(yōu)化損失函數(shù)的過程便是 模型求解的過程。我們定義線性回歸模型的

3、損失函數(shù)：1 N2所()=!廣)一討必)(4)優(yōu)化當(dāng)前函數(shù)有很多方便，包括隨機(jī)梯度下降算法(gradient descent algorithm)算法步 驟如下：隨機(jī)起始參數(shù)W;按照梯度反方向更新參數(shù)W直到函數(shù)收斂。算法公式表示：wT+l =wx - rVEtt(5)其中，n表示學(xué)習(xí)速率(learning rate)。倒三角表示對(duì)損失函數(shù)求導(dǎo)，得到導(dǎo)數(shù)方向。對(duì)公 式(4 )求導(dǎo)后：此=討+門 (舟)一(訝)舟)*)公式（5）更新方法又被稱為批梯度下降算法（batch gradient descent algorithm）, 每更新一次W需要遍歷所有的訓(xùn)練樣本，當(dāng)樣本量很大是，將會(huì)是非常耗時(shí)的。另一種 更新方法，隨機(jī)梯度下降的算法，每次碰到一個(gè)樣本，即對(duì)W進(jìn)行更新：”+i =訝 +VW）*隨機(jī)梯度算法速度要遠(yuǎn)于批更新，但可能會(huì)得到局部最優(yōu)解。需要注意的是，在隨機(jī)