線性回歸的求解過程

1、Linear Regression (線性I歸）方法：線性回歸屬于監(jiān)督學習，先給定一個訓練集，根據(jù)這個訓練集學習出 一個線性函數(shù)，然后測試這個函數(shù)訓練的好不好（即此函數(shù)是否足夠擬合訓練集 數(shù)據(jù)），挑選出最好的函數(shù)（cost function最小）即可。Nd注意：（1）因為是線性回歸，所以學習到的函數(shù)為線性函數(shù)，即直線函數(shù)；（2）因為是單變量，因此只有一個x；我們能夠給出單變量線性回歸的模型：hg（x） =+。成我們常稱x為feature （特征），h（x）為hypothesis （假設函數(shù)）；那么，怎么樣能夠看出線性函數(shù)擬合的好不好呢？我們需要使用到Cost Function （代價函數(shù)），代

2、價函數(shù)越小，說明線性回歸 地越好（和訓練集擬合地越好），當然最小就是0，即完全擬合；舉個實際的例子：我們想要根據(jù)房子的大小，預測房子的價格，給定如下數(shù)據(jù)集Size in feet2 (x)Price () in 1000s (y)210446014162321534315852178I- 根據(jù)以上的數(shù)據(jù)集畫在圖上，如下圖所示:carl Housing Prices （Portland, OR） 伽Price(in 1000sof dollars)050010001500200025003000我們需要根據(jù)這些點擬合出一條直線，使得cost Function最??；雖然我們現(xiàn)在還不知道Cost F

3、unction內(nèi)部到底是什么樣的，但是我們的 目標是：給定輸入向量x，輸出向量y和theta，輸出Cost值；Cost Function (代價函Cost Function的用途：對假設的函數(shù)進行評價，cost function越小的函 數(shù)，說明擬合訓練數(shù)據(jù)擬合的越好；下圖詳細說明了當cost function為黑盒的時候，cost function的作用；(11 vector x(11 vector x vector y ectci th&ta比如存在瞄集任以 g (3,3 r jayx=l;2;3, y =山華 如果侵設預刪了函裁為y - x，則發(fā)現(xiàn)cost vdue - 0 ;如果假設預

4、陶了函鼓為y = 2x ,則發(fā)cosLvalue = 1;如果假設預刪了函數(shù)為y -獨則發(fā)現(xiàn)cost value二2 ;則我現(xiàn)y-x的仰I眼最小,因此選擇yr作為璐門的 hypothesiscost Function的內(nèi)部構(gòu)造是什么？因此我們下面給出公式：IJ(0qWi)=總支(扃(需)g)其中：hg(x) = 0。+ 0： T* 表示向量x中的第i個元素；表示向量y中的第i個元素；盤”：表示已知的假設函數(shù)；m為訓練集的數(shù)量；Gradient Descent (梯度下降)雖然給定一個函數(shù)，我們能夠根據(jù)cost function知道這個函數(shù)擬合的好 不好，但是畢竟函數(shù)有這么多，總不可能一個一個試

5、吧？因此我們引出了梯度 下降：能夠找出cost function函數(shù)的最小值；梯度下降原理：將函數(shù)比作一座山，我們站在某個山坡上，往四周看，從哪個 方向向下走一小步，能夠下降的最快；方法：確定向下一步的步伐大小(Learning rate)，任意給定一個初始值：甘；確定一個向下的方向，并向下走預先規(guī)定的步伐，并更新七;當下降的高度小于某個定義的值，則停止下降；算法:終止耕repeat uiitilGoiivergenc回J （仇終止耕repeat uiitilGoiivergenc回J （仇.S）亂口eously iipd絲tempo二仇templ= %Learning rate決定了下降的步

6、伐大 小9g * temp。：= tempi1特點：初始點不同，獲得的最小值也不同，因此梯度下降求得的只是局部最小值;越接近最小值時，下降速度越慢；問題1：如果s -一初始值就在local minimum的位置，則s ,-會如何變化？ 答：因為m -已經(jīng)在local minimum位置，所以derivative肯定是0,因此-口不會變化；如果取到一個正確的值，則cost function應該越來越??；問題2：怎么取盤:值?答：隨時觀察、二值，如果cost function變小了，則ok，反之，則再取一個 更小的值；下圖就詳細的說明了梯度下降的過程:最小值從上面的圖可以看出：初始點不同，獲得的最

7、小值也不同，因此梯度下降 求得的只是局部最小值；注意：下降的步伐大小非常重要，因為如果太小，則找到函數(shù)最小值的速 度就很慢，如果太大，則可能會出現(xiàn)overshoot the minimum的現(xiàn)象；下圖就是overshoot minimum現(xiàn)象：如果Learning rate取值后發(fā)現(xiàn)J增長了，則需要減小Learning rate的值;Integrating with Gradient Descent & Linear Regression梯度下降能夠求出一個函數(shù)的最小值；因此我們能夠?qū)ost function運用梯度下降，即將梯度下降和線性回歸進行 整合，如下圖所示：Gradient des

8、cent algorithmLinear Regression Modelrepeat until coinrrepeat until coinrergcnccJ（凱仇）=去r （如愆）/矽）、f % = % 口名斜,Hi)(for j = i. and)= 0) repeat until coiivirgeiiie 仇）：=仇一a土丈（扁O）一）T=1m務：=務 一 Q士 52 （膈（的）一 3） .腴=1梯度下降是通過不停的迭代，而我們比較關注迭代的次數(shù)，因為這關系到 梯度下降的執(zhí)行速度，為了減少迭代次數(shù)，因此引入了 Feature Scaling； Feature Scaling此種方法

9、應用于梯度下降，為了加快梯度下降的執(zhí)行速度；思想：將各個feature的值標準化，使得取值范圍大致都在-1=x=1之間；常用的方法是Mean Normalization，即-,其中工為訓練集中當前EtMuix的平均值，max為甚能取的最大值，min為k能取.的最小值 max - mm或者：X-mean（X）/std（X）;舉個實際的例子，有兩個Feature：（1）size，取值范圍 02000；（2）#bedroom，取值范圍 05；則通過 feature scaling 后，1 2000如5多變量線性回歸前面我們只介紹了單變量的線性回歸，即只有一個輸入變量，現(xiàn)實世界不 可能這么簡單，因此此

10、處我們要介紹多變量的線性回歸；舉個例子：房價其實由很多因素決定，比如size、number of bedrooms、number of floors、age of home等，這里我們假設房價由4個因素決定，如下圖所示:Size (feet1!Number of bedroomsNumber of floorsAge of home years)Price ($1000)21045145460141632402321534323031585221361739 4 Gi a e( + 1a B b我們前面定義過單變量線性回歸的模型：=仇）+這里我們可以定義出多變量線性回歸的模型：加莒）=街+。保1 +但億2 HH 0nxnCost function 如下：