機器學習-03-梯度降維法

1、梯度降維法回歸分析1梯度降維法解決什么問題假設y的值與n個因素有關，他們分別是x1、x2、x3.xn，且經(jīng)過調(diào)研，我們已經(jīng)掌握了m組實際值我們可以將他們的關系用函數(shù)y=a0+a1*x1+a2*x2+a3*x3.+anxn進行擬合根據(jù)之前的結論，代價函數(shù)J(a0,a1,a2.an)=1/2m*( f(xi) - yi )那么我們就需要根據(jù)已知的m組值，找出一組（a0,a1,a2.an），讓代價函數(shù)的值最小上面所說的梯度降維法，就是專門求解minJ(a0,a1,a2.an)問題的一種有效方法為了更直觀地看到梯度降維法是如何工作的，我們接下來只看兩個因素的問題，即J(a0,a1)問題2梯度降維法工作

2、原理思考：你可以把代價函數(shù)的圖像，想想為群山而你在這群山中的任意一點你需要下到更低的地方，你會怎么做？3梯度降維法工作原理思路：假設，我在點A，我會環(huán)顧一下四周看看哪個方向的高度比我所在點更低然后朝那個方向前進一小步，到點B到了B點以后，繼續(xù)剛才的操作，一步一步，慢慢的，我會發(fā)現(xiàn)我到了某個點，這個點四周的高度都比現(xiàn)在的高度要高，這個時候就可以停止了這就是梯度降維法的基本思路AB4梯度降維法實現(xiàn)在這里，我要先給出結論，梯度降維法的實現(xiàn)方式如下（偽代碼）針對代價函數(shù)J(a0,a1)，我們要找到一個任意的初始點（a0,a1）設置兩個變量temp0=0;temp1=0;這兩個變量我們接下來會用到然后循

3、環(huán)下面這一段temp0=temp1=a0 = temp0a1 = temp1用新的a0和a1計算一下代價函數(shù)值直到代價函數(shù)值不再變化或是變化很小，可以忽略不計的時候，就說明我們已經(jīng)找到了需要的a0和a1注意：有一點很容易出錯，a0和a1一定要同時更新，否則，如果先更新a0，再對a1求偏導的時候，此時的a0是已經(jīng)更新過的，偏導求的就不對了，所以一定要同時更新，切記。5梯度降維法實現(xiàn)看到上面的結論，是不是有點暈？沒關系，我們慢慢來，上面的一大串結論里面，對于沒有學習過高等數(shù)學的人來說，最麻煩的也許就是那個求偏導，完全搞不懂是什么，沒關系，那個值我之后會給出，會求偏導的，可以自己算一下。下面，我就介

4、紹一下那個結論中的幾個概念學習速率（下山的步子有多大）方向（朝什么方向走）剛才的例子中，不斷的循環(huán)過程，就是在不斷的尋找下一步往哪走，而這“下一步”就是由方向和步子大小決定的，學習速率就好比下山時的步子大小，而那個偏導就是我們下山的方向，就這樣，我們會一步一步走到最低點。這是你可能會問，為什么方向會是兩個？一個對a0求偏導，一個對a1求偏導。下面我們來說說導數(shù)的含義6導數(shù)的含義我們先把代價函數(shù)簡化一下，看看一個變量的代價函數(shù)圖像。在上一節(jié)中我們知道了，J(a1)的函數(shù)圖像如下a1J(a1)假設我們的初始點在A我們利用梯度降維法，就需要做下面這件事來找到點B我們可以看到，新的a1實際上是原來的值

5、減去一個值減去的這個值由學習速率和一個導數(shù)組成這個導數(shù)的意義，實際上是點A的斜率我們沿著斜率的方向，就可以保證下一步的值肯定比這一步要小，我們可以看到，我們沿著斜率前進了，得到了一個新的a1，從而得到了新的點，這個點離我們的最低點更近了這個時候你可能會想明明是減去一個值，為什么a1會向右跑了呢？別忘了斜率的含義，你看看這條直線的方向，此時的斜率是負數(shù)，減去一個負數(shù)，所以值增加了。AB7導數(shù)的含義我們再來看看，如果我的上一個點不在最低點的左邊，而在最低點的右邊，會是什么情況呢？a1J(a1)假設上一個點在A我們利用梯度降維法，就需要做下面這件事來找到點B這種情況下，A的斜率變?yōu)榱素撝?，我們新的點

6、依然會朝著最小點的方向前進，這就是導數(shù)（斜率）的神奇之處。它保障了我們的算法永遠向著目標前進到目前為止，我們看到了斜率可以在方向上保證我們永遠向著最低點前進，下面，我們看看這個斜率對我們步子的大小有什么作用。AB8導數(shù)的含義實際上，隨著我們的計算越來越接近最低點，斜率可以保證我們的步子越來越小，盡量不越過最低點a1J(a1)假設我們從A點出發(fā)，到了B點，經(jīng)過幾輪循環(huán)以后，我們的數(shù)值已經(jīng)到達了C點C點的斜率已經(jīng)明顯發(fā)生了變化，我們可以看到，C點切線的斜率與之前相比，已經(jīng)變得更小了，這時，對于相同的學習速率來說，每次的變化都更小了所以，越接近最低點，步子的變化會越來越小，是我們盡量不會越過最低點。

7、注意，這里說的是盡量不越過，如果你的選擇得很大，還是會越過，還會出現(xiàn)一只無法到達最低點的情況，不過我們可以先不要關心這一點，在后面我會講到如何選擇合適的ABC9導數(shù)的含義之前的例子，為了便于理解，我用的是只有一個參數(shù)的J（a1），當有兩個參數(shù)的時候，圖像是三維的，所以在確定下山方向的時候，要分別對a1和a2求偏導，得到兩個方向上的增量，這樣才可以確定出下一步的位置。你們看，是不是和經(jīng)典物理里面求合力的情況有點像？實際上，梯度降維法可以用在更一般的情況，有n個參數(shù)的時候也是一樣的求法，只不過為了讓大家可以盡量不去理解超過三維的內(nèi)容，所以我用了一個參數(shù)和兩個參數(shù)的情況作為例題講解10偏導的結果之前

8、的公式，我們復習一下這里一直有一個問題困擾著不會求偏導的同學，那就是這個偏導該怎么求，我不打算在這里將數(shù)學分析的內(nèi)容重新講一遍，所以我決定直接給出求偏導的答案，大家可以放心使用。求出偏導以后的梯度降維法如下：然后循環(huán)下面這一段a0 = temp0a1 = temp1用新的a0和a1計算一下代價函數(shù)值直到代價函數(shù)值不再變化或是變化很小，可以忽略不計的時候，就說明我們已經(jīng)找到了需要的a0和a1注意：這里的xi和yi就是我們做回歸分析時，事先知道的點的實際值，m則是這些已知值的個數(shù)。補充說明：對于這種根據(jù)已知的值，進行學習的過程，我們叫做監(jiān)督學習。而這些已知的值，我們叫做訓練集。就如字面意思，我們的

9、目的，是根據(jù)已知的數(shù)據(jù)，將算法訓練成更優(yōu)秀的算法。從而達到計算機的智能學習。11關于一點說明前面為了討論梯度降維法如何工作，所以我用的函數(shù)圖并不真實，對于那種“崇山峻嶺”的圖，你會發(fā)現(xiàn)，用梯度降維法，你可能只到達了一個局部最低點，而不是真正的最低點，那我們用梯度降維法的時候，是不是會有這種局限性呢？很幸運的，不會！因為線性回歸問題的代價函數(shù)，不可能有局部最低點，他們的圖像，都是弓形圖，這一點我之前提到過，所以不用擔心這一點。a0a1J(a0,a1)12本章節(jié)結束語這一節(jié)，我們學習了如何使用梯度降維法解決兩個參數(shù)的線性回歸問題，如果你順利看到這里，并且掌握了請先“沾沾自喜”一下，因為你已經(jīng)踏入了機器學習的大門，不過這只是開始，后面的路還長。不過也不用害怕，到目前為止，你也看到了，即使不懂高等數(shù)學，你也是