機器學習中的一些方法講解

1、機器學習中的一些方法2011.12.10主要內(nèi)容線性回歸和梯度下降法Logistic回歸高斯混合模型和算法Gradient descentMachine LearningLinear regression 線性回歸舉個例子線性回歸形式化描述訓練集 input variables 每個 是n維的向量 output variables 第i個訓練樣本:學習函數(shù) 使得對一個新的輸入x，能得到對應的目標值線性回歸學習函數(shù)Cost functionGoal：least sum-of-squares最小二乘法線性回歸線性回歸一種求解方法求出 的梯度函數(shù)在極值處梯度為0，分別對 求導 求矩陣的逆復雜度一般是

2、O(n3) Gradient Descent Algorithm損失函數(shù) 一般流程首先對賦值，這個值可以是隨機的，也可以讓是一個全零的向量。改變的值，使得J()按梯度下降的方向進行減少，直到收斂Gradient Descent Algorithm10J(0,1)01J(0,1)梯度下降法適用于無約束極值問題局部優(yōu)化算法梯度的定義設R是n維歐式空間En上的某一開集，f()在R上有一階連續(xù)偏導數(shù)，且在點*取得局部極值，則必有 上式中 為函數(shù)f(X)在點X*處的梯度梯度下降法-基本原理關(guān)鍵：如何找函數(shù)值下降的方向假定無約束極值問題中的目標函數(shù)f()有一階連續(xù)偏導數(shù)，具有極小點*。以(k)表示第k次近

3、似,為了求其第k+1次近似點(k+1)，我們在(k)沿方向P(k)做射線 梯度下降法-基本原理現(xiàn)將f()在點(k+1)處展開成泰勒級數(shù) (1) 為保證 對于充分小得，只要 (2)現(xiàn)對于不同的方向P(k)。由線性代數(shù)可知當=180，cos=-1，(2)式成立，而且(1)式取最小值 梯度下降法-基本原理我們稱方向 為負梯度方向，它是使函數(shù)值下降最快的方向（在 的某一小范圍內(nèi)）當我們確定了前進方向之后，我們就可以逐步迭代使得目標函數(shù)值逐步減小。必須指出， 點處的負梯度方向盡在 點附近才具有這種最速下降的性質(zhì)。 梯度方向見右圖。局部極小值是C點（x0）。梯度，即導數(shù)，但是有方向，是一個矢量。曲線情況下

4、，表達式為如果，f(x)0，則x增加，y也增加，相當于B點；如果f(x)實際問題EM for Gaussian Mixtures1.初始化均值uk,協(xié)方差k和混合系數(shù)k 2.E step (計算znk的期望值)3.M step (重新計算參數(shù)值)EM for Gaussian Mixtures4.測試是否達到停止條件，如果停止條件不滿足返回到第2步例子Logistic RegressionClassificationMachine Learning56Binary ClassificationEmail: Spam / Not Spam?Online Transactions: Fraudul

5、ent (Yes / No)?Tumor: Malignant / Benign ? 0: “Negative Class” (e.g., benign tumor) 1: “Positive Class” (e.g., malignant tumor)Binary Classification Classification: y = 0 or 1Threshold classifier output at 0.5:If , predict “y = 1”If , predict “y = 0”can be 1 or 0Logistic Regression:58Logistic Regres

6、sion ModelWantSigmoid functionLogistic functionInterpretation of Hypothesis Output= estimated probability that y = 1 on input x Tell patient that 70% chance of tumor being malignant Example: If “probability that y = 1, given x, parameterized by ”60Logistic regressionsuppose predict if predict if Log

7、istic RegressionDecision Boundaryx1x2123123Predict “ “ if Non-linear decision boundariesx1x2Predict “ “ if 1-1-1163Training set:How to choose parameters ?m examplesLogistic RegressionAssume thatLogistic Regression m個獨立抽取的訓練樣本，的似然函數(shù)maximize the log likelihoodLogistic Regression已知目標函數(shù)，如何求參數(shù)？可以使用梯度上升方法

8、Logistic Regression流程1）確定h(x)的形式2）p(y|x;), L()3）maximize log L()4）優(yōu)化算法解出5）output h(x)并用于分類Multiclass classificationEmail foldering/tagging: Work, Friends, Family, HobbyMedical diagrams: Not ill, Cold, FluWeather: Sunny, Cloudy, Rain, Snow68x1x2x1x2Binary classification:Multi-class classification:x1x2One-vs-all (one-vs-rest):Class 1:Class 2:Class 3:x1x2x1x2x1x2One-vs-allTrain a logistic regress