機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型

第五章線性模型線性模型是機(jī)器學(xué)習(xí)中常用的一種建模方法，它基于線性關(guān)系對輸入特征與輸出目標(biāo)之間的關(guān)系進(jìn)行建模和預(yù)測。線性模型具有簡單且易于解釋的特征權(quán)重，使得我們可以理解每個特征對輸出的貢獻(xiàn)。而且，線性模型具有良好的可解釋性，可以用于推斷變量之間的關(guān)系和影響程度。15.1線性回歸一元線性回歸假設(shè)因變量和自變量之間存在線性關(guān)系，這個線性模型所構(gòu)成的空間是一個超平面（hyperplane）。超平面是n維歐氏空間中余維度等于一的線性子空間，如平面中的直線、空間中的平面等，總比包含它的空間少一維。在一元線性回歸中，一個維度是因變量，另一個維度是自變量，總共兩維。因此，其超平面只有一維，就是一條線。25.1.1簡單線性回歸

簡單線性回歸是利用稱為線性回歸方程的最小二乘函數(shù)對一個或多個自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。

35.1.1簡單線性回歸

45.1.2多變量線性回歸

直線回歸研究的是一個因變量與一個自變量之間的回歸問題。但是，在許多實(shí)際問題中，影響因變量的自變量往往不止一個，而是多個。

55.1.2多變量線性回歸

65.1.2多變量線性回歸

因此，線性回歸模型為

75.1.3梯度下降法

梯度下降法(gradientdecent)是一個最優(yōu)化算法，通常也稱為最速下降法。常用于機(jī)器學(xué)習(xí)和人工智能當(dāng)中用來遞歸性地逼近最小偏差模型。

當(dāng)函數(shù)定義域和取值都在實(shí)數(shù)域中的時候，導(dǎo)數(shù)可以表示函數(shù)曲線上的切線斜率。除了切線的斜率，導(dǎo)數(shù)還表示函數(shù)在該點(diǎn)的變化率。在一元函數(shù)中，只有一個自變量變動，不存在偏導(dǎo)數(shù)。偏導(dǎo)數(shù)至少涉及到兩個自變量，是多元函數(shù)沿不同坐標(biāo)軸的變化率85.1.3梯度下降法

95.1.3梯度下降法

105.1.3梯度下降法

在具體使用梯度下降法的過程中，主要有以下三種：（1）批量梯度下降法

批量梯度下降法針對的是整個數(shù)據(jù)集，通過對所有的樣本的計算來求解梯度的方向。（2）小批量梯度下降法

在批量梯度下降法的方式中每次迭代都要使用到所有的樣本，對于數(shù)據(jù)量特別大的情況，如大規(guī)模的機(jī)器學(xué)習(xí)應(yīng)用，每次迭代求解所有樣本需要花費(fèi)大量的計算成本。（3）隨機(jī)梯度下降法

隨機(jī)梯度下降法可以看成是小批量梯度下降法的一個特殊的情形，即在隨機(jī)梯度下降法中每次僅根據(jù)一個樣本對模型中的參數(shù)進(jìn)行調(diào)整，即每個小批量梯度下降法中只有一個訓(xùn)練樣本115.1.4多項式回歸

多項式回歸是研究一個因變量與一個或多個自變量間多項式關(guān)系的回歸分析方法。當(dāng)自變量只有一個時，稱為一元多項式回歸。

同理當(dāng)自變量有多個時，則稱為多元多項式回歸

125.2邏輯回歸

135.2邏輯回歸Sigmoid函數(shù)有一個非常實(shí)用的性質(zhì)。其導(dǎo)數(shù)式為：

Sigmoid函數(shù)在實(shí)數(shù)范圍內(nèi)連續(xù)可導(dǎo)，優(yōu)化穩(wěn)定。任意自變量經(jīng)過Sigmoid函數(shù)映射后得到的結(jié)果可以看成是一個概率。Sigmoid函數(shù)值以0.5為中心，可以將大于0.5的數(shù)據(jù)映射為1類，小于0.5的數(shù)據(jù)映射為0類。145.2.1二分類邏輯回歸邏輯回歸的表達(dá)式

155.2.1二分類邏輯回歸繼上頁，則有

寫成對數(shù)形式就是交叉熵?fù)p失函數(shù)

165.2.2多分類邏輯回歸

普通的邏輯回歸只能針對二分類(BinaryClassification)問題，要想實(shí)現(xiàn)多個類別的分類，我們必須要改進(jìn)邏輯回歸，讓其適應(yīng)多分類問題。

第一種方式是直接根據(jù)每個類別，都建立一個二分類器，帶有這個類別的樣本標(biāo)記為1，帶有其他類別的樣本標(biāo)記為0。針對每一個測試樣本，我們需要找到這k個分類函數(shù)輸出值最大的那一個，即為測試樣本的標(biāo)記。

175.2.2多分類邏輯回歸

第二種方式是修改邏輯回歸的損失函數(shù)，讓其適應(yīng)多分類問題。這時損失函數(shù)不再籠統(tǒng)地只考慮二分類非1就0的損失，而是具體考慮每種樣本標(biāo)記的損失。這種方法被稱為Softmax回歸。

185.2.2多分類邏輯回歸損失函數(shù)可以表示為

對其求導(dǎo)，可得

其更新參數(shù)為

195.3模型正則化

在訓(xùn)練數(shù)據(jù)不夠多或者過度訓(xùn)練時，常常會導(dǎo)致過擬合（Overfitting）。正則化（Regularization）方法即是在此時向原始模型引入額外信息，以防止過擬合并提高模型泛化性能。

正則化一般具有以下形式205.3模型正則化

第1項的損失函數(shù)值較小的模型可能較復(fù)雜（有多個非零參數(shù)），這時第2項的模型復(fù)雜度會較大，正則化的作用是選擇損失函數(shù)值與模型復(fù)雜度同時較小的模型。215.4本章小結(jié)

線性回歸是一種用于建模和預(yù)測連續(xù)數(shù)值輸出的線性模型，它假設(shè)輸入特征與輸出之間存在線性關(guān)系。多項式回歸是線性回歸的擴(kuò)展，通過引入高階項，能夠擬合非線性關(guān)系的數(shù)據(jù)。邏輯回歸則是一種應(yīng)用于分類問題的線性模型，在二分類情況下，它利用logi