機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型_第1頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型_第2頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型_第3頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型_第4頁
機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第5章 線性模型_第5頁
已閱讀5頁,還剩17頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

第五章線性模型線性模型是機(jī)器學(xué)習(xí)中常用的一種建模方法,它基于線性關(guān)系對輸入特征與輸出目標(biāo)之間的關(guān)系進(jìn)行建模和預(yù)測。線性模型具有簡單且易于解釋的特征權(quán)重,使得我們可以理解每個特征對輸出的貢獻(xiàn)。而且,線性模型具有良好的可解釋性,可以用于推斷變量之間的關(guān)系和影響程度。15.1線性回歸一元線性回歸假設(shè)因變量和自變量之間存在線性關(guān)系,這個線性模型所構(gòu)成的空間是一個超平面(hyperplane)。超平面是n維歐氏空間中余維度等于一的線性子空間,如平面中的直線、空間中的平面等,總比包含它的空間少一維。在一元線性回歸中,一個維度是因變量,另一個維度是自變量,總共兩維。因此,其超平面只有一維,就是一條線。25.1.1簡單線性回歸

簡單線性回歸是利用稱為線性回歸方程的最小二乘函數(shù)對一個或多個自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。

35.1.1簡單線性回歸

45.1.2多變量線性回歸

直線回歸研究的是一個因變量與一個自變量之間的回歸問題。但是,在許多實(shí)際問題中,影響因變量的自變量往往不止一個,而是多個。

55.1.2多變量線性回歸

65.1.2多變量線性回歸

因此,線性回歸模型為

75.1.3梯度下降法

梯度下降法(gradientdecent)是一個最優(yōu)化算法,通常也稱為最速下降法。常用于機(jī)器學(xué)習(xí)和人工智能當(dāng)中用來遞歸性地逼近最小偏差模型。

當(dāng)函數(shù)定義域和取值都在實(shí)數(shù)域中的時候,導(dǎo)數(shù)可以表示函數(shù)曲線上的切線斜率。除了切線的斜率,導(dǎo)數(shù)還表示函數(shù)在該點(diǎn)的變化率。在一元函數(shù)中,只有一個自變量變動,不存在偏導(dǎo)數(shù)。偏導(dǎo)數(shù)至少涉及到兩個自變量,是多元函數(shù)沿不同坐標(biāo)軸的變化率85.1.3梯度下降法

95.1.3梯度下降法

105.1.3梯度下降法

在具體使用梯度下降法的過程中,主要有以下三種:(1)批量梯度下降法

批量梯度下降法針對的是整個數(shù)據(jù)集,通過對所有的樣本的計算來求解梯度的方向。(2)小批量梯度下降法

在批量梯度下降法的方式中每次迭代都要使用到所有的樣本,對于數(shù)據(jù)量特別大的情況,如大規(guī)模的機(jī)器學(xué)習(xí)應(yīng)用,每次迭代求解所有樣本需要花費(fèi)大量的計算成本。(3)隨機(jī)梯度下降法

隨機(jī)梯度下降法可以看成是小批量梯度下降法的一個特殊的情形,即在隨機(jī)梯度下降法中每次僅根據(jù)一個樣本對模型中的參數(shù)進(jìn)行調(diào)整,即每個小批量梯度下降法中只有一個訓(xùn)練樣本115.1.4多項式回歸

多項式回歸是研究一個因變量與一個或多個自變量間多項式關(guān)系的回歸分析方法。當(dāng)自變量只有一個時,稱為一元多項式回歸。

同理當(dāng)自變量有多個時,則稱為多元多項式回歸

125.2邏輯回歸

135.2邏輯回歸Sigmoid函數(shù)有一個非常實(shí)用的性質(zhì)。其導(dǎo)數(shù)式為:

Sigmoid函數(shù)在實(shí)數(shù)范圍內(nèi)連續(xù)可導(dǎo),優(yōu)化穩(wěn)定。任意自變量經(jīng)過Sigmoid函數(shù)映射后得到的結(jié)果可以看成是一個概率。Sigmoid函數(shù)值以0.5為中心,可以將大于0.5的數(shù)據(jù)映射為1類,小于0.5的數(shù)據(jù)映射為0類。145.2.1二分類邏輯回歸邏輯回歸的表達(dá)式

155.2.1二分類邏輯回歸繼上頁,則有

寫成對數(shù)形式就是交叉熵?fù)p失函數(shù)

165.2.2多分類邏輯回歸

普通的邏輯回歸只能針對二分類(BinaryClassification)問題,要想實(shí)現(xiàn)多個類別的分類,我們必須要改進(jìn)邏輯回歸,讓其適應(yīng)多分類問題。

第一種方式是直接根據(jù)每個類別,都建立一個二分類器,帶有這個類別的樣本標(biāo)記為1,帶有其他類別的樣本標(biāo)記為0。針對每一個測試樣本,我們需要找到這k個分類函數(shù)輸出值最大的那一個,即為測試樣本的標(biāo)記。

175.2.2多分類邏輯回歸

第二種方式是修改邏輯回歸的損失函數(shù),讓其適應(yīng)多分類問題。這時損失函數(shù)不再籠統(tǒng)地只考慮二分類非1就0的損失,而是具體考慮每種樣本標(biāo)記的損失。這種方法被稱為Softmax回歸。

185.2.2多分類邏輯回歸損失函數(shù)可以表示為

對其求導(dǎo),可得

其更新參數(shù)為

195.3模型正則化

在訓(xùn)練數(shù)據(jù)不夠多或者過度訓(xùn)練時,常常會導(dǎo)致過擬合(Overfitting)。正則化(Regularization)方法即是在此時向原始模型引入額外信息,以防止過擬合并提高模型泛化性能。

正則化一般具有以下形式205.3模型正則化

第1項的損失函數(shù)值較小的模型可能較復(fù)雜(有多個非零參數(shù)),這時第2項的模型復(fù)雜度會較大,正則化的作用是選擇損失函數(shù)值與模型復(fù)雜度同時較小的模型。215.4本章小結(jié)

線性回歸是一種用于建模和預(yù)測連續(xù)數(shù)值輸出的線性模型,它假設(shè)輸入特征與輸出之間存在線性關(guān)系。多項式回歸是線性回歸的擴(kuò)展,通過引入高階項,能夠擬合非線性關(guān)系的數(shù)據(jù)。邏輯回歸則是一種應(yīng)用于分類問題的線性模型,在二分類情況下,它利用logi

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論