機(jī)器學(xué)習(xí)簡明教程-基于Python語言實(shí)現(xiàn) 課件 第3章回歸分析

回歸分析《機(jī)器學(xué)習(xí)簡明教程》高延增侯躍恩羅志堅(jiān)機(jī)械工業(yè)出版社03本章目標(biāo)?掌握模型的概念?掌握線性回歸分析方法?掌握邏輯回歸分析方法?理解方差回歸模型分析常用機(jī)器學(xué)習(xí)技術(shù)來解決的問題可以分為三類：回歸、分類、聚類。回歸問題極為常見而且通過對(duì)這一類問題的深入理解有助于快速掌握機(jī)器學(xué)習(xí)技術(shù)。所謂回歸分析，是指利用數(shù)據(jù)統(tǒng)計(jì)原理，對(duì)大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行數(shù)學(xué)處理，并確定因變量與某些自變量的相關(guān)關(guān)系，建立一個(gè)相關(guān)性較好的回歸方程（函數(shù)表達(dá)式）。因變量和自變量間關(guān)系可能是線性或非線性的，依此可以把回歸分析分為線性回歸分析和非線性回歸分析。其中線性回歸分析是最常用的統(tǒng)計(jì)分析方法之一，也是我們理解其它各種復(fù)雜模型的基礎(chǔ)，可以說線性回歸模型是眾多算法模型的鼻祖。目錄/Contents3.13.2模型線性回歸模型3.3邏輯回歸3.1模型模型通常是為了解決某種問題而被建立的，模型建立的過程又需要大量數(shù)據(jù)支撐和建模方法的指引。比如，一個(gè)人成年后的身高可能和他的遺傳基因、后期營養(yǎng)攝入、成長環(huán)境、作息習(xí)慣甚至性格等很多方面有關(guān)。但是，所有這些可能有關(guān)的因素并不一定所有都和身高強(qiáng)相關(guān)。另外，如果把所有這些可能因素都考慮進(jìn)來會(huì)使問題變得相當(dāng)復(fù)雜，我們就沒有辦法預(yù)測這個(gè)小孩成年后的身高了，因?yàn)樗暮笃诔砷L的各種環(huán)境在當(dāng)前是未知的。3.1模型——案例模型通常是為了解決某種問題而被建立的，模型建立的過程又需要大量數(shù)據(jù)支撐和建模方法的指引。將這個(gè)問題繼續(xù)簡化，使用一個(gè)更簡單的模型，假設(shè)一個(gè)小孩未來的身高只和遺傳有關(guān)，更進(jìn)一步假設(shè)只和父母的身高有關(guān)。這是我們用模型解決身高預(yù)測問題的第一步，即簡單地認(rèn)為一個(gè)孩子未來身高只與他的父母的身高有關(guān)。進(jìn)一步進(jìn)行假設(shè)，父母身高和子女將來的身高之間的關(guān)系是線性的，即它們的關(guān)系如公式：

這樣一個(gè)必過原點(diǎn)的平面局限性太強(qiáng)，所以還需要在公式的前面加上一個(gè)偏移量

每個(gè)孩子未來身高的預(yù)測幾乎都是有誤差的，為了模型公式的精準(zhǔn)性，需要在上式基礎(chǔ)上加上誤差項(xiàng)

3.1模型——案例

由上面分析可知，我們?cè)谶M(jìn)行數(shù)據(jù)挖掘工作時(shí)經(jīng)常需要找到一些量（x1,…,xp）和另一些量（y1,…,ym）之間的關(guān)系，而這些量與另外一些量之間的關(guān)系我們往往通過一個(gè)模型來描述，如下圖，模型是解釋變量（x1,…,xp）到響應(yīng)變量（y1,…,ym）的一種映射關(guān)系，而為了能夠更好的預(yù)測響應(yīng)變量具體采用什么樣的解釋變量和映射關(guān)系（模型）都是需要我們?cè)诮＿^程中要解決的問題。3.1模型——回歸模型

3.1模型——回歸模型

3.1模型——回歸模型

3.1模型——方差模型

方差分析模型（varianceanalysismodel）可以看成是一種特殊的線性回歸模型，其設(shè)計(jì)矩陣X的元素全為0或1，模型參數(shù)為因素水平的效應(yīng)值，且滿足一定的線性約束條件。方差分析法是英國統(tǒng)計(jì)學(xué)家R.A.Fisher于1919年在英國的一個(gè)農(nóng)業(yè)試驗(yàn)站工作期間發(fā)明的，用于兩個(gè)及兩個(gè)以上樣本均數(shù)差別的顯著性檢驗(yàn)。3.1模型——方差模型

3.1模型——方差模型

目錄/Contents3.13.2模型線性回歸模型3.3邏輯回歸3.2線性回歸模型現(xiàn)實(shí)世界中有很多變量之間存在著線性相關(guān)性，而且一些非線性的關(guān)系經(jīng)過變換后可以轉(zhuǎn)換成線性關(guān)系。因此，線性回歸模型在現(xiàn)實(shí)的數(shù)據(jù)挖掘與分析中應(yīng)用廣泛。例：工業(yè)經(jīng)濟(jì)時(shí)代，有一個(gè)反映投入產(chǎn)出關(guān)系的經(jīng)典函數(shù)模型：Cobb-Douglas生產(chǎn)函數(shù)（Cobb-DouglasProductionFunction），如式

Yt表示某一時(shí)期的生產(chǎn)水平,At表示某一時(shí)期的技術(shù)水平,K表示某一時(shí)期的資金投入量,L表示某一時(shí)期的勞動(dòng)力投入量,α、β分別表示資金和勞動(dòng)力對(duì)生產(chǎn)水平提高的相對(duì)權(quán)數(shù)。式中，At,α,β是未知參數(shù)，對(duì)公式兩邊同時(shí)取對(duì)數(shù)可得式

令：

有令：因此，一些非線性相關(guān)關(guān)系通過適當(dāng)變換后也可以通過線性回歸模型進(jìn)行分析。3.2線性回歸模型——回歸參數(shù)估計(jì)對(duì)于線性回歸，當(dāng)確定了自變量之后就可以確定回歸方程的形式。接下來，就是對(duì)方程中回歸參數(shù)的估計(jì)，其實(shí)質(zhì)就是利用樣本數(shù)據(jù)確定回歸方程中回歸參數(shù)的值。最簡單的一元線性回歸方程形如y=β0+β1x1+ε，在這個(gè)方程中如果去除隨機(jī)誤差項(xiàng)ε，方程只需要一組樣本數(shù)據(jù)即可求解參數(shù)β0,β1，但實(shí)際上樣本數(shù)據(jù)有很多，所以傳統(tǒng)意義上這個(gè)方程是無解的。但由于隨機(jī)誤差ε和與之對(duì)應(yīng)的Gauss-Markov假設(shè)的存在，使得回歸方程的解法不同于普通的多元一次線性方程組的求解，其參數(shù)估計(jì)的過程如下圖：

線性回歸模型求解的過程就是通過算法利用訓(xùn)練數(shù)據(jù)進(jìn)行模型參數(shù)估計(jì)的過程，而這些算法中最出名的就是最小二乘法（LeastSquare,LS）。3.2線性回歸模型——回歸參數(shù)估計(jì)線性回歸模型的一般方程式與Gauss-Markov假設(shè)合并，可表示為：

以一元線性回歸為例，假設(shè)

x1,y1,x2,y2,x3,y3,x4,y4為4組觀測數(shù)據(jù)，對(duì)應(yīng)下圖的4個(gè)實(shí)心點(diǎn)，若解得線性回歸模型滿足最小二乘法的參數(shù)估計(jì)為β0,β1（y=β0+β1x對(duì)應(yīng)圖中的直線），則下式取得最小值

3.2線性回歸模型——回歸參數(shù)估計(jì)對(duì)于一般的線性回歸模型，若令：

上式可以用來衡量線性回歸模型對(duì)樣本值擬合的好壞程度，常被稱為代價(jià)函數(shù)（CostFunction）

若進(jìn)一步假設(shè)X的秩為p（實(shí)際上當(dāng)X的秩小于p，β是不可估的），則可以求得駐點(diǎn)方程的解為：

X'X-1是X'X的任一廣義逆，可以證明式（3.22）所示β可以使得式（3.20）的Q(β)取得最小值，也可以證明使Qβ取得最小值的必是β。3.2線性回歸模型——回歸參數(shù)估計(jì)

在現(xiàn)實(shí)中，使用最小二乘法求解線性回歸模型參數(shù)估計(jì)問題時(shí)，為了防止過擬合或者實(shí)際求解問題的需要，往往需要對(duì)參數(shù)的可能取值進(jìn)行一定限制，即帶約束的最小二乘法。

約束條件：3.2線性回歸模型——回歸參數(shù)估計(jì)尋找變量受條件限制的多元函數(shù)的極值的常用方法是Lagrange乘子法，構(gòu)造輔助函數(shù)如下

上式對(duì)β求偏導(dǎo)并令其為0，得到求駐點(diǎn)的方程：

實(shí)質(zhì)上是在代價(jià)函數(shù)的基礎(chǔ)上加入了一個(gè)懲罰項(xiàng)，使得算法在調(diào)整參數(shù)以使代價(jià)函數(shù)最小時(shí)兼顧約束條件。常用的最小二乘約束還有L1約束、L2約束，其本質(zhì)都是在代價(jià)函數(shù)基礎(chǔ)上加入限制β取值范圍的項(xiàng)，使得回歸模型不至于過擬合。3.2線性回歸模型——回歸方程選擇在構(gòu)建線性回歸模型之前我們面臨兩個(gè)問題：（1）這個(gè)問題能不能使用線性模型來求解？（2）如果能用線性回歸模型的話，應(yīng)該將哪些解釋變量引入線性回歸方程中？對(duì)于第一個(gè)問題，統(tǒng)計(jì)學(xué)上可以對(duì)變量進(jìn)行線性檢驗(yàn)。本小節(jié)，我們把求解的問題全部限定為適用于線性回歸模型求解，只考慮解釋變量的選擇問題。在數(shù)據(jù)分析前期，我們只能大概知道一些自變量的變化導(dǎo)致因變量的變化，在實(shí)驗(yàn)中記錄所有這些可能的自變量和因變量，然后構(gòu)建線性回歸模型：

將所有可能的自變量都選入模型中做回歸分析，得到的模型被稱為全模型；隨著研究的深入會(huì)發(fā)現(xiàn)一些自變量和因變量的相關(guān)性并不顯著，會(huì)被排除，模型自變量變少，剔除了一部分自變量后得到的新模型被稱為選模型。

到底是使用全模型好還是選模型好需要有一定的評(píng)價(jià)標(biāo)準(zhǔn)，而對(duì)于模型的評(píng)價(jià)標(biāo)準(zhǔn)又有兩類：一是模型的精準(zhǔn)度，二是模型的簡潔性。模型的簡潔性主要和模型中自變量的個(gè)數(shù)有關(guān)，顯然選模型要比全模型簡潔，但自變量變少往往伴隨著擬合精準(zhǔn)度的降低。3.2線性回歸模型——回歸方程選擇從模型預(yù)測效果的角度說，回歸模型的預(yù)測值與真實(shí)值越接近越好，預(yù)測值與真實(shí)值的接近程度可以用線性模型的均方差公式來表示，均方差越小，模型效果越好。此外，還需要知道因變量的變化有多少是由模型選定的自變量的變化引起的，為此使用判定系數(shù)來衡量。

3.2線性回歸模型——回歸方程選擇因變量中不能用線性回歸方程解釋的部分可以理解為因變量中由線性回歸方程中沒有引入解釋變量的那部分自變量引起的變化，例如前面由父母身高預(yù)測子女成年后的身高的例子中，由成長環(huán)境、營養(yǎng)攝入等決定的身高。

3.2線性回歸模型——回歸方程選擇

經(jīng)調(diào)整后，在選擇模型時(shí)就不再一味追求加入更多的自變量來提升擬合精準(zhǔn)度除此之外，在模型持久化之前（即模型用于實(shí)際的預(yù)測之前）還需要對(duì)其進(jìn)行各種檢驗(yàn)。包括回歸系數(shù)顯著性檢驗(yàn)、模型線性關(guān)系顯著性檢驗(yàn)、模型穩(wěn)定性檢驗(yàn)、約束條件檢驗(yàn)等等。3.2線性回歸模型——模型應(yīng)用一般流程如圖3.2線性回歸模型——模型應(yīng)用案例：一些獼猴桃數(shù)據(jù)（如表），包括獼猴桃的長、寬和鮮重。目標(biāo)是建立一個(gè)模型，能夠通過長、寬來預(yù)測獼猴桃的鮮重。我們通過這個(gè)案例來理解線性回歸用于數(shù)據(jù)分析的流程。

序號(hào)鮮重/g長/mm寬/mm序號(hào)鮮重/g長/mm寬/mm158.7644431180.285246257.8445421277.354939366.5846441383.195845478.66494514107.826150553.3544391595.915350645.8438391691.515342782.1146441795.495749841.1438371889.585449973.99514219104.6562461040.8237382099.965950

3.2線性回歸模型——模型應(yīng)用繪制獼猴桃長、寬與鮮重的關(guān)系的散點(diǎn)圖分別如圖從圖中可以看出獼猴桃的鮮重和其長寬之間都有比較明顯的線性相關(guān)性。3.2線性回歸模型——模型應(yīng)用對(duì)應(yīng)兩個(gè)自變量、一個(gè)因變量，其散點(diǎn)圖在三維空間中

3.2線性回歸模型——模型應(yīng)用使用最小二乘法估計(jì)左式中的回歸參數(shù)，可以得到經(jīng)驗(yàn)回歸方程分別如下式所示。

3.2線性回歸模型——模型應(yīng)用

目錄/Contents3.13.2模型線性回歸模型3.3邏輯回歸3.3邏輯回歸模型上一節(jié)中，線性回歸研究了如何使用線性模型確定自變量與因變量之間的關(guān)系，求解得到的線性回歸模型可以用來通過因變量預(yù)測自變量，而這個(gè)預(yù)測過程是直接把自變量代入到模型公式中運(yùn)算求得的，一般是連續(xù)的。但現(xiàn)實(shí)中經(jīng)常會(huì)碰到這樣一類問題，通過一個(gè)事物的若干屬性值去判斷這個(gè)事物從屬于哪一類。例如：通過一封電子郵件的很多屬性，判斷這封郵件是否為垃圾郵件；通過一個(gè)孩子的身高、體重等判斷這個(gè)孩子是否營養(yǎng)不良；通過腫瘤的各種檢測值，判斷它是良性還是惡性等等。這類問題的求解過程被稱為分類，邏輯回歸（LogisticRegression，LR）模型可以用來解決分類問題。3.3邏輯回歸模型——二分類問題二分類問題的待分類任務(wù)中只有兩個(gè)類別；同理，多分類問題就是待分類任務(wù)中有多個(gè)類別。二分類問題在工作和生活中很常見，且很多貌似更復(fù)雜的多分類問題也可以通過一對(duì)一、一對(duì)其余策略轉(zhuǎn)換成二分類問題。如右圖，狗、貓、雞的多分類問題可以轉(zhuǎn)成狗和貓、狗和雞、貓和雞的二分類問題，也可以轉(zhuǎn)換成狗和非狗、貓和非貓的二分類問題。因此，很多分類算法都是針對(duì)二分類問題提出的。

3.3邏輯回歸模型——二分類問題

上圖中，x軸表示幼兒身高，y軸表示是否缺鈣（0表示缺鈣、1表示不缺鈣）。若使用線性回歸模型進(jìn)行求解，需要構(gòu)建上面公式所示的模型公式，然后使用最小二乘法進(jìn)行參數(shù)估計(jì)，兩組訓(xùn)練樣本會(huì)分別得到上圖（a）、（b）所示的兩條斜線。前面擬合得到的經(jīng)驗(yàn)?zāi)Ｐ陀袉栴}。首先，擬合得到的是一條直線，用自變量求解因變量會(huì)是一個(gè)連續(xù)值，與因變量二分類的取值結(jié)果矛盾；其次，模型誤差不服從正態(tài)分布，就不能對(duì)估計(jì)量采用精確正態(tài)分布進(jìn)行統(tǒng)計(jì)推斷，當(dāng)然這一要求很多用線性回歸求解的問題也難以滿足。那對(duì)于第一個(gè)問題，如果設(shè)置一個(gè)閾值，在y取值超過閾值時(shí)為1，低于閾值時(shí)為0可以嗎？以上圖為例，（a）中可以將閾值設(shè)為0.5，但如果如（b）中所示多了一個(gè)采樣點(diǎn)就會(huì)使閾值大幅下降，這顯然也不合理。3.3邏輯回歸模型——二分類問題

3.3邏輯回歸模型——邏輯回歸模型

分段函數(shù)，它不可導(dǎo)，在使用訓(xùn)練樣本進(jìn)行最優(yōu)參數(shù)估計(jì)時(shí)無法使用梯度下降一類的方法。另一方面，n組訓(xùn)練樣本的條件概率p(y|x,θ)是n重伯努利分布，屬于指數(shù)分布族，根據(jù)廣義線性模型的假設(shè)可以構(gòu)建如下式所示的函數(shù)作為二分類問題的模型。

3.3邏輯回歸模型——邏輯回歸模型

3.3邏輯回歸模型——邏輯回歸模型幼兒身高和是否營養(yǎng)缺乏的例子中，若已求得模型參數(shù)估計(jì)，得到經(jīng)驗(yàn)方程如式

變換上式可得

可以看出邏輯回歸實(shí)際上是使用線性回歸模型的預(yù)測值逼近訓(xùn)練樣本的分類任務(wù)標(biāo)記的對(duì)數(shù)幾率比，這樣做有兩個(gè)明顯的好處：（1）不僅可預(yù)測出類別，還能得到該預(yù)測的概率，有利于利用概率輔助決策的任務(wù)；（2）對(duì)數(shù)幾率函數(shù)是任意階可導(dǎo)的凸函數(shù)，許多數(shù)值優(yōu)化算法可用于參數(shù)估計(jì)。3.3邏輯回歸模型——模型求解在二分類問題模型的訓(xùn)練樣本是一組自變量x及其對(duì)應(yīng)的因變量（取值為0或1），通過這一組訓(xùn)練樣本擬合式參數(shù)的過程為邏輯回歸求解。

類似線性回歸模型求解，邏輯回歸模型求解也需要先確定合適的代價(jià)函數(shù)，然后使用數(shù)值優(yōu)化算法求出使得代價(jià)函數(shù)取得最優(yōu)目標(biāo)時(shí)的參數(shù)值。邏輯回歸中比較常用的參數(shù)估計(jì)是極大似然估計(jì)，設(shè)：

則：

在此基礎(chǔ)上假設(shè)樣本相互獨(dú)立，其似然函數(shù)如式

3.3邏輯回歸模型——模型求解

為求解方便，對(duì)上式等號(hào)兩邊同時(shí)進(jìn)行對(duì)數(shù)變換，得到式

進(jìn)一步化簡，可以得到對(duì)數(shù)似然函數(shù)如式

對(duì)于一組訓(xùn)練集，式（3.46）中代入某一組參數(shù)β后，算得的結(jié)果值越大，說明模型求解的因變量取1或0的概率與訓(xùn)練集中對(duì)應(yīng)因變量實(shí)際分類值越接近，即使得式（3.46）或（3.48）取得最大值的一組參數(shù)β是最優(yōu)的，這就是邏輯回歸的極大似然估計(jì)。（3.46）（3.48）類似線性回歸中損失函數(shù)，將上凸函數(shù)式（3.48）變形為下凹函數(shù)式（3.49）作為邏輯回歸的損失函數(shù)，求使得似然函數(shù)極大的參數(shù)β等價(jià)于求使得損失函數(shù)最小的參數(shù)β。

3.3邏輯回歸模型——模型求解

當(dāng)相鄰兩次迭代之間損失函數(shù)減少的值小于某個(gè)事先設(shè)定的閾值后，認(rèn)為已經(jīng)找到最優(yōu)解，停止迭代輸出參數(shù)。當(dāng)然，梯度下降求得的最優(yōu)解有可能只是局部最優(yōu)。3.3邏輯回歸模型——模型求解與線性回歸類似，邏輯回歸也存在過擬合問題，比如想對(duì)狗、貓進(jìn)行分類，本來只要看爪子下面有無肉墊即可區(qū)分，但因?yàn)橛?xùn)練樣本中恰好狗的身高都比貓高，所以引入身高這一自變量的就會(huì)得到一個(gè)更復(fù)雜一點(diǎn)的模型能更好的擬合訓(xùn)練樣本，但這個(gè)更復(fù)雜的樣本反而使得預(yù)測準(zhǔn)確度降低，比如用這個(gè)復(fù)雜的模型對(duì)泰迪分類，因?yàn)榧尤肷砀哌@個(gè)自變量反而使得模型預(yù)測其為狗的概率降低。避免陷入過擬合的通用方法有減少特征的數(shù)量、正則化兩種。正則化是指在一定條件下盡可能采用簡單的模型來提高泛化預(yù)測精度，這樣可以降低特征的權(quán)重使得模型更為簡單。在邏輯回歸分析中常用式有L1范式或L2范式進(jìn)行正則化，L1范式是指變量與0之間的曼哈頓距離，L2范式是指變量與0之間的歐式距離.

3.3邏輯回歸模型——模型應(yīng)用例

：建立一個(gè)邏輯回歸模型來預(yù)測一個(gè)學(xué)生期末考試能否及格。假設(shè)你是一個(gè)大學(xué)某學(xué)科的老師，你想根據(jù)某個(gè)學(xué)生平時(shí)表現(xiàn)和作業(yè)情況預(yù)測他在期末考試中能否考及格。記錄的前面幾屆學(xué)生學(xué)習(xí)本門課的歷史數(shù)據(jù)如下表所示，表中X1表示平時(shí)表現(xiàn)的分?jǐn)?shù)，X2表示作業(yè)的分?jǐn)?shù)，Y表示是否及格（1為及格，0為不及格），“序”表示訓(xùn)練樣本的序號(hào)。序X1X2Y序X1X2Y序X1X2Y序X1X2Y10.01.270173.23.730322.46.41473.89.13122.21.530183.23.130333.65.071483.410.0131.41.00194.02.40346.23.331498.84.0142.41.80203.24.070352.47.015010.24.47153.01.470214.02.870364.84.671517.66.33162.02.870223.83.81374.24.931524.210.0172.63.00234.24.41384.26.531537.86.6183.42.80243.23.731394.45.81544.010.27192.03.730252.65.471405.25.531559.45.01102.62.20263.04.131415.66.41565.210.41113.62.870273.83.531427.44.671579.46.471122.42.60283.63.871432.011.271583.416.931133.04.470292.65.931445.07.01595.613.931142.64.20303.85.071456.66.6716020.05.271153.63.130316.03.531462.02.616116.410.131162.64.3303.3邏輯回歸模型——模型應(yīng)用上頁表中及格、不及格的成績分布如下圖所示，橫坐標(biāo)表示作業(yè)的成績、縱坐標(biāo)表示平時(shí)表現(xiàn)的成績，而對(duì)應(yīng)的點(diǎn)分別用點(diǎn)和叉表示及格、不及格。由圖可以看出，及格和不及格的點(diǎn)之間存在一個(gè)比較明顯的分界，被稱為決策邊界。這個(gè)決策邊界怎么來的呢？3.3邏輯回歸模型——模型應(yīng)用邏輯回歸的模型方程給出的是y=1的概率p(y=1|x,β)，在利用這個(gè)模型進(jìn)行二分類問題預(yù)測時(shí)，需要根據(jù)概率值大小確定因變量的分類，因