第5章 建立回歸模型

第5章建立回歸模型教學(xué)目標(biāo)理解回歸模型的基本思路和理論框架，能夠識別回歸模型適用的典型業(yè)務(wù)場景；理解回歸模型的3要素，以及線性回歸和邏輯回歸的基礎(chǔ)理論知識；掌握使用Excel建立和檢驗線性回歸模型和邏輯回歸模型的方法；掌握解讀線性回歸模型和邏輯回歸模型的結(jié)果，以及基于模型做出業(yè)務(wù)改進建議的方法；掌握數(shù)據(jù)分析報告模型分析與解讀部分的寫作方法。教學(xué)方式與課時安排課堂講授：6學(xué)時演示匯報：3學(xué)時教學(xué)重點與難點本章內(nèi)容包含較多統(tǒng)計學(xué)技術(shù)細(xì)節(jié)。對于非數(shù)據(jù)科學(xué)專業(yè)學(xué)生的數(shù)據(jù)技能訓(xùn)練課程，或數(shù)據(jù)科學(xué)專業(yè)新生的專業(yè)基礎(chǔ)課，學(xué)生可能缺乏全面理解其中部分技術(shù)細(xì)節(jié)的知識儲備。本書提供了一些配套微課講解這些相關(guān)內(nèi)容。如學(xué)生程度較好或?qū)W時較為富余，老師可配合微課較為深入、詳盡地介紹相關(guān)內(nèi)容。但仍建議將授課重點放在理解回歸分析的思路框架，幫助學(xué)生建立用回歸方法剖析問題的思路上，即優(yōu)先理解回歸模型“可以解決什么問題”“如何將一個業(yè)務(wù)問題規(guī)范為一個回歸問題”“如何使用一個回歸模型結(jié)果解決業(yè)務(wù)問題”“為什么要選用這樣的模型形式”“這個目標(biāo)函數(shù)的含義是什么”，其次才是回歸模型“如何推導(dǎo)”“如何估計”“如何評價”“如何檢驗”等。系統(tǒng)地學(xué)習(xí)回歸分析中的技術(shù)性內(nèi)容可留待統(tǒng)計學(xué)或回歸分析等課程。本課程的教學(xué)重點仍然是學(xué)會用數(shù)據(jù)的思路去剖析和解決實際問題，學(xué)生可以在軟件輸出結(jié)果中找到并使用與模型估計、評價、檢驗相關(guān)的指標(biāo)并對其做出解讀即可。教學(xué)過程課堂講授：6學(xué)時導(dǎo)入(45分鐘)：講解。老師回顧圖1.2，講解模型分析的重要性。講解。老師介紹案例背景。講解。老師講解回歸模型的基本構(gòu)成元素：一個可量化的關(guān)鍵業(yè)務(wù)要素Y，多個可量化且對關(guān)鍵指標(biāo)有影響力的X，Y與X之間的關(guān)聯(lián)關(guān)系。提問。老師根據(jù)案例背景和回歸模型的基本構(gòu)成要素，提問學(xué)生在“知識網(wǎng)紅”案例中可以定義哪些Y、每一個Y應(yīng)當(dāng)如何定義。討論。學(xué)生分組，一半小組指定題目“哪些專家可以成為知識網(wǎng)紅”，一半小組指定題目“什么樣的話題更受歡迎”。各小組基于章案例數(shù)據(jù)討論Y是什么、X有哪些、每個X對于Y的影響預(yù)估是什么樣的(正相關(guān)還是負(fù)相關(guān)、影響力大小等)。這個過程要注意引導(dǎo)學(xué)生，并非所有的數(shù)據(jù)都是現(xiàn)成準(zhǔn)備好的，要根據(jù)自己的建模需求進行加工，可作為第三章相關(guān)內(nèi)容的回顧(比如在“哪些專家可以成為知識網(wǎng)紅”這個問題中，原始數(shù)據(jù)中并沒一個現(xiàn)成的變量“是否是知識網(wǎng)紅”，就需要學(xué)生自己根據(jù)專家的業(yè)務(wù)量做出劃分)。兩個題目各選擇代表小組上臺陳述，老師做出提問和點評，點評主要基于回歸模型的基本構(gòu)成要素的框架來進行。五種常見的回歸模型(20分鐘)講解。老師介紹五種常見的回歸模型。提問。老師列舉各類典型場景，學(xué)生回答應(yīng)當(dāng)使用哪種回歸方法、如何定義Y，可以考慮尋找哪些X。線性回歸模型-導(dǎo)入(10分鐘)講解。老師回顧線性回歸適用的Y，詳細(xì)講解Y連續(xù)在實際中的處理方式。講解X的重要性。提問。老師提出一些實際數(shù)據(jù)的例子，學(xué)生回答，是否可使用線性回歸模型，并回答理由；盡可能多地列舉出可能的X，并陳述可以從哪個數(shù)據(jù)源獲取相關(guān)數(shù)據(jù)，是否需要對數(shù)據(jù)進行一定的加工，是否有一些X難以獲取、是否可替代等。線性回歸模型-理論(40分鐘)講解。老師講解使用線性回歸模型分析數(shù)據(jù)的基本流程，確定場景適用、確定數(shù)據(jù)符合模型基本假設(shè)(如不符合可做一定轉(zhuǎn)換)、估計模型、檢驗?zāi)Ｐ汀⑼ㄟ^變量選擇等方法調(diào)整模型形式、評價模型、診斷殘差、解讀模型、應(yīng)用模型。講解。老師講解線性回歸模型的基礎(chǔ)形式，重點理解參數(shù)的含義。講解。老師講解線性回歸模型的基本假設(shè)，重點理解線性關(guān)系、如過數(shù)據(jù)呈現(xiàn)非線性關(guān)系要如何處理。講解。老師講解線性回歸模型的參數(shù)估計，重點理解理解目標(biāo)函數(shù)的含義，即為什么以它為目標(biāo)函數(shù)。講解。老師講解F檢驗和t檢驗，重點理解兩個檢驗的零假設(shè)和備擇假設(shè)分別是什么含義，實踐中希望看到什么樣的檢驗結(jié)果。如果看到F檢驗通過而部分變量t檢驗未通過的情況，要進行變量選擇。重點理解如果不進行變量選擇則模型不穩(wěn)定，預(yù)測結(jié)果不可靠。講解。老師講解線性回歸模型的評價，重點理解：R2公式所表達的意義：衡量模型可以解釋的數(shù)據(jù)變動在整體數(shù)據(jù)變動中所占的比例。講解。老師講解線性回歸模型殘差中幾種典型問題，重點理解每種問題產(chǎn)生的原因、可使用的解決方法。提問。老師以提問形式帶領(lǐng)學(xué)生回顧線性回歸模型相關(guān)的知識點，提問重點是b~g中要求重點的理解的內(nèi)容。線性回歸模型-實現(xiàn)(25分鐘)演示。老師演示5.2.1和5.3.2小節(jié)中安裝插件、建立線性回歸模型、根據(jù)建模結(jié)果改進線性回歸模型等相關(guān)操作；如學(xué)生程度較好，可由老師提出要求，學(xué)生自行完成操作。提問。老師展示模型結(jié)果，由學(xué)生逐一找到(4)d~g中相關(guān)的結(jié)果，并對結(jié)果做出解讀，老師對回答做出評價，復(fù)習(xí)線性回歸模型相關(guān)理論知識。線性回歸模型-解讀(15分鐘)講解。老師講解如何對線性回歸模型參數(shù)做出解讀?？山柚⒄n5-8進行翻轉(zhuǎn)課堂。提問。老師展示圖5.16，學(xué)生回答結(jié)果中各部分的用途、并根據(jù)數(shù)據(jù)對模型的可靠性等做出評價，對模型結(jié)果做出具體解讀。通過復(fù)習(xí)再次回顧線性回歸相關(guān)的知識。提問。老師展示圖5.16，給出幾組X值，要求學(xué)生應(yīng)用模型計算預(yù)測值，并將模型預(yù)測結(jié)果轉(zhuǎn)化為Y的原始量綱，對預(yù)測結(jié)果的可靠性做出評價?？蛇m度發(fā)散，通過預(yù)測實例引導(dǎo)學(xué)生思考：比較用于預(yù)測的X取值位于用于建模的X取值范圍內(nèi)，和兩者相差過大兩種情況，對預(yù)測預(yù)測結(jié)果的可靠性是否有影響。邏輯回歸模型-導(dǎo)入(10分鐘)講解。老師回顧邏輯回歸適用的Y。講解在編碼時如何確定正事件和負(fù)事件。提問。老師要求學(xué)生舉出一些適用邏輯回歸的實際問題，并明確在這些場景中Y應(yīng)如何定義，可選取哪些X，數(shù)據(jù)都可從何渠道獲得。邏輯回歸模型-理論(40分鐘)講解。老師講解使用邏輯回歸模型分析數(shù)據(jù)的基本流程，與線性回歸相似。講解。老師講解邏輯回歸模型的基礎(chǔ)形式，重點在Logit變換：為什么要進行這個變化(Y是0-1變量，通過變換可以套用線性回歸的模型形式)；通過變換套用線性回歸模型形式，但為什么沒有誤差項(可借助微課5-9進行翻轉(zhuǎn)課堂)。講解。老師講解邏輯回歸模型的參數(shù)估計，重點理解理解目標(biāo)函數(shù)的含義，即為什么以它為目標(biāo)函數(shù)。講解。老師講解評價邏輯回歸模型的常用指標(biāo)，重點理解臨界值、混淆矩陣、靈敏度和特異性、ROC曲線和AUC值的定義和用途。提問。老師以提問形式帶領(lǐng)學(xué)生回顧邏輯回歸模型相關(guān)的知識點，提問重點是b~d中要求重點的理解的內(nèi)容，如：給出ROC曲線，要求選擇臨界值、計算AUC值，根據(jù)計算結(jié)果評價模型；給出TP、FN、TN、FP，要求計算TPR、FPR等指標(biāo)，根據(jù)計算結(jié)果評價模型；針對同一問題，給出多個邏輯回歸模型，要求學(xué)生選擇哪個模型更好。邏輯回歸模型-實現(xiàn)(25分鐘)演示。老師演示5.2.1和5.4.2小節(jié)中安裝插件、建立邏輯回歸模型、根據(jù)建模結(jié)果改進邏輯回歸模型等相關(guān)操作；如學(xué)生程度較好，可由老師提出要求，學(xué)生自行完成操作。講解。老師講解原始系數(shù)和指數(shù)化系數(shù)區(qū)別，如何在兩者間互換。提問。老師展示模型結(jié)果，由學(xué)生逐一找到(8)c~d中相關(guān)的結(jié)果，并對結(jié)果做出解讀，老師對回答做出評價，復(fù)習(xí)線性邏輯模型相關(guān)理論知識。邏輯回歸模型-解讀(10分鐘)講解。老師講解如何對邏輯回歸模型參數(shù)做出解讀?？山柚⒄n5-11進行翻轉(zhuǎn)課堂。提問。老師展示圖5.21，學(xué)生回答結(jié)果中各部分的用途、并根據(jù)數(shù)據(jù)對模型的可靠性等做出評價，對模型結(jié)果做出具體解讀。通過復(fù)習(xí)再次回顧線性回歸相關(guān)的知識。提問。老師展示圖5.21，給出幾組X值和不同的臨界值，要求學(xué)生應(yīng)用模型計算預(yù)測值，引導(dǎo)學(xué)生觀察臨界值選取對于預(yù)測結(jié)果的影響，對預(yù)測結(jié)果的可靠性做出評價。數(shù)據(jù)分析報告寫作(25分鐘)講解。老師講解數(shù)據(jù)分析報告中模型分析部分的重要性和寫作方法。討論。學(xué)生分組，每組分到一個模型結(jié)果(圖5.16或圖5.21)+一種報告形式(文字版或演示版)，所有小組應(yīng)覆蓋全部4種組合。學(xué)生討論列出在指定形式的數(shù)據(jù)分析報告中匯報相關(guān)模型的詳細(xì)內(nèi)容大綱。文字版報告要列出每個自然段的段落大意，并將引用的相關(guān)圖表也插入到相關(guān)位置。演示版報告要列出每一頁PPT的內(nèi)容摘要+該頁要呈現(xiàn)的圖表。完成后部分小組進行匯報，老師做出評價反饋。全部匯報完成后，老師可對4種組合做一定