人工智能基礎(chǔ)與應(yīng)用（第2版）（微課版）課件 模塊3 線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)

3-1認(rèn)識(shí)機(jī)器學(xué)習(xí)模塊?線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)目錄CONTENTS機(jī)器如何學(xué)習(xí)01機(jī)器學(xué)習(xí)算法02一.機(jī)器如何學(xué)習(xí)1.機(jī)器學(xué)習(xí)的一般流程機(jī)器通過(guò)學(xué)習(xí)，就具備了可以自主獲得事物規(guī)律或解決問(wèn)題的能力一.機(jī)器如何學(xué)習(xí)2.機(jī)器學(xué)習(xí)的三要素經(jīng)驗(yàn)數(shù)據(jù)從哪學(xué)？算法怎么學(xué)？模型學(xué)到什么？以算力作為支撐二.機(jī)器學(xué)習(xí)算法1.監(jiān)督學(xué)習(xí)所謂監(jiān)督學(xué)習(xí)：是指機(jī)器在有已知輸入值xi和輸出值y的經(jīng)驗(yàn)數(shù)據(jù)（樣本）的情況下開(kāi)展的學(xué)習(xí)。學(xué)習(xí)方法特點(diǎn)：（1）訓(xùn)練的數(shù)據(jù)有標(biāo)簽（label）。（2）樣本的特征和標(biāo)簽已知。（3）學(xué)習(xí)的目的就是建立一個(gè)將輸入準(zhǔn)確映射到輸出的模型?；趧?dòng)物特征的貓鼠分類的監(jiān)督學(xué)習(xí)二.機(jī)器學(xué)習(xí)算法2.無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)：就是指機(jī)器在學(xué)習(xí)過(guò)程中不受監(jiān)督，學(xué)習(xí)模型不斷提高自我認(rèn)知和不斷鞏固，最后進(jìn)行自我歸納來(lái)達(dá)到學(xué)習(xí)目的。學(xué)習(xí)方法特點(diǎn)：（1）無(wú)需大量的標(biāo)注數(shù)據(jù)。（2）以更接近人類的學(xué)習(xí)方式不斷自我發(fā)現(xiàn)、學(xué)習(xí)和調(diào)整。不同分類結(jié)果的無(wú)監(jiān)督學(xué)習(xí)人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!3-2認(rèn)識(shí)線性回歸模塊?線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)目錄CONTENTS線性回歸的數(shù)學(xué)表達(dá)式01梯度下降法03線性回歸的幾個(gè)概念02一.線性回歸的數(shù)學(xué)表達(dá)式定義及表達(dá)式線性回歸（linearregression）是一種通過(guò)擬合自變量xi與因變量y之間的最佳線性關(guān)系，來(lái)預(yù)測(cè)目標(biāo)變量的方法。如果上式中只包括一個(gè)自變量x和一個(gè)因變量y，且二者的關(guān)系可用一條直線近似表示，則這種回歸分析被稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量xi，且因變量y和自變量xi之間是線性關(guān)系，則稱其為多元線性回歸分析。二.線性回歸的幾個(gè)概念1.方差衡量誤差真實(shí)值:預(yù)測(cè)值:y二.線性回歸的幾個(gè)概念2.總平方和SST:衡量了所有觀測(cè)值相對(duì)于整體均值的離散程度。其值越大，說(shuō)明原始的樣本本身具有越大的波動(dòng)，這種波動(dòng)反映了因變量的整體偏差。如何評(píng)價(jià)上述直線對(duì)真實(shí)值擬合的好壞程度二.線性回歸的幾個(gè)概念3.擬合優(yōu)度R2:稱為判斷系數(shù)或擬合優(yōu)度。由右式可知，線性回歸方程以外的其他因素引起的誤差SSE越小，R2就越接近1，表示此線性回歸方程可以很好地解釋因變量的變化；反之，如果SSE越大，接近總體偏差SST，R2就越接近0，說(shuō)明此問(wèn)題可能不適合采用線性回歸模型解決。盡可能最小y=+三.梯度下降法1.定義?梯度下降法：?是一種用于求解函數(shù)最小值的優(yōu)化算法。其基本思想是通過(guò)迭代的方式，沿著函數(shù)的負(fù)梯度方向逐步減小函數(shù)值，直到達(dá)到局部最小值。梯度下降法適用于求解無(wú)約束優(yōu)化問(wèn)題，常用于機(jī)器學(xué)習(xí)中的參數(shù)優(yōu)化。損失函數(shù)L可以理解為系數(shù)b和w的函數(shù)，記為尋找損失函數(shù)L(b,w)的最小值的過(guò)程，實(shí)際就是按照某種方向，不斷去微調(diào)b和w的值，一步一步嘗試找到這個(gè)最小值。Min()三.梯度下降法2.求解過(guò)程三.梯度下降法3.線性回歸解決問(wèn)題一般步驟01根據(jù)問(wèn)題構(gòu)建一個(gè)線性回歸模型,即構(gòu)建一個(gè)函數(shù)。02用樣本訓(xùn)練模型，使用梯度下降法調(diào)整模型參數(shù)，目標(biāo)使損失函數(shù)最小。03重復(fù)步驟（2），直至找到損失函數(shù)的最小值。04用驗(yàn)證集測(cè)試模型的精度，評(píng)價(jià)指標(biāo)常為均方誤差MSE。05如預(yù)測(cè)結(jié)果不滿意，則需要改進(jìn)模型（如加大訓(xùn)練集、改變學(xué)習(xí)率等）。06回到步驟（2），重新訓(xùn)練模型，直至獲得滿意的模型。07利用自變量xi和滿意的模型去計(jì)算預(yù)測(cè)值y，從而解決預(yù)測(cè)問(wèn)題。人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!3-3項(xiàng)目1—預(yù)測(cè)二手車價(jià)格模塊?線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)目錄CONTENTS提出問(wèn)題01預(yù)備知識(shí)03解決方案02任務(wù)1—準(zhǔn)備訓(xùn)練集和測(cè)試集04任務(wù)3—模型的測(cè)試及評(píng)估06任務(wù)2—模型的構(gòu)建與訓(xùn)練05一.提出問(wèn)題問(wèn)題描述

市面上二手車種類繁多，又涉及到汽車的諸多專業(yè)知識(shí)，對(duì)于多數(shù)人而言，購(gòu)買一輛與實(shí)際價(jià)格相符、車型適中的二手車，并不是一件輕松的事情。如果能從二手車交易的歷史記錄中發(fā)現(xiàn)某種規(guī)律，如何合理評(píng)估一臺(tái)二手車的預(yù)交易價(jià)格呢？讓機(jī)器幫你找到這個(gè)問(wèn)題的答案二.解決方案1.問(wèn)題本質(zhì)二手車價(jià)格預(yù)測(cè)問(wèn)題，其實(shí)是尋找二手車的基本特征（如汽車品牌、變速箱類型、已使用年限等）與價(jià)格之間的關(guān)系多元線性回歸的機(jī)器學(xué)習(xí)問(wèn)題二.解決方案2.解決方案三.預(yù)備知識(shí)1.數(shù)據(jù)歸一化（1）min-max標(biāo)準(zhǔn)化（2）零均值標(biāo)準(zhǔn)化三.預(yù)備知識(shí)2.線性回歸模型如何訓(xùn)練1)定義模型：假設(shè)有9個(gè)自變量x（品牌、車身類型等）影響二手車的價(jià)格，模型的輸出值是價(jià)格y。因此，模型的假設(shè)函數(shù)表達(dá)式如下。2）構(gòu)造損失函數(shù)：

3）開(kāi)始訓(xùn)練：初始化參數(shù)，包括參數(shù)φ、學(xué)習(xí)率和迭代次數(shù)n。將樣本數(shù)據(jù)輸入模型，計(jì)算損失函數(shù)。利用學(xué)習(xí)算法如梯度下降法尋找損失函數(shù)的最小值，并依次更新模型的參數(shù)。不斷重復(fù)步驟（2）、（3），直到模型收斂于或訓(xùn)練迭代次數(shù)達(dá)到設(shè)定閾值n即停止。四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集1.樣本數(shù)據(jù)結(jié)構(gòu)四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集2.數(shù)據(jù)集歸一化處理切分?jǐn)?shù)據(jù)切分?jǐn)?shù)據(jù)四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集2.數(shù)據(jù)集歸一化處理歸一化后的樣本數(shù)據(jù)四.任務(wù)1——準(zhǔn)備訓(xùn)練集和測(cè)試集3.數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集訓(xùn)練集測(cè)試集五.任務(wù)2——模型的構(gòu)建與訓(xùn)練1.了解模型參數(shù)五.任務(wù)2——模型的構(gòu)建與訓(xùn)練2.代碼實(shí)現(xiàn)構(gòu)建模型五.任務(wù)2——模型的構(gòu)建與訓(xùn)練2.代碼實(shí)現(xiàn)模型訓(xùn)練后的結(jié)果為啥模型得分不高？六.任務(wù)3——模型的測(cè)試及評(píng)估1.計(jì)算均方誤差代碼執(zhí)行后的結(jié)果六.任務(wù)3——模型的測(cè)試及評(píng)估2.繪制預(yù)測(cè)效果圖實(shí)現(xiàn)代碼六.任務(wù)3——模型的測(cè)試及評(píng)估2.繪制預(yù)測(cè)效果圖運(yùn)行結(jié)果六.任務(wù)3——模型的測(cè)試及評(píng)估3.誤差原因分析01異常值對(duì)預(yù)測(cè)結(jié)果的影響。02樣本集特征值個(gè)數(shù)過(guò)少對(duì)預(yù)測(cè)結(jié)果的影響。03樣本的規(guī)模對(duì)預(yù)測(cè)結(jié)果的影響。04其它，如模型類型等。人工智能基礎(chǔ)與應(yīng)用Thankyouverymuch!3-4項(xiàng)目2—預(yù)測(cè)投保人醫(yī)療費(fèi)用模塊?線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)目錄CONTENTS提出問(wèn)題01預(yù)備知識(shí)03解決方案02任務(wù)1—加載數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理04任務(wù)3—進(jìn)一步改善模型性能06任務(wù)2—訓(xùn)練和測(cè)試醫(yī)療費(fèi)用預(yù)測(cè)模型05一.提出問(wèn)題問(wèn)題描述我國(guó)農(nóng)村醫(yī)療保險(xiǎn)和全民醫(yī)保制度的全面實(shí)施，緩解了廣大人民群眾“看病貴”的問(wèn)題，提高了人民群眾的生活質(zhì)量，也改變了人們對(duì)保險(xiǎn)的認(rèn)識(shí)，越來(lái)越多人的接受和認(rèn)可商業(yè)保險(xiǎn)。與此同時(shí)，醫(yī)療保險(xiǎn)公司作為一種商業(yè)經(jīng)營(yíng)實(shí)體，對(duì)投保人在未來(lái)可能發(fā)生的醫(yī)療費(fèi)用進(jìn)行預(yù)測(cè)，這是醫(yī)療保險(xiǎn)公司回避風(fēng)險(xiǎn)、提高經(jīng)營(yíng)利潤(rùn)的一種保障措施。如何能得到一個(gè)較為精準(zhǔn)的醫(yī)療費(fèi)用預(yù)測(cè)模型呢機(jī)器如何去學(xué)習(xí)預(yù)測(cè)？二.解決方案1.問(wèn)題本質(zhì)醫(yī)療費(fèi)用預(yù)測(cè)問(wèn)題，就是試圖從投保人的特征變量入手，通過(guò)機(jī)器學(xué)習(xí)提供的某種模型，如線性回歸等，來(lái)尋找一個(gè)醫(yī)療費(fèi)用與投保人特征相關(guān)的函數(shù)表達(dá)式。仍然采用多元線性回歸來(lái)求解問(wèn)題二.解決方案2.解決方案三.預(yù)備知識(shí)1.DataFrame數(shù)據(jù)的檢索用途：從數(shù)據(jù)集中切分出需要的數(shù)據(jù)loc方法使用名稱檢索iloc方法使用索引號(hào)檢索三.預(yù)備知識(shí)1.DataFrame數(shù)據(jù)的檢索示例：運(yùn)行結(jié)果三.預(yù)備知識(shí)2.DataFrame數(shù)據(jù)的更改1)按索引條件直接更改：結(jié)果三.預(yù)備知識(shí)2.DataFrame數(shù)據(jù)的更改2)用apply方法更改：結(jié)果四.任務(wù)1——加載數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理1.導(dǎo)入相關(guān)庫(kù)并加載數(shù)據(jù)讀取的數(shù)據(jù)四.任務(wù)1——加載數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理2.數(shù)據(jù)清洗和轉(zhuǎn)換對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以方便機(jī)器學(xué)習(xí)四.任務(wù)1——加載數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理3.數(shù)據(jù)的歸一化處理歸一化后的樣本數(shù)據(jù)五.任務(wù)2——訓(xùn)練和測(cè)試醫(yī)療費(fèi)用預(yù)測(cè)模型1.構(gòu)建線性回歸模型構(gòu)建線性回歸模型五.任務(wù)2——訓(xùn)練和測(cè)試醫(yī)療費(fèi)用預(yù)測(cè)模型2.準(zhǔn)備訓(xùn)練集和測(cè)試集按7∶3的比例分為訓(xùn)練集和測(cè)試集五.任務(wù)2——訓(xùn)練和測(cè)試醫(yī)療費(fèi)用預(yù)測(cè)模型3.模型訓(xùn)練和測(cè)試運(yùn)行結(jié)果五.任務(wù)2——訓(xùn)練和測(cè)試醫(yī)療費(fèi)用預(yù)測(cè)模型4.預(yù)測(cè)結(jié)果可視化可視化結(jié)果六.任務(wù)3——進(jìn)一步改善模型性能1.改進(jìn)方向01分析樣本特征的相關(guān)性。Age與bmi強(qiáng)相關(guān)六.任務(wù)3——進(jìn)一步改善模型性能1.改進(jìn)方向02考慮模型中是否存在非線性變量。處理辦法六.任務(wù)3——進(jìn)一步改善模型性能1.改進(jìn)方向03評(píng)估連續(xù)性變量的影響是否也是連續(xù)的。處理辦法六.任務(wù)3——進(jìn)一步改