《－多元線性回歸》課件

多元線性回歸歡迎來(lái)到多元線性回歸的深入探討。本課程將帶您了解這一強(qiáng)大的統(tǒng)計(jì)工具的原理、應(yīng)用和局限性。什么是多元線性回歸？定義多元線性回歸是一種統(tǒng)計(jì)分析方法，用于研究多個(gè)自變量與一個(gè)因變量之間的線性關(guān)系。應(yīng)用廣泛應(yīng)用于經(jīng)濟(jì)、金融、醫(yī)學(xué)等領(lǐng)域，用于預(yù)測(cè)和解釋復(fù)雜現(xiàn)象。優(yōu)勢(shì)可以同時(shí)考慮多個(gè)因素的影響，提供更全面的分析視角。多元線性回歸模型模型形式Y(jié)=β?+β?X?+β?X?+...+β?X?+ε參數(shù)解釋Y為因變量，X為自變量，β為回歸系數(shù)，ε為誤差項(xiàng)目標(biāo)估計(jì)回歸系數(shù)，建立最佳擬合模型模型假設(shè)線性關(guān)系自變量與因變量之間存在線性關(guān)系獨(dú)立性觀測(cè)值之間相互獨(dú)立同方差性誤差項(xiàng)具有恒定方差正態(tài)分布誤差項(xiàng)服從正態(tài)分布參數(shù)估計(jì)1數(shù)據(jù)收集獲取足夠的樣本數(shù)據(jù)2模型設(shè)定確定自變量和因變量3估計(jì)方法選擇通常采用最小二乘法4計(jì)算與解釋得到回歸系數(shù)并解釋其含義參數(shù)估計(jì)方法最小二乘法最常用的方法，minimizes誤差平方和極大似然估計(jì)基于概率模型，適用于非線性情況貝葉斯估計(jì)結(jié)合先驗(yàn)信息，適用于小樣本最小二乘法原理最小化殘差平方和，找到最佳擬合直線。優(yōu)點(diǎn)計(jì)算簡(jiǎn)單，結(jié)果易解釋，適用于大多數(shù)線性回歸問題。局限性對(duì)異常值敏感，可能導(dǎo)致過擬合。最小二乘法求解構(gòu)建目標(biāo)函數(shù)Q(β)=Σ(Y?-??)2求偏導(dǎo)數(shù)?Q/?β=0解方程組得到β的估計(jì)值驗(yàn)證檢查結(jié)果的合理性模型的評(píng)估1模型擬合優(yōu)度2統(tǒng)計(jì)顯著性檢驗(yàn)3預(yù)測(cè)能力評(píng)估4殘差分析全面評(píng)估模型性能，確保其可靠性和有效性。R-squared決定系數(shù)定義R2衡量模型解釋因變量變異的程度計(jì)算R2=1-(殘差平方和/總平方和)解釋R2值越接近1，模型擬合越好F-檢驗(yàn)?zāi)康臋z驗(yàn)整個(gè)回歸模型的顯著性原理比較回歸均方與殘差均方判斷標(biāo)準(zhǔn)p值小于顯著性水平時(shí)，模型顯著t-檢驗(yàn)1目的檢驗(yàn)單個(gè)回歸系數(shù)的顯著性2計(jì)算t=(β-0)/SE(β)3判斷|t|>t臨界值時(shí)，系數(shù)顯著多重共線性診斷相關(guān)系數(shù)矩陣檢查自變量間的相關(guān)性方差膨脹因子(VIF)衡量自變量間的相關(guān)程度條件數(shù)評(píng)估自變量間的整體相關(guān)性多重共線性問題處理刪除變量移除高度相關(guān)的自變量主成分分析降維處理，減少變量數(shù)量嶺回歸引入偏差，減少方差LASSO回歸自動(dòng)選擇重要變量回歸模型診斷殘差分析檢查模型假設(shè)是否滿足影響點(diǎn)分析識(shí)別對(duì)模型影響較大的觀測(cè)值預(yù)測(cè)能力評(píng)估測(cè)試模型在新數(shù)據(jù)上的表現(xiàn)殘差分析殘差圖檢查殘差的分布情況Q-Q圖驗(yàn)證殘差的正態(tài)性杠桿值圖識(shí)別高影響力的觀測(cè)值Cook's距離評(píng)估單個(gè)觀測(cè)值的影響異方差診斷1殘差圖分析觀察殘差是否呈扇形分布2Park檢驗(yàn)使用回歸方法檢驗(yàn)異方差3White檢驗(yàn)基于輔助回歸的異方差檢驗(yàn)4Breusch-Pagan檢驗(yàn)檢驗(yàn)殘差方差與自變量的關(guān)系異方差問題處理變量轉(zhuǎn)換對(duì)變量進(jìn)行對(duì)數(shù)或開方轉(zhuǎn)換加權(quán)最小二乘法給予不同觀測(cè)值不同權(quán)重穩(wěn)健標(biāo)準(zhǔn)誤使用White或HAC標(biāo)準(zhǔn)誤自相關(guān)診斷1Durbin-Watson檢驗(yàn)檢測(cè)一階自相關(guān)2Breusch-Godfrey檢驗(yàn)檢測(cè)高階自相關(guān)3自相關(guān)函數(shù)(ACF)圖觀察不同滯后期的自相關(guān)程度4偏自相關(guān)函數(shù)(PACF)圖識(shí)別直接自相關(guān)關(guān)系自相關(guān)問題處理差分法消除時(shí)間趨勢(shì)廣義最小二乘法考慮誤差項(xiàng)的相關(guān)性Cochrane-Orcutt法迭代估計(jì)自相關(guān)系數(shù)ARIMA模型結(jié)合自回歸和移動(dòng)平均模型預(yù)測(cè)1點(diǎn)預(yù)測(cè)2區(qū)間預(yù)測(cè)3預(yù)測(cè)誤差評(píng)估4預(yù)測(cè)能力驗(yàn)證利用建立的模型進(jìn)行未來(lái)值預(yù)測(cè)，并評(píng)估預(yù)測(cè)的可靠性。預(yù)測(cè)區(qū)間定義包含未來(lái)觀測(cè)值的可能范圍計(jì)算基于模型參數(shù)和預(yù)測(cè)誤差解釋提供預(yù)測(cè)的不確定性度量置信區(qū)間定義包含真實(shí)參數(shù)值的可能范圍計(jì)算基于估計(jì)值和標(biāo)準(zhǔn)誤應(yīng)用評(píng)估參數(shù)估計(jì)的精確度假設(shè)檢驗(yàn)零假設(shè)通常假設(shè)參數(shù)為零或無(wú)效應(yīng)備擇假設(shè)與零假設(shè)相反的陳述顯著性水平通常選擇5%或1%p值反映證據(jù)強(qiáng)度的概率值獨(dú)立變量選擇向前選擇法逐步添加顯著變量向后消除法逐步刪除不顯著變量逐步回歸法結(jié)合向前和向后方法模型比較1AIC赤池信息準(zhǔn)則，平衡擬合度和復(fù)雜度2BIC貝葉斯信息準(zhǔn)則，懲罰更重3調(diào)整R2考慮變量數(shù)量的R2修正版4交叉驗(yàn)證評(píng)估模型在新數(shù)據(jù)上的表現(xiàn)模型應(yīng)用實(shí)例房?jī)r(jià)預(yù)測(cè)考慮面積、位置、年份等因素銷售額分析研究廣告支出、季節(jié)等對(duì)銷售的影響醫(yī)學(xué)研究分析多種因素對(duì)患病風(fēng)險(xiǎn)的影響應(yīng)用實(shí)例結(jié)果分析系數(shù)解釋分析各因素的影響程度和方向模型評(píng)估檢查R2、F統(tǒng)計(jì)量等指標(biāo)預(yù)測(cè)能力在測(cè)試集上驗(yàn)證模型準(zhǔn)確性結(jié)果可視化使用圖表直觀展示分析結(jié)果多元線性回歸的優(yōu)缺點(diǎn)優(yōu)點(diǎn)可處理多個(gè)自變量結(jié)果易于解釋廣泛