版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
第
五
講回歸分析及其在金融運用章前導讀章前導讀TWO當傳統(tǒng)的回歸方法不能展現(xiàn)出很好的分類效果和預測能力,應當如何處理這些問題呢?ONE回歸分析在經(jīng)濟、金融、商業(yè)領域有著廣泛的應用:資產(chǎn)定價宏觀經(jīng)濟預測、債券評級、信用風險預測、客戶畫像……了解回歸模型在不同場景下的應用01掌握多元定性響應變量回歸模型的原理及統(tǒng)計推斷方法02了解傳統(tǒng)多元線性回歸模型的改進方法,并能在不同金融場景下靈活應用03學習目標CONTENT回歸類分析方法及其運用場景概述多元定性響應變量的回歸模型回歸模型的選擇、正則化與降維回歸類分析方法在金融領域的運用目
錄PART01回歸類分析方法及其運用場景概述Overviewofregressionclassanalysismethodsandtheirapplicationscenarios回歸分析的定義及分類01回歸分析(RegressionAnalysis):確定兩種或兩種以上變量間相互依賴的定量關系的一種統(tǒng)計分析方法。03
02
分類標準類
別特征變量的個數(shù)一元回歸模型、多元回歸模型特征變量與響應變量的關系線性回歸模型、非線性回歸模型回歸方程的個數(shù)單方程回歸模型、聯(lián)立方程回歸模型數(shù)據(jù)類型的特點橫截面模型、時間序列模型、面板模型回歸分析的定義及分類多元線性回歸模型(MultipleLinearRegressionModel)請輸入標題請輸入標題請輸入標題請輸入標題請輸入標題
該回歸模型也可表示為矩陣形式(更常用):Y=Xβ+?
(3)估計量的性質(zhì):
最小二乘法(OLS)原理:找到使得模型殘差平方和最小的參數(shù)向量β
多元線性回歸模型回顧回歸分析:計量經(jīng)濟學vs機器學習領域重視統(tǒng)計推斷(包括參數(shù)的點估計、區(qū)間估計以及假設檢驗)尤其重視如何借助回歸模型推斷變量之間的因果關系計
量
經(jīng)
濟
學更重視模型的預測準確率(accuracy)和解釋力(interpretation)預測準確率指在訓練集上得到的回歸模型在測試集上的預測表現(xiàn)模型解釋力指回歸系數(shù)能否直觀簡潔描繪特征變量對響應變量的影響機
器
學
習回歸分析在金融領域的應用場信用風險,市場風險、操作風險、流動性風險、管理風險等二分類Logistic/Probit回歸模型,Cox比例風險回歸模型風險評估與識別量化投資,預測未來資產(chǎn)價格和收益率采用系數(shù)壓縮、變量篩選等方法對回歸模型改進價格與收益率預測實現(xiàn)對不同類型客戶的精準營銷多分類Logistic回歸模型用戶畫像與精準營銷PART02多元定性響應變量的回歸模型Regressionmodelofmultiplequalitativeresponsevariables多元線性回歸模型的缺陷變量的無意義排序當定性響應變量有m個種類時(m>2),通常會給各個種類進行編號排序,但這些種類僅在邏輯上僅具有平行關系,并不具有順序關系。但是編號本身則天然代表了某種大小關系或順序關系,不同的排序方式會產(chǎn)生完全不同的線性模型及參數(shù)估計,給人們帶來混淆。參數(shù)估計的有效性不再滿足
預測值的經(jīng)濟含義模糊在響應變量為二元離散取值的情況下,如果使用普通的多元線性回歸模型進行建模,預測的結(jié)果則可能大于1或小于0,這樣的結(jié)果與現(xiàn)實相悖。二分類多元Logistic/Probit回歸廣義線性模型(generalizedlinearmodel)組成部分:隨機部分、系統(tǒng)部分(或線性部分)、聯(lián)系函數(shù)隨機部分
系統(tǒng)部分
聯(lián)系函數(shù)
當聯(lián)系函數(shù)為g(a)=a時,廣義線性回歸模型退化為普通線性回歸模型。普通線性模型可以看作廣義線性模型的一個特例。二分類多元Logistic/Probit回歸在利用廣義線性模型做二分類建模時,這兩類函數(shù)可以將系統(tǒng)部分給出z_i的轉(zhuǎn)化為在0到1之間的變量E(y_i│X),使得模型可以更好地擬合二項分布的數(shù)據(jù)。
二分類響應變量的多元Logistic/Probit模型
二分類多元Logistic/Probit回歸二分類多元Logistic回歸模型二分類多元Probit回歸模型二分類多元Logistic/Probit回歸參數(shù)估計方法非線性最小二乘法(nonlinearleastsquare)使離差平方和最小化以Probit模型為例,參數(shù)估計量
數(shù)值優(yōu)化算法來求得數(shù)值解,如梯度下降法和牛頓法二分類多元Logistic/Probit回歸特征變量的顯著性檢驗與擬合優(yōu)度評估
真
實
值預測值真陽性(TP)假陽性(FP)假陰性(FN)真陰性(TN)預測準確度評估機器學習中的分類問題通常用混淆矩陣來表示分類結(jié)果預測結(jié)果的靈敏度或真陽率:預測結(jié)果的假陽率:
參數(shù)估計方法二分類多元Logistic/Probit回歸Python代碼#調(diào)用sklearn模塊和matplotlib模塊importmatplotlib.pyplotaspltfromsklearn.linear_modelimportLogisticRegressionfromsklearn.metricsimportconfusion_matrix,classification_report,plot_roc_curve,cohen_kappa_score#構(gòu)建Logistic回歸模型并進行擬合(不設系數(shù)懲罰項)reg1=LogisticRegression(penalty=‘none’,fit_intercept=False)reg1_result=reg1.fit(X_train,Y_train)#輸出回歸系數(shù)reg1.coef_#用該模型做預測,得到每個觀測屬于不同類別的概率Probability=reg1.predict_proba(X_test)#選擇一:用模塊中自帶的predict函數(shù)直接輸出分類值(閾值自動設定)Prediction=reg1.predict(X_test)#選擇二:手動設定閾值(例如0.5),得到分類值Prediction#輸出混淆矩陣confusion_matrix(Y_test,Prediction)#畫出ROC曲線并計算AUC值plot_roc_curve(reg1,X_test,Y_test)多類別Logistic模型
如果響應變量的取值大于兩類時,可以使用多類別Logistic模型?;€Logistic模型:多類別Logistic模型
定序Logistic模型:
PART03回歸模型的選擇、正則化與降維Regressionmodelselection,regularizationanddimensionalityreduction選擇回歸模型的動機多重共線性存在問題:完全多重共線性導致OLS方法的失效,無法得到唯一的參數(shù)估計;不完全的多重共線性的有效性會大大減弱。檢驗方法:特征變量的相關系數(shù)矩陣、方差膨脹因子檢驗。過擬合問題過擬合:模型對訓練集的擬合程度比對真實總體的擬合程度更好,導致該模型在預測集上表現(xiàn)較差。過擬合體現(xiàn)在兩個方面:引入過多無關特征變量、引入過多特征變量的高次項(因而模型高度非線性化)。維數(shù)災難當特征變量的個數(shù)大于觀測數(shù)時(K>n),回歸分析將得不到唯一的參數(shù)估計。即使K<n時,特征變量具有過高的維數(shù)也會導致多重共線性與過擬合問題的出現(xiàn),進而大大削弱回歸系數(shù)的解釋力與模型的預測能力。交叉檢驗法為了解決上述困擾,必須對回歸模型進行選擇或約束,在不同模型之間進行比較,進而選出最優(yōu)的模型。模型評價指標:調(diào)整R2、AIC準則、BIC準則等以及ROC曲線、AUC指標等,還有模型在預測集上的均方誤差(即Mean-SquareError,MSE)。k折交叉檢驗法(k-foldcross-validation,簡記CV):01第一步:將總觀測集隨機地分為k個樣本數(shù)量基本一致的折(fold),找其中一折作為預測集,剩下的作為訓練集。02第二步:對訓練集進行(同一)回歸模型的擬合,然后用該模型對測試集進行預測,并計算測試集上的均方誤差。03第三步:選擇另一折作為測試集,重復第一步和第二步,直到所有折都曾作過測試集(即重復k次)。交叉檢驗法2在如何選擇折數(shù)k的問題上,需要考慮“偏差—方差”的權(quán)衡。一般而言,留一交叉檢驗法的方差要比k折交叉檢驗法(k<N)的方差更大。從經(jīng)驗上講,選擇k=5或是k=10比較合適的(N>>10)。3不同回歸模型進行交叉檢驗后會得到關于不同模型的CV值,這些值可以構(gòu)成測試誤差估計值曲線。1k折交叉檢驗法的平均均方誤差:當折數(shù)k等于觀測樣本總數(shù)量n時,為留一交叉檢驗法(leave-one-outCV)
子集選擇的回歸模型子集選擇的回歸模型:
回歸模型選擇中一個直觀的想法是對特征變量的集合進行篩選,篩選出合適的特征變量子集來構(gòu)建回歸模型。1.最優(yōu)子集選擇模型最優(yōu)子集選擇模型是對個特征變量的所有可能組合分別進行回歸擬合,其算法步驟如下表:步驟操作第一步第二步(a)(b)第三步這種方法需要檢索的回歸模型的總個數(shù)為:
(1)這種方法簡單直觀,但計算效率低,需檢索模型數(shù)量隨特征變量個數(shù)的增加而迅速增加;(2)該方法也只適用于樣本量N>K的情況,一旦特征變量個數(shù)超過樣本量,方法失效。
子集選擇的回歸模型2.向后逐步選擇模型
步驟操作第一步第二步(a)(b)第三步(1)這種方法需要檢索的回歸模型的總個數(shù)為:優(yōu)勢在于計算量要遠小于最優(yōu)子集選擇模型;
(2)但是仍需要保證特征變量個數(shù)小于樣本量(即N>K),否則模型將無法進行參數(shù)估計。子集選擇的回歸模型3.向前逐步選擇模型
步驟操作第一步第二步(a)(b)第三步(1)這種方法需要檢索的模型個數(shù)與向后逐步選擇模型相同,因此其計算量也要遠遠小于最優(yōu)子集選擇模型;(2)這種方法也適用于樣本量小于特征變量數(shù)的情況,即N<K,因此它要優(yōu)于向后逐步選擇模型。具體而言,當出現(xiàn)N<K的情況時,該算法會在回歸模型特征變量數(shù)等于N的時候停止,然后從備選模型中進行挑選?;貧w模型的正則化嶺回歸嶺回歸方法是將OLS無約束最優(yōu)化問題轉(zhuǎn)化為如下有約束的最優(yōu)化問題:如果將上述問題的拉格朗日方程列出,嶺回歸的目標函數(shù)還可以等價地寫成:AB回歸模型的正則化1.嶺回歸嶺回歸的幾何意義:在嶺回歸中,RSS函數(shù)的等高線會與懲罰約束所代表的球形等高線相切(大概率情況下二者不會切于坐標軸),進而使得OLS估計量收縮至嶺回歸估計量。通過目標函數(shù)的一階條件可以求解嶺回歸的參數(shù)估計滿足下式:
嶺回歸估計量在小樣本下是有偏估計量(因為OLS估計量在一定假設下是無偏估計量),但是它使得參數(shù)估計的方差大大縮小。然而,由于嶺回歸中很難將參數(shù)估計嚴格限制到0,因此這個方法并不能起到篩選變量的目的。在高維問題中,嶺回歸仍不是最優(yōu)選擇。回歸模型的正則化2.套索回歸與嶺回歸類似,套索回歸下的約束最優(yōu)化問題為:
套索回歸幾何意義:套索回歸中RSS的等高線與約束條件的八面體等高線很容易相切于坐標軸。這樣一來,某一個特征變量的參數(shù)就會完全變成0,進而達到篩選變量的目的。由于目標函數(shù)中存在絕對值(函數(shù)存在不可導的點),所以套索回歸的求解過程較為復雜,常見的方法有最小角回歸以及坐標下降法?;貧w模型的正則化3.彈性網(wǎng)絡回歸彈性網(wǎng)絡回歸是嶺回歸和套索回歸的折中。
由于彈性網(wǎng)絡約束的等高線圖也具有尖角,因此該方法也具備篩選變量的功能。彈性網(wǎng)絡回歸目標函數(shù)可以表示為:
回歸模型的正則化回歸正則化的Python代碼1.數(shù)據(jù)的標準化#調(diào)用相關模塊及命令fromsklearn.preprocessingimportStandardScalerscaler=StandardScaler()X_std=scaler.fit_transform(X)#其中X是原始特征變量矩陣,X_std是標準化后的特征變量矩陣回歸模型的正則化2.嶺回歸、套索回歸和彈性網(wǎng)絡回歸的構(gòu)建與估計(1)嶺回歸的構(gòu)建(3)彈性網(wǎng)絡回歸(2)套索回歸的構(gòu)建#調(diào)用相關模塊及命令fromsklearn.linear_modelimportRidge#嶺回歸(設置調(diào)節(jié)參數(shù)lambda為1)并輸出截距項和系數(shù)reg2=Ridge(alpha=1)reg2.fit(X_std,Y)ercept_reg2.coef_#調(diào)用相關模塊及命令fromsklearn.linear_modelimportLasso#套索回歸(設置調(diào)節(jié)參數(shù)lambda為0.2)并輸出截距項和系數(shù)reg3=Lasso(alpha=0.2)reg3.fit(X_std,Y)ercept_reg3.coef_#調(diào)用相關模塊及命令fromsklearn.linear_modelimportElasticNet#彈性網(wǎng)絡回歸(設置參數(shù)lambda為0.1,L1占比50%)并輸出截距項和系數(shù)reg4=ElasticNet(alpha=0.1,l1_ratio=0.5)reg4.fit(X_std,Y)ercept_reg4.coef_回歸模型的正則化3.回歸正則化的最優(yōu)參數(shù)選擇首先,調(diào)用相關模塊并設置交叉檢驗的基本參數(shù):#調(diào)用相關模塊及命令fromsklearn.model_selectionimportKFoldfromsklearn.linear_modelimportRidgeCVfromsklearn.linear_modelimportLassoCVfromsklearn.linear_modelimportElasticNetCV#設置k折交叉檢驗(例如k=10)kfold=KFold(n_splits=10,shuffle=True,random_state=1)#設置選擇參數(shù)的范圍(該范圍較粗)alpha_set=np.logspace(-5,7,100)#在確定大致范圍后,選擇更細的參數(shù)范圍alpha_set=np.linspace(1,10,1000)#k折交叉檢驗下的最優(yōu)嶺回歸(自動選擇最優(yōu)alpha)reg2=RidgeCV(alphas=alpha_set,cv=kfold)reg2.fit(X_std,Y)reg2.alpha_#k折交叉檢驗下的最優(yōu)套索回歸(自動選擇最優(yōu)alpha)reg3=LassoCV(alphas=alpha_set,cv=kfold)reg3.fit(X_std,Y)reg3.alpha_#k折交叉檢驗下的最優(yōu)嶺回歸(自動選擇最優(yōu)alpha)reg2=RidgeCV(alphas=alpha_set,cv=kfold)reg2.fit(X_std,Y)reg2.alpha_#k折交叉檢驗下的最優(yōu)套索回歸(自動選擇最優(yōu)alpha)reg3=LassoCV(alphas=alpha_set,cv=kfold)reg3.fit(X_std,Y)reg3.alpha_然后,分別對嶺回歸、套索回歸和彈性網(wǎng)絡回歸選擇最優(yōu)參數(shù):降維回歸方法1.主成分回歸2.偏最小二乘回歸
偏最小二乘回歸的Python代碼#調(diào)用相關模塊及命令fromsklearn.cross_decompositionimportPLSRegression#偏最小二乘法回歸的構(gòu)建與估計(標準化,并保留兩個主成分)reg5=PLSRegression(n_components=2,scale=True)reg5.fit(X_std,Y)reg5.coef_PART04回歸類分析方法在金融領域的運用Theapplicationofregressionclassanalysismethodinfinancialfield案例1:個人違約風險評估數(shù)據(jù)來源:美國網(wǎng)絡借貸平臺LendingClub,橫截面數(shù)據(jù),樣本量39萬余;響應變量y為借款人的違約情況(“ChargedOff”表示已違約,“FullyPaid”表示未違約)。變量名稱內(nèi)容單位gradeLendingClub平臺給出的信用評級(分為A~G七個等級),A表示信用極好,G表示信用極差?!猯oan_amnt借款人申請的借款數(shù)量美元term貸款期限(分為36個月和60個月)—home_ownership借款人住房情況(分為3類)—annual_inc借款人年收入美元dti債務收入比=月債務總額/月收入%delinq_2yrs借款人過去兩年內(nèi)的違約次數(shù)次inq_last_6mths借款人過去六個月被信用調(diào)查的次數(shù)次total_acc借款人總賬戶數(shù)個
已違約(觀測數(shù):66510)未違約(觀測數(shù):325237)均值標準差均值標準差loan_amnt15731.78374.00114397.448247.615annual_inc68735.3550832.3575911.3954839.61dti19.067.8817.157.75delinq_2yrs0.320.860.290.81inq_last_6mths0.911.100.761.02total_acc25.2811.6725.4211.551.數(shù)據(jù)簡介與描述性統(tǒng)計案例1:個人違約風險評估由于本案例中的響應變量為定性二分類變量,首先應考慮采用二分類多元Logistic/Probit回歸模型進行建模訓練變量名稱模型1:Logistic模型2:Probitdti-0.0164***-0.0095***(0.001)(0.000)delinq_2yrs-0.0278***-0.0159***(0.006)(0.003)inq_last_6mths-0.0652***-0.037***(0.005)(0.003)total_acc0.0016***0.001***(0.000)(0.000)偽R20.077200.07699該模型中,已違約樣本的響應變量為0,未違約樣本的響應變量為1。因此從回歸結(jié)果中可以看出:-負債收入比越高-兩年內(nèi)違約次數(shù)越多-六個月內(nèi)接受信用調(diào)查越多-賬戶數(shù)量越少的個體其違約的可能性越大。2.基于訓練集的回歸模型結(jié)果案例1:個人違約風險評估3.樣本外預測能力評估與樣本分類非平衡問題ROC曲線幾乎緊貼45度線,說明之前構(gòu)造的Logistic回歸模型并不具有很好的預測能力?,F(xiàn)這種情況的原因主要在于響應變量具有非平衡的分類;描述性統(tǒng)計顯示,已違約樣本有6萬多個,未違約的樣本量超過了30萬;即使模型把預測集上的樣本全部預測為未違約樣本,其平均預測準確率也約等于30/36=5/6;而Logistic模型本身的預測能力可能無法達到該數(shù)值。為了解決這個問題,本案例將刪除部分未違約樣本,使得分類變得較為平衡。調(diào)整后的樣本中,已違約和未違約的個體均大約有2700個左右;再次將該樣本分為訓練集和預測集,并在訓練集上進行建模;在預測集上進行樣本外預測,ROC曲線如右圖(AUC=0.57):案例2:原油價格預測數(shù)據(jù):時間序列數(shù)據(jù)(月度數(shù)據(jù)),樣本量從1987年1月至2021年10月(共418個觀測樣本)響應變量為美國西德克薩斯中質(zhì)原油(WTI)的時點價格,取自美國能源信息部門(EIA),時間趨勢圖如下:1.數(shù)據(jù)簡介與描述性統(tǒng)計案例2:原油價格預測特征變量X共包含45個(宏觀經(jīng)濟指標33個,技術(shù)指標12個)。考慮到部分指標的時滯性,每個宏觀經(jīng)濟指標的1期滯后項和2期滯后項均被納入回歸模型(因此宏觀指標共33個)。移動平均策略指標包含6種不同測度下的短期與長期移動平均,動量策略指標也包含6種不同時間間隔(因此技術(shù)指標共12個)。
變量名稱內(nèi)容單位TBR美國三個月國庫券當期利率%LTY美國十年期政府債券當期利率%IF美國通貨膨脹率(由城市居民CPI計算得到)%EPU美國經(jīng)濟政策不確定性指數(shù)—KI全球?qū)嶓w經(jīng)濟活動Kilian指數(shù)—GOP美國原油生產(chǎn)增長率%GOS美國原油儲蓄增長率%GOI美國原油進口增長率%MS美國貨幣供應量M2十億美元UR美國失業(yè)率%CU美國產(chǎn)能利用率%MA移動平均策略指標布爾值MOM動量策略指標布爾值1.數(shù)據(jù)簡介與描述性統(tǒng)計案例2:原油價格預測研究方法與實證
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年粵教版八年級歷史上冊月考試卷
- 2025年華東師大版必修3生物下冊階段測試試卷含答案
- 2025年湘師大新版必修2物理上冊月考試卷
- 2025年木材加工與木工承包服務合同3篇
- 2025年滬科版九年級科學上冊階段測試試卷
- 2025年度派駐企業(yè)網(wǎng)絡安全防護合同范本4篇
- 二零二五年度牛奶飲品行業(yè)數(shù)據(jù)分析與市場預測合同2篇
- 二零二五版明企金哨區(qū)塊鏈應用開發(fā)合同書4篇
- 二零二五版民間借貸合同糾紛律師代理服務合同4篇
- 2025年度商業(yè)地產(chǎn)車位租賃與商業(yè)營銷活動支持合同4篇
- 習近平法治思想概論教學課件緒論
- 寵物會展策劃設計方案
- 孤殘兒童護理員(四級)試題
- 梁湘潤《子平基礎概要》簡體版
- 醫(yī)院急診醫(yī)學小講課課件:急診呼吸衰竭的處理
- 腸梗阻導管在臨床中的使用及護理課件
- 調(diào)料廠工作管理制度
- 小學英語單詞匯總大全打印
- 衛(wèi)生健康系統(tǒng)安全生產(chǎn)隱患全面排查
- GB/T 15114-2023鋁合金壓鑄件
- 貨物驗收單表格模板
評論
0/150
提交評論