基于多元線性回歸的多參數(shù)預(yù)測(cè)模型

基于多元線性回歸的多參數(shù)預(yù)測(cè)模型

1多元線性回歸模型多元線性回歸是多元統(tǒng)計(jì)分析的重要方法，在社會(huì)、經(jīng)濟(jì)、技術(shù)和科學(xué)領(lǐng)域的研究中得到了廣泛應(yīng)用。在這項(xiàng)工作中，我們應(yīng)該討論的問題是，如何建立一種基于時(shí)間順序收集的采樣數(shù)據(jù)，以及分析評(píng)估指標(biāo)的動(dòng)態(tài)變化規(guī)律，例如估計(jì)標(biāo)準(zhǔn)偏差以及調(diào)整后的復(fù)合測(cè)量系數(shù)。設(shè)因變量為y,自變量集合為x1,x2,…,xp,樣本容量為n.記n×(p+1)維的矩陣X=(1,x1,x2,…,xp),該矩陣的第一列中的元素均等于1,以及增廣矩陣為Z=(X,y).根據(jù)多元線性回歸方法,回歸系數(shù)以及各種模型評(píng)估參數(shù)的計(jì)算都取決于增廣矩陣Z=(X,y)的叉積陣:V=(X′XX′yy′Xy′y)由此可見,建立多元線性回歸預(yù)測(cè)模型的關(guān)鍵技術(shù)是,如何對(duì)叉積陣進(jìn)行預(yù)測(cè)建模.叉積陣V是一個(gè)對(duì)稱矩陣.根據(jù)代數(shù)學(xué)理論,通過(guò)譜分解,總可以將其分解成特定的特征值對(duì)角矩陣和特征向量矩陣.從幾何的觀點(diǎn)來(lái)看,如果將矩陣Z=(X,y)描述的數(shù)據(jù)看成是(p+2)維空間中n個(gè)樣本點(diǎn)的集合,則它們形成一個(gè)超橢球.并且其叉積陣V的特征向量矩陣依次指出該橢球最長(zhǎng)的主軸、次長(zhǎng)的主軸,……,最短的主軸.而特征值則從大到小排序,表示該超橢球在每一個(gè)主軸上的軸長(zhǎng)范圍.由此可見,對(duì)叉積陣V的預(yù)測(cè)可以分解成兩個(gè)部分,一是超橢球的主軸會(huì)隨著時(shí)間發(fā)生旋轉(zhuǎn)運(yùn)動(dòng);同時(shí),該橢球的各個(gè)軸長(zhǎng)也會(huì)隨時(shí)間呈現(xiàn)拉伸或縮短的變化規(guī)律.關(guān)于高維空間群點(diǎn)主軸旋轉(zhuǎn)的預(yù)測(cè)建模技術(shù)已經(jīng)有了一些適用的方法.王惠文和劉強(qiáng)曾在分析多元數(shù)據(jù)的主軸旋轉(zhuǎn)規(guī)律的文章中,給出一種標(biāo)準(zhǔn)正交的特征向量矩陣的預(yù)測(cè)建模方法.而對(duì)于特征值的預(yù)測(cè),由于不存在特殊的約束,因此只需要應(yīng)用經(jīng)典的預(yù)測(cè)模型分別預(yù)測(cè)即可.在本文中,將把多元線性回歸與高維空間群點(diǎn)主軸旋轉(zhuǎn)預(yù)測(cè)建模方法有機(jī)的結(jié)合起來(lái),最終實(shí)現(xiàn)對(duì)多元線性回歸的預(yù)測(cè)建模研究.2[0sin0sin0.pp[jx]0.cojj]0.coj[0.cojx[3]高維群點(diǎn)主軸旋轉(zhuǎn)的預(yù)測(cè)方法是多元線性回歸預(yù)測(cè)建模的關(guān)鍵技術(shù).實(shí)際上,它又可以簡(jiǎn)單地看成是對(duì)標(biāo)準(zhǔn)正交矩陣的預(yù)測(cè)方法,即根據(jù)已知1～T時(shí)刻的標(biāo)準(zhǔn)正交矩陣,預(yù)測(cè)T+l時(shí)刻的標(biāo)準(zhǔn)正交矩陣.設(shè)t時(shí)刻的標(biāo)準(zhǔn)正交矩陣為Gt=(ut1ut2?utp)∈Rp×pRp×p表示p×p維實(shí)空間.按照Givens變換,它可以通過(guò)以下12p×(p-1)步轉(zhuǎn)動(dòng)獨(dú)立唯一地分解為Gt=(Gt12Gt13?Gt1p)(Gt23Gt24?Gt2p)?(Gtp-1,p)(1)其中Gtij=Gtij(?tij)=ij(Ι0?0?000cos?tij?0?-sin?tij0???????00?Ι?00???????0sin?tij?0?cos?tij000?0?0Ι)p×p[JX*4]ij(2)其中,矩陣上側(cè)和右側(cè)的i,j分別表示第i,j行和列;-π2≤?tij≤π2(1≤i<j≤p),并且所有的?tij(1≤i<j≤p)自由取值.這樣,對(duì)于一個(gè)p維正交矩陣Gt的預(yù)測(cè)就歸結(jié)為對(duì)矩陣相應(yīng)轉(zhuǎn)角?tij(1≤i<j≤p)的預(yù)測(cè).下面給出正交矩陣預(yù)測(cè)建模的主要步驟.1)記Gt1=Gt=(ut1ut2?utp)def(v1t1v1t2?v1tp)其中,v1t1=(v1t11,v1t12,…,v1t1p)′是矩陣Gt1的第1列.根據(jù)文獻(xiàn)的推導(dǎo),可以求出?t1p=arcsinv1t1p?t1k=arcsin{v1t1kcos?t1p?cos?t1,k+1}k=2,3,?,p-1(3)2)根據(jù)式(2),由?t1j可以計(jì)算出Gt1j=Gt1j(?t1j)(j=2,3,…,p).于是,記Gt2=(Gt1p)′?(Gt12)′Gt1=(v2t1v2t2?v2tp)其中,v2t2=(v2t21,v2t22,…,v2t2p)′是矩陣Gt2的第2列.可以求出?t2p=arcsinv2t2p?t2k=arcsin{v2t2kcos?t2p?cos?t2,k+1}k=3,4,?,p-1(4)依次類推,最后定義Gtp-1=(Gtp-2,p)′(Gtp-2,p-1)′Gtp-2=(v(p-1)t1v(p-1)t2?v(p-1)tp)則最終有?tp-1,p=arcsinv(p-1)tp-1,p(5)3)根據(jù)前兩步計(jì)算得到的轉(zhuǎn)角數(shù)據(jù){?tij,t=1,2,?,Τ},分別建立12p(p-1)個(gè)預(yù)測(cè)模型,例如?tij=fij(t)+εtij1≤i<j≤p(6)并預(yù)測(cè)第T+l時(shí)刻的轉(zhuǎn)角??Τ+lij=fij(Τ+l)l=1,2,?(7)4)根據(jù)角度的預(yù)測(cè)值,并利用式(1)和式(2),可以求得第T+l時(shí)刻預(yù)測(cè)的正交矩陣?GΤ+l=(uΤ+l1uΤ+l2?uΤ+lp).3多元線性回歸模型為了討論多元線性回歸的預(yù)測(cè)建模方法,本節(jié)首先簡(jiǎn)要介紹經(jīng)典多元線性回歸方法.設(shè)樣本點(diǎn)容量為n,t時(shí)刻的因變量為yt,p個(gè)自變量為xtj(j=1,2,…,p),則總體線性回歸模型的形式為yti=β0+βt1xti1+?+βtpxtip+εtii=1,2,?,n(8)記yt=(yt1yt2?ytn)n×1βt=(βt0βt1?βtp)(p+1)×1Xt=(1xt11xt12?xt1p1xt21xt22?xt2p?????1xtn1xtn2?xtnp)n×(p+1)則增廣矩陣(Xt,yt)的叉積陣Vt為Vt=((Xt)′Xt(Xt)′yt(yt)′Xt(yt)′yt)=(Vt11Vt12Vt21Vt22)(9)回歸系數(shù)βt的最小二乘估計(jì)量為?βt=(Vt11)-1Vt12(10)還可以證明,t時(shí)刻的SSSE和SSST值分別如式(11)和式(12)所示.StSSE=Vt22-Vt21(Vt11)-1Vt12(11)StSSΤ=Vt22-1n(Vt12,1)2(12)其中Vt12?1是Vt12的第一個(gè)分量.根據(jù)式(11)和式(12),t時(shí)刻的擬合優(yōu)度(調(diào)整的復(fù)測(cè)定系數(shù))為ˉR2t=1-StSSE/(n-p-1)StSSΤ/(n-1)(13)同時(shí),有t時(shí)刻的估計(jì)標(biāo)準(zhǔn)誤差為Ste=√1n-p-1StSSE(14)根據(jù)前面介紹的關(guān)鍵技術(shù),下面給出多元線性回歸的預(yù)測(cè)建模方法.1)計(jì)算t(t=1,2,…,T)時(shí)刻增廣矩陣(Xtyt)的叉積陣Vt;2)計(jì)算Vt的特征值λt1≥λt2≥…≥λtp+2≥0和對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量ut1,ut2,…,utp+2(t=1,2,…,T);3)根據(jù)1～T時(shí)刻叉積陣Vt的特征向量陣,采用正交矩陣預(yù)測(cè)方法,預(yù)測(cè)T+l時(shí)刻的特征向量矩陣(uΤ+l1uΤ+l2…uΤ+lp+2);4)根據(jù)1～T時(shí)刻叉積陣Vt的特征值,應(yīng)用時(shí)序分析方法,分別預(yù)測(cè)T+l時(shí)刻的特征值(λΤ+l1,λΤ+l2,…,λΤ+lp+2);5)根據(jù)上兩步的計(jì)算結(jié)果,計(jì)算出T+l時(shí)刻的叉積陣VT+l為VΤ+l=(uΤ+l1uΤ+l2?uΤ+lp+2)?(λΤ+l10000λΤ+l2?0????00?λΤ+lp+2)?(uΤ+l1uΤ+l2?uΤ+lp+2)′6)根據(jù)式(10),可得到T+l時(shí)刻的回歸參數(shù)的估計(jì)量?βΤ+l;7)根據(jù)式(11)～式(14),可計(jì)算T+l時(shí)刻的回歸模型的擬合優(yōu)度ˉR2Τ+l和估計(jì)標(biāo)準(zhǔn)誤差SΤ+le.4多元回歸模型擬合在本仿真案例中,取自變量維數(shù)為3,每個(gè)時(shí)刻的樣本數(shù)為n=30,按照如下方式生成t=1～10個(gè)時(shí)刻的歷史數(shù)據(jù)表:首先,生成[-1,1]上均勻分布的獨(dú)立隨機(jī)數(shù)[x01x02x03]30×3;然后,根據(jù)[x01x02x03]30×3生成[xt1xt2xt3](t=1,…,10),其中{xt1=x01+0.02txt2=x02+0.01txt3=x03+0.03t最后,按照yt=-1+0.2t·xt1+0.1t·xt2-0.3t·xt3+εt,生成因變量yt.其中,εt～N(0,0.01)為隨機(jī)誤差項(xiàng).需要說(shuō)明的是,由于本文所研究的是多元回歸的動(dòng)態(tài)建模預(yù)測(cè)問題,因此,需要考慮變量以及模型(回歸系數(shù))隨時(shí)間t的變化特征;為此,在構(gòu)造自變量和因變量的仿真數(shù)據(jù)時(shí),采用了上述方式生成具有時(shí)序變化規(guī)律(這里以線性趨勢(shì)為例)的歷史數(shù)據(jù)表.下面將采用t=1～10時(shí)刻的仿真數(shù)據(jù),按照第3部分的方法進(jìn)行多元回歸預(yù)測(cè)建模,對(duì)歷史的自變量與因變量的回歸關(guān)系進(jìn)行擬合,并根據(jù)擬合模型預(yù)測(cè)t=11時(shí)刻的多元回歸模型,評(píng)價(jià)模型的擬合、預(yù)測(cè)精度,驗(yàn)證模型的擬合、預(yù)測(cè)結(jié)果的合理可靠性.具體建模步驟如下:1)計(jì)算t=1～10時(shí)刻樣本數(shù)據(jù)的叉積陣Vt,及其對(duì)應(yīng)的特征值(λt1λt2…λt5)和標(biāo)準(zhǔn)正交特征向量矩陣(ut1ut2…ut5);并采用正交矩陣轉(zhuǎn)角分解方法,得到(ut1ut2…ut5)對(duì)應(yīng)的轉(zhuǎn)角?tij(1≤i<j≤5).2)根據(jù)t=1～10時(shí)刻λjt(1≤i<j≤5)的計(jì)算值,建立每個(gè)特征值的時(shí)序擬合模型.并根據(jù)這些模型計(jì)算t=11時(shí)刻的預(yù)測(cè)特征值.所得到特征值λjt(1≤i<j≤5)的擬合值和預(yù)測(cè)值如圖1所示.在圖1中,實(shí)心點(diǎn)表示根據(jù)已知數(shù)據(jù)計(jì)算得到的實(shí)際特征值,虛線表示采用預(yù)測(cè)模型得到的特征值的擬合值.3)根據(jù)t=1～10時(shí)刻轉(zhuǎn)角?ijt(1≤i<j≤5)的計(jì)算值,分別建立每個(gè)轉(zhuǎn)角的時(shí)序擬合模型.并根據(jù)這些模型計(jì)算t=11時(shí)刻的預(yù)測(cè)的轉(zhuǎn)角值.所得到轉(zhuǎn)角?ijt(1≤i<j≤5)的擬合值和預(yù)測(cè)值如圖2所示.在圖2中,實(shí)心點(diǎn)表示根據(jù)已知數(shù)據(jù)計(jì)算得到的實(shí)際特征值,虛線表示采用預(yù)測(cè)模型得到的特征值的擬合值.4)根據(jù)轉(zhuǎn)角擬合模型,計(jì)算叉積陣的特征向量矩陣(u1tu2t…u5t)的擬合值.表1列出了t=10時(shí)刻叉積陣的特征值和特征向量的計(jì)算值、擬合值,以及t=11時(shí)刻的預(yù)測(cè)值.5)根據(jù)特征值和特征向量的擬合值,可以計(jì)算各時(shí)刻的叉積陣Vt的擬合值.表2為t=10時(shí)刻叉積陣的計(jì)算值和擬合值,以及t=11時(shí)刻的預(yù)測(cè)值.6)計(jì)算各時(shí)刻的調(diào)整的復(fù)測(cè)定系數(shù)和估計(jì)標(biāo)準(zhǔn)誤差,見表3.從表3可以看出,t=1～10時(shí)刻,回歸模型的擬合精度較高,調(diào)整的復(fù)測(cè)定系數(shù)(Rˉ2)始終高于0.8,且隨時(shí)間呈明顯上升趨勢(shì);而估計(jì)標(biāo)準(zhǔn)誤差Se在0.1附近波動(dòng).預(yù)測(cè)t=11時(shí)刻模型的調(diào)整的復(fù)測(cè)定系數(shù)為0.999,回歸標(biāo)準(zhǔn)誤為0.023.從表3可以看出,動(dòng)態(tài)多元線性回歸模型的整體擬合效果較好,擬合優(yōu)度較高,采用預(yù)測(cè)方法得到的Rˉ2和Se與實(shí)際值十分接近.因此可以判斷,對(duì)t=11時(shí)刻的回歸模型的評(píng)估指標(biāo)Rˉ2,Se的預(yù)測(cè)也是可信的.7)計(jì)算各時(shí)刻多元回歸預(yù)測(cè)模型的回歸系數(shù).表4為t=10時(shí)刻回歸系數(shù)的計(jì)算值和擬合值,以及t=11時(shí)刻的預(yù)測(cè)值.更直觀的,給出t=1～11時(shí)刻多元線性回歸模型系數(shù)的時(shí)序圖,如圖3所示.其中,實(shí)心點(diǎn)表示實(shí)際計(jì)算值,虛線為擬合值,空心點(diǎn)為預(yù)測(cè)值.綜上所述,從上述計(jì)算過(guò)程中,從所得到的相應(yīng)參數(shù)的實(shí)際值和擬合值可以看出,本文所建立的多元線性回歸分析的時(shí)序動(dòng)態(tài)模型的擬合效果較好,預(yù)測(cè)結(jié)果合理可靠.5仿真實(shí)驗(yàn)和理論探討本文討論了如何利用歷史的樣本數(shù)據(jù),建立多元線性回歸的動(dòng)態(tài)分析模型,并對(duì)回歸系數(shù)進(jìn)行預(yù)測(cè).在該模型中,主要采用正交矩陣主軸旋轉(zhuǎn)的預(yù)測(cè)建模方法,實(shí)現(xiàn)對(duì)叉積陣的預(yù)測(cè)建模.運(yùn)用多元線性回歸的預(yù)測(cè)模型,可以在無(wú)須對(duì)未來(lái)系統(tǒng)采樣的情況下,推測(cè)未來(lái)的回歸系數(shù)及模型精度.另一方面,從該模型中,還可以識(shí)別解釋變量對(duì)因變量影響程度的動(dòng)態(tài)規(guī)律以及變化趨勢(shì).通過(guò)仿真實(shí)驗(yàn),驗(yàn)證了