多元線性回歸基礎(chǔ)知識

多元線性回歸分析預(yù)測法多元線性回歸分析預(yù)測法〔Multifactorlineregressionmethod，多元線性回歸分析法〕多元線性回歸分析預(yù)測法概述在市場的經(jīng)濟活動中，經(jīng)常會遇到某一市場現(xiàn)象的開展和變化取決于幾個影響因素的情況，也就是一個因變量和幾個自變量有依存關(guān)系的情況。而且有時幾個影響因素主次難以區(qū)分，或者有的因素雖屬次要，但也不能略去其作用。例如，某一商品的銷售量既與人口的增長變化有關(guān)，也與商品價格變化有關(guān)。這時采用一元回歸分析預(yù)測法進行預(yù)測是難以奏效的，需要采用多元回歸分析預(yù)測法。多元回歸分析預(yù)測法，是指通過對兩上或兩個以上的自變量與一個因變量的相關(guān)分析，建立預(yù)測模型進行預(yù)測的方法。當(dāng)自變量與因變量之間存在線性關(guān)系時，稱為多元線性回歸分析。多元線性回歸的計算模型\o""[1]一元線性回歸是一個主要影響因素作為自變量來解釋因變量的變化，在現(xiàn)實問題研究中，因變量的變化往往受幾個重要因素的影響，此時就需要用兩個或兩個以上的影響因素作為自變量來解釋因變量的變化，這就是多元回歸亦稱多重回歸。當(dāng)多個自變量與因變量之間是線性關(guān)系時，所進行的回歸分析就是多元性回歸。設(shè)y為因變量，為自變量，并且自變量與因變量之間為線性關(guān)系時，那么多元線性回歸模型為：其中，b0為常數(shù)項，為回歸系數(shù)，b1為固定時，x1每增加一個單位對y的效應(yīng)，即x1對y的偏回歸系數(shù)；同理b2為固定時，x2每增加一個單位對y的效應(yīng)，即，x2對y的偏回歸系數(shù)，等等。如果兩個自變量x1,x2同一個因變量y呈線相關(guān)時，可用二元線性回歸模型描述為：其中，b0為常數(shù)項，為回歸系數(shù)，b1為固定時，x2每增加一個單位對y的效應(yīng)，即x2對y的偏回歸系數(shù)，等等。如果兩個自變量x1,x2同一個因變量y呈線相關(guān)時，可用二元線性回歸模型描述為：y=b0+b1x1+b2x2+e建立多元性回歸模型時，為了保證回歸模型具有優(yōu)良的解釋能力和預(yù)測效果，應(yīng)首先注意自變量的選擇，其準(zhǔn)那么是：(1)自變量對因變量必須有顯著的影響，并呈密切的線性相關(guān)；(2)自變量與因變量之間的線性相關(guān)必須是真實的，而不是形式上的；(3)自變量之彰應(yīng)具有一定的互斥性，即自變量之彰的相關(guān)程度不應(yīng)高于自變量與因變量之因的相關(guān)程度；(4)自變量應(yīng)具有完整的統(tǒng)計數(shù)據(jù)，其預(yù)測值容易確定。多元性回歸模型的參數(shù)估計，同一元線性回歸方程一樣，也是在要求誤差平方和()為最小的前提下，用最小二乘法求解參數(shù)。以二線性回歸模型為例，求解回歸參數(shù)的標(biāo)準(zhǔn)方程組為解此方程可求得b0,b1,b2的數(shù)值。亦可用以下矩陣法求得即多元線性回歸模型的檢驗\o""[1]多元性回歸模型與一元線性回歸模型一樣，在得到參數(shù)的最小二乘法的估計值之后，也需要進行必要的檢驗與評價，以決定模型是否可以應(yīng)用。1、擬合程度的測定。與一元線性回歸中可決系數(shù)r2相對應(yīng)，多元線性回歸中也有多重可決系數(shù)r2，它是在因變量的總變化中，由回歸方程解釋的變動(回歸平方和)所占的比重，R2越大，回歸方各對樣本數(shù)據(jù)點擬合的程度越強，所有自變量與因變量的關(guān)系越密切。計算公式為：其中，2.估計標(biāo)準(zhǔn)誤差估計標(biāo)準(zhǔn)誤差，即因變量y的實際值與回歸方程求出的估計值之間的標(biāo)準(zhǔn)誤差，估計標(biāo)準(zhǔn)誤差越小，回歸方程擬合程度越程。其中，k為多元線性回歸方程中的自變量的個數(shù)。3.回歸方程的顯著性檢驗回歸方程的顯著性檢驗，即檢驗整個回歸方程的顯著性，或者說評價所有自變量與因變量的線性關(guān)系是否密切。能常采用F檢驗，F(xiàn)統(tǒng)計量的計算公式為：根據(jù)給定的顯著水平a,自由度(k,n-k-1)查F分布表，得到相應(yīng)的臨界值Fa，假設(shè)F>Fa，那么回歸方程具有顯著意義，回歸效果顯著；F<Fa，那么回歸方程無顯著意義，回歸效果不顯著。4.回歸系數(shù)的顯著性檢驗在一元線性回歸中，回歸系數(shù)顯著性檢驗(t檢驗)與回歸方程的顯著性檢驗(F檢驗)是等價的，但在多元線性回歸中，這個等價不成立。t檢驗是分別檢驗回歸模型中各個回歸系數(shù)是否具有顯著性，以便使模型中只保存那些對因變量有顯著影響的因素。檢驗時先計算統(tǒng)計量ti；然后根據(jù)給定的顯著水平a,自由度n-k-1查t分布表，得臨界值ta或ta/2,t>t?a或ta/2，那么回歸系數(shù)bi與0有顯著關(guān)異，反之，那么與0無顯著差異。統(tǒng)計量t的計算公式為：其中，Cij是多元線性回歸方程中求解回歸系數(shù)矩陣的逆矩陣(x'x)?1的主對角線上的第j個元素。對二元線性回歸而言，可用以下公式計算：其中，5.多重共線性判別假設(shè)某個回歸系數(shù)的t檢驗通不過，可能是這個系數(shù)相對應(yīng)的自變量對因變量的影平不顯著所致，此時，應(yīng)從回歸模型中剔除這個自變量，重新建立更為簡單的回歸模型或更換自變量。也可能是自變量之間有共線性所致，此時應(yīng)設(shè)法降低共線性的影響。多重共線性是指在多元線性回歸方程中，自變量之彰有較強的線性關(guān)系，這種關(guān)系假設(shè)超過了因變量與自變量的線性關(guān)系，那么回歸模型的穩(wěn)定性受到破壞，回歸系數(shù)估計不準(zhǔn)確。需要指出的是，在多元回歸模型中，多重共線性的難以防止的，只要多重共線性不太嚴重就行了。判別多元線性回歸方程是否存在嚴懲的多重共線性，可分別計算每兩個自變量之間的可決系數(shù)r2，假設(shè)r2>R2或接近于R2，那么應(yīng)設(shè)法降低多重線性的影響。亦可計算自變量間的相關(guān)系數(shù)矩陣的特征值的條件數(shù)k=λ1/λp(λ1為最大特征值，λp為最小特征值),k<100，那么不存在多重點共線性；假設(shè)100≤k≤1000，那么自變量間存在較強的多重共線性，假設(shè)k>1000，那么自變量間存在嚴重的多重共線性。降低多重共線性的方法主要是轉(zhuǎn)換自變量的取值，如變絕對數(shù)為相對數(shù)或平均數(shù)，或者更換其他的自變量。6.D.W檢驗當(dāng)回歸模型是根據(jù)動態(tài)數(shù)據(jù)建立的，那么誤差項e也是一個時間序列，假設(shè)誤差序列諸項之間相互獨立，那么誤差序列各項之間沒有相關(guān)關(guān)系，假設(shè)誤差序列之間存在密切的相關(guān)關(guān)系，那么建立的回歸模型就不能表述自變量與因變量之間的真實變動關(guān)系。D.W檢驗就是誤差序列的自相關(guān)檢驗。檢驗的方法與一元線性回歸相同。[編輯]多元線性回歸分析預(yù)測法案例分析案例一:公路客貨運輸量多元線性回歸預(yù)測方法探討\o""[2]一、背景公路客、貨運輸量的定量預(yù)測，近幾年來在我國公路運輸領(lǐng)域大面積廣泛地開展起來，并有效的促進了公路運輸經(jīng)營決策的科學(xué)化和現(xiàn)代化。關(guān)于公路客、貨運輸量的定量預(yù)測方法很多，本文主要介紹多元線性回歸方法在公路客貨運輸量預(yù)測中的具體操作。根據(jù)筆者先后參加的部、省、市的科研課題的實踐，證明了多元線性回歸方法是對公路客、貨運輸量預(yù)測的一種置信度較高的有效方法。二、多元線性回歸預(yù)測線性回歸分析法是以相關(guān)性原理為根底的．相關(guān)性原理是預(yù)測學(xué)中的根本原理之一。由于公路客、貨運輸量受社會經(jīng)濟有關(guān)因素的綜合影響。所以，多元線性回歸預(yù)測首先是建立公路客、貨運輸量與其有關(guān)影響因素之間線性關(guān)系的數(shù)學(xué)模型。然后通過對各影響因素未來值的預(yù)測推算出公路客貨運輸量的預(yù)測值。三、公路客、貨運輸量多元線性回歸預(yù)測方法的實施步驟1.影響因素確實定影響公路客貨運輸量的因素很多，主要包括以下一些因素：(1)客運量影響因素人口增長量褲保有量、國民生產(chǎn)總值、國民收入工農(nóng)業(yè)總產(chǎn)值，根本建設(shè)投資額城鄉(xiāng)居民儲蓄額鐵路和水運客運量等。(2)貨運量影響因素人口貨車保有量(包括拖拉機)，國民生產(chǎn)總值，國民收入、工農(nóng)業(yè)總產(chǎn)值，根本建設(shè)投資額，主要工農(nóng)業(yè)產(chǎn)品產(chǎn)量，社會商品購置力，社會商品零售總額．鐵路和水運貨運量菩。上述影響因素僅是對一般而言，在針對具體研究對象時會有所增減。因此，在建立模型時只須列入重要的影響因素，對于非重要因素可不列入模型中。假設(shè)疏漏了某些重要的影響因素，那么會造成預(yù)測結(jié)果的失真。另外，影響因素太少會造成模型的敏感性太強．反之，假設(shè)將非重要影響因素列入模型，那么會增加計算工作量，使模型的建立復(fù)雜化并增大隨機誤差。影響因素的選擇是建立預(yù)測模型首要的關(guān)鍵環(huán)節(jié)，可采取定性和定量相結(jié)合的方法進行．影響因素確實定可以通過專家調(diào)查法，其目的是為了充分發(fā)揮專家的聰明才智和經(jīng)驗。具體做法就是通過對長期從事該地區(qū)公路運輸企業(yè)和運輸管理部門的領(lǐng)導(dǎo)干部、專家、工作人員和行家進行調(diào)查。可通過組織召開座談會．也可以通過采訪，填寫調(diào)查表等方法進行，從中選出主要影響因素為了防止影響因素確定的隨意性，提高回歸模型的精度和減少預(yù)測工作量，可通過查閱有關(guān)統(tǒng)計資料后，再對各影響因素進行相關(guān)度(或關(guān)聯(lián)度)和共線性分析，從而再次篩選出最主要的影響因素．所謂相關(guān)度分析就是將各影響因素的時間序列與公路客貨運量的時間序列做相關(guān)分杯事先確定—個相關(guān)系數(shù)，對相關(guān)系數(shù)小于的影響因素進行淘汰．關(guān)聯(lián)度是灰色系統(tǒng)理論中反映事物開展變化過程中各因素之間的關(guān)聯(lián)程度，可通過建空公路客、貨運量與各影響影響因素之間關(guān)聯(lián)系數(shù)矩陣，按一定的標(biāo)準(zhǔn)系數(shù)舍去關(guān)聯(lián)度小的影響因素．所謂共線性是指某些影響因素之問存在著線性關(guān)系或接近于線性關(guān)系．由于公路運輸經(jīng)濟自身的特點，影響公路客，貨運輸量的諸多因素之問總是存在著一定的相關(guān)性，持別是與國民經(jīng)濟有關(guān)的一些價值型指標(biāo)。我們研究的不是有無相關(guān)性問題而是共線性的程度，如果影響因素之間的共線性程度很高，首先會降低參數(shù)估計值的精度。其次在回歸方程建立后的統(tǒng)計檢驗中導(dǎo)致舍去重要的影響因素或錯誤的地接受無顯著影響的因素，從而使整個預(yù)測工作失去實際意義。關(guān)于共線性程度的判定，可利用逐步分析估計法的數(shù)理統(tǒng)計理論編制計算機程序來實現(xiàn)?；蛘咄ㄟ^比擬rij和R2的大小來判定。在預(yù)測學(xué)上，一般認為當(dāng)rij>R2時，共線性是嚴重的，其含義是，多元線性回歸方程中所含的任意兩個自變量xi,xj之間的相關(guān)系數(shù)rij大于或等于該方程的樣本可決系數(shù)R2時，說明自變量中存在著嚴重的共線性問題。2.建立經(jīng)驗線性回歸方程利用最小二乘法原理尋求使誤差平方和到達撮小的經(jīng)驗線性回歸方程：y——預(yù)測的客、貨運量g——各主要影響因數(shù)3.數(shù)據(jù)整理對收集的歷年客、貨運輸量和各主要影響因素的統(tǒng)計資料進行審核和加工整理是為了保證預(yù)測工作的質(zhì)量。資料整理主要包括以下內(nèi)容：(1)資料的補缺和推算。(2)對不可靠資料加以核實調(diào)整．對查明原因的異常值加以修正。(3)對時間序列中不可比的資料加以調(diào)整和標(biāo)準(zhǔn)化；對按當(dāng)年價格計算的價值指標(biāo)應(yīng)折算成按統(tǒng)。4.多元線性回歸模型的參數(shù)估計在經(jīng)驗線性回歸模型中，是要估計的參數(shù)，可通過數(shù)理統(tǒng)計理論建立模型來確定。在實際預(yù)測中，可利用多元線性回歸復(fù)相關(guān)分析的計算機程序來實現(xiàn)·5.對模型參數(shù)的估計值進行檢驗。此項工作的目的在于判定估計值是否滿意、可靠。一般檢驗工作須從以下幾方面來進行。經(jīng)濟意義檢驗關(guān)于經(jīng)濟預(yù)測的數(shù)學(xué)模型，首先要檢驗?zāi)Ｐ褪欠裼薪?jīng)濟意義，γp假設(shè)參數(shù)估計值的符號和大小與公路運輸經(jīng)濟開展以及經(jīng)濟判別不符合時，這時所估計的模型就不能或很難解釋公路運輸經(jīng)濟的一般開展規(guī)律．就應(yīng)拋棄這個模型．需要重新構(gòu)造模型或重新挑選影響因素。統(tǒng)計檢驗統(tǒng)計檢驗是數(shù)理統(tǒng)計理論的重要內(nèi)容，用于檢驗?zāi)Ｐ凸烙嬛档目煽啃?。通常，在公路客、貨運量預(yù)測中應(yīng)采用的統(tǒng)計檢驗是：擬合度檢驗所謂擬合度是指所建立的模型與觀察的實際情況軌跡是否吻合、接近，接近到什么程度。統(tǒng)計學(xué)是通過構(gòu)造統(tǒng)計量R2來量度的，R2可由樣本數(shù)據(jù)計算得出。假設(shè)建立的模型愈接近于實際，那么R^2愈接近于1。回歸方程的顯著性檢驗回歸方程的顯著性檢驗是通過方差分析構(gòu)造統(tǒng)計量F來進行的，統(tǒng)計量F是通過樣本數(shù)據(jù)計算得出的。當(dāng)給定某一置信度后，可以通過查閱F表來確定回歸模型從總體效果來看是否可以采納。參數(shù)估計值的標(biāo)準(zhǔn)差檢驗估計值的標(biāo)準(zhǔn)差是衡量估計值與真實參數(shù)值的離差的一種量度。參數(shù)的標(biāo)準(zhǔn)差越大，估計值的可靠性也就越??；反之，如果標(biāo)準(zhǔn)差越小，那么估計值的可靠性也就越大。參數(shù)值標(biāo)準(zhǔn)差的檢驗，可以通過構(gòu)造大統(tǒng)計量來進行量度。當(dāng)給定某一置信度后，可以通過查表來確定模型中某個參數(shù)估計值的可靠性。應(yīng)當(dāng)強調(diào)指出．統(tǒng)計檢驗相對于經(jīng)濟意義檢驗來說是第二位的。如果經(jīng)濟意義檢驗不合理，那么即使統(tǒng)計檢驗可以到達很高的置信度，也應(yīng)當(dāng)拋棄這種估計結(jié)果，因為用這樣的結(jié)果來進行經(jīng)濟預(yù)測是沒有意義的。6.最優(yōu)回歸方程確實定經(jīng)過上述的經(jīng)濟意義和統(tǒng)計檢驗后，挑選出的線性回歸方程往往是好幾個、為了從中優(yōu)選出用于進行實際預(yù)測的方程，我們可以采用定性和定量相結(jié)合的方法。從數(shù)理統(tǒng)計的原理來講，應(yīng)挑選方程的剩余均方和S·E較小為好．但作為經(jīng)濟預(yù)'刪還必須盡量考慮到方程中的影響因素更切合實際和其未來值更易把握的原那么來綜合考慮。當(dāng)然、有時也可以從中挑選出好幾個較優(yōu)的回歸方程．通過預(yù)測后，分別作為不同的高、中、低方案以供決策人員選擇。7.模型的實際預(yù)測檢驗在獲得模型參數(shù)估計值后，又經(jīng)過了上述一系列檢驗而選出的最優(yōu)(或較優(yōu))回歸方程，還必須對模型的預(yù)測能力加以檢驗。不難理解、最優(yōu)回歸方程對于樣本期間來說是正確的，但是對用于實際預(yù)測是否適宜呢?為此，還必須研究參數(shù)估計值的穩(wěn)定性及相對于樣本容量變化時的靈敏度，也必須研究確定估計出來的模型是否可以用于樣本觀察值以外的范國，其具休做法是：(1)采用把增大樣本容量以后模型估計的結(jié)果與原來的估計結(jié)果進行比擬，并檢驗其差異的顯著性。(2)把估計出來的模型用于樣本以外某一時間的實際預(yù)測，并將這個預(yù)測值與實際的觀察值作一比擬，然后檢驗其差異的顯著性。8.模型的應(yīng)用公路客、貨運輸量多元線性回歸預(yù)測模型的研究目的主要有以下幾個方面。(1)進行結(jié)構(gòu)分析，研究影響該地區(qū)的公路客、貨運輸量的主耍因素和各影響因素影響程度的大小，進一步探討該地區(qū)公路運輸經(jīng)濟理論。(2)預(yù)測該地區(qū)今后年份的公路客、貨運輸量的變化，以便為公路運輸市場、公路運輸政策及公路運輔建設(shè)工程投資作出正確決策提供理論依據(jù)。另外，還可以通過公路客．貨運輸量與公路交通量作相關(guān)分析來對公路的飽和度開展趨勢進行預(yù)測。從而為公路的新建、擴建工程的投資提供決策分析。(3)模擬各種經(jīng)濟政策下的經(jīng)濟效果，以便對有關(guān)政策進行評價。四、經(jīng)調(diào)查分析，影響某地區(qū)旅客運輸量的因素為。x1——國民收入x2——工農(nóng)業(yè)總產(chǎn)值x3——社會總產(chǎn)值x4——人口x5——客車保有量x6——城鄉(xiāng)居民儲蓄存款經(jīng)計算得以下相關(guān)系數(shù)表：x1x2x3x4x5x6Y0.94390.9287O.90430.99140.96700.7021Z0.97360.96l4O.9326O.8645O.93210.6678Y——客運盈Z——