回歸分析方法總結(jié)模板全面

回歸分析方法總結(jié)模板全面回歸分析方法總結(jié)模板全面回歸分析方法總結(jié)模板全面一、什么是回歸分析回歸分析(RegressionAnalysis)是研究變量之間作用關(guān)系的一種統(tǒng)計分析方法，其基本構(gòu)成是一個（或一組）自變量與一個（或一組）因變量。回歸分析研究的目的是經(jīng)過采集到的樣本數(shù)據(jù)用必然的統(tǒng)計方法商討自變量對因變量的影響關(guān)系，即原由對結(jié)果的影響程度?；貧w分析是指對擁有高度有關(guān)關(guān)系的現(xiàn)象，依據(jù)其有關(guān)的形態(tài)，成立一個適合的數(shù)學(xué)模型(函數(shù)式)，來近似地反應(yīng)變量之間關(guān)系的統(tǒng)計分析方法。利用這類方法成立的數(shù)學(xué)模型稱為回歸方程，它其實是有關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)目關(guān)系的一般化。二、回歸分析的種類按波及自變量的多少，可分為一元回歸分析和多元回歸分析一元回歸分析是對一個因變量和一個自變量成立回歸方程。多元回歸分析是對一個因變量和兩個或兩個以上的自變量成立回歸方程。按回歸方程的表現(xiàn)形式不一樣樣，可分為線性回歸分析和非線性回歸分析若變量之間是線性有關(guān)關(guān)系，可經(jīng)過成立直線方程來反應(yīng)，這類分析叫線性回歸分析。若變量之間是非線性有關(guān)關(guān)系，可經(jīng)過成立非線性回歸方程來反應(yīng)，這類分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容成立有關(guān)關(guān)系的數(shù)學(xué)表達式。依據(jù)現(xiàn)象之間的有關(guān)形態(tài)，成立適合的數(shù)學(xué)模型，經(jīng)過數(shù)學(xué)模型來反應(yīng)現(xiàn)象之間的有關(guān)關(guān)系，從數(shù)目上近似地反應(yīng)變量之間改動的一般規(guī)律。依據(jù)回歸方程進行回歸展望。因為回歸方程反應(yīng)了變量之間的一般性關(guān)系，所以當(dāng)自變量發(fā)生變化時，可依據(jù)回歸方程預(yù)計出因變量可能發(fā)生相應(yīng)變化的數(shù)值。因變量的回歸預(yù)計值，固然不是一個必然的對應(yīng)值(他可能和系統(tǒng)真值存在比較大的差距)，但最少能夠從一般性角度或均勻意義角度反應(yīng)因變量可能發(fā)生的數(shù)目變化。計算預(yù)計標(biāo)準偏差。經(jīng)過預(yù)計標(biāo)準偏差這一指標(biāo)，能夠分析回歸預(yù)計值與實質(zhì)值之間的差別程度以及預(yù)計值的正確性和代表性，還可利用預(yù)計標(biāo)準偏差對因變量預(yù)計值進行在必然掌握程度條件下的區(qū)間預(yù)計。四、一元線性回歸分析一元線性回歸分析的特色兩個變量不是相同關(guān)系，必然明確自變量和因變量。2)假如x和y兩個變量無顯然因果關(guān)系，則存在著兩個回歸方程：一個是以x為自變量，y為因變量成立的回歸方程；另一個是以y為自變量，x為因變量成立的回歸方程。若繪出圖形，則是兩條斜率不一樣樣的回歸直線。3)直線回歸方程中，回歸系數(shù)b能夠是正當(dāng)，也能夠是負值。若0b>，表示直線上漲，說明兩個變量同方向改動；若0b<，表示直線降落，說明兩個變量是反方向改動。成立一元線性回歸方程的條件任何一種數(shù)學(xué)模型的運用都是有前提條件的，配合一元線性回歸方程應(yīng)具備以下兩個條件：兩個變量之間必然存在高度有關(guān)的關(guān)系。兩個變量之間只有存在著高度有關(guān)的關(guān)系，回歸方程才有實質(zhì)意義。兩個變量之間的確表現(xiàn)直線有關(guān)關(guān)系。兩個變量之間只有存在直線有關(guān)關(guān)系，才能配合直線回歸方程。成立一元線性回歸方程的方法一元線性回歸方程是用于分析兩個變量（一個因變量和一個自變量）線性關(guān)系的數(shù)學(xué)表達式，一般形式為：yc=a+bx式中：x代表自變量；yc代表因變量y的預(yù)計值(又稱理論值)；ab為回歸方程參數(shù)。此中，a是直線在y軸上的截距，它表示當(dāng)自變量x等于0時，因變量所達到的數(shù)值；b是直線的斜率,在回歸方程中亦稱為回歸系數(shù),它表示當(dāng)自變量x每改動一個單位時，因變量y均勻改動的數(shù)值。一元線性回歸方程應(yīng)依據(jù)最小二乘法原理成立，因為只合用最小二乘法原理成立的回歸方程才能夠同時知足兩個條件：因變量的實質(zhì)值與回歸預(yù)計值的離差之和為零；因變量的實質(zhì)值與回歸預(yù)計值的離差平方和為最小值。只有知足這兩個條件，成立的直線方程的偏差才能最小，其代表性才能最強。此刻令要成立的一元線性回歸方程的標(biāo)準形式為yc=a+bx,依據(jù)最小二乘法原理，因變量實質(zhì)y與預(yù)計值yc的離差平方和為最小值,即Q=∑(y-yc)2獲得最小值。為使Q=∑(y-yc)2=最小依據(jù)微積分中求極值的原理，需分別對a,b求偏導(dǎo)數(shù)，并令其為0，經(jīng)過整理，可獲得以下方程組：y=an+b∑xxy=a∑x+b∑x2解此方程組，可求得a,b兩個參數(shù)4.計算預(yù)計標(biāo)準偏差回歸方程只反應(yīng)變量x和y之間大概的、均勻的變化關(guān)系。所以，對每一個給定的x值，回歸方程的預(yù)計值yc與因變量的實質(zhì)察看值y之間總會有必然的離差，即預(yù)計標(biāo)準偏差。預(yù)計標(biāo)準偏差是因變量實質(zhì)察看值y與預(yù)計值yc離差平方和的均勻數(shù)的平方根，它反應(yīng)因變量實質(zhì)值y與回歸直線上各相應(yīng)理論值yc之間隔散程度的統(tǒng)計分析指標(biāo)。預(yù)計標(biāo)準偏差：式中：sy——預(yù)計標(biāo)準偏差；y——因變量實質(zhì)察看值；yc——因變量預(yù)計值；n-2——自由度怎樣描述兩個變量之間線性有關(guān)關(guān)系的強弱利用有關(guān)系數(shù)r來權(quán)衡當(dāng)r>0時，表示x與y為正有關(guān);當(dāng)r<0時，表示x與y為負有關(guān)。5.殘差分析與殘差圖：殘差是指察看值與展望值（擬合值）之間的差，即是實質(zhì)察看值與回歸預(yù)計值的差在研究兩個變量間的關(guān)系時，要依據(jù)散點圖來大概判斷它們能否線性有關(guān)；判斷能否能夠用回歸模型來擬合數(shù)據(jù)；能夠經(jīng)過殘差來判斷模型擬合的見效，判斷原始數(shù)據(jù)中能否存在可疑數(shù)據(jù)，這方面的分析工作就稱為殘差分析。殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸能夠有不一樣樣的選擇；若模型選擇的正確，殘差圖中的點應(yīng)當(dāng)散布在以橫軸為心的帶狀地區(qū)，帶狀地區(qū)的寬度越窄精度越高。對于遠離橫軸的點，要特別注意。7.幾點講解：第一個樣本點和第6個樣本點的殘差比較大，需要確認在采集過程中能否有人為的錯誤。假如數(shù)據(jù)采集有錯誤，就應(yīng)當(dāng)予以糾正，此后再從頭利用線性回歸模型擬合數(shù)據(jù)；假如數(shù)據(jù)采集沒有錯誤，則需要找尋其余的原由。其余，殘差點比較均勻地落在水平的帶狀地區(qū)中，說明采納的模型計較適合，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)告精度越高。還能夠用判斷系數(shù)r2來刻畫回歸的見效，該指標(biāo)測度了回歸直線對察看數(shù)據(jù)的擬合程度，其計算公式是：此中：SSR-回歸平方和；SSE-殘差平方和；Sst=ssr+sse總離差平方和。由公式知，R（有關(guān)指數(shù)）的值越大，說明殘差平方和越小，也就是說模型擬合見效越好。在含有一個講解變量的線性模型中r2恰巧等于有關(guān)系數(shù)r的平方，即R2=r2在線性回歸模型中，R2表示講解變量對預(yù)告變量變化的貢獻率。R2越湊近1，表示回歸的效果越好（因為R2越湊近1，表示講解變量和預(yù)告變量的線性有關(guān)性越強）。假如某組數(shù)據(jù)可能采納幾種不一樣樣回歸方程進行回歸分析，則能夠經(jīng)過比較R2的值來做出選擇，即采納R2較大的模型作為這組數(shù)據(jù)的模型。總的來說：有關(guān)指數(shù)R2是胸懷模型擬合見效的一種指標(biāo)。在線性模型中，它代表自變量刻畫預(yù)告變量的能力。五、多元線性回歸分析在一元線性回歸分析中，因變量y只受某一個要素的影響，即只由一個自變量x來預(yù)計。但對于復(fù)雜的自然界中的問題，影響要素常常好多，在這類狀況下，因變量y要用多個自變量同時進行預(yù)計。比方，某種產(chǎn)品的總成本不只受原資料價錢的影響，并且也與產(chǎn)品產(chǎn)量、管理水相同要素有關(guān)；農(nóng)作物產(chǎn)量的髙低受品種、天氣、施肥量等多個要素的影響。描述因變量與兩個或兩個以上自變量之間的數(shù)目關(guān)系的回歸分析方法稱為多元線性回歸分析。它是一元線性回歸分析的推行，其分析過程相對復(fù)雜一些，但基本源理與一元線性回歸分析近似。多元線性回歸方程的一般表達式為：為便于分析，當(dāng)自變量好多時可采納兩個主要的自變量x1和x2。其線性回歸方程標(biāo)準式為：此中：yc為二元回歸預(yù)計值；a為常數(shù)項；b1和b2分別為y對x1和x2的回歸系數(shù)，b1表示當(dāng)自變量x2為一準時，因為自變量x1變化一個單位而使y均勻改動的數(shù)值，b2表示當(dāng)自變量x1為一準時，因為自變量x2變化一個單位而使y均勻改動的數(shù)值，所以，b1和b2稱為偏回歸系數(shù)。要成立二元回歸方程，重點問題是求出參數(shù)a，b1和b2的值，求解方法仍用最小二乘法，即分別對a，b1和b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得以下方程組：(二)在回歸分析中，平常稱自變量為回歸因子，一般用表示，而稱因變量為指標(biāo)，一般用表示。展望公式：，稱之為回歸方程。回歸模型，依據(jù)各樣原則能夠分為各樣模型：當(dāng)n=1時，稱為一元(單因子)回歸；當(dāng)n≥2時，稱為多元(多因子)回歸。2.當(dāng)f為線性函數(shù)時，稱為線性回歸；當(dāng)f為非線性函數(shù)時，稱為非線性(曲線)回歸。最小二乘準則：假定待定的擬合函數(shù)為，另據(jù)m個數(shù)據(jù)點，相當(dāng)于求解以下規(guī)劃問題：即便得總離差平方和最小。詳細在線性擬合的過程中，假定擬合函數(shù)為y=a+bx，a與b為待定系數(shù)，已知有m個數(shù)據(jù)點，分別為，應(yīng)用最小二乘法，就是要使：達到最小值。S看作自變量為a和b的連續(xù)函數(shù)，則依據(jù)連續(xù)函數(shù)達到及致電的必需條件，于是獲得：所以，當(dāng)S獲得最小值時，有：可得方程組為：稱這個方程組為正規(guī)方程組，解這個二元一次方程組，獲得：假如把已有數(shù)據(jù)描述成散點圖，并且從散點圖中能夠看出，各個數(shù)據(jù)點大概散布在一條直線周邊，不如設(shè)他們知足線性方程：此中，x為自變量，y為因變量，a與b為待定系數(shù)；ε成為偏差項或許擾動項。這里要對數(shù)據(jù)點做線性回歸分析，進而a和b就是待定的回歸系數(shù)，ε為隨機偏差。不如設(shè)獲得的線性擬合曲線為：這就是要分析的線性回歸方程。一般狀況下，獲得這個方程此后，主假如描述出回歸曲線，并且察看擬合見效和計算一些偏差分析指標(biāo)，比方最大點偏差、總方差和標(biāo)準差等。這里最缺少的就是一個一致的談?wù)撓到y(tǒng)，以下說明從概率角度確定的對于線性回歸的一套評價系統(tǒng)。在實質(zhì)的線性回歸分析中，除了預(yù)計出線性回歸系數(shù)a和b，還要計算y和x的有關(guān)程度，即有關(guān)性查驗。有關(guān)性查驗主要經(jīng)過計算有關(guān)系數(shù)來分析，有關(guān)系數(shù)的計算公式為：此中n為數(shù)據(jù)點的個數(shù)，為原始數(shù)據(jù)點，r的值能夠很好地反應(yīng)出線性有關(guān)程度的高低，一般來說，存在以下一些標(biāo)準：1.當(dāng)r→1或許r→-1時，表示y與x高度線性有關(guān)，于是由原始數(shù)據(jù)描述出的散點圖中所有數(shù)據(jù)點都散布在一條直線的周邊，分別稱為正有關(guān)和負有關(guān)；當(dāng)r→0時，表示y與x不有關(guān)，由原始數(shù)據(jù)描述出的散點圖的數(shù)據(jù)點一般呈無規(guī)律的特色四散散布；3.當(dāng)-1<r<0或許0<r<1時，y與x的有關(guān)程度介于1與2之間；4.假如r→1，則y與x線性有關(guān)程度越高；反之，假如r→0，則y與x線性有關(guān)程度越低。實質(zhì)計算r值的過程中，長列表計算，即：在實詰問題中，一般要保證回歸方程有最低程度的線性有關(guān)。因為好多實詰問題中，兩個變量之間其實不是線性的有關(guān)關(guān)系，或許說線性有關(guān)程度不高，此時硬給他成立線性回歸方程，顯然沒有太粗心義，也沒有什么合用價值。一般來說，把這個最低限度的值記為臨界值，稱之為有關(guān)性查驗標(biāo)準。所以，假如計算出r的值，并且知足，則符合有關(guān)性要求，線性回歸方程作用顯然。反之，假如，則線性回歸方程作用不顯然，就盡量不要采納線性回歸方程。臨界值的數(shù)值表以下：此中，自由度能夠由原始數(shù)據(jù)點的個數(shù)減去相應(yīng)的回歸方程的變量個數(shù)，比方線性回歸方程中有兩個變量，而數(shù)據(jù)點的個數(shù)為n個，則自由度為n-2.自由度一般記為f，但不要與一般的函數(shù)發(fā)生混雜。顯然性水平一般取為,,等，利用它能夠計算y與x之間有關(guān)關(guān)系的可信程度或許稱為置信水平，計算公式為：(這里取顯然性水平為α=)此刻介紹置信區(qū)間的問題，因為實質(zhì)偏差的存在，由線性擬合獲得的計算值跟實質(zhì)值之間必然存在必然的差距，其差值就是計算偏差。假定原始數(shù)據(jù)點為，計算獲得的數(shù)據(jù)點為，再給定周邊的一個區(qū)間：則實質(zhì)值yi可能落在這個區(qū)間內(nèi)，也可能落在這個區(qū)間外。假如所有的這些區(qū)間(認為中心，長度為)包括實質(zhì)值的個數(shù)占總數(shù)的比率達到95%或許以上，則稱這些區(qū)間的置信水平好多于95%依據(jù)以上的分析，能夠知道置信區(qū)間的見解，假如確定了置信水平為95%，進而能夠找到相應(yīng)的最小的t值，使得95%以上的實質(zhì)值落在區(qū)間內(nèi)，則稱為展望值知足置信水平95%的置信區(qū)間。一般狀況下，假如不做特別說明，置信區(qū)間的相應(yīng)置信水平默認為95%，置信區(qū)間反應(yīng)了回歸方程的合用范圍和精準度，特其余，當(dāng)所有失散數(shù)據(jù)散布在回歸曲線的附件，大概表現(xiàn)為正態(tài)散布時，置信區(qū)間為：此中S為該回歸模型的標(biāo)準差，計算公式為：或許為：那么，假如回歸方程為y=a+bx，則有兩條控制直線分別為和，他們代表了置信區(qū)間的上限和下限，以以下列圖所示：那么，能夠猜想實質(zhì)的數(shù)據(jù)點幾乎所有(最少95%)落在上圖兩條虛線所夾的地區(qū)內(nèi)。這里對回歸方程的應(yīng)用做一個總結(jié)：預(yù)計、展望指標(biāo)值。對于因子x的一個給定值x0，代入回歸展望方程即可求出相應(yīng)的指標(biāo)值，稱為指標(biāo)y0的點預(yù)計，相應(yīng)展望偏差為可是，真切指標(biāo)y0的值一般沒法確知，展望精度只好依據(jù)回歸偏差來做預(yù)計。在回歸展望中，展望的精度能夠用均方差和標(biāo)準差的比值來預(yù)計；2.預(yù)計指標(biāo)值范圍。預(yù)計指標(biāo)值的范圍，就是求給定置信區(qū)間。詳細的求法，要應(yīng)用到t散布；

x0

，相應(yīng)于某個給定的置信水平的