一元線性回歸預(yù)測(cè)法與多元回歸

一元線性回歸分析預(yù)測(cè)法概念（思路）根據(jù)預(yù)測(cè)變量（因變量）Y和影響因素（自變量）X的歷史統(tǒng)計(jì)數(shù)據(jù)，建立一元線性回歸方程，然后代入X的預(yù)測(cè)值，求出Y的預(yù)測(cè)值的方法?；竟剑簓=a+bx其中：a、b為回歸系數(shù)，是未知參數(shù)。基本思路：利用X，Y的歷史統(tǒng)計(jì)數(shù)據(jù)，求出合理的回歸系數(shù)：a、b，確定出回歸方程根據(jù)預(yù)計(jì)的自變量x的取值，求出因變量y的預(yù)測(cè)值。一元線性回歸方程的建立使用散點(diǎn)圖定性判斷變量間是否存在線性關(guān)系例：某地區(qū)民航運(yùn)輸總周轉(zhuǎn)量和該地區(qū)社會(huì)總產(chǎn)值由密切相關(guān)關(guān)系。染年份日總周轉(zhuǎn)量（致億噸公里）晌Y屈社會(huì)總產(chǎn)值非(析百億元耽)X鴉1饒12.5勻30遣2晚14.5臘36基3垃14.7獨(dú)38緒4稍15.1攀41甜5鬧15.5盞48友6隨16.8狂52襖7廚17.5乳53關(guān)8掉18.2根53.5請(qǐng)9探18.8勵(lì)55使用最小二乘法確定回歸系數(shù)使實(shí)際值與理論值誤差平方和最小的參數(shù)取值。對(duì)應(yīng)于自變量xi，預(yù)測(cè)值（理論值）為b+m*xi，實(shí)際值yi，min∑(yi-b-mxi)2，求a、b的值。使用微積分中求極值的方法，得：顧由下列方程餃代表的直線竭的最小二乘萌擬合直線的遷參數(shù)公式：陣其中m泥代表斜率洗，b代表氣截距。茄一元線性回凱歸沙.醬xls嘗回歸方程的純顯著性檢驗(yàn)渣判斷X、Y狹之間是否確良有線性關(guān)系弱，判定回歸撲方程是否有憑意義。壺有兩類(lèi)檢驗(yàn)琴方法：相關(guān)抹系數(shù)檢驗(yàn)法隊(duì)和方差分析贈(zèng)法控相關(guān)系數(shù)檢兩驗(yàn)法寫(xiě)構(gòu)造統(tǒng)計(jì)量虜r慢相關(guān)系數(shù)的判取值范圍為艘：[-1，女1渠]躺，|r|的戒大小反映了興兩個(gè)變量間蹦線性關(guān)系的給密切程度，款利用它可以返判斷兩個(gè)變竄量間的關(guān)系更是否可以用伍直線方程表崗示。趙r值幟兩變量之間鏟的關(guān)系濃r=1陪完全正相關(guān)寫(xiě)1>r>0釣正相關(guān)，越捆接近1，相何關(guān)性越強(qiáng)。濫越接近0，利相關(guān)性越弱蘇r=0橡不線性相關(guān)黃0>r>-愈1而負(fù)相關(guān)，越鏡接近-1，越相關(guān)性越強(qiáng)嫌；越接近0雹，相關(guān)性越挪弱止r=-1蠶完全負(fù)相關(guān)精兩個(gè)變量是雅否存在線性庫(kù)相關(guān)關(guān)系的息定量判斷規(guī)窮則：唐對(duì)于給定的仙置信水平丑α隔，從相關(guān)系幅數(shù)臨界值表衛(wèi)中查出r惕臨倚（n-2）腦，把其與用次樣本計(jì)算出售來(lái)的統(tǒng)計(jì)量濾r鼠0候比較：逢若|r傘0絡(luò)|〉r油臨積（n-2）灶成立，則認(rèn)腔為X、Y之瓦間存在線性令關(guān)系，回歸蹤方程在丘α神水平上顯著兄。差異越大哪，線性關(guān)系平越好。反之策則認(rèn)為不顯野著，回歸方仇程無(wú)意義，適變量間不存權(quán)在線性關(guān)系芝。枝其中：n為龜樣本數(shù)。叨方差分析法寺：籃方差分析的捉基本特點(diǎn)是晉把因變量的蜓總變動(dòng)平方稍和分為兩部偉分，一部分抱反映因變量僚的實(shí)際值與掠用回歸方程矛計(jì)算出的理泄論值之差，朵一部分反映呈理論值與實(shí)熊際值的平均而值之差。洲Y的總變差抖=Y的殘余貍變差+Y的賢說(shuō)明變差，喉SST=S灰SE+SS獻(xiàn)R字或：總離差湊平方和=?；j余平方和+桃回歸平方和晴回歸平方和塘U與剩余平乞方和Q相比愿越大，說(shuō)明倆回歸效果越持好。即注：在方差表分析中，已巾被解釋的和守未被解釋的繡變差除以相貢應(yīng)的自由度項(xiàng)的個(gè)數(shù)即變責(zé)為方差。Y典的方差是Y慮的總偏差平樓方和除以n鉤-1，被解燃釋的方差等戰(zhàn)于被解釋的段變差（因?yàn)榧喕貧w只比估橋計(jì)Y的均值滑多用一個(gè)約屯束條件），哪殘余方差等門(mén)于殘差偏差跪平方和除以揭n-2，殘車(chē)差的方差S炒2駕是誤差方差繼的無(wú)偏且一紡致的估計(jì)（港S叫做回歸輸標(biāo)準(zhǔn)差）S捏2影=Q/(n供-m)般定量判斷回姓歸有效性有子兩種方法：寫(xiě)可決系數(shù)檢干驗(yàn)法伍擬合優(yōu)度男統(tǒng)計(jì)量；判境定系數(shù)：躍r塔2許=SSR/芳SST=U賺/S鞏yy脾尤嘴調(diào)整的r白2鋸筐=肥1-[Q/狠(n-m)造]/[Sy誓y/(n-啊1)]計(jì)復(fù)相關(guān)系數(shù)躁檢驗(yàn)法壺：構(gòu)造統(tǒng)計(jì)榮量R=SQ無(wú)RT［1-扯Q/S慘yy厘］=SQR鄙T（U/S亭yy獄）判斷規(guī)則：尺對(duì)于給定的論置信度單α濤，從相關(guān)系尊數(shù)r分布表屑中查出r作臨尺（n-m）奮，把其與用劇樣本計(jì)算出冷來(lái)的統(tǒng)計(jì)量界R溫0泄比較：兆若R尸0旬〉r家臨槽（n-m）獄成立，則認(rèn)較為回歸方程廳在洗α扁水平上顯著纖。反之則認(rèn)撇為不顯著，賠回歸方程無(wú)府意義，變量?jī)鲩g不存在線布性關(guān)系。揭F檢驗(yàn)法：寇構(gòu)造統(tǒng)計(jì)量論F=（U/模m-1）/臣［Q/（n紐-m）］仍其中：m為富變量個(gè)數(shù)（茂總數(shù)）；n經(jīng)為樣本數(shù)。發(fā)統(tǒng)計(jì)量F服蒸從第一自由光度為m-1話、第二自由躬度為n-m謊的絹F（m-1淺，n-m）域分布。睡F=r獅2敞/(1-r袍2煙)*(n-拿m)/(m熄-1)判斷規(guī)則：妙對(duì)于給定的露置信度骨α疤，從F分布度表中查出F盾α圍（m-1，愁n-m），教把其與用樣停本計(jì)算出來(lái)超的統(tǒng)計(jì)量F錦0銹比較：宮若F舊0復(fù)〉F我α肝（m-1，劑n-m）成癢立，則認(rèn)為鋸回歸方程在發(fā)α嗽水平上顯著甚。反之則認(rèn)碌為不顯著，躺回歸方程無(wú)擊意義，變量遍間不存在線陳性關(guān)系。鞏回歸方程沒(méi)厚有通過(guò)檢驗(yàn)宰的原因昂定性分析選動(dòng)擇的各變量絞間，本來(lái)不孩存在因果關(guān)箱系。定性分罪析設(shè)想不準(zhǔn)掩確。包選擇的變量域間存在因果翁關(guān)系，但還事存在其它起般著更重要作暮用的變量尚質(zhì)未列入模型輸之中。培選擇變量之給間的關(guān)系是令非線性關(guān)系版。速利用檢驗(yàn)通碼過(guò)的回歸方跌程進(jìn)行預(yù)測(cè)嗎y=6.3鍬4+0.2隨13x認(rèn)點(diǎn)估計(jì)值：攜若給定x值箱，則y的預(yù)會(huì)測(cè)值為6.周34+0.參213*5帶8=18.委69區(qū)間估計(jì)：謠標(biāo)準(zhǔn)誤差：侵S=sqr憂t((棗∑孟e^2)/揀(n-m)羅)語(yǔ)一元非線性恭回歸分析預(yù)狹測(cè)法牛思路：與一托元線性回歸瓜分析基本相蔥同。即通過(guò)讀變量替換將贊非線性方程辯轉(zhuǎn)化為線性避方程；使用考最小二乘法舌建立線性回逗歸方程；在堤通過(guò)逆變換飾將線性方程兵轉(zhuǎn)化為非線奸性方程。品函數(shù)的線性魄變換及逆變調(diào)換是個(gè)數(shù)學(xué)農(nóng)問(wèn)題，不講炊了。娛例題，參見(jiàn)羅160頁(yè)：近航空貨物周判轉(zhuǎn)量=a*插（社會(huì)總產(chǎn)震值）運(yùn)α遍孔196頁(yè)，黑SB機(jī)場(chǎng)空屯運(yùn)需求預(yù)測(cè)被柔202頁(yè)，僅利雅得國(guó)際斑機(jī)場(chǎng)業(yè)務(wù)量沈預(yù)測(cè)暈多元回歸分逮析思路呀多元非線性林回歸分析處——惡轉(zhuǎn)換為多元爭(zhēng)線性回歸分駁析，多元線舅性回歸分析陳，與一元線陸性回歸分析把基本相同，桐只是在自變狗量的選定上蛾、求解回歸燃方程及統(tǒng)計(jì)關(guān)檢驗(yàn)等方面坐比一元回歸迎要復(fù)雜一些禁。海設(shè)多元線性鎖回歸模型為唇：y=b兼0委+b耕1欠*x尸1依+b頁(yè)2弊*x齊2仙+雖……卻+b待m議*x鈔m薪參數(shù)求法為五最小二乘法拒：弓min淋∑允（y與i莊-（b最0席+b犯1兼*x次1i紋+b略2袖*x啄2i袍+惜……歌+b脖m侍*x成mi域觸））觸2偶分別對(duì)bj殲求偏導(dǎo)數(shù)，腐偏導(dǎo)數(shù)等于著0時(shí)，上式多取得最小值捕。失可以得到m釋+1個(gè)關(guān)于貢bj的標(biāo)準(zhǔn)轎方程，使用島線性代數(shù)中紗的行列式解簡(jiǎn)法，可以求魄出回歸系數(shù)刮bj。背以二元回歸雜分析為例，伶說(shuō)明多元回羅歸方程的建議立狼定性判斷得篇知，因變量奶Y與自變量路X1,X嗎2存在線性嘉相關(guān)關(guān)系。豐模型形式為貝：y=b鵲0爺+b香1三*x講1吼+b刺2輪*x諒2投確定回歸系歐數(shù)b飯0像、b渠1篩、b接2誦，最小二乘迎法。分別對(duì)組b桃0牛、b刻1朝、b葡2詞求偏導(dǎo)，令友偏導(dǎo)數(shù)=0繼，構(gòu)成如下賞方程組：鐘手工列表計(jì)濕算：殲回歸方程的添統(tǒng)計(jì)檢驗(yàn)沒(méi)回歸方程的騙顯著性檢驗(yàn)古，檢驗(yàn)回歸防方程的有效芽性唯檢驗(yàn)方法有述：F檢驗(yàn)法掙、復(fù)相關(guān)系幟數(shù)檢驗(yàn)法塵回歸系數(shù)的框顯著性檢驗(yàn)振，檢驗(yàn)回歸趴系數(shù)的有效地性，腰檢驗(yàn)方法有傘：t檢驗(yàn)法蜜構(gòu)造統(tǒng)計(jì)量栽t扮其中：m為栽變量個(gè)數(shù)；賊n為樣本數(shù)址。天統(tǒng)計(jì)量t服言從自由度為坑n-m的t雜（n-m）健分布。判斷規(guī)則：邪對(duì)于給定的陷置信度民α膀，從t分布累表中查出t處α帽/2項(xiàng)（n-m）丹，把其與用吐樣本計(jì)算出機(jī)來(lái)的統(tǒng)計(jì)量腿t潔0愚比較：煤若t恐0乞〉t誼α列（n-m）角成立，則認(rèn)騰為回歸方程澇在標(biāo)α漢水平上顯著液。反之則認(rèn)價(jià)為不顯著，呆回歸系數(shù)無(wú)扶意義，變量屆間不存在線耗性相關(guān)關(guān)系他。喪統(tǒng)計(jì)假設(shè)檢尖驗(yàn)總結(jié)：對(duì)瘡于一元回歸蘋(píng)，四種檢驗(yàn)壤方法選一即傍可；對(duì)于多鋒元回歸必須埋進(jìn)行t檢驗(yàn)事和R、F間丸嚴(yán)重的一種脆。凍檢驗(yàn)?zāi)康呐瑱z驗(yàn)方法雅統(tǒng)計(jì)量絕判斷規(guī)則閑檢驗(yàn)回歸方仁程的有效性砌相關(guān)系數(shù)檢道驗(yàn)法址r格復(fù)相關(guān)系數(shù)叉檢驗(yàn)法足R秤F檢驗(yàn)吃F達(dá)檢驗(yàn)回歸系志數(shù)的有效性鼠t檢驗(yàn)柏t例題：充國(guó)外預(yù)測(cè)模左型簡(jiǎn)介尊全行業(yè)運(yùn)量疼預(yù)測(cè)趴幾個(gè)基本問(wèn)殃題及內(nèi)在假舉設(shè)系自變量的選發(fā)擇籃——箱（回歸分析陰測(cè)法的程序涂）軋確定預(yù)測(cè)變堤量直確定影響預(yù)鳥(niǎo)測(cè)變量的因遲素程——音定性分析暑，博具有經(jīng)濟(jì)上摔的意義和內(nèi)睛在的因果關(guān)醫(yī)系步。蜂收集整理預(yù)妹測(cè)變量及其淘影響因素的灶歷史統(tǒng)計(jì)資蠶料語(yǔ)分析因變量版和自變量的峰關(guān)系，確定欄回歸模型隱——挨定量分析，減因變量與自賭變量、自變擊量之間的相塑關(guān)系數(shù)，判酒別因變量和旗自變量是否往顯著相關(guān)，具顯著相關(guān)的訪影響因素作誼為自變量；減同時(shí)與因變予量不相關(guān)或廣與某個(gè)自變島量高度線性切相關(guān)的自變沾量，應(yīng)予剔習(xí)除欲。和實(shí)踐經(jīng)驗(yàn)確費(fèi)定餡散點(diǎn)圖分析構(gòu)確定由理論試算（揪計(jì)算擬和誤縫差（預(yù)測(cè)誤許差）），選濫出擬和程度麥最好的模型零求解模型參樂(lè)數(shù)，建立回吼歸方程喝檢驗(yàn)回歸方盜程的有效性挎利用檢驗(yàn)通撿過(guò)的回歸方縣程進(jìn)行預(yù)測(cè)邪，并確定預(yù)色測(cè)值的置信芬區(qū)間煩多元共線性照（多重共線塵性）話概念：回歸調(diào)分析中，自會(huì)變量之間存孩在著相關(guān)關(guān)綢系，稱(chēng)這種谷關(guān)系為多元羽共線性?？喽嘣貧w分娛析的假設(shè)是塞自變量之間咱是獨(dú)立的。楚得出的參數(shù)瓶估計(jì)值是不扛可靠的。士例如：某省揭宏觀經(jīng)濟(jì)模姜型中，拐建筑業(yè)產(chǎn)值桂=2.16叔84+0.裹1601*扒工業(yè)總產(chǎn)值異-0.07喝95*上年閘工業(yè)總產(chǎn)值摸+0.56鐵51*上年掙建筑業(yè)產(chǎn)值煉負(fù)號(hào)的出現(xiàn)基很難解釋?zhuān)粕夏旯I(yè)總泊產(chǎn)值和上年頭建筑業(yè)產(chǎn)值喊存在共線性岸。效檢驗(yàn)多元共達(dá)線性的方法漏：帶U西——χ朗2閃（m-1）粒分布強(qiáng)Q險(xiǎn)——χ煎2釘（n-m）口分布無(wú)S派yy蹲——χ捐2顯（n-1）稱(chēng)分布鄭擬和優(yōu)度判吵定系數(shù)：愚判定系數(shù)法永：把某自變塊量用其它自傻變量進(jìn)行回野歸計(jì)算，計(jì)竟算相應(yīng)的判景定系數(shù)R岡2筑，若R守2叔較大，說(shuō)明含本自變量可興以用其它自敘變量的線性眼組合替代，巖存在多重共留線性?；蛘吒裼靡蜃兞糠趾葎e與含有本霜自變量或不泳含有本自變布量的自變量蛋組合進(jìn)行回絮歸計(jì)算，若隆兩者計(jì)算的冬判定系數(shù)差另不多，則說(shuō)牌明本自變量候與其它自變檢量間存在多丙元共線性。技逐步回歸法富：逐個(gè)引進(jìn)尤自變量，根介據(jù)R蠶2貼的變化情況衣判斷是否存吵在多重共線哭性。若R例2珠變化顯著，子則不存在多蜘重共線性，叉應(yīng)引入；若撓R碗2芝無(wú)顯著變化城，則無(wú)需引削入。錦偏相關(guān)系數(shù)勻檢驗(yàn)法，計(jì)凝算兩兩變量滑間的相關(guān)系尤數(shù)，進(jìn)行分沉析檢驗(yàn)。格自相關(guān)（序鍵列相關(guān)）賽概念：若隨婆機(jī)誤差項(xiàng)在數(shù)不同樣本之躬間存在相關(guān)卸性，e棒i礦與e論j做相關(guān)，則稱(chēng)陵為序列相關(guān)扁；較多的是演e好i烘與e徒I督+1飾之間序列相輪關(guān)，稱(chēng)為自叉相關(guān)墾自相關(guān)的檢皺驗(yàn)：桑達(dá)賓萄—桿沃爾森檢驗(yàn)鞠計(jì)算出D.北W值后，查咸達(dá)賓準(zhǔn)—謙沃爾森檢驗(yàn)循表判定是否么存在自相關(guān)乏。紹馮諾曼比檢壘驗(yàn)回歸檢驗(yàn)線性假設(shè)恨回歸的另一盆假設(shè)是線性雷假設(shè)，因變煩量和自變量紛間的關(guān)系可侍以用線性表開(kāi)示出來(lái)。無(wú)誤法將其轉(zhuǎn)化辨為線性的回鴨歸方程，不磨能采用回歸侵分析方法，危而要采取別祥的方法，如塞仿真方法。樣本數(shù)據(jù)禽樣本數(shù)據(jù)的籠多少，影響漲變量個(gè)