應(yīng)用回歸課程綜述

應(yīng)用回歸分析課程綜述材料回歸分析的基本思想和方法及“回歸”名稱的由來歸功于英國統(tǒng)計學(xué)家F.Galton。目前回歸分析已是統(tǒng)計學(xué)中一個非常重要的分支，在自然科學(xué)、管理科學(xué)和社會經(jīng)濟，生物科技，軍事國防等領(lǐng)域均有著非常廣泛的應(yīng)用。本學(xué)期學(xué)習(xí)由何曉群，劉文卿兩位學(xué)者編著的《應(yīng)用回歸分析》第三版，此書共有十章內(nèi)容。第一章到第十章由淺入深，循序漸進地講述了回歸分析的建模過程。本書概括起來可分為五大部分，分別為：回歸分析概述、線性回歸、回歸診斷及方法改進、非線性回歸以及含定性變量的回歸。下面將一次從這五個部分對本課程進行綜述。應(yīng)用回歸分析是統(tǒng)計學(xué)中的一個非常重要的分支，通過建立統(tǒng)計模型可以研究變量間相互關(guān)系的密切程度!結(jié)構(gòu)狀態(tài)以及模型預(yù)測”因此，應(yīng)用回歸分析在自然科學(xué)!管理科學(xué)和社會經(jīng)濟等領(lǐng)域應(yīng)用十分廣泛”目前國內(nèi)高校統(tǒng)計專業(yè)使用的回歸分析教材大致分兩類:一類面向數(shù)學(xué)系純數(shù)理類統(tǒng)計專業(yè)，這類教材結(jié)構(gòu)嚴(yán)謹(jǐn)，注重闡述回歸分析的理論和數(shù)學(xué)公式的推導(dǎo)。一類面向經(jīng)濟類統(tǒng)計專業(yè)，其內(nèi)容系統(tǒng)實用，注重對統(tǒng)計思想的分析和討論，我們目前使用的教材屬于后一類，是由何曉群、劉文卿主編的普通高等教育“十一五”國家級規(guī)劃教材。該教材的重點是結(jié)合SPSS軟件講述回歸分析中的各種方法，比較各種方法的適用條件，并正確解釋分析結(jié)果，僅對一些基本的公式和定理給出了推導(dǎo)和證明。本文主要介紹應(yīng)用回歸分析課程的目的、學(xué)習(xí)的主要內(nèi)容、該課程在實踐中的應(yīng)用以及學(xué)習(xí)該課程之后的心得體會，以求對應(yīng)用回歸分析有更深一步的理解和掌握。寫作的指導(dǎo)思想是在不失嚴(yán)謹(jǐn)?shù)那疤嵯拢黠@不同于純數(shù)理類教材，努力突出實際案例的應(yīng)用和統(tǒng)計思想的滲透，結(jié)合統(tǒng)計軟件全面系統(tǒng)地介紹回歸分析的實用方法，盡量結(jié)合中國社會經(jīng)濟、自然科學(xué)等領(lǐng)域的研究實例，把回歸分析的方法與實際應(yīng)用結(jié)合起來，注意定性分析與定量分析的緊密結(jié)合，努力把同行以及我們在實踐中應(yīng)用回歸分析的經(jīng)驗和體會融入其中。回歸分析是統(tǒng)計學(xué)中的一個非常重要的分支。它在自然科學(xué)、管理科學(xué)和社會、經(jīng)濟等領(lǐng)域應(yīng)用十分廣泛?；貧w分析是以概率論與數(shù)理統(tǒng)計為基礎(chǔ)，主要對隨機現(xiàn)象統(tǒng)計資料進行分析和推斷。通過本課程的教學(xué)，使學(xué)生掌握應(yīng)用統(tǒng)計的一些基本理論與方法，初步掌握利用回歸分析解決實際問題的能力。教學(xué)要求回歸分析研究具有相關(guān)關(guān)系的變量間的統(tǒng)計規(guī)律性，通過對本課程的系統(tǒng)學(xué)習(xí)，讓學(xué)生獲得回歸分析的基本知識，掌握基本應(yīng)用技能。要求學(xué)生掌握用經(jīng)典的線性回歸分析建模的方法，掌握回歸診斷的方法，并利用相關(guān)知識和方法解決現(xiàn)實中的實際問題。一、回歸分析概述變量間的統(tǒng)計關(guān)系要認(rèn)識和掌握客觀經(jīng)濟規(guī)律就必須探求經(jīng)濟想象間的經(jīng)濟變量之間的變化規(guī)律，變量間的統(tǒng)計關(guān)系是經(jīng)濟變量變化規(guī)律的重要特征。變量間的統(tǒng)計關(guān)系分為兩種：函數(shù)關(guān)系和相關(guān)關(guān)系（統(tǒng)計關(guān)系）。函數(shù)關(guān)系是一種極端的情況，即一個變量能完全決定另一個變量的變化，相關(guān)關(guān)系則不能完全決定。由此對兩種關(guān)系的研究已形成兩個重要的分支，叫做回歸分析和相關(guān)分析。兩種分析的方法，側(cè)重點不同，但又相互依存。回歸模型的建立過程修改模型應(yīng)用經(jīng)濟因素分析 I 經(jīng)濟變量控制 I 經(jīng)濟預(yù)測決策1）設(shè)置指標(biāo)變量回歸模型的一般形式如果變量七，氣，…,x與隨機變量y之間存在相關(guān)關(guān)系，則隨機變量 y與相關(guān)變量x,X,...,X之間的概率模型為TOC\o"1-5"\h\z1 2\o"CurrentDocument"y=f（x,x,...,x）+8 （1）重要知識點：古典線性回歸模型的基本假設(shè)1）解釋變量x，x，…，x是非隨機變量，觀測值x，x，…，x是常數(shù)。1 2 p i1i2 ip2） 等方差及不相關(guān)假定條件3） 正態(tài)分布的假定條件4） 通常為了便于數(shù)學(xué)上的處理，還要求n>P，即樣本量的個數(shù)要多于解釋變量的個數(shù)?；貧w分析應(yīng)用與發(fā)展迄今為止，回歸分析已有200年的歷史且應(yīng)用領(lǐng)域十分廣泛。在發(fā)展過程中，矩陣?yán)碚摵陀嬎銠C技術(shù)的發(fā)展為回歸分析的應(yīng)用提供了極大的方便;很多統(tǒng)計學(xué)方法也豐富回歸分析的理論和方法研究。如：時間序列分析、判別分析、主成分分析、因子分析、典型相關(guān)分析。目前自變量的選擇、穩(wěn)健回歸、回歸診斷、投影尋蹤、分位回歸、非參數(shù)回歸等。仍是統(tǒng)計學(xué)家研究的熱點話題。近年來新的研究方法也在不斷出現(xiàn)，如非參數(shù)統(tǒng)計、自助法、刀切法、經(jīng)驗貝葉斯估計等方法都對回歸分析起著滲透和促進的作用。二、線性回歸線性回歸中主要描述了一元線性回歸模型和多元線性回歸模型及其相關(guān)知識。一元線性回歸（1） 一元線性理論回歸模型即僅考慮兩個變量之間的關(guān)系，描述工與y之間的線性關(guān)系的數(shù)學(xué)形式為TOC\o"1-5"\h\zy=p+px+s （2）0 1則式（2）即為變量y對x的一元線性理論回歸模型。一般稱x為解釋變量（自變量），y為被解釋變量（因變量），p,p是未知參數(shù)，p為回歸常數(shù)，p為回歸系數(shù)，0 1 0 1s表示其他隨機因素的影響，通常滿足古典假定中零期望等方差的條件。（2） 回歸方程E（y|x）=p0+p1x （3）對式（2）兩邊同時求條件期望，可得式（3）。（3） 參數(shù)估計本書中參數(shù)估計的方法主要介紹普通最小二乘估計和極大似然估計。此外，參數(shù)估計的方法還有矩估計等經(jīng)典估計方法。1） 普通最小二乘估計2） 極大似然估計（4） 最小二乘估計的性質(zhì)1） 線性性性質(zhì)2） 無偏性3） 方差有效性（5） 回歸方程的統(tǒng)計學(xué)檢驗參數(shù)的顯著性檢驗（t檢驗），回歸方程的顯著性檢驗（F檢驗），相關(guān)系數(shù)的顯著性檢驗，擬合優(yōu)度的檢驗（R2）（6） 殘差分析1） 殘差圖識別2） 殘差的三個性質(zhì)（7） 預(yù)測和控制（8） 本章評注多元線性回歸分析（1）多元線性回歸的一般形式（2） 多元線性回歸模型的基本假定（3） 回歸參數(shù)的估計（4） 參數(shù)估計量的性質(zhì)（5） 回歸方程的統(tǒng)計學(xué)檢驗（6） 中心化和標(biāo)準(zhǔn)化（7） 相關(guān)陣和偏回歸系數(shù)樣本相關(guān)陣即為樣本觀測值之間的簡單相關(guān)系數(shù)矩陣。偏決定系數(shù)：偏決定系數(shù)測量在回歸方程中已包含若干個變量時，再引入某一個新的變量時，y的剩余殘差的相對減少量，它衡量的是自變量對y的變差減少的邊際貢獻。偏相關(guān)系數(shù)：在多元線性回歸分析中，當(dāng)其他變量被固定后，給定的任兩個變量之間的相關(guān)系數(shù)叫做偏相關(guān)系數(shù)。偏決定系數(shù)的平方根稱為偏相關(guān)系數(shù)。（8） 本章評注三、回歸診斷異方差性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗方法（4） 消除異方差性的方法自相關(guān)性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗方法（4） 消除自相關(guān)性性的方法多重共線性（1） 背景原因（2） 產(chǎn)生后果（3） 檢驗方法（4） 消除多重共線性的方法1） 提出一些不重要的解釋變量2） 增大樣本容量3） 逐步回歸法4） 嶺回歸法5） 主成分回歸法6） 偏最小二乘法4.自變量的選擇（1） 全模型和選模型（2） 自變量選