一元回歸及簡單相關(guān)

1、 一元回歸及一元回歸及 簡單相關(guān)分析簡單相關(guān)分析Simple Regression and Correlation Analysis第第8章第一節(jié)章第一節(jié)變量之間的關(guān)系：變量之間的關(guān)系：函數(shù)關(guān)系函數(shù)關(guān)系（確定性關(guān)系），變量之（確定性關(guān)系），變量之間依公式的關(guān)系而存在。間依公式的關(guān)系而存在。相關(guān)關(guān)系相關(guān)關(guān)系，一種變量受另一種變量，一種變量受另一種變量的影響，兩者之間既有關(guān)系，但的影響，兩者之間既有關(guān)系，但又不存在完全確定的函數(shù)關(guān)系。又不存在完全確定的函數(shù)關(guān)系。內(nèi)內(nèi) 容概要容概要第一節(jié)第一節(jié) 回歸與相關(guān)的基本概念回歸與相關(guān)的基本概念第二節(jié)第二節(jié) 一元線性回歸方程一元線性回歸方程第四節(jié)第四節(jié) 一元非

2、線性回歸一元非線性回歸第三節(jié)第三節(jié) 一元線性回歸的檢驗一元線性回歸的檢驗第五節(jié)第五節(jié) 相關(guān)相關(guān) 第一節(jié)第一節(jié) 回歸與相關(guān)的基本概念回歸與相關(guān)的基本概念1、 回歸的概念回歸的概念 回歸回歸(regression)：設(shè)有兩個隨機(jī)變量：設(shè)有兩個隨機(jī)變量X和和Y，如果對于變量如果對于變量X的每一個可能的值的每一個可能的值xi，另一，另一個隨機(jī)變量個隨機(jī)變量Y都有一個確定的分布與之相對都有一個確定的分布與之相對應(yīng)，則稱隨機(jī)變量應(yīng)，則稱隨機(jī)變量Y對變量對變量X存在著回歸。存在著回歸。一、一、 回歸回歸自變量自變量(independent variable):在具有回歸關(guān)系的在具有回歸關(guān)系的變量中，自身發(fā)生

3、變化從而引起其他變量隨之變量中，自身發(fā)生變化從而引起其他變量隨之發(fā)生變化的變量，稱為自變量，也稱解釋變量。發(fā)生變化的變量，稱為自變量，也稱解釋變量。隨機(jī)變量隨機(jī)變量X為自變量。為自變量。因變量因變量(dependent variable):依據(jù)自變量的變化而依據(jù)自變量的變化而發(fā)生變化的隨機(jī)變量稱為因變量，也稱為反應(yīng)發(fā)生變化的隨機(jī)變量稱為因變量，也稱為反應(yīng)變量。隨機(jī)變量變量。隨機(jī)變量Y 為因變量。為因變量。一元回歸：一元回歸：只有一個自變量的回歸，稱為一元只有一個自變量的回歸，稱為一元回歸，也稱為簡單回歸?；貧w，也稱為簡單回歸。2、自變量與因變量、自變量與因變量3、一元回歸與多元回歸、一元回歸與

4、多元回歸多元回歸：多元回歸：有多個自變量的回歸，稱為多元回歸。有多個自變量的回歸，稱為多元回歸。4、 條件平均數(shù)條件平均數(shù) (conditional mean)條件平均數(shù)：條件平均數(shù)：在具有回歸關(guān)系的兩變量之間，在具有回歸關(guān)系的兩變量之間，對于自變量對于自變量X的任一可能的值的任一可能的值xi，因變量，因變量Y與之對應(yīng)的分布的平均數(shù)與之對應(yīng)的分布的平均數(shù)YX=xi，稱為自變，稱為自變量量X=xi時因變量時因變量Y的條件平均數(shù)。的條件平均數(shù)。相關(guān)：相關(guān)：設(shè)有兩個隨機(jī)變量設(shè)有兩個隨機(jī)變量X和和Y，對于任一隨機(jī)，對于任一隨機(jī)變量的每一個可能的值，另一個隨機(jī)變量都變量的每一個可能的值，另一個隨機(jī)變量都

5、有一個確定的分布與之相對應(yīng)，即在有一個確定的分布與之相對應(yīng)，即在Y對對X存存在回歸關(guān)系的同時，在回歸關(guān)系的同時，X對對Y也存在回歸關(guān)系，也存在回歸關(guān)系，則稱這兩個隨機(jī)變量間存在相關(guān)關(guān)系。則稱這兩個隨機(jī)變量間存在相關(guān)關(guān)系。二、二、 相關(guān)相關(guān) (correlation)回歸回歸變量間的依存關(guān)系變量間的依存關(guān)系 相關(guān)相關(guān)變量間的互依關(guān)系變量間的互依關(guān)系 “回歸回歸”名稱的由來名稱的由來33.730.516YX樣本條件樣本條件平均數(shù)平均數(shù) 第二節(jié)第二節(jié) 一元線性回歸方程一元線性回歸方程 用自變量用自變量X為橫軸，因變量為橫軸，因變量Y為縱軸，在為縱軸，在XY平面內(nèi)標(biāo)出平面內(nèi)標(biāo)出(x1, y1)，(x2

6、, y2)，(xn, yn) 這這些點(diǎn)，就構(gòu)成一幅些點(diǎn)，就構(gòu)成一幅散點(diǎn)圖散點(diǎn)圖。一、一、 散點(diǎn)圖散點(diǎn)圖 (scatter diagram)：散點(diǎn)圖散點(diǎn)圖1、概念概念2、常見類型的散點(diǎn)圖常見類型的散點(diǎn)圖XYXYX00000YXYXYXY 兩變量之間的關(guān)系是否密切，能否由兩變量之間的關(guān)系是否密切，能否由 X來估計來估計Y；3、根據(jù)、根據(jù)散點(diǎn)圖考慮以下問題：散點(diǎn)圖考慮以下問題： 兩變量之間的關(guān)系是呈一條直線兩變量之間的關(guān)系是呈一條直線（即即 線性的），還是呈某種曲線；線性的），還是呈某種曲線； 是否存在某個點(diǎn)偏離過大；是否存在某個點(diǎn)偏離過大； 是否存在其他規(guī)律。是否存在其他規(guī)律。4、實(shí)例、實(shí)例【例例

7、】土壤內(nèi)土壤內(nèi)NaCI含量對植物的生長有很大的影響，含量對植物的生長有很大的影響，NaCI含量過高，將增加組織內(nèi)無機(jī)鹽的累積，抑制植物的生長。含量過高，將增加組織內(nèi)無機(jī)鹽的累積，抑制植物的生長。下下表中的數(shù)據(jù)，是每表中的數(shù)據(jù)，是每1000g土壤中所含土壤中所含NaCI的不同克數(shù)的不同克數(shù)(X)，對植物單位葉面積干物重對植物單位葉面積干物重(Y)的影響，作出的影響，作出7對數(shù)據(jù)的散點(diǎn)圖。對數(shù)據(jù)的散點(diǎn)圖。土壤土壤NaCI含量含量X / g.kg-100.81.62.43.24.04.8干重干重Y / mg.dm-2809095115130115135以每以每1000g土壤土壤中中NaCI含量為含量

8、為橫軸，以單位葉橫軸，以單位葉面積干物重為縱面積干物重為縱軸，軸，建立坐標(biāo)系，建立坐標(biāo)系，依據(jù)所給數(shù)據(jù)作依據(jù)所給數(shù)據(jù)作出散點(diǎn)圖。出散點(diǎn)圖。解：解：不同不同NaCI含量對單位葉面積干物重影響的含量對單位葉面積干物重影響的散點(diǎn)圖散點(diǎn)圖土壤土壤NaCI含量含量 / g.kg-100.81.62.43.24.04.8干重干重/ mg.dm-2重復(fù)值重復(fù)值180909511513011513521008589941061251373751071151031031281284899392110110143127591103115113128132155679921201081311211327101789

9、5121117129148885105951101211121179839310510811412013410798598111116130132平均數(shù)平均數(shù)86.293.1101.9109.3117.6125.5134.5增加每一增加每一NaCI含量下觀測次數(shù)含量下觀測次數(shù)(10次重復(fù)觀測值及平均值如下次重復(fù)觀測值及平均值如下) 每個每個NaCI含量下含量下10次重復(fù)的散點(diǎn)圖次重復(fù)的散點(diǎn)圖“”表示在各表示在各xi處處y的平均值；的平均值；“+”是第一次觀測的數(shù)據(jù)是第一次觀測的數(shù)據(jù)二、二、 一元正態(tài)線性回歸模型一元正態(tài)線性回歸模型 若若X是可控制的變量，在實(shí)驗無限重復(fù)之后，是可控制的變量，在實(shí)

10、驗無限重復(fù)之后，則可以得到在各則可以得到在各xi上的上的Y的條件平均數(shù)的條件平均數(shù)YX ，這些平均數(shù)構(gòu)成一條直線。這些平均數(shù)構(gòu)成一條直線。Y =+XY :NID(+X, 2) :NID(0, 2)Y =+X+|Y XXSimple Linear Regression ModelY的總體均數(shù)的總體均數(shù)自變量自變量Intercept總體截距Slope總體斜率LINE 假定xy標(biāo)準(zhǔn)差相等標(biāo)準(zhǔn)差相等 EQUAL STANDARD DEVIATION 對于任何X值，隨機(jī)變量Y的標(biāo)準(zhǔn)差 Y|X相等獨(dú)立獨(dú)立 INDEPENDENCE 每一觀察值之間彼此獨(dú)立y|X = + x線性線性 LINEARITY 反應(yīng)

11、變量均數(shù) 與X間呈直線關(guān)系 Y|X= + X直線回歸模型的四個假定直線回歸模型的四個假定正態(tài)正態(tài) NORMALITY 對于任何給定的 X, Y 服從正態(tài)分布，均數(shù)為 Y|X，標(biāo)準(zhǔn)差為 Y|X1、估計直線的一般表達(dá)式：、估計直線的一般表達(dá)式： a：截距：截距(intercept)，直線與，直線與Y軸交點(diǎn)的縱坐標(biāo)，軸交點(diǎn)的縱坐標(biāo)， 表示表示X0時時Y的平均值。的平均值。b：斜率：斜率(slope)，回歸系數(shù)回歸系數(shù)(regression coefficient)。 意義：意義：X每改變一個單位，每改變一個單位，Y平均改變平均改變b個單位。個單位。 b0，Y隨隨X的增大而增大（減少而減少）的增大而增

12、大（減少而減少） 斜上；斜上； btn-2,/2時，時，拒絕拒絕H0，接受，接受HA，說明兩變量間，說明兩變量間存在顯著的線性關(guān)系，回歸顯著；存在顯著的線性關(guān)系，回歸顯著；| t | t5,0.01/2，拒絕拒絕H0，即拒絕，即拒絕 = 0，說說明兩變量間存在極顯著的線性關(guān)系，回歸極顯著。明兩變量間存在極顯著的線性關(guān)系，回歸極顯著。結(jié)論：結(jié)論：干物重在干物重在NaCI含量上的回歸極顯著。含量上的回歸極顯著。解：解：2、a的顯著性檢驗的顯著性檢驗 H0: = =0 0HA: 0 0檢驗統(tǒng)計量為：檢驗統(tǒng)計量為： asat0| t |tn-2,/2時，時，拒絕拒絕H0，接受，接受HA；| t | t

13、5,0.05/2，拒絕拒絕H0，即拒絕，即拒絕 = 100。asat0XXeaSxnMSs22122nbSSMSsXYYYee結(jié)論：結(jié)論： a不不是抽自是抽自 = 100的總體的總體 。解：解：對兩個回歸方程的對兩個回歸方程的b和和a的差異顯著性檢驗的差異顯著性檢驗之后，就能判斷它們是否來自同一總體。之后，就能判斷它們是否來自同一總體。若來自同一總體，則可以將它們合并為一若來自同一總體，則可以將它們合并為一個回歸方程。個回歸方程。 檢驗檢驗MSe1和和MSe2有無顯著差異：有無顯著差異：F F/2時，時，拒絕拒絕H0，說明兩回歸線的總體方差不一致，說明兩回歸線的總體方差不一致，差異顯著；差異顯

14、著；Ft/2時，時，說明兩回歸線的回歸系數(shù)差異顯著；說明兩回歸線的回歸系數(shù)差異顯著；|t|t/2時，時，說明兩回歸線的說明兩回歸線的a差異顯著；差異顯著；|t|t/2時，時，說明兩回歸線的說明兩回歸線的a有一共同的總體，合并有一共同的總體，合并值為：值為：H0: 1-2=0HA: 1-20檢驗統(tǒng)計量為：檢驗統(tǒng)計量為： df: (n1-2)+(n2-2)222121aassaat221122112222112111XXXXXXXXeSSxnSSxnMSaat或或 檢驗檢驗a1和和a2有無顯著差異：有無顯著差異：xbya212211nnxnxnx212211nnynyny以上的以上的檢驗，都是后者

15、在前者差異不檢驗，都是后者在前者差異不顯著的基礎(chǔ)上進(jìn)行的，若前者差異顯顯著的基礎(chǔ)上進(jìn)行的，若前者差異顯著，后面的檢驗則可終止；若三者的著，后面的檢驗則可終止；若三者的檢驗，差異均不顯著，則兩回歸方程檢驗，差異均不顯著，則兩回歸方程可合并為一個回歸方程?？珊喜橐粋€回歸方程。【例例10.6】在優(yōu)質(zhì)育種工作中，為了快速篩選優(yōu)良原在優(yōu)質(zhì)育種工作中，為了快速篩選優(yōu)良原始材料，采用染料結(jié)合始材料，采用染料結(jié)合（DBC）法測定種子中的堿性氨基法測定種子中的堿性氨基酸含量。實(shí)驗測定了大麥和黑麥每試樣的染料結(jié)合力酸含量。實(shí)驗測定了大麥和黑麥每試樣的染料結(jié)合力（DBC）與堿性氨基酸含量，結(jié)果如下，試檢驗兩回歸線

16、與堿性氨基酸含量，結(jié)果如下，試檢驗兩回歸線有無顯著差異。有無顯著差異。列出計算表：列出計算表：解：解： 檢驗檢驗MSe1和和MSe2有無顯著差異：有無顯著差異：FF/2，接受接受H0，兩回歸線有一共同的總體方差，估，兩回歸線有一共同的總體方差，估計值為：計值為：H0: 12= =12HA: 1212檢驗統(tǒng)計量為：檢驗統(tǒng)計量為： 74. 1140. 0244. 0小大eeMSMSF( (187. 02222212211nnMSnMSnMSeee|t|t/2，兩回歸線的兩回歸線的a差異顯著。差異顯著。H0: 1-2=0HA: 1-20檢驗統(tǒng)計量為：檢驗統(tǒng)計量為： 52. 2112211221122

17、221121XXXXXXXXeSSxnSSxnMSaat 檢驗檢驗a1和和a2有無顯著差異：有無顯著差異：|t|t/2，兩回歸線的兩回歸線的a差異顯著。差異顯著。若若檢驗檢驗a1和和a2無顯著差異，估計值：無顯著差異，估計值：(y yy yy yy yy yy y) )回回歸歸部部分分y yy y( ( ) )y y( (y y 總變異Y)剩余部分)剩余部分y y(y(yy)實(shí)測點(diǎn)y)實(shí)測點(diǎn)P(x,P(x,yX X四、一元回歸的方差分析四、一元回歸的方差分析1、無重復(fù)時的情況無重復(fù)時的情況 (ReYYniniiiiniiSSSSSyyyyyynyyyyyy即121221)() ()(個個點(diǎn)點(diǎn)求

18、求和和，得得到到：部部等等式式兩兩邊邊平平方方后后，對對全全(niniiiiniiyyyyyy121221剩余（殘差）標(biāo)準(zhǔn)差剩余（殘差）標(biāo)準(zhǔn)差 SY|X(22|222Y XY XYYSSSMSnnn剩剩殘差 度量了實(shí)際散點(diǎn)遠(yuǎn)離回歸直線的離散程度，反映了模型的可靠性。越小模型越好。 tb檢驗，區(qū)間的計算均需要使用這一值。ReYYSSSSSXYYYebSSSSXYeYYRbSSSSSSRRSSMS 2nSSMSeeeRMSMSF 檢驗統(tǒng)計量為：檢驗統(tǒng)計量為： F F1,n-2,時，時，拒絕拒絕H0： 0 0，說明兩變量的回歸關(guān)系顯著；，說明兩變量的回歸關(guān)系顯著；FF1,12,0.01。結(jié)論是兩變量

19、之間存在極顯著的回歸關(guān)系。結(jié)論是兩變量之間存在極顯著的回歸關(guān)系。五、點(diǎn)估計與五、點(diǎn)估計與區(qū)間估計區(qū)間估計1、對對和和的估計的估計 的的1-置信區(qū)間為：置信區(qū)間為： XXenSMStb2/, 2的的1-置信區(qū)間為：置信區(qū)間為： XXenSxnMSta22/, 21區(qū)間估計與顯著性檢驗的結(jié)果是一致的。區(qū)間估計與顯著性檢驗的結(jié)果是一致的。 和和的點(diǎn)估計分別是的點(diǎn)估計分別是a和和b2、對回歸線對回歸線Y.X的估計的估計 當(dāng)當(dāng)X為某一指定值為某一指定值x0時，通過回歸方程計算所得到的回時，通過回歸方程計算所得到的回歸值歸值 是是Y.X=x0的點(diǎn)估計值。的點(diǎn)估計值。0 y在在X=x0時，總體回歸線時，總體

20、回歸線Y.X=x0的的1-置信區(qū)間為：置信區(qū)間為： (XXenSxxnMSty202/, 201Y.X=x0的的1-置信區(qū)間與置信區(qū)間與x0有關(guān)，是兩條對稱有關(guān)，是兩條對稱的弧線，的弧線，x0不同，置信區(qū)間不同；不同，置信區(qū)間不同；當(dāng)當(dāng) 時，區(qū)間長度時，區(qū)間長度最小。最小。xx 03、對對y0的估計的估計 在在X=x0時，時， y0的的1-置信區(qū)間為：置信區(qū)間為： (XXenSxxnMSty202/, 2011y0的的1-置信區(qū)間也與置信區(qū)間也與x0有關(guān)，也是兩條對稱有關(guān)，也是兩條對稱的弧線，的弧線，x0不同，置信區(qū)間不同；不同，置信區(qū)間不同；當(dāng)當(dāng) 時，區(qū)間長度時，區(qū)間長度最小。最小。xx 0

21、當(dāng)當(dāng)X為某一指定值為某一指定值x0時，通過回歸方程計算所得到的回時，通過回歸方程計算所得到的回歸值歸值 是是y0的點(diǎn)估計值。的點(diǎn)估計值。0 y六、一元回歸分析的意義六、一元回歸分析的意義 1、預(yù)報、預(yù)報 (forecast) 預(yù)報就是估計，由一個變量去估計另一個變量預(yù)報就是估計，由一個變量去估計另一個變量，點(diǎn)預(yù)報，點(diǎn)預(yù)報就是點(diǎn)估計，區(qū)間預(yù)報就是區(qū)間估計。預(yù)報通常是指區(qū)就是點(diǎn)估計，區(qū)間預(yù)報就是區(qū)間估計。預(yù)報通常是指區(qū)間預(yù)報。間預(yù)報。在做預(yù)報時應(yīng)注意，不能隨意超出計算回歸方程時所研在做預(yù)報時應(yīng)注意，不能隨意超出計算回歸方程時所研究的范圍，建立的回歸方程僅適用于特定范圍，不得隨究的范圍，建立的回歸方程僅適用于特定范圍，不得隨意外推或任意意外推或任意“外延外延”；建立的回歸方程要有實(shí)際意義。；建立的回歸方程要有實(shí)際意義。2、減少實(shí)驗誤差、減少實(shí)驗誤差 由于引進(jìn)了回歸，從總平方和中除去由于回歸引起的平方由于引進(jìn)了回歸，從總平方和中除去由于回歸引起的平方和以后，就大大降低了誤差平方和。和以后，就大大降低了誤差平方和。在引進(jìn)自變量以后所得到的實(shí)驗誤