直線回歸法的公式推導(dǎo)

1、直線回歸法的原理直線回歸法的原理及推導(dǎo)公式及推導(dǎo)公式主要內(nèi)容主要內(nèi)容 回回歸歸直直線線法的原理法的原理 回回歸歸直直線線的公式推的公式推導(dǎo)導(dǎo)一一二二0 x 業(yè)務(wù)量（件）y 成本（元）y=a+bx一、直線回歸法的原理一、直線回歸法的原理直線回歸發(fā)的原理直線回歸發(fā)的原理微積分極值原理微積分極值原理 從散布圖法可以看出，我們總能設(shè)法從散布圖法可以看出，我們總能設(shè)法找到一條盡可能通過所有坐標(biāo)點(diǎn)，也就是找到一條盡可能通過所有坐標(biāo)點(diǎn)，也就是所有誤差最小的惟一直線所有誤差最小的惟一直線y=a+bx 。 設(shè)設(shè)ei為當(dāng)業(yè)務(wù)量為為當(dāng)業(yè)務(wù)量為xi時(shí)，實(shí)際值（又時(shí)，實(shí)際值（又稱觀測(cè)值）稱觀測(cè)值）yi與計(jì)算值（與計(jì)算值

2、（a+bxi）的誤差，）的誤差，即即 ei = yi (a+bxi)二、直線回歸法公式推導(dǎo)二、直線回歸法公式推導(dǎo) 怎樣判斷一條直線方程就是我們所要怎樣判斷一條直線方程就是我們所要找的所有誤差最小的那條直線找的所有誤差最小的那條直線y=a+bx 呢？呢？可以考慮的辦法有三：可以考慮的辦法有三： 第一，判斷所有誤差的代數(shù)和是否最第一，判斷所有誤差的代數(shù)和是否最小。即：小。即： ei =0 但由于誤差有正有負(fù)，可能相互抵消，但由于誤差有正有負(fù)，可能相互抵消，會(huì)存在無數(shù)滿足上述條件的直線，因而無會(huì)存在無數(shù)滿足上述條件的直線，因而無法據(jù)此作出最終判斷。法據(jù)此作出最終判斷。二、直線回歸法公式推導(dǎo)二、直線回

3、歸法公式推導(dǎo)所有誤差的代數(shù)和是否最小示意圖？所有誤差的代數(shù)和是否最小示意圖？0 x 業(yè)務(wù)量（件）y 成本（元）滿足滿足ei =0的條件的條件滿足滿足ei =0的條件的條件二、直線回歸法公式推導(dǎo)二、直線回歸法公式推導(dǎo) 第二，判斷所有誤差絕對(duì)值的合計(jì)是第二，判斷所有誤差絕對(duì)值的合計(jì)是否最小。即：否最小。即：ei =0 但上式展開后，涉及到絕對(duì)數(shù)運(yùn)算，但上式展開后，涉及到絕對(duì)數(shù)運(yùn)算，非常麻煩：非常麻煩： ei = e1e2 e3 en-1 en 因而也無法據(jù)此作出判斷。因而也無法據(jù)此作出判斷。 二、直線回歸法公式推導(dǎo)二、直線回歸法公式推導(dǎo) 第三，判斷所有誤差平方和是否最小。第三，判斷所有誤差平方和是

4、否最小。即：即：ei2 =0 這種方法既排除了正負(fù)誤差的符號(hào)問這種方法既排除了正負(fù)誤差的符號(hào)問題，又避免了絕對(duì)值運(yùn)算的麻煩。題，又避免了絕對(duì)值運(yùn)算的麻煩。 因此，可以根據(jù)誤差的平方和是否達(dá)因此，可以根據(jù)誤差的平方和是否達(dá)到最小，來判斷直線方程到最小，來判斷直線方程y=a+bx的總誤差的總誤差是否達(dá)到最小。是否達(dá)到最小。 此法又稱最小二乘法或最小平方法。此法又稱最小二乘法或最小平方法。二、直線回歸法公式推導(dǎo)二、直線回歸法公式推導(dǎo) 根據(jù)上述道理，回歸直線法就是求能根據(jù)上述道理，回歸直線法就是求能使使ei2 =0成立的回歸系數(shù)成立的回歸系數(shù)a和和b的值。的值。 因?yàn)橐驗(yàn)?ei = yi (a+bxi

5、) 所以所以 ei2 = yi (a+bxi) 2 按照微分極值原理，令上式按照微分極值原理，令上式=0，并分，并分別對(duì)別對(duì)a和和b求偏導(dǎo)數(shù)，就可以求出能滿足求偏導(dǎo)數(shù)，就可以求出能滿足ei2 達(dá)到極小值的達(dá)到極小值的a和和b。 按照此法推導(dǎo)的按照此法推導(dǎo)的a，b計(jì)算公式，稱為計(jì)算公式，稱為 公式法。公式法。二、直線回歸法公式推導(dǎo)二、直線回歸法公式推導(dǎo)e2=y (a+bx) 2 = y 22 y (a+bx)+ (a+bx) 2 = y 22ay 2bxy+a2 +2abx+ b2x2 =y22ay2bxy+na2+2abx+b2x2令：令：y 22ay 2 bxy+na2 +2abx+ b2

6、x2=0 對(duì)上式求對(duì)上式求a的偏導(dǎo)數(shù)，得：的偏導(dǎo)數(shù)，得： 2y +2na +2bx=0 整理得整理得 y =na +bx （1）式）式1.按公式法推導(dǎo)按公式法推導(dǎo)a，b計(jì)算公式的過程計(jì)算公式的過程對(duì)對(duì)y22ay2bxy+na2+2abx+b2 x2=0求求b的偏導(dǎo)數(shù)，得：的偏導(dǎo)數(shù)，得： 2xy +2ax+ 2bx2 =0整理得整理得 xy = ax+ bx2 （2）式）式解聯(lián)立方程，即可求出解聯(lián)立方程，即可求出a，b的值。的值。 1.按公式法推導(dǎo)按公式法推導(dǎo)a，b計(jì)算公式的過程計(jì)算公式的過程y =na +bx xy = ax+ bx2 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a

7、和和b的解的解y = na + bx xy = ax + bx2 因?yàn)橄铝新?lián)立方程中，未知數(shù)為因?yàn)橄铝新?lián)立方程中，未知數(shù)為a和和b，y,xy 為已知常數(shù)，為已知常數(shù)， n,x和和x2分別分別為為a和和b的系數(shù)，則有的系數(shù)，則有常數(shù)列常數(shù)列 y xy用行列式的方法解法如下：= n x2-(x) 2a= yx2-x xy nxxx2yxyxx2b= nxy-x y nxyxy nx 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a和和b的解的解a=ab=bn x2-(x) 2yx2-x xy=nxy-x y=n x2-(x) 2y = na+bx可以同時(shí)計(jì)可以同時(shí)計(jì)算出算出a和和by-bxna =必須先計(jì)必須先計(jì)算出算出b，然后才能然后才能計(jì)算計(jì)算 a 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a和