數(shù)學(xué)建模——線性回歸分析課件

1、線性回歸分析2022/7/24zhaoswallow2一、引言 2004年全國(guó)數(shù)模競(jìng)賽的B題 “電力市場(chǎng)的輸電阻塞管理” 第一個(gè)問題： 某電網(wǎng)有8臺(tái)發(fā)電機(jī)組，6條主要線路，表1和表2中的方案0給出了各機(jī)組的當(dāng)前出力和各線路上對(duì)應(yīng)的有功潮流值，方案132給出了圍繞方案0的一些實(shí)驗(yàn)數(shù)據(jù)，試用這些數(shù)據(jù)確定各線路上有功潮流關(guān)于各發(fā)電機(jī)組出力的近似表達(dá)式。 2022/7/24zhaoswallow3表1 各機(jī)組出力方案 （單位：兆瓦，記作MW）方案機(jī)組123 4 5 6780120731808012512581.1901133.02731808012512581.1902129.637318080125

2、12581.1903158.77731808012512581.1904145.32731808012512581.190512078.5961808012512581.190612075.451808012512581.190712090.4871808012512581.190812083.8481808012512581.190912073231.398012512581.1901012073198.488012512581.1901112073212.648012512581.1901212073190.558012512581.190131207318075.85712512581.

3、190141207318065.95812512581.190151207318087.25812512581.190161207318097.82412512581.190171207318080150.7112581.1902022/7/24zhaoswallow4181207318080141.5812581.190191207318080132.3712581.190201207318080156.9312581.190211207318080125138.8881.190221207318080125131.2181.190231207318080125141.7181.190241

4、207318080125149.2981.19025120731808012512560.5829026120731808012512570.9629027120731808012512564.8549028120731808012512575.5299029120731808012512581.1104.8430120731808012512581.1111.2231120731808012512581.198.09232120731808012512581.1120.442022/7/24zhaoswallow5表2 各線路的潮流值（各方案與表1相對(duì)應(yīng)，單位：MW）方案線路12345601

5、64.78140.87-144.25119.09135.44157.691165.81140.13-145.14118.63135.37160.762165.51140.25-144.92118.7135.33159.983167.93138.71-146.91117.72135.41166.814166.79139.45-145.92118.13135.41163.645164.94141.5-143.84118.43136.72157.226164.8141.13-144.07118.82136.02157.57165.59143.03-143.16117.24139.66156.5981

6、65.21142.28-143.49117.96137.98156.969167.43140.82-152.26129.58132.04153.610165.71140.82-147.08122.85134.21156.2311166.45140.82-149.33125.75133.28155.0912165.23140.85-145.82121.16134.75156.7713164.23140.73-144.18119.12135.57157.214163.04140.34-144.03119.31135.97156.3115165.54141.1-144.32118.84135.061

7、58.262022/7/24zhaoswallow624167.69138.07-144.14119.19137.11157.6525162.21141.21-144.13116.03135.5154.2626163.54141-144.16117.56135.44155.9327162.7141.14-144.21116.74135.4154.8828164.06140.94-144.18118.24135.4156.6829164.66142.27-147.2120.21135.28157.6530164.7142.94-148.45120.68135.16157.6331164.6714

8、1.56-145.88119.68135.29157.6132164.69143.84-150.34121.34135.12157.6416166.88141.4-144.34118.67134.67159.2817164.07143.03-140.97118.75133.75158.8318164.27142.29-142.15118.85134.27158.3719164.57141.44-143.3119134.88158.0120163.89143.61-140.25118.64133.28159.1221166.35139.29-144.2119.1136.33157.5922165

9、.54140.14-144.19119.09135.81157.6723166.75138.95-144.17119.15136.55157.592022/7/24zhaoswallow7 仔細(xì)分析題目，可以發(fā)現(xiàn)，該問題就是要找出各線路上有功潮流與8臺(tái)發(fā)電機(jī)出力的函數(shù)關(guān)系，這在數(shù)學(xué)上是一個(gè)函數(shù)擬合問題。 對(duì)函數(shù)擬合，可以采用線性函數(shù)，也可以采用非線性函數(shù)，比如多項(xiàng)式函數(shù)，三角函數(shù)，指數(shù)函數(shù)等等。在給出具體問題的具體數(shù)據(jù)時(shí)，首先想到的還是最簡(jiǎn)單的方法下手，采用最簡(jiǎn)單的函數(shù)去擬合，也就是線性函數(shù)來表達(dá)。1、模型的分析2022/7/24zhaoswallow8 由電網(wǎng)的拓?fù)浣Y(jié)構(gòu)，線路上的有功潮流由機(jī)

10、組出力決定。又根據(jù)功率的疊加原理，各線路上有功潮流應(yīng)為各發(fā)電機(jī)組出力的線性組合，考慮對(duì)所有實(shí)驗(yàn)數(shù)據(jù)采用最小二乘法進(jìn)行線性擬合，從而得到各線路有功潮流關(guān)于各發(fā)電機(jī)組出力的近似表達(dá)式。2022/7/24zhaoswallow92、模型的建立與求解2022/7/24zhaoswallow10 根據(jù)表1和表2圍繞方案0的1-32組實(shí)驗(yàn)數(shù)據(jù)，可以列出關(guān)于未知數(shù)的32個(gè)方程的方程組，利用SAS或Matlab編程求解方程組，得2022/7/24zhaoswallow11還需要根據(jù)樣本值運(yùn)用假設(shè)檢驗(yàn)來判斷，以確定求得的回歸方程是否有價(jià)值。 在許多國(guó)際國(guó)內(nèi)數(shù)學(xué)建模競(jìng)賽中，都有可能用到回歸分析。因此，我們介紹線性

11、回歸分析的基本原理，對(duì)模型好壞的評(píng)價(jià)指標(biāo)，可線性化的回歸分析，利用統(tǒng)計(jì)軟件的實(shí)現(xiàn)等具體問題。2022/7/24zhaoswallow12二、回歸分析方法回歸分析是研究一個(gè)或一組變量（因變量，結(jié)果）與另一些變量（自變量或回歸變量，原因）之間的依存關(guān)系。在回歸模型中，若變量之間的關(guān)系是線性關(guān)系，稱為線性回歸模型，否則，稱為非線性回歸模型。當(dāng)自變量只有一個(gè)，稱為一元線性回歸， 如果自變量有多個(gè)，稱為多元線性回歸。2022/7/24zhaoswallow131、一元線性回歸一元線性回歸模型為滿足2022/7/24zhaoswallow14一元線性回歸2022/7/24zhaoswallow15則令正規(guī)

12、方程組一元線性回歸2022/7/24zhaoswallow16整理得一元線性回歸2022/7/24zhaoswallow17其中，參數(shù)的最小二乘估計(jì)一元線性回歸2022/7/24zhaoswallow18稱作y關(guān)于x的一元經(jīng)驗(yàn)回歸方程。一元線性回歸2022/7/24zhaoswallow19一元線性回歸2022/7/24zhaoswallow20一元線性回歸2022/7/24zhaoswallow212、多元線性回歸模型為： 2022/7/24zhaoswallow22多元線性回歸2022/7/24zhaoswallow23令多元線性回歸注意：矩陣X的第一列全是1.2022/7/24zhaos

13、wallow24則（6）可用矩陣表達(dá)為多元線性回歸2022/7/24zhaoswallow25對(duì)應(yīng)正規(guī)方程組為 在X不是列滿秩時(shí)，其解雖然不唯一，但對(duì)任意一組解都使得殘差平方和最小。多元線性回歸2022/7/24zhaoswallow26多元線性回歸關(guān)于多重共線性的知識(shí)請(qǐng)參閱韓中庚數(shù)學(xué)建模方法及其應(yīng)用。2022/7/24zhaoswallow27 當(dāng) p=1 時(shí)，多元線性回歸就變成一元線性回歸分析了，這時(shí)參數(shù)的求解和誤差的方差的無偏估計(jì)與一元得到的結(jié)論是一樣的，類似地也有經(jīng)驗(yàn)回歸平面方程。多元線性回歸2022/7/24zhaoswallow283、回歸模型的假設(shè)檢驗(yàn) 在許多實(shí)際問題中，我們事先

14、并不能斷定因變量與自變量之間是否確有線性關(guān)系，而前面建立的因變量與多個(gè)自變量間的線性關(guān)系只是一種假設(shè)，盡管這種假設(shè)常常不是沒有根據(jù)的。這就意味，所求得的經(jīng)驗(yàn)回歸方程是否有實(shí)用價(jià)值，需要經(jīng)過假設(shè)檢驗(yàn)才能確定。2022/7/24zhaoswallow29主要從以下幾個(gè)方面進(jìn)行檢驗(yàn)： a、 回歸方程的檢驗(yàn)； b、 回歸系數(shù)的檢驗(yàn)； c、 回歸好壞程度的度量。2022/7/24zhaoswallow30a、回歸方程的檢驗(yàn)是否全為零。若全為零，則認(rèn)為線性回歸不顯著，否則認(rèn)為線性回歸顯著。為此，在上述模型中作假設(shè) 要檢驗(yàn)（6）的變量間有沒有這種線性關(guān)系，只要檢驗(yàn)p個(gè)系數(shù)2022/7/24zhaoswall

15、ow31考慮總偏差平方和，利用正規(guī)方程組，有為了構(gòu)造檢驗(yàn)統(tǒng)計(jì)量，記經(jīng)驗(yàn)回歸方程回歸方程的檢驗(yàn)2022/7/24zhaoswallow32回歸方程的檢驗(yàn)2022/7/24zhaoswallow33 它是由自變量X的取值變化且通過線性回歸模型對(duì)y的影響所構(gòu)成的誤差平方和。 它是由隨機(jī)誤差和其他未加控制的因素所引起的誤差平方和?；貧w方程的檢驗(yàn)2022/7/24zhaoswallow34回歸方程的檢驗(yàn)2022/7/24zhaoswallow35構(gòu)造檢驗(yàn)統(tǒng)計(jì)量為回歸方程的檢驗(yàn)2022/7/24zhaoswallow36相應(yīng)的檢驗(yàn)法則為：回歸方程的檢驗(yàn)2022/7/24zhaoswallow37不全為零，

16、但這并不意味著每個(gè)自變量可能會(huì)起重要作用，而有的可能起的作用不大或者不起作用。因此，在通過前面的線性回歸模型的檢驗(yàn)，回歸方程的檢驗(yàn)2022/7/24zhaoswallow38還有必要從線性回歸模型中剔除那些次要的、可有可無的自變量，只保留那些起重要作用的自變量，以從新建立更為簡(jiǎn)練的線性回歸模型，使之有利于實(shí)際應(yīng)用?；貧w方程的檢驗(yàn)2022/7/24zhaoswallow39b、回歸系數(shù)的檢驗(yàn)檢驗(yàn)假設(shè)2022/7/24zhaoswallow40下面的任務(wù)是選取檢驗(yàn)統(tǒng)計(jì)量。由（7）所以，回歸系數(shù)的檢驗(yàn)2022/7/24zhaoswallow41則可以證明注意：矩陣C的下標(biāo)都是從0開始的！回歸系數(shù)的檢

17、驗(yàn)2022/7/24zhaoswallow42回歸系數(shù)的檢驗(yàn)2022/7/24zhaoswallow43 如果回歸方程的檢驗(yàn)結(jié)果是顯著的，而且各個(gè)回歸系數(shù)的檢驗(yàn)結(jié)果都為顯著時(shí)，說明各個(gè)自變量對(duì)因變量的單純影響都是顯著的。 若有回歸系數(shù)經(jīng)顯著性檢驗(yàn)為不顯著時(shí)，說明其對(duì)應(yīng)的自變量在回歸方程中是不重要的，此時(shí)應(yīng)該剔除。回歸系數(shù)的檢驗(yàn)2022/7/24zhaoswallow44在對(duì)變量進(jìn)行剔除時(shí)，需要注意：1）一次只能剔除一個(gè)不顯著的回歸系數(shù)對(duì)應(yīng)的自變量，而且被剔除的自變量，應(yīng)該是所有不顯著的回歸系數(shù)中的t值最小者。2）重新進(jìn)行少一個(gè)自變量的多元線性回歸分析?；貧w系數(shù)的檢驗(yàn)2022/7/24zhaos

18、wallow45 前面說的是剔除變量，也會(huì)有變量因素考慮不周的情況，這時(shí)應(yīng)該考慮引入新的變量，那么如何引入新的變量？ 對(duì)于模型的選擇，目前普遍采用的是逐步回歸法。也即，每引入一個(gè)變量，要進(jìn)行逐個(gè)檢驗(yàn)，將不顯著的變量剔除。詳細(xì)情況請(qǐng)參閱韓中庚數(shù)學(xué)建模方法及其應(yīng)用第九章?；貧w系數(shù)的檢驗(yàn)2022/7/24zhaoswallow46c、復(fù)相關(guān)系數(shù) 對(duì)一個(gè)回歸方程來說，即使回歸顯著，但還涉及到回歸好壞程度的度量。對(duì)于一個(gè)因變量和一組自變量之間相關(guān)程度，則要采用的復(fù)相關(guān)系數(shù)來度量。 研究一個(gè)變量與多個(gè)變量的線性相關(guān)稱為復(fù)相關(guān)分析。 2022/7/24zhaoswallow47 復(fù)相關(guān)系數(shù)定義為復(fù)相關(guān)系數(shù)2

19、022/7/24zhaoswallow48但是復(fù)相關(guān)系數(shù)也有一些缺點(diǎn)。當(dāng)采用的自變量自變量的引入可能是多余的。為了更準(zhǔn)確地反映參數(shù)個(gè)數(shù)的影響，采用調(diào)整的復(fù)相關(guān)系數(shù)2022/7/24zhaoswallow494、預(yù)測(cè) 如果經(jīng)檢驗(yàn)，認(rèn)為線性回歸方程是可信的，而且擬合的又好，那么接下來就要用它進(jìn)行預(yù)測(cè)。 時(shí)對(duì)y做區(qū)間估計(jì)，即以一定的置信度預(yù)測(cè)y的觀察值的取值范圍，也即y的預(yù)測(cè)區(qū)間。2022/7/24zhaoswallow50預(yù)測(cè)2022/7/24zhaoswallow51因而其中此時(shí)預(yù)測(cè)2022/7/24zhaoswallow52預(yù)測(cè)2022/7/24zhaoswallow53預(yù)測(cè)2022/7/24

20、zhaoswallow54三、可線性化的一元非線性回歸模型 上面主要講的是線性回歸，而對(duì)于一元回歸，非線性回歸的情形也是很常見的，對(duì)這些問題做回歸就是曲線回歸。 配置曲線回歸的一個(gè)基本方法是通過適當(dāng)?shù)淖兞看鷵Q把非線性回歸化為線性回歸。具體如下：先畫出觀察值的散點(diǎn)圖，通過與常見的函數(shù)曲線對(duì)比，經(jīng)驗(yàn)的選擇曲線類型。 常見的是下面六類曲線：2022/7/24zhaoswallow55（1）雙曲線 可線性化的一元非線性回歸模型2022/7/24zhaoswallow56（2）冪函數(shù)曲線可線性化的一元非線性回歸模型2022/7/24zhaoswallow57（3）指數(shù)曲線：可線性化的一元非線性回歸模型2

21、022/7/24zhaoswallow58（4）倒指數(shù)曲線：可線性化的一元非線性回歸模型2022/7/24zhaoswallow59（5）對(duì)數(shù)曲線：可線性化的一元非線性回歸模型2022/7/24zhaoswallow60（6）S型曲線：可線性化的一元非線性回歸模型2022/7/24zhaoswallow61設(shè)有模型線性回歸模型：實(shí)驗(yàn)數(shù)據(jù)按上面的變量代換算出可線性化的一元非線性回歸模型2022/7/24zhaoswallow62再按前面的線性回歸公式計(jì)算參數(shù)估計(jì)，得當(dāng)y與x適合模型可線性化的一元非線性回歸模型2022/7/24zhaoswallow63 其他幾種曲線都可通過適當(dāng)?shù)淖兞看鷵Q轉(zhuǎn)化為線

22、性回歸模型。這類回歸模型就稱為可線性化的一元非線性回歸模型。 表面上看，該模型比上面的模型簡(jiǎn)單，然而它卻無法化成線性回歸，因?yàn)樗撬^本質(zhì)上非線性的模型。可線性化的一元非線性回歸模型 值得注意的是，并非所有的曲線回歸問題都可線性化，例如 2022/7/24zhaoswallow64 多項(xiàng)式回歸的處理方法和前面的曲線回歸類似，通過變量轉(zhuǎn)換化成多元線性回歸來解決。對(duì)于一元m次多項(xiàng)式回歸， 可線性化的一元非線性回歸模型2022/7/24zhaoswallow65因此可以用前面的方法解決多項(xiàng)式回歸問題。二元多項(xiàng)式回歸處理方法類似。 值得注意的是，隨著自變量個(gè)數(shù)的增加,多元多項(xiàng)式回歸分析的計(jì)算量急劇增加

23、。因此，在多項(xiàng)式回歸中較為常用的是一元二次多項(xiàng)式回歸和一元三次多項(xiàng)式回歸。 可線性化的一元非線性回歸模型2022/7/24zhaoswallow66四、軟件應(yīng)用 解決線性回歸問題的常用軟件有：Matlab，統(tǒng)計(jì)軟件SPSS和SAS。SPSS的求解與SAS相同。這里介紹Matlab和SAS的求解方法。2022/7/24zhaoswallow671、線性回歸的matlab實(shí)現(xiàn) 回歸分析的求解在Matlab中可用regress實(shí)現(xiàn)，其使用格式為：其中y為列向量，表示因變量的取值；X為矩陣，代表自變量的取值；(注意：第一列全是1)alpha為置信水平，缺省時(shí)取0.05。b,bint,r,rint,st

24、ats = regress(y,X,alpha) 2022/7/24zhaoswallow68 當(dāng)置信區(qū)間包含0時(shí)，說明該參數(shù)未通過T檢驗(yàn)，可認(rèn)為0。r-殘差向量，取值為Y-X*b。rint-殘差的置信度為1-alpha的置信區(qū)間。stats-回歸方程的統(tǒng)計(jì)量，stats(1)為復(fù)相關(guān)系數(shù)， stats(2)為F值， stats(3)為F值對(duì)應(yīng)的概率值，stats(4)為誤差方差的估計(jì)值。線性回歸的matlab實(shí)現(xiàn)2022/7/24zhaoswallow69 對(duì)照前面所講的參數(shù)意義，采用Matlab可方便求解該問題。第一個(gè)回歸模型計(jì)算結(jié)果如下，其他類似。第 1條線路回歸方程參數(shù):系數(shù)， 置信下

25、限， 置信上限110.29651，109.37571，111.21731 0.08284， 0.08109， 0.08459 0.04828， 0.04432， 0.05224 0.05297， 0.05164， 0.05430 0.11993， 0.11684， 0.12303-0.02544，-0.02737，-0.02351 0.12201， 0.11939， 0.12463 0.12158， 0.11855， 0.12461-0.00123，-0.00335， 0.00090線性回歸的matlab實(shí)現(xiàn)2022/7/24zhaoswallow70統(tǒng)計(jì)量值R2=0.9995,F=5861.51944,p=0.00000方案0的原始值，預(yù)測(cè)值，相對(duì)誤差百分比:164.7800 164.7120 0.0413140.8700 140.8238 0.0328-144.2500 -144.2051 0.0312119.0900 119.0412 0.0410線性回歸的matlab實(shí)現(xiàn)2022/7/24zhaoswallow712、SASv9求解過程（1）啟動(dòng)SAS軟件，鼠標(biāo)點(diǎn)擊Solutions-Analysis-Analyst，啟動(dòng)分析家。2022/7/24zha