數(shù)模競賽輔導專題之多元統(tǒng)計模型

1、 多元統(tǒng)計模型數(shù)模競賽輔導專題科技大學數(shù)學與統(tǒng)計學院 武新乾（2010-07-23）一、前言24年前（1986年），美國出現(xiàn)了大學生數(shù)學建模競賽。隨著改革開放的進程，數(shù)模競賽逐漸傳入我國。1992年，開始國第一屆大學生數(shù)學建模比賽。數(shù)模競賽一經(jīng)傳入，便受到了全國高校的普遍關(guān)注，引起了大學生的廣泛興趣。特別是近年來，雖然試題難度不斷增大，但是，參賽的學生規(guī)?？涨芭蛎洠@獎的組隊也日益增加，論文質(zhì)量不斷提高。綜觀18年的競賽試題，問題廣泛，解決方案多種多樣，其中基于統(tǒng)計分析的問題屢見不鮮。比如：1992年A題（簡單記為1992A，下同）“施肥方案對作物、蔬菜的影響”，采用多元二次回歸、全回歸、逐步

2、回歸和二次響應面回歸；1993A“非線性交調(diào)的頻率設計”，采用最小二乘方法（簡單記為LS）；1998A“資產(chǎn)投資收益與風險模型”和2000A“DNA序列的分類”，都采用多元分析方法；2001A“血管管道的三維重建”和“血管切片的三維重建”，分別采用LS方法和非線性擬合；2001B“公交車調(diào)度的規(guī)劃數(shù)學模型”，采用聚類分析、平滑方法和隨機過程的有關(guān)知識；2003A“SARS傳播的數(shù)學原理與預測與控制”和“SARS傳播的研究”，均考慮了時間序列的應用；2003A“SARS傳播預測的數(shù)學模型”，采用非線性擬合，建立了指數(shù)模型；2004A“MS網(wǎng)點的合理布局”采用了聚類分析，“基于利潤最大化的實運商業(yè)

3、網(wǎng)點分布微觀經(jīng)濟模型”采用多元統(tǒng)計分析方法，另外，“臨時超市網(wǎng)點的規(guī)劃模型研究”考慮了經(jīng)驗分布的應用；2004B“電力市場的輸電阻塞優(yōu)化管理（指導教師：肖華勇）”和“電力市場輸電阻塞管理模型”，均使用了多元線性回歸；2005A“長江水質(zhì)的評價和預測”、“長江水質(zhì)的評價預測模型”（二元線性回歸預測）、“基于回歸分析的長江水質(zhì)預測與控制”，均考慮了回歸分析，此外，“長江水質(zhì)評價和預測的研究”、“水質(zhì)的評價和預測模型”，均考慮了時間序列分析方法和多元線性回歸模型；2005B“DVD在線租賃系統(tǒng)的優(yōu)化設計”應用了抽樣統(tǒng)計和隨機服務模型，“DVD在線租賃問題”和“DVD租賃優(yōu)化方案（指導教師：浩）”考慮

4、了二項分布和隨機模擬；2005B“DVD在線租賃問題研究”和2005C“雨量預報方法的評價模型”考慮了均值的應用；2006B“艾滋病療法評價與療效預測模型”使用了二次曲線和多元方差分析，“艾滋病療法評價與療效的預測模型”使用了逐步回歸方法，“艾滋病療法的評價與療效的預測模型”應用了假設檢驗和方差分析，“艾滋病療法的評價與療效的預測”使用了線性擬合、二次和三次曲線擬合與非線性回歸，“基于數(shù)據(jù)統(tǒng)計分析的艾滋病療效評價方法”采用了F-檢驗和二次多項式回歸；2007A“中國人口區(qū)域結(jié)構(gòu)向量模型”采用了倒數(shù)曲線模型擬合，“基于Leslie模型的中國人口預測與蒙特卡羅仿真（指導教師：梅長林）”應用了概率方

5、法；2008A“數(shù)碼相機定位”應用了多元線性回歸分析；2008B“高等教育學費標準探討（華南農(nóng)業(yè)大學，編號1910）”應用了因子分析、主成分分析和聚類分析，“高等教育學費標準的探討（華南農(nóng)業(yè)大學，編號1920）”采用了多元回歸分析、數(shù)據(jù)挖掘和模擬退火算法，“關(guān)于高等教育學費標準的評價與建議（編號cumcm0849）”和“高校學費合理性研究（編號cumcm0860）”分別考慮了回歸分析和曲線擬合。由是可知，多元統(tǒng)計分析是常見的解決數(shù)模競賽的主要工具之一，務必給以充分的重視和加強訓練指導。二、回歸分析1. 一元線性回歸經(jīng)典的一元線性回歸模型為， （1）其中為觀察值，為獨立同分布（i.i.d.）隨機

6、誤差序列，并且。易知，參數(shù)和的最小二乘估計（LSE）為 ， （2）其中，。于是，所得線性回歸方程為。 （3）在應用回歸方程（3）進行擬合、預測和控制之前，必須進行檢驗問題。 （4）常用統(tǒng)計量為， （5）其中為回歸平方和，為殘差平方和。當原假設成立時，。 （6）對于給定的顯著性水平，由，查表確定臨界值。當時，拒絕原假設，說明與之間存在線性關(guān)系，回歸方程有意義。否則，回歸方程無意義，這時有幾種可能性： 確實對無任何影響； 對有影響，但不是線性關(guān)系； 除以外，還有另外的因素對有影響，這時需要進一步研究。變量與之間的線性關(guān)系的判斷，除了上述方差分析法以外，還可以利用相關(guān)系數(shù)檢驗法。樣本相關(guān)系數(shù)， （7

7、）它是總體相關(guān)系數(shù)的估計量。具有一個特性，它只依賴于樣本容量和總體相關(guān)系數(shù)。當原假設成立時，統(tǒng)計量。 （8）這說明也可以利用檢驗法對原假設進行檢驗。誠然，在使用統(tǒng)計軟件進行假設檢驗時，往往會輸出值，也可以直接利用進行檢驗判斷，這里，為統(tǒng)計量的樣本值。當時，拒絕原假設，認為對的線性影響是顯著的，否則，認為對的線性影響是不顯著的。只有當拒絕原假設，即認為對的線性影響是顯著時，才能利用線性回歸方程（3）進行預測和控制。此時，個體與集體平均的點預測為。 （9）個體的區(qū)間預測（置信水平為）為， （10）或者為 ， （11）其中為預報半徑，。集體平均的區(qū)間預測（置信水平為）為， （12）或者為 ， （13

8、）其中。在實際應用中，為了方便起見，當取值在附近并且樣本容量比較大時，通常使用， （14）或者 （15）來進行預測和控制。比如，要控制在中，只需通過 （16）或者 （17）分別求出和，從而確定變量值的控制圍。2. 多元線性回歸經(jīng)典的多元線性回歸模型為， （18）其中為觀察數(shù)據(jù)，為獨立同分布（i.i.d.）隨機誤差序列，并且。易知，參數(shù)的最小二乘估計（LSE）為， （19）其中。于是，所得線性回歸方程為。 （20）方程的顯著性檢驗不全為。 （21）常用統(tǒng)計量為， （22）其中為回歸平方和，為殘差平方和。當原假設成立時，。 （23）對于給定的顯著性水平，由，查表確定臨界值。當時，拒絕原假設，即在顯

9、著性水平下，變量對的線性影響顯著，回歸方程有意義。否則，回歸方程無意義，此時有如下幾種可能性： 確實對無影響； 對有影響，但是非線性關(guān)系； 除以外，還有另外的因素對有影響，這時需要進一步研究。只有通過方程的顯著性檢驗，才能進一步對（偏）回歸系數(shù)進行顯著性檢驗。檢驗問題。 （24）檢驗統(tǒng)計量為， （25）或者， （26）其中，為的第個對角元素，而,是中心化的數(shù)據(jù)矩陣，即。在原假設成立的條件下，。 （27）當或者時，拒絕原假設，表明變量對的作用是顯著的（在回歸方程中是顯著的）；否則，接受原假設，說明對的作用是不顯著的，可以將其從回歸方程中剔除。只有當回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗均通過

10、以后，才可以利用回歸方程（20）進行預測和控制。給定一組變量值，對應的和的點預報為。 （28）的預報區(qū)間（區(qū)間估計）為 ， （29）其中為預報半徑，。當取值在附近并且樣本容量充分大時，通常使用近似預報區(qū)間，即當時，預報區(qū)間為； （30）當時，預報區(qū)間為。 （31）的預報區(qū)間（區(qū)間估計）為 ， （32）其中。在實際問題中，常希望通過控制個變量中的某一個（或者少數(shù)幾個）來滿足對輸出 的要求，這就是常說的控制問題。比如，如何控制自變量的取值，使得因變量滿足。當時，解不等式 （33）解此不等式（在有解的情況下），即得自變量的控制圍。3. 非線性回歸常見的非線性回歸模型分為兩種類型。第一類：形式上是非線

11、性的，但是，經(jīng)過變換以后可以轉(zhuǎn)化為線性模型，稱為第一類非線性回歸。第二類：本質(zhì)上是非線性的，稱為第二類非線性回歸。第一類非線性回歸，又稱為可化為線性模型的回歸或者為化曲線為直的回歸。常見的有：雙曲線型 ；指數(shù)函數(shù)型 或者 ；冪函數(shù)型 ；對數(shù)函數(shù)型 ；S型 ；。第二類非線性回歸模型的一般形式為， （34）其中為可控制變量，為未知待估參數(shù)，為一隨機變量，為元非線性函數(shù)。此處，僅介紹一種常用的估計方法非線性最小二乘法。設進行了次隨機試驗，得到觀察值為，即。 （35）通常假定為獨立同分布（i.i.d.）隨機誤差序列，并且為白噪聲過程，即。令， （36）使得達到最小值的稱為參數(shù)的最小二乘估計。稱方程 （

12、37）為非線性回歸方程；作為的估計值，稱為預測值（擬合值）。下面介紹求解的一種迭代方法高斯-牛頓法。具體步驟如下： 給定初始值； 計算矩陣； 計算迭代值， ， （38）其中。 以代替作為下一次迭代的初始值，重復上述步驟，直到與或者與之差的絕對值小于預先給定的精度為止。將最后所得的作為參數(shù)的最終估計值。 在求出之后，可得非線性回歸方程（37），然后，可類似于線性回歸方程進行預測和控制。三、判別分析、聚類分析、主成分分析與因子分析 由于這部分容龐雜繁多，況且教學時間有限，所以，該節(jié)講義暫時略去這部分容的知識梳理與講解。雖然如此，但是，在下面的應用分析中還是選擇了一個實例（例3）加以分析說明，這是因

13、為該部分容在歷年的數(shù)學建模競賽中時有出現(xiàn)和應用，不能掉以輕心。四、應用分析例1 （1992年A題 施肥效果分析）具體問題參見題目“1992年A題 施肥效果分析.pdf”。分析：該題是中國大學生首屆數(shù)學模型競賽試題，也是美國1992年數(shù)學模型競賽A題。在上述問題中，N, P, K的施用量是三個回歸變量，土豆和生菜的產(chǎn)量是因變量，利用所給數(shù)據(jù)建立產(chǎn)量與N, P, K的施用量之間的函數(shù)關(guān)系，然后通過這個函數(shù)關(guān)系去分析合理的施肥效果等，這就是回歸方法建模。先看鉀肥K的施用量與生菜產(chǎn)量W之間的關(guān)系。由所給數(shù)據(jù)描出經(jīng)驗曲線，并結(jié)合農(nóng)學原理知，鉀肥的施用量對生菜產(chǎn)量的增加表現(xiàn)為直線形式，故可用一元線性回歸。

14、所建立的鉀肥對生菜的效應方程（回歸方程）為 。 （39）由于，所以，效應方程（回歸方程）（39）有意義。另外，由所給數(shù)據(jù)描出的經(jīng)驗曲線，并結(jié)合英國科學家博伊德的理論可知，磷肥P的施用量W的增加表現(xiàn)為分段直線形式，運用一元線性回歸，可得磷肥對土豆的效應方程為 。 （40）磷肥對生菜的效應方程為 。 （41） 考查氮肥N的施用量與土豆和生菜產(chǎn)量W之間的關(guān)系。由所給數(shù)據(jù)描出的經(jīng)驗曲線，結(jié)合Nicklas和Miller的理論可知，氮肥的施用量對土豆和生菜產(chǎn)量的增加可用下述描述： 。 （42）令，則上述模型（42）轉(zhuǎn)化為二元線性回歸模型。 （43）經(jīng)過計算，氮肥對土豆的效應方程為 。 （44）由于，所以

15、，效應方程（回歸方程）（44）有意義。類似地，可求得氮肥對生菜的效應方程為 。 （45）同時，可以檢驗上述回歸方程（45）有意義。注意：（44）和（45）式中的表示氮肥N的施用量。再考察鉀肥K的施用量與土豆產(chǎn)量W之間的關(guān)系。由所給的數(shù)據(jù)繪出經(jīng)驗曲線，結(jié)合米采利希學說，并考慮到土壤本身的天然肥力，鉀肥的施用量對土豆產(chǎn)量的增加可用下述模型來描述 ， （46）其中為未知參數(shù)，為零均值的隨機變量。不妨采用高斯-牛頓法確定參數(shù)，這里樣本容量，。采用高斯-牛頓法，求得，從而，得到鉀肥對土豆的效應方程為 。 （47）注：其它解題方案可以參考“施肥方案對作物_蔬菜的影響.pdf”。例2 （2004年B題）具體問題和分析參見“電力市場的輸電阻塞優(yōu)化管理.pdf”和“電力市場輸電阻塞管理模型2004年甲組高教杯獲得者論文.pdf”。注：選擇本題主要介紹多元線性回歸在解決實際問題中的應用。例3 （2008題B題）具體問題參見“高等教育學費標準探討B(tài)2008.doc”，具體分析參見“高等教育學費標準探討1910.pdf”。注：選擇本題主要是想介紹多元統(tǒng)計分析中因子分析、主成分分析、聚類分析等基本方法在實際問題中的應用。五、參考習題