地理數(shù)據(jù)統(tǒng)計分析與建模2014

地理數(shù)據(jù)分析程立cllgg1@QQ:4977442492第一章緒論為什么地理研究中需要數(shù)學(xué)方法？在地理研究中如何應(yīng)用數(shù)學(xué)方法？本課程需要掌握哪些數(shù)學(xué)方法？3為什么地理研究中需要數(shù)學(xué)方法？地理學(xué)發(fā)展歷史的必然數(shù)學(xué)方法在地理學(xué)研究中起到重要作用4地理學(xué)的歷史與數(shù)學(xué)工具的運用古代地理學(xué)——幾何學(xué)(Geometry測量大地) Geo- Geography 地理學(xué)

Geomorphology地貌學(xué)

Geobotany 地植物學(xué)

Geoinformatics：？

5Geoinformatics–whatisit?

-definedasthescience,technologyandartofcollecting,storing,andanalyzinginformationabouttheearth’ssurface(ocean,land,environment,peopleandnaturalresources)anddisplayingtheanalysedresultsdigitally; -alternativeterm:geographicinformationscience;6地理學(xué)的歷史與數(shù)學(xué)工具的運用古代地理學(xué)

描寫地理事件，地理事實，積累知識(山海經(jīng)，水經(jīng)注)

例如：海平面變化的描述7顏真卿

(公元708--784年)

“麻姑自言∶接侍以來，已見東海三為桑田。向到蓬萊，水又淺于往昔會時略半也。豈將復(fù)為陵陸乎?方平笑曰∶圣人皆言海中行復(fù)揚塵也?！?/p>

摘自《麻姑仙壇記》8沈括

(公元1024--1093年)

予奉使河北，遵太行而北。山崖之間，往往銜螺蚌殼及石子如鳥卵者，橫亙石壁如帶。此乃昔之海濱，今東距海已近千里。所謂大陸者，皆濁泥所淹耳。舜殛鯀于羽山，舊說在東海中，今乃在平陸。

摘自《夢溪筆談》91832年萊依爾對意大利波佐利大理石柱上的海蝕痕跡的解釋10地理學(xué)的歷史與數(shù)學(xué)工具的運用近代地理學(xué)——統(tǒng)計學(xué) 對地理現(xiàn)象進行開始運用數(shù)學(xué)工具描述現(xiàn)代地理學(xué)——多種數(shù)學(xué)工具 對地理現(xiàn)象進一步定量研究，以揭示地理現(xiàn)象的運動規(guī)律與形成機制舉例：對海平面描述說明的近現(xiàn)代方法（時間序列分析）112億5千萬年來的全球海面變化過程12最近26萬年來的海面變化曲線13最近15萬年來的海面變化曲線14

我國棉鈴蟲與北太平洋海溫場月均距平、前期ENSO指標(biāo)的相關(guān)關(guān)系，建立棉鈴蟲的長期預(yù)報模型。（線性回歸，相關(guān)分析）

現(xiàn)代地學(xué)研究方法舉例

——棉鈴蟲的長期預(yù)警模型15德州鄆城豐縣南京棉鈴蟲卵量數(shù)據(jù)德州,22年(1978~1999)鄆城,26年(1974~1999)豐縣,20年(1980~1999)16棉鈴蟲的卵量與前期的海平面溫度（SST）距平、ENSO指標(biāo)存在顯著或極顯著相關(guān)關(guān)系不同地區(qū)的棉鈴蟲卵量與前期海溫距平存在時空的差異性17山東德州棉鈴蟲第3代卵量與前期海溫相關(guān)的時空分布Red:正相關(guān)Blue:負相關(guān)深色:p<0.01淺色:p<0.0518山東德州棉鈴蟲第3代卵量與前期海溫相關(guān)的時空分布19山東鄆城

江蘇豐縣JAN2、FEB2、MAR2均存在大面積的正顯著相關(guān)區(qū)域20

棉鈴蟲第三代卵量與JAN2北太平洋海溫相關(guān)的空間分布21Correlationcoefficient棉鈴蟲卵量與前期各ENSO指標(biāo)的相關(guān)關(guān)系22棉鈴蟲卵量預(yù)報模型的建立和驗證23OCT2XNOV2X最佳預(yù)測模型：Y=-0.0482OCT2–0.6152NOV2歷史回檢率：70%預(yù)測準(zhǔn)確率：100%（1994-1999）24Ni?o-4區(qū)的SST距平是預(yù)測豐縣、鄆城和德州三地棉鈴蟲卵量的最主要因子，其他的ENSO指標(biāo)的預(yù)測能力較差用ENSO指標(biāo)可以提前15-25個月預(yù)測，模型的歷史回檢率為70%，預(yù)測準(zhǔn)確率為78%模型預(yù)測能力25結(jié)論：SST和ENSO指標(biāo)是害蟲大爆發(fā)的主要長期預(yù)測因子；利用北太平洋海溫場SST可以提前20-27個月對棉鈴蟲作出預(yù)測；利用ENSO指標(biāo)可以提前15-25個月對棉鈴蟲作出預(yù)測。26地理與氣象關(guān)系的分析同理，我們可以分析其他地理與氣象關(guān)系重慶高溫干旱與三峽工程的關(guān)系汶川地震與氣象的關(guān)系2008年年初的雨雪冰凍天氣2010年中國的極端天氣2011年西南大旱（旱震關(guān)系）日本海嘯（3.11）2012年美國大旱2013年云南干旱、雅安地震隨機向量簡介——多元統(tǒng)計分析的預(yù)備知識(現(xiàn)代地理統(tǒng)計)28隨機向量的定義若向量ξ=(ξ1,ξ2,...ξn)

中各分量ξi為隨機變量,則稱該向量為n維隨機向量.以隨機變量為元素的矩陣稱為隨機矩陣各個波長的光譜反射率變化構(gòu)成一個隨機向量29隨機向量數(shù)學(xué)期望若

為一n維隨機向量,則它的數(shù)學(xué)期望為

30隨機矩陣若矩陣的各個元素為隨機變量，則稱矩陣X為隨機矩陣，31隨機矩陣的數(shù)學(xué)期望

隨機矩陣X的數(shù)學(xué)期望定義為隨機矩陣的期望是不是隨機矩陣？32隨機矩陣數(shù)學(xué)期望的性質(zhì)以下AB為普通常數(shù)矩陣,X為隨機矩陣1．2．3．4．利用定義證明以上公式（作業(yè)1）33隨機向量的協(xié)方差陣(1)若為一n維隨機向量,

則:

為該隨機向量的協(xié)方差陣.34由V(x)的定義可以推出（留作作業(yè)2）其中其中D(xi)為隨機向量x各分量的(均)方差cov(xixj)為隨機變量xi與xj的協(xié)方差隨機向量的協(xié)方差陣(2)35協(xié)方差陣的基本性質(zhì)(1)性質(zhì)1由于cov(xixj)=cov(xjxi)，所以V(x)是n階實對稱陣性質(zhì)2cov(xixj)反映了隨機變量xi與xj之間的線性相關(guān)情況,如果隨機變量xi與xj相互獨立，則cov(xixj)=0 V(x)成為對角陣

36協(xié)方差陣的基本性質(zhì)(2)性質(zhì)3：證明：37協(xié)方差陣的基本性質(zhì)(3)

性質(zhì)4：V(x+c)=V(x)其中c為常數(shù)向量（留作作業(yè)3）性質(zhì)5：若y為m維隨機向量，x為n維隨機向量，V(x)為x的協(xié)方差陣,A為m×n階常數(shù)矩陣，并且滿足y＝Ax，則：

V(y)＝AV(x)A＇ 證明：

V(y)＝E[(y－E(y))(y－E(y))＇]

＝E[(Ax－E(Ax))(Ax－E(Ax))

＇]

＝E[(A(x－E(x)))(A(x－E(x)))＇]

＝AE(x－E(x))(x－E(x))＇A＇＝AV(x)A＇38隨機向量的相關(guān)陣定義若為一n維隨機向量,則它的相關(guān)矩陣定義為:其中：為xi和xj的相關(guān)系數(shù)

39隨機向量相關(guān)陣的性質(zhì)由于rii=1,rij=rji，因此，相關(guān)陣為對角線元素為1的實對稱陣40隨機向量相關(guān)陣的性質(zhì)

若隨機向量各分量互不相關(guān)則相關(guān)陣是一n階單位陣（rii=1,rij=0）41隨機向量相關(guān)陣的性質(zhì)協(xié)方差陣與相關(guān)陣關(guān)系

注意到在相關(guān)陣中：其中：V(x)＝DR(x)D

其中：隨機向量相關(guān)陣展示了一個隨機向量內(nèi)部各隨機分量之間的相關(guān)性，以及每個隨機分量的變動情況（方差）42兩個隨機向量之間的互協(xié)方差陣

定義：若

分別為n維m維隨機向量，則向量x和y的互協(xié)方差陣為：展開可得到：

43互協(xié)方差陣性質(zhì)對稱性：cov(x,y)＝(cov(y,x))＇

Vxy=Vyx＇通常記cov(x,y)為Vxy若隨機向量u與x之間滿足u=Ax,隨機向量v與y之間滿足v=By則有：Vuv=AVxyB＇（留作作業(yè)4）44互相關(guān)陣定義定義：若

分別為n維和m維隨機向量則x和y的互相關(guān)陣為：

其中r(xi,yj)為隨機變量xi與yj

的相關(guān)系數(shù),顯然:Rxy=Ryx＇多元線性回歸——一元線性回歸46變量之間的聯(lián)系變量之間的聯(lián)系分為確定性關(guān)系和非確定性關(guān)系(現(xiàn)代統(tǒng)計方法與應(yīng)用何曉群人大出版社)確定性關(guān)系:具有精確的函數(shù)關(guān)系例如：歐姆定律(V=IR)，自由落體運動公式等非確定性關(guān)系:存在密切關(guān)系但是沒有密切到一個可以完全確定另一個的程度非確定性的原因:存在尚未認識的影響因素試驗或測量誤差其他種種偶然因素等使得一個或一些隨機變量取定值后,其余變量取值帶有一定的隨機性,不能以確定值與之對應(yīng).47變量之間的聯(lián)系統(tǒng)計關(guān)系(相關(guān)關(guān)系):統(tǒng)計學(xué)中把變量間具有密切關(guān)聯(lián)但是不能用函數(shù)關(guān)系精確表達的關(guān)系稱為變量間的統(tǒng)計關(guān)系或相關(guān)關(guān)系確定性關(guān)系與相關(guān)關(guān)系之間的轉(zhuǎn)化 由于存在測量誤差等原因,確定性關(guān)系往往通過相關(guān)關(guān)系表現(xiàn)出來,許多物理化學(xué)定律都是先得到相關(guān)關(guān)系,在相關(guān)關(guān)系的啟發(fā)下逐步發(fā)現(xiàn)了這些定律.也就是說當(dāng)對事物的內(nèi)部規(guī)律了解更加深刻的時候,相關(guān)關(guān)系可能轉(zhuǎn)化為確定性關(guān)系.對于某些統(tǒng)計關(guān)系，我們可以利用統(tǒng)計方法建立模型4849坎兒井示意圖50回歸方程的基本概念回歸方法是一種數(shù)據(jù)挖掘的方法,能從數(shù)據(jù)中發(fā)現(xiàn)有用信息

(是事物的表面規(guī)律不是內(nèi)部機理）數(shù)據(jù)表格你能從這張表中發(fā)現(xiàn)什么規(guī)律?年序 最大積雪 灌溉面積y(千畝)

深度x(尺)1 15.2 28.62 10.4 19.33 21.2 40.54 18.6 35.65 26.4 48.96 23.4 45.07 13.5 29.28 16.7 34.19 24.0 46.710 19.1 37.451回歸方程的基本概念進行一般加工計算均值(平均最大積雪深度18.5灌溉面積36.53)標(biāo)準(zhǔn)差(最大積雪深度4.773灌溉面積8.746)相關(guān)系數(shù)只能描述數(shù)據(jù)的一般特征用于預(yù)測還不夠好52回歸方程的基本概念散點圖很容易發(fā)現(xiàn)兩者存在線性關(guān)系,通過計算兩者的相關(guān)系數(shù)也可證明這一點.53回歸方程的基本概念通過線性回歸可以擬合得到一根最好的趨勢線54回歸方程應(yīng)用的另一個例子

直觀經(jīng)驗→采集數(shù)據(jù)→經(jīng)驗驗證身高（x）143145146147149150153154155156157158159160162164褲長(y)8885889192939395969897969899100102斜率的意義:整個身高每增高一個單位，腿長貢獻其中71.9%5556地理研究的例子5758人口密度與光能輻射596061回歸方程的基本概念“回歸”（Regression）名稱的產(chǎn)生背景來自于英國統(tǒng)計學(xué)家F.Galton(1822-1911).Galton在和他的學(xué)生K.Pearson(1856-1936)研究父母與子女身高關(guān)系的遺傳問題時,觀察了1078對夫婦,繪制了散點圖,計算出一個回歸直線方程y=33.73+0.516x

其中,y是成年兒子的身高,x是父母的平均身高.另外：Galton對樣本的平均值研究發(fā)現(xiàn)： 樣本中，父母的平均身高為68英寸（） 兒子的平均身高為69英寸（）似乎表明：人類后代的平均身高總比上一代高1英寸，是這樣嗎？62進一步研究發(fā)現(xiàn)：當(dāng)雙親的平均身高平均值為72英寸時（大于均值），他們的兒子的平均身高為71英寸（）當(dāng)雙親的平均身高平均值為64英寸時（小于均值），他們的兒子的平均身高為67英寸（）人類身高出現(xiàn)的所謂的“回歸效應(yīng)”后來人們把Galton所計算得到的直線方程稱為回歸方程，相應(yīng)的統(tǒng)計分析稱為回歸分析實際上，并非所有具有線性關(guān)系數(shù)據(jù)都有回歸效應(yīng)，這樣稱呼是歷史原因造成的回歸方程的基本概念63一元回歸模型定義：假定（最大積雪深度）x,（灌溉面積）y具有如下線性關(guān)系:y=α+βx+εαβ是未知常數(shù),稱為回歸系數(shù)ε表示其他隨機因素對y的影響,是一個隨機變量.稱上式為一元線性回歸模型的線性公式變量y稱為因變量或響應(yīng)變量變量x稱為自變量或預(yù)報變量上式表明：變量y包含有隨機成分和線性成分一元線性回歸模型是處理兩個變量之間關(guān)系最簡單的模型。雖然簡單，但是從中可以了解回歸分析方法的基本思想方法和應(yīng)用。64一元回歸模型

實際上，如已經(jīng)獲得n組觀察值(x1，y1),(x2，y2),...,(xn，yn)

(比如以上例子中10年的數(shù)據(jù)） 即自變量x分別取值：x1，x2，...，xn

因變量y分別對應(yīng)取值：y1，y2，...，yn

符合一元回歸模型，則有(xi，yi)滿足：

yi=α+βxi+εi65一元回歸的前提條件

(Guass-Markov條件)假定1

εi服從正態(tài)分布并且E(εi)=0,Var(εi)=σ2(i=1,…,n)現(xiàn)代統(tǒng)計方法與應(yīng)用何曉群人大出版社假定2

n組數(shù)據(jù)（樣本）是獨立觀察的,因而,ε1,ε2,ε3,...εn是相互獨立的

cov(εi,

εj)＝0（i≠j）注意：模型中假定條件和線性公式一個都不能少66Guass-Markov條件E(εi)=0

表明誤差沒有任何系統(tǒng)趨勢 因而：E(yi)=α+βxi

觀測值yi與其期望E(yi)之間的波動εi是完全隨機的，沒有任何趨勢，不是yi的函數(shù)，也不是xi的函數(shù)Var(εi)=σ2

表明不同次的觀測yi在其期望E(yi)附近的波動程度（散布程度）是一樣的n組數(shù)據(jù)（樣本）是獨立觀察的，實際情況中，此條假設(shè)較易滿足67一元回歸模型原理1．已知條件：已經(jīng)獲得n組觀察值(x1，y1),(x2，y2),...,(xn，yn),如果它們符合一元線性回歸模型，則有：yi=α+βxi+εi并且應(yīng)有:E(εi)=0,Var(εi)=σ2

通常假定n組數(shù)據(jù)是獨立觀察的，因而ε1,ε2,ε3,...εn相互獨立的。682．求變量y的數(shù)學(xué)期望(消除隨機誤差)對y=α+βx+ε兩邊求數(shù)學(xué)期望得到：E(y)=α+βx通常用隨機變量y的數(shù)學(xué)期望E(y)作為y的估計值，記為，故有：即：或同理：對于觀測值yi的取值同樣有E(yi)=α+βxi或一元回歸模型原理69一元回歸模型原理3.一元回歸的目標(biāo)：擬合“最佳”直線通過n組觀察值來估計α與β，通常用最小二乘法或極大似然法估計通常將，寫為：其中記a，b分別為α與β的估計值不同的方法和標(biāo)準(zhǔn)可能得到不同的α與β的估計值。70最小二乘法原理由可知，yi與它的估計值不相等存在一個偏差，稱之為殘差用ei表示，是觀測值與回歸值之間的偏差。71最小二乘法原理自然，可用殘差平方和用于度量觀察值與回歸直線之間的接近程度最小二乘法就是使殘差平方和Q最小而估計得到的a，b值的方法，就是選擇適當(dāng)?shù)腶b使Q達到最小72因為Q(a,b)是關(guān)于a，b二次函數(shù)，所以Q的最小值是存在的,其中a,b是未知數(shù)那么，如何求a，b？最小二乘法原理73最小二乘法原理求極值得到a，b根據(jù)微積分中求極值的方法得到方程組：74最小二乘法原理75最小二乘法原理方便起見，記：76最小二乘法原理為求解ab需要證明以下引理：證明：證明：79最小二乘法原理將的第一式化為：即：80最小二乘法原理將代入第二式消去a整理得到：Lxxb=Lxy即b=Lxy/Lxx再由得到a以下是具體的整理過程：代入即b=Lxy/Lxx82最小二乘估計的性質(zhì)對于一元回歸方程：已經(jīng)獲得n組觀察值(x1，y1),(x2，y2),...,(xn，yn),如果它們符合一元線性回歸模型，則可求得回歸方程為：其中b=Lxy/Lxx那么，我們得到的估計值究竟好不好呢？采用何種標(biāo)準(zhǔn)評價？83最小二乘估計的性質(zhì)無偏估計概念若t是參數(shù)T的一個估計，且滿足E(t)=T，則稱t為T的無偏估計最小二乘估計對α，β的估計具有無偏性：可以證明（多元回歸中證明）：a，b是αβ的無偏估計，即：E(a)=α,E(b)=β就是說若用同樣的估計方法對α，β作多次估計,a，b的平均值將趨于α，β并且由此可以證明y的估計是E(y)無偏估計84最小二乘估計的性質(zhì)y估計無偏性的證明表明回歸值（估計值）的均值看作實際觀察值的平均值注意此性質(zhì)與Guass-Markov條件的內(nèi)在聯(lián)系85最小二乘估計的性質(zhì)關(guān)于a，b的方差（波動性）

由：得到再由yi的獨立性及Var(yi)=σ2,得到（注意下標(biāo)i，j）

86最小二乘估計的性質(zhì)同樣根據(jù)可以得到87最小二乘估計的性質(zhì)由此可以看出：斜率b的方差（隨機變量取值波動的大?。┎粌H與隨機誤差ε的方差有關(guān)而且與x的方差有關(guān)截距a的方差與x的方差，隨機誤差的方差，觀察值（樣本）個數(shù)有關(guān)。88作業(yè)4作業(yè)：利用公式計算例子中的一元回歸直線方程(要有計算過程)

最大積雪深度x(尺)灌溉面積y(千畝)115.228.6210.419.3321.240.5418.635.6526.448.9623.445.0713.529.2816.734.1924.046.71019.137.489作業(yè)5仿照的推導(dǎo)過程（提示：展開后推導(dǎo)），證明：91回歸方程的顯著性檢驗顯著性檢驗的目的任何數(shù)據(jù)即使沒有線性關(guān)系都有可能建立回歸方程,這樣是沒有意義的,沒有反映變量之間的實際關(guān)系.一方面,要建立從經(jīng)驗上認為有意義的方程另一方面,需要用數(shù)學(xué)方法對方程的顯著性進行檢驗.92數(shù)據(jù)的相關(guān)性93數(shù)據(jù)的相關(guān)性94回歸方程的顯著性檢驗

(相關(guān)系數(shù)法)定義線性相關(guān)系數(shù)r相關(guān)系數(shù)與回歸系數(shù)b的關(guān)系(符號相同)

計算例子中的線性相關(guān)系數(shù)為:r=0.9894,因此,最大積雪深度與灌溉面積有密切的線性關(guān)系,并且是正相關(guān).

95回歸方程的顯著性檢驗

(相關(guān)系數(shù)法)相關(guān)系數(shù)檢驗表的使用

1．計算得到的相關(guān)系數(shù)的絕對值必須大于表中的值

2．通常，r的絕對值大于表中α＝0.05的相應(yīng)值,但是小于α＝0.01的相應(yīng)值時稱x,y有顯著的線性關(guān)系,

如果r的絕對值大于表中α＝0.01的相應(yīng)值稱有十分顯著的線性關(guān)系,

小于表中α＝0.05的相應(yīng)值稱x與y沒有顯著的線性關(guān)系.

96

相關(guān)系數(shù)顯著性檢驗表

P(|γ|>γα)=ααN-20.100.050.020.010.001123456789...0.98770.90000.80540.72930.66940.62150.58220.54940.5214...0.99690.95000.87830.81140.75450.70670.66640.63190.6021...0.99950.98000.93430.88220.83290.78870.74980.71550.6851...0.99990.99000.95870.91720.87450.83430.79770.76460.7348...0.99990.99900.99120.97410.95070.92490.89820.87210.8471...

例子中,n=10,表中α＝0.05的相應(yīng)值(n-2=8)為0.632,α＝0.01的相應(yīng)值(n-2=8)為0.765而r=0.9894>0.765,因此,最大積雪深度與灌溉面積有密切的線性關(guān)系.97回歸方程的顯著性檢驗

(相關(guān)系數(shù)法)相關(guān)系數(shù)法的缺點與數(shù)據(jù)組數(shù)n有關(guān)組數(shù)小時r容易接近1比如:只有兩個點的情況（相關(guān)系數(shù)總為1)98回歸方程的顯著性檢驗

(F檢驗)a.記Lyy總離差平方和為S總

b.回歸離差平方和S回c.殘差平方和S殘99100回歸方程的顯著性檢驗(F檢驗)證明:S總=S回+S殘已知：101回歸方程的顯著性檢驗(F檢驗)替換yi的估計根據(jù)Q（a，b）中的第一式替換a103回歸方程的顯著性檢驗(F檢驗)公式S總=S回+S殘的解釋:y的偏差由兩個原因造成:一個是x的變化引起y的變化(S回線性成分),一個是由隨機誤差造成(S殘).由此可見S回所占S總的比重越大，回歸效果越好104回歸方程的顯著性檢驗(F檢驗)F檢驗公式根據(jù)以上公式,利用方差理論得到:如果x與y有線性關(guān)系,則其中F(1,n-2)表示第一自由度(分子的自由度)為1，第二自由度（分母的自由度）為n－2的F分布。105回歸方程的顯著性檢驗(F檢驗)F檢驗表(見書后附錄P408)的使用若F<F0.05(1,n-2)則稱x與y沒有明顯線性關(guān)系若F0.05(1,n-2)<F<F0.01(1,n-2)則稱x與y有顯著線性關(guān)系若F>F0.01(1,n-2)則稱x與y有十分顯著線性關(guān)系

106回歸方程的顯著性檢驗

(相關(guān)系數(shù)法)可作為考試題目利用S殘及

證明|r|<=1從而由S總=S回+S殘及S總=Lyy

S回=bLxy得到S殘=Lyy-bLxy

因此|r|<=1107令:

于是

y=α+βx+ε可以寫成矩陣形式:y=Xβ+ε且假定條件寫成:E(ε)=0,D(ε)=σ2In回歸模型的矩陣表示108回歸模型的矩陣表示利用矩陣方法求回歸系數(shù)β的最小二乘估計b

使得Q(b)=minQ(β)其中Q(β)=(y－Xβ)ˊ(y－Xβ)是1×1的矩陣，是多元函數(shù)109回歸模型的矩陣表示補充知識:多元函數(shù)對向量求導(dǎo)規(guī)則:若多元函數(shù)y=f(x1,...xn)可以看作y為向量x=(x1,x2,..xn)‘的函數(shù),記為y=f(x),且y對x的每個分量的微商都存在,則令稱為y對向量x的微商.110回歸模型的矩陣表示運算規(guī)則1.若y=x＇x

則2.若y=x＇Ax則

(推導(dǎo)從略)

特別地:若A為對稱矩陣則:3.若y=a＇x111回歸模型的矩陣表示求β的極值:112回歸模型的矩陣表示若b是β的最小二乘估計,則有(X＇X)b=X＇y此式稱為正規(guī)方程.如果X＇X可逆則可以得到b的解b=(X＇X)-1X＇y

113回歸模型的矩陣表示驗證b確實可以使Q達到最小值Q(β)=(y－Xβ)＇(y－Xβ)=(y－Xb+Xb－Xβ)＇(y－Xb+Xb－Xβ)=(y－Xb)＇(y－Xb)+(b－β)＇

X＇X(b－β)＋(y－Xb)＇X(b－β)

＋(b－β)＇

X＇(y－Xb)=(y－Xb)＇(y－Xb)+(b－β)＇

X＇X(b－β)＋(y－Xb)＇X(b－β)＋(b－β)＇

X＇(y－X(X＇X)-1X＇y)=(y－Xb)＇(y－Xb)+(b－β)＇

X＇X(b－β)＋(y－Xb)＇X(b－β)＋(b－β)＇[X＇y－X＇X(X＇X)-1X＇y]=(y－Xb)＇(y－Xb)+(b－β)＇

X＇X(b－β)＋(y－Xb)＇X(b－β)＋0=(y－Xb)＇(y－Xb)+(b－β)＇

X＇X(b－β)＋0＋0=Q(b)+(b－β)＇

X＇X(b－β)顯然:

Q(β)>=Q(b),當(dāng)且僅當(dāng)β=b時Q(β)達到極小值.114回歸模型的矩陣表示有關(guān)的性質(zhì)證明：b是β的無偏估計115回歸模型的矩陣表示相關(guān)性質(zhì)證明：由正規(guī)方程，有b=(X'X)-1X'y

再根據(jù)協(xié)方差陣的性質(zhì)：V(Ax)＝AV(x)A＇回歸模型的矩陣表示Var（a）和Var（b）表達式a，b均是標(biāo)量，不是向量117回歸模型的矩陣表示Q(b)的表示：

其中是一個投影矩陣

(若A’=A,A2=A則A為投影矩陣)118殘差分析所謂殘差是指實際觀察值與回歸估計值的差，即

顯然，有多少對數(shù)據(jù)，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析數(shù)據(jù)的可靠性、周期性或其它干擾的一種數(shù)理統(tǒng)計方法。119殘差分析

——殘差的統(tǒng)計性質(zhì)殘差的期望為0由得到又由最小二乘估計中以及得所以120殘差分析

——殘差的統(tǒng)計性質(zhì)《應(yīng)用回歸分析》張小蒂p94估計值與觀測值的協(xié)方差殘差分析

——殘差的統(tǒng)計性質(zhì)證明估計值的方差先證明：122殘差分析

——殘差的統(tǒng)計性質(zhì)《殘差分析

——殘差的統(tǒng)計性質(zhì)《再證：注意到：yi之間是獨立的殘差分析

——殘差的統(tǒng)計性質(zhì)《125殘差分析

——殘差的統(tǒng)計性質(zhì)殘差的方差：殘差分析

——殘差的統(tǒng)計性質(zhì)《殘差的方差中，σ一般是未知的，所以需要對σ進行估計。證明：E(Q(b))=(n-2)σ2S殘=S總-S回S回=b2Lxx見PPT125先證：128129130考察殘差圖

張小蒂《應(yīng)用回歸分析》p84考察殘差圖

根據(jù)Guass-Markov條件

，回歸模型中的隨機擾動誤差項εi~N(0,σ2)，如果模型對樣本數(shù)據(jù)擬合良好的話，那么觀測到的殘差ei就應(yīng)該反映εi的上述分布特性，即有ei~N(0,σ2)或者ei*=ei/σ~N(0,1)稱為標(biāo)準(zhǔn)化殘差。又由E(Q(b))=(n-2)σ2,可以得到標(biāo)準(zhǔn)化殘差的估計量，且有P(|ei*|<2)=0.9545131考察殘差圖回歸擬合良好：絕大多數(shù)數(shù)據(jù)在（-2，+2）水平區(qū)間，無任何系統(tǒng)趨勢+2-20ei*

x

132回歸函數(shù)具有曲線形式+2-20ei*

x

133樣本數(shù)據(jù)中有異常點+20-2ei*

x

異常點134回歸方程擬合不充分,較多數(shù)據(jù)在區(qū)間外,可能是回歸模型的函數(shù)形式(對數(shù),指數(shù))選擇不當(dāng),也可能是漏掉了重要自變量

+2-20ei*

x

135異方差,數(shù)據(jù)點往往出現(xiàn)系統(tǒng)變動趨勢(下圖是其中一種情形)可采用加權(quán)最小二乘法回歸+2-20ei*

x

136誤差項相關(guān),也稱自行關(guān)或序列相關(guān),當(dāng)數(shù)據(jù)為時間序列資料時,誤差項自相關(guān)情況較多(這里只列舉正相關(guān)情形εi>0的數(shù)據(jù)點對應(yīng)εj>0的數(shù)據(jù)點)εiεj137殘差分析

——預(yù)測預(yù)報根據(jù)歷史數(shù)據(jù)回歸得到方程后就可以用來做預(yù)報：假如根據(jù)新的數(shù)據(jù)x0代入回歸方程得到新的預(yù)報值則有并且由于隨機誤差ε服從正態(tài)分布，殘差也服從正態(tài)分布138殘差分析根據(jù)分布理論可以得到：這里表示自由度為n-2的分布。并且有

139殘差分析我們可以求得t1,t2,使覆蓋y0的概率(t1<y0<t2)為1-α?？紤]到，通常我們就取關(guān)于的對稱區(qū)間。令140殘差分析因此有：即141由可知：給定的αn越大，Lxx越大，x0越靠近x的均值，則Δ越小，預(yù)測精度越高。142殘差分析實例：給定新值得所以，當(dāng)已知當(dāng)年積雪的最大深度為27.5尺時，以95%的概率斷言灌溉面積在48.306千畝與56.12千畝之間。

143多元線性回歸多元線性回歸模型表示為：其中，是未知參數(shù)，而是m個可以精確測量并可控制的一般變量，是隨機誤差。和一元線性回歸一樣，常假定144多元線性回歸為了建立回歸方程，估計回歸系數(shù)我們進行n次觀察,得n組觀察數(shù)據(jù)它們應(yīng)有回歸關(guān)系,可寫成如下形式145多元線性回歸設(shè)：是n組觀察值是的估計量，記推導(dǎo)得146多元線性回歸設(shè)：是β

的最小二乘解，則稱為為正規(guī)方程用元素表示為：147多元線性回歸對于正規(guī)方程如果滿秩，即有逆矩陣存在。得最小二乘估計為

通常為了計算方便，往往并不先逆矩陣求b，而是通過解線性方程組(正規(guī)方程)來求b。148多元線性回歸方程未知數(shù)較少時可用克萊姆法則求解在未知數(shù)較多時，可用高斯消去法等方法解方程149多元回歸最小二乘估計的性質(zhì)

——方陣“跡”的性質(zhì)若A為n階方陣，則方陣A的跡為其中λi為方陣A的特征根，或者其中aii

為方陣A的主對角線元素。（證明略）方陣的跡的基本性質(zhì)：1 方陣正交變換后，跡不變 其中Q為正交陣2k為常數(shù)3若C為n×m階矩陣，D為m×n階矩陣，則有45150多元回歸最小二乘估計的性質(zhì)

現(xiàn)代地理統(tǒng)計分析證明：σ2的無偏估計為即證明：證明：已知151多元回歸最小二乘估計的性質(zhì)152多元回歸最小二乘估計的性質(zhì)容易得到：多元回歸最小二乘估計的性質(zhì)令：則有：154多元回歸最小二乘估計的性質(zhì)因此有：最后有：由此得的無偏估計為155多元回歸最小二乘估計的性質(zhì)(1/2)1．b是β無偏估計，這是因為

2.b的協(xié)方差矩陣為156多元回歸最小二乘估計的性質(zhì)對于線性回歸方程系數(shù)的估計b，它的方差越小越好（方差越小表示波動越小，即Var（b）越小越好）在所有的線性無偏估計中最小二乘法得到的系數(shù)估計值方差最小無偏：

如果d為β的無偏估計，協(xié)方差陣記為Dd，若Dd-Db>=0(非負定)則稱d的協(xié)方差陣Dd大于b的協(xié)方差陣Db

線性：對于β的一切線性組合c’β，若有Var(c’d)＞＝Var(c’b)

則稱d（β的任一無偏估計）的協(xié)方差陣大于等于b（最小二乘估計）的協(xié)方差陣（c是常數(shù)向量）注意到c＇b=c'(XX)-1X'y

是y的線性函數(shù)（因此，b是線性估計量），因此可構(gòu)造y的線性函數(shù)d'y作為c'β的任意一個線性無偏估計157多元回歸最小二乘估計的性質(zhì)3.對于線性回歸模型，在c′β的一切線性無偏估計類中，c′b有最小方差（Guass-Markov定理）。證明:設(shè)d′y是c′β的任一線性無偏估計，則根據(jù)無偏估計的定義有因此有：對一切β成立，故必有這樣由yi，yj之間的獨立性（i≠j）158多元回歸最小二乘估計的性質(zhì)從而最后一步是因為I-P為投影陣，必為非負定陣。證畢。Guass-Markov定理說明：最小二乘估計在一切線性無偏估計中是最優(yōu)的，因此也被稱為最佳線性無偏估計159多元回歸最小二乘估計的性質(zhì)最小二乘估計存在的問題：β的估計的均方誤差MSE(MeanSquaredErrors)160多元回歸最小二乘估計的性質(zhì)由于A>0（正定陣），因此A的所有特征根λi均為正數(shù)，且A-1的特征根為1/λi161多元回歸最小二乘估計的性質(zhì)由看出：當(dāng)A的特征根中只要有一個根接近0，MSE會變大，回歸系數(shù)估計值會變得很不穩(wěn)定A的特征根接近0就是A接近奇異陣，導(dǎo)致X自變量存在線性關(guān)系當(dāng)資料陣X的列向量之間存在近似線性相關(guān)關(guān)系時，稱為復(fù)共線性關(guān)系（自變量不獨立）對LS的改進：壓縮估計（1960）、主成分估計（1965）、嶺回歸估計（1970）、特征根估計（1974）這些改進方法仍然是線性估計，但是不能保證無偏性11線性方程組病態(tài)的幾何解釋方程組是由多個線性方程組成每個線性方程都代表一條直線方程有解就是直線之間相交如果直線之間互相平行，那么或者有無數(shù)個交點（無窮多個解），或者沒有交點（無解）直線之間如果接近平行，雖然有交點（有唯一解），但是直線參數(shù)略有小的變動都會導(dǎo)致交點大幅度變化，也就是說解是不穩(wěn)定的，接近病態(tài)。162時間序列分析164時間序列的定義時間序列就是按照時間順序排列的，隨時間變化而且相互關(guān)聯(lián)的數(shù)據(jù)序列。(如:年平均氣溫、降水量、海平面高程等)由于受到偶然因素的影響，每個時刻的取值是隨機的不確定的，表現(xiàn)出某種隨機性。165時間序列的定義能否把時間序列看成自變量是時間的一元回歸分析？（不能直接使用，往往回歸結(jié)果是一條水平線，相關(guān)系數(shù)為0沒有意義，實際上我們用“自回歸”研究時間序列）166時間序列的特點是一個隨機變量的歷史記錄。自變量不限于時間，也可以是其他變量，但是必須是遵循某種順序進行排列的數(shù)據(jù)的取值依賴于時間的變化，但是由于隨機干擾的影響，不一定是時間t的嚴格函數(shù)(如同一元線性回歸中xy沒有嚴格函數(shù)關(guān)系)某一時刻上的取值具有一定的隨機性，不可能完全準(zhǔn)確地用歷史值預(yù)測，某時刻在得到樣本之前只是知道它的概率分布，而不知道具體的值前后時刻（不一定相鄰）的數(shù)值具有一定的相關(guān)性時間序列往往呈現(xiàn)出一種趨勢性（GDP）或周期性變化（海平面、氣溫）。167時間序列定義

——隨機過程隨機過程（stochasticprocess）的定義：定義：（從時間角度考察）若對于每個特定的t∈T（T是無窮集合，稱為參數(shù)集）都存在一個隨機變量X(t)，則稱這一族的無窮多個隨機變量是一個隨機過程，表示為

{X(t),t∈T}或{Xt,t∈T}。對于某一固定的t，X(t)是一個普通隨機變量，X(t)的取值空間稱為相空間或狀態(tài)空間。離散參數(shù)的隨機過程也稱為隨機序列或時間序列。如果狀態(tài)空間是離散的集合，參數(shù)t空間也是離散集合，則稱此隨機過程為鏈

時間tt狀態(tài)空間t+kX（t）168隨機過程與隨機變量隨機變量：描述隨機現(xiàn)象 某班一天的出勤人數(shù)，某學(xué)院一天的耗電量

隨機過程：描述隨機現(xiàn)象的隨時間的動態(tài)變化過程 某班每學(xué)期每天的出勤人數(shù)的情況，某學(xué)院每學(xué)期每天的耗電量 隨機過程的現(xiàn)實（樣本函數(shù)） 某班某學(xué)期每天的出勤人數(shù)的情況，某學(xué)院某學(xué)期每天的耗電量隨機變量是隨機過程的一個特例（固定時間點）。169隨機過程的現(xiàn)實（樣本函數(shù)）

Realization

170隨機過程的統(tǒng)計特征

1.均值函數(shù)：給定隨機過程{X(t),t∈T}，對于任意t∈T，若E[X(t)]存在，則稱μt＝E[X(t)]，t∈T為隨機過程{X(t),t∈T}的均值函數(shù)。均值函數(shù)是隨機過程X(t)在各個時刻的擺動中心。2.方差函數(shù)

Var(Xt)=E[(Xt－μt)2]3.自協(xié)方差函數(shù)給定隨機過程{X(t),t∈T}，取定t∈T，s∈T定義其自協(xié)方差函數(shù)為

γt,s=cov(Xt,Xs)=E[(Xt－μt)(Xs－μs)]當(dāng)t=s時γt,t=Var(Xt)＝σt24.自相關(guān)函數(shù)：

ρt,s=γt,s

／(σtσs)171隨機過程的統(tǒng)計特征時間tXs方差函數(shù)均值函數(shù)Xtμsμt172平穩(wěn)隨機過程

StationaryProcess平穩(wěn)隨機過程

n維分布函數(shù)F（當(dāng)然所有統(tǒng)計特性）不隨時間而變化的過程稱為平穩(wěn)隨機過程（嚴平穩(wěn)隨機過程StrictlyStationaryProcess，狹義平穩(wěn)隨機過程） 為驗證平穩(wěn)性，需要計算所有有限維分布，通常在實際中難以滿足以上要求。 實際上，通常平穩(wěn)隨機過程（序列）是指寬平穩(wěn)隨機過程（序列），定義如下：

173寬（弱）平穩(wěn)過程

(序列)

WeaklyStationaryProcess(TimeSeries)設(shè)隨機序列{X(t),t＝…,-2,-1,0,1,2,…}滿足1.E[X(t)]＝μ＝常數(shù)；2.自協(xié)方差γt+k,t=γk=σk2與t無關(guān)(k＝…,-2,-1,0,1,2,…)則稱Xt為（寬，弱）平穩(wěn)隨機序列（平穩(wěn)時間序列），簡稱（寬，弱）平穩(wěn)序列k實際上就是時間差，就是說相關(guān)函數(shù)與時間起點t無關(guān)，只與時間差值k有關(guān)。若當(dāng)k=0時有γk＝σ2

，k≠0時γk＝0，則稱Xt為平穩(wěn)白噪聲序列(WhiteNoise)174寬平穩(wěn)過程與嚴平穩(wěn)過程1）寬平穩(wěn)隨機過程不一定是嚴平穩(wěn)隨機過程。2）嚴平穩(wěn)隨機過程不一定是寬平穩(wěn)隨機過程如果自協(xié)方差存在則嚴平穩(wěn)隨機過程一定是寬平穩(wěn)隨機過程。

寬平穩(wěn)要求自協(xié)方差和期望存在，而嚴平穩(wěn)要求概率分布存在，并不斷言期望和自協(xié)方差存在。比如柯西分布期望和方差均不存在。3）若隨機過程是嚴平穩(wěn)隨機過程并且期望和自協(xié)方差都存在則一定是寬平穩(wěn)，反之不一定成立4）對于正態(tài)隨機過程（X(t)是正態(tài)分布），則嚴平穩(wěn)與寬平穩(wěn)是等價的

正態(tài)分布的期望和自協(xié)方差都存在，如果是嚴平穩(wěn)則一定時寬平穩(wěn)由于正態(tài)過程的概率密度由期望和自協(xié)方差完全決定的，因此，如果期望和自協(xié)方差不隨時間平移變化，概率密度也不隨時間平移變化，因此一個寬平穩(wěn)的正態(tài)過程必然是嚴平穩(wěn)的。175平穩(wěn)序列的遍歷性與參數(shù)估計1.如何知道一個時間序列是平穩(wěn)序列？

Daniel檢驗 （Spearman相關(guān)系數(shù)）可參見<隨機過程簡明教程同濟大學(xué)出版社何迎暉錢偉民51.716.53>P2002.對一個平穩(wěn)序列，如何得到它的均值與自協(xié)方差函數(shù)和自相關(guān)函數(shù)?

均值求法：根據(jù)定義，可固定某個時間t，求各個現(xiàn)實在時刻t的平均。但是實際運用中存在困難。因為通常我們只能觀察到一個現(xiàn)實。176平穩(wěn)序列的遍歷性與參數(shù)估計

3.平穩(wěn)序列的遍歷性對遍歷性的直觀解釋：只要觀測的時間足夠長，隨機過程的每個現(xiàn)實（樣本函數(shù)）將“遍歷”(統(tǒng)計參數(shù)以概率1相等)狀態(tài)集中所有的取值情況。實際上，如果平穩(wěn)序列存在遍歷性，可以通過一個實現(xiàn)的樣本數(shù)據(jù)就可以求出均值與協(xié)方差函數(shù)及自相關(guān)函數(shù)。因此，對多個現(xiàn)實的考察轉(zhuǎn)換為對一個現(xiàn)實的考察，方便了統(tǒng)計特征的計算。177平穩(wěn)序列的遍歷性與參數(shù)估計當(dāng)n充分大時，對于序列現(xiàn)實（樣本）x1,x2,…,xn有γt,s=cov(Xt,Xs)=E[(Xt－μt)(Xs－μs)]μt＝E[X(t)]，t∈Tρt,s=γt,s

／(σtσs)均值函數(shù)自協(xié)方差函數(shù)自相關(guān)函數(shù)178平穩(wěn)序列的遍歷性與參數(shù)估計4.如何知道平穩(wěn)序列具有遍歷性?定理：如果平穩(wěn)過程{X(t),t∈T}的相關(guān)函數(shù)滿足，則{X(t),t∈T}具有均值各態(tài)遍歷性。定理：如果平穩(wěn)過程{X(t),t∈T}是具有0均值的正態(tài)過程，如果滿足，則{X(t),t∈T}具有相關(guān)函數(shù)的各態(tài)遍歷性工程應(yīng)用中的實際做法是：先假定平穩(wěn)過程具有各態(tài)遍歷性，然后由此假定出發(fā)，對各種數(shù)據(jù)進行分析，在實踐中考察是否會產(chǎn)生較大偏差，如果偏差較大，便認為此平穩(wěn)過程沒有各態(tài)遍歷性。5.實際應(yīng)用中哪些時間序列是平穩(wěn)的并且具有遍歷性的?大多數(shù)實際問題以及即將介紹的ARMA序列是具有遍歷性的平穩(wěn)序列。179平穩(wěn)時間序列模型

若：Xt為零均值的平穩(wěn)序列Xt－

Xt－1為一階差分記做ΔXt，at

為隨機擾動是平穩(wěn)白噪聲序列一階自回歸模型：

AR(1)：Xt＝φ1Xt－1+at

當(dāng)φ1＝1時，稱為隨機游動，是AR(1)的特例表示為ΔXt=at說明系統(tǒng)的差異完全是由于外界的擾動造成的。n階自回歸模型AR(n)AutoRegressivemodel：

Xt＝φ1Xt－1+φ2Xt－2+φ3Xt－3+…+φnXt－n+atm階移動平均模型MA(m)MovingAveragemodelXt＝at－θ1at－1－θ2at－2－θ3at－3－…－θmat－mn階自回歸m階移動平均模型ARMA(n,m)AutoRegressiveMovingAveragemodelXt＝φ1Xt－1+φ2Xt－2+φ3Xt－3+…+φnXt－n+at－θ1at－1－θ2at－2－θ3at－3－…－θmat－m

180平穩(wěn)時間序列模型平穩(wěn)白噪聲序列181上節(jié)課內(nèi)容時間序列的定義隨機過程的定義及相關(guān)概念隨機過程與時間序列的關(guān)系隨機過程的統(tǒng)計參數(shù)隨機過程的各態(tài)遍歷性及其檢驗隨機過程的平穩(wěn)性概念（重點掌握嚴平穩(wěn)與寬平穩(wěn)的關(guān)系）及其檢驗平穩(wěn)時間序列常見模型（ARMAARMA）182本節(jié)課的主要內(nèi)容求解AR（1）模型格林函數(shù)及其意義183為單擺建模

——平穩(wěn)時間序列線性模型舉例設(shè)第t個擺動周期的最大擺幅為Xt第t+1個擺動周期的最大擺幅為Xt+1考慮到阻尼系數(shù)ρ則有Xt+1=ρ

Xt又考慮到外界環(huán)境的其他隨機影響at因此可建立模型：Xt+1=ρ

Xt+at其中{at}為白噪聲序列，

|ρ|<1,t=…,-1,0,+1,…是一個一階自回歸模型AR（1)也稱為Markov過程第t個擺動周期最大擺幅Xt184后移算子后移算子定義為：But=ut-1有如下性質(zhì)：對于與時間t無關(guān)的隨機變量u

，Bu=uB0≡1，稱B0為恒等算子若c為一常數(shù)，則B(cut)=cBut對于任意兩個序列ut和vt有B(ut±vt)=But±BvtBnut=ut-n后移算子在時間序列中的應(yīng)用

求解AR(1)模型Xt＝φ1Xt－1+at首先引入后移算子B(Back)：

BXt＝Xt－1,BXt-1＝Xt－2,… Bat＝at－1,Bat-1＝at－2,…則AR(1)表示為Xt＝φ1BXt+at解之：顯然代入差分方程可驗證此式是原始差分方程的解變形為：得證。186格林函數(shù)對于一階自回歸模型，Gj＝φ1j說明AR(1)可用一個限階的MA模型逼近。Gj是前j個時間單位之前進入到系統(tǒng)的擾動at－j

對現(xiàn)在行為的影響的權(quán)數(shù)。它反映了系統(tǒng)對干擾的響應(yīng)的衰減的快慢程度。φ1越小衰減速度越快，完全由φ1所決定。方程系數(shù)函數(shù)φ1j

反映了系統(tǒng)對擾動的記憶程度，所以φ1j被稱為記憶函數(shù)，又稱格林(Green’sfunction)一般用Gj表示。187格林函數(shù)與平穩(wěn)性AR(1)系統(tǒng)的平穩(wěn)性|φ1|<1平穩(wěn) 隨著時間的推移擾動項的影響以指數(shù)方式衰減，系統(tǒng)最終趨向平衡位置|φ1|＝1臨界平穩(wěn) 擾動項的影響沒有衰減，但由于擾動是白噪聲，系統(tǒng)的狀態(tài)是有界的|φ1|>1非平穩(wěn) 擾動項的影響在放大，系統(tǒng)不斷以指數(shù)方式加速遠離平衡位置，且永遠不會恢復(fù)到平衡位置平衡位置188Xt方差

|φ1|＝1時方差不存在，不是寬平穩(wěn)，因此隨機游動Xt＝

Xt－1+at不是平穩(wěn)的 隨機游動的平穩(wěn)性189Wold分解

——從線性空間的角度解釋格林函數(shù)

由于隨機擾動at是相互獨立的，所以可以看作線性空間的一組基（相互之間沒有線性關(guān)系），格林函數(shù)就是關(guān)于基的坐標(biāo)。Xt就是這個空間的一個點。因此格林函數(shù)Gi也稱Wold系數(shù)，

也叫做Wold分解式。190時間序列時域分析工具

——線性常系數(shù)差分方程常系數(shù)線性微分方程描述連續(xù)時間系統(tǒng)動態(tài)性，常系數(shù)線性差分方程描述離散時間系統(tǒng)的動態(tài)性。線性常系數(shù)差分方程的解法可比擬微分方程的解法，實際上，只不過差分方程是離散的，微分方程是連續(xù)的。191線性常系數(shù)差分方程n階差分方程：y(k+n)+an-1y(k+n-1)+an-2y(k+n-2)+…+a0y(k)=u(k)其中，ai為系統(tǒng)參數(shù)的函數(shù)，當(dāng)ai為常數(shù)時，就是常系數(shù)n階差分方程。u(k)是個離散序列，也稱作驅(qū)動函數(shù)，y(k+n)是系統(tǒng)的響應(yīng)。當(dāng)u(k)＝0時，稱方程y(k+n)+an-1y(k+n-1)+an-2y(k+n-2)+…+a0y(k)=0為齊次常系數(shù)差分方程。192線性常系數(shù)差分方程的解求解線性常系數(shù)差分方程就是在給定n個初始條件y(0)，y(1)，y(2)，…，y(n-1)求出y(n),y(n+1)…對于n階自回歸m階移動平均模型ARMA(n,m)

Xt＝φ1Xt－1+φ2Xt－2+φ3Xt－3+…+φnXt－n+at－θ1at－1－θ2at－2－θ3at－3－…－θmat－m就是給定Xt－1

，Xt－2

，Xt－3

，…，

Xt－n

求出Xt其中at－θ1at－1－θ2at－2－θ3at－3－…－θmat－m=u(t)可以看作驅(qū)動函數(shù)求解差分方程與求解微分方程類似：先求出對應(yīng)齊次方程的通解，然后求出原方程的一個特解，特解和通解的線性組合就構(gòu)成了原方程的解193線性常系數(shù)差分方程及其解的一般形式求解步驟：1.求出相應(yīng)齊次差分方程的通解設(shè)：Y(k)=λk

是齊次差分方程y(k+n)+an-1y(k+n-1)+an-2y(k+n-2)+…+a0y(k)=0的一個解，則必有：λk+n+an-1λk+n-1+…+a0λk=0;從而有特征方程：λn+an-1λn-1+…+a0=0;求得方程的n個特征根λi(i=1,..,n)即可得到齊次差分方程的通解Y(k)=ΣCiλik其中，Ci為任意實數(shù)，λi可能是實數(shù)或復(fù)數(shù)。2.求一個原方程的特解一般令y(k)=i（i是常數(shù)）即可求得特解。3.原方程的解就是通解與特解的線性組合194線性常系數(shù)差分方程求解舉例求解二階非齊次差分方程解：求出對應(yīng)齊次方程的通解。設(shè)是對應(yīng)齊次方程的一個解，則有：解之得：因此得到通解：195線性常系數(shù)差分方程求解舉例

求出原方程的特解：令：代入原方程：得到：特解為：原方程的解：196格林函數(shù)的解

——隱式解ARMA(2,1)模型：Xt－φ1Xt－1－φ2Xt－2＝at－θ1at-1的解設(shè)為則用B算子表示為代入模型方程得到：197

若等式成立則對應(yīng)同次冪的系數(shù)必然相等于是得到：在系統(tǒng)參數(shù)已知情況下，根據(jù)以上表達式就可以遞推計算出所有的Gj

，當(dāng)j充分大時即可計算出方程的解。198格林函數(shù)的解

——顯式解ARMA(2,1)是一個二階非齊次差分方程：Xt－φ1Xt－1－φ2Xt－2＝at－θ1at-1解之：求通解：將Xt－2＝λk代入上式得到：λk+2

－φ1λk+1－φ2λk=0即得特征方程：λ2

－φ1λ－φ2=0求解特征方程得到通解：Gj＝g1λ1j

＋g2λ2j其中g(shù)1，g2是任意常數(shù)。199格林函數(shù)顯式解求解系數(shù)g1，g2根據(jù)隱式解給出的初始條件：G0＝1；G1－φ1G0＝－θ1；有：根據(jù)韋達定理有：因此有：解之得：200格林函數(shù)顯式解因此得到ARMA(2,1)系統(tǒng)的格林函數(shù)為：存在兩個共軛復(fù)數(shù)根的情況（略）201格林函數(shù)ARMA(1,2)是一個二階非齊次差分方程：at－θ1at-1－θ2at-2＝Xt－φ1Xt－1解之：求通解：將at－2＝vk代入上式得到：vk+2

－θ1vk+1－θ2vk=0即得特征方程：

v2

－θ1v－θ2=0求解特征方程得到通解：Ij＝g1v1-j

＋g2v2-j其中g(shù)1，g2是任意常數(shù)。202格林函數(shù)因此得到ARMA(1,2)系統(tǒng)的格林函數(shù)為：與格林函數(shù)相似,只有當(dāng)|v1|<1且|v2|<1系統(tǒng)才是可逆的(Ij→0)。存在兩個共軛復(fù)數(shù)根的情況（略）203格林函數(shù)的解

——B算子河海P171）考慮模型AR(2)用后移算子表示為令則有考慮到格林函數(shù)Gj得到格林函數(shù)由上式可知當(dāng)j→∞時有Gj→0，因此該系統(tǒng)是平穩(wěn)的

205求解格林函數(shù)-B算子

（P59）考慮模型ARMA(2,1)用后移算子表示為則有

可見：系統(tǒng)要穩(wěn)定(級數(shù)收斂)要求|λ|<1,因此系統(tǒng)穩(wěn)定的條件可描述為|1/λ|>1,而1/λ是φ(B)=0的根，或者說要求B的所有根要在單位圓外部207得到格林函數(shù)Gj又由于得到：即可解得λ，可見λ只是φ的函數(shù)求解格林函數(shù)

（P59）208格林函數(shù)ARMA(2,1)系統(tǒng)的穩(wěn)定性：由知只有當(dāng)j→∞時有Gj→0，系統(tǒng)是平穩(wěn)的。由格林函數(shù)Gi＝g1λ1j

＋g2λ2j

知只有當(dāng)|λ1|<1且|λ2|<1系統(tǒng)才是平穩(wěn)的。因此：由于系統(tǒng)的平穩(wěn)性只與自回歸參數(shù)有關(guān)，與移動平均參數(shù)無關(guān)。（可從格林函數(shù)求解的表達式看出來）因此，所有ARMA(2,m)系統(tǒng)的平穩(wěn)性條件都相同，都是上式。209格林函數(shù)-1-0.500.51-2-1012φ1φ2可以得到系統(tǒng)的平穩(wěn)區(qū)域：210逆函數(shù)和可逆性定義：如果一個過程可以用一個無限階的自回歸模型逼近，即逆函數(shù)存在，就稱該過程具有可逆性。AR(n)的逆函數(shù)（略）MA(1)的逆函數(shù)：因此：可逆性條件：才能保證211

格林函數(shù)與逆函數(shù)對于模型令：則原式變?yōu)闉椋阂虼耍婧瘮?shù)與格林函數(shù)之間符號相反，參數(shù)互換即可得到對方。（具有對偶性）212格林函數(shù)與逆函數(shù)1.格林函數(shù)的平穩(wěn)性只與AR模型的特征根λk有關(guān);2.逆函數(shù)的可逆性僅與MA模型的特征根vk有關(guān).3.對于ARMA模型可逆又平穩(wěn)的條件是特征方程的所有根滿足:|λk|<1且|vk|<14.判斷平穩(wěn)性與可逆性使用的方法是完全一致的,只是變量記號不同對于高階的ARMA通過解方程的方法求解逆函數(shù)和格林函數(shù)是困難的,實