2022年時(shí)間序列分析課件

1、時(shí)間序列分析1橫截面數(shù)據(jù)時(shí)間序列數(shù)據(jù)人們對統(tǒng)計(jì)數(shù)據(jù)往往可以根據(jù)其特點(diǎn)從兩個(gè)方面來切入，以簡化分析過程。一個(gè)是研究所謂橫截面(cross section)數(shù)據(jù)，也就是對大體上同時(shí)，或者和時(shí)間無關(guān)的不同對象的觀測值組成的數(shù)據(jù)。另一個(gè)稱為時(shí)間序列(time series)，也就是由對象在不同時(shí)間的觀測值形成的數(shù)據(jù)。前面討論的模型多是和橫截面數(shù)據(jù)有關(guān)。這里將討論時(shí)間序列的分析。我們將不討論更加復(fù)雜的包含這兩方面的數(shù)據(jù)。 2時(shí)間序列和回歸時(shí)間序列分析也是一種回歸?；貧w分析的目的是建立因變量和自變量之間關(guān)系的模型；并且可以用自變量來對因變量進(jìn)行預(yù)測。通常線性回歸分析因變量的觀測值假定是互相獨(dú)立并且有同樣分

2、布。而時(shí)間序列的最大特點(diǎn)是觀測值并不獨(dú)立。時(shí)間序列的一個(gè)目的是用變量過去的觀測值來預(yù)測同一變量的未來值。也就是說，時(shí)間序列的因變量為變量未來的可能值，而用來預(yù)測的自變量中就包含該變量的一系列歷史觀測值。當(dāng)然時(shí)間序列的自變量也可能包含隨著時(shí)間度量的獨(dú)立變量。3例15.1 (數(shù)據(jù)：Tax.txt，Tax.sav)某地從1995年1月到2005年7月的稅收（單位：萬元）。該數(shù)據(jù)有按照時(shí)間順序的按月記錄，共127個(gè)觀測值。圖15.1就是由該數(shù)據(jù)得到的一個(gè)時(shí)間序列圖。 4例15.1 (數(shù)據(jù)：Tax.txt，Tax.sav)從這個(gè)點(diǎn)圖可以看出?？偟内厔菔窃鲩L的，但增長并不是單調(diào)上升的；有漲有落。大體上看，

3、這種升降不是雜亂無章的，和季節(jié)或月份的周期有關(guān)系。當(dāng)然，除了增長的趨勢和季節(jié)影響之外，還有些無規(guī)律的隨機(jī)因素的作用。這個(gè)只有一種隨著時(shí)間變化的變量（稅收）的序列一般稱為純粹時(shí)間序列（pure time series）。下面將通過該例子對純粹時(shí)間序列進(jìn)行介紹。5時(shí)間序列的組成部分 從該例可以看出，該時(shí)間序列可以有三部分組成：趨勢(trend)、季節(jié)(seasonal)成分和無法用趨勢和季節(jié)模式解釋的隨機(jī)干擾(disturbance）。例中數(shù)據(jù)的稅收就就可以用這三個(gè)成分疊加而成的模型來描述。一般的時(shí)間序列還可能有循環(huán)或波動(Cyclic, or fluctuations)成分；循環(huán)模式和有規(guī)律的季

4、節(jié)模式不同，周期長短不一定固定。比如經(jīng)濟(jì)危機(jī)周期，金融危機(jī)周期等等。6時(shí)間序列的組成部分 一個(gè)時(shí)間序列可能有趨勢、季節(jié)、循環(huán)這三個(gè)成分中的某些或全部再加上隨機(jī)成分。因此，如果要想對一個(gè)時(shí)間序列本身進(jìn)行較深入的研究，把序列的這些成分分解出來、或者把它們過慮掉則會有很大的幫助。如果要進(jìn)行預(yù)測，則最好把模型中的與這些成分有關(guān)的參數(shù)估計(jì)出來。就例中的時(shí)間序列的分解，通過SPSS軟件，可以很輕而易舉地得到該序列的趨勢、季節(jié)和誤差成分。7去掉季節(jié)成分，只有趨勢和誤差成分的例15.1的時(shí)間序列。 8例15.1的時(shí)間序列分解出來的純趨勢成分和純季節(jié)成分兩條曲線 9例15.1的時(shí)間序列分解出來的純趨勢成分和純誤

5、差成分兩條曲線 10指數(shù)平滑 如果我們不僅僅滿足于分解現(xiàn)有的時(shí)間序列，而且想要對未來進(jìn)行預(yù)測，就需要建立模型。首先，這里介紹比較簡單的指數(shù)平滑(exponential smoothing)。指數(shù)平滑只能用于純粹時(shí)間序列的情況，而不能用于含有獨(dú)立變量時(shí)間序列的因果關(guān)系的研究。指數(shù)平滑的原理為：當(dāng)利用過去觀測值的加權(quán)平均來預(yù)測未來的觀測值時(shí)（這個(gè)過程稱為平滑），離得越近的觀測值要給以更多的權(quán)。而“指數(shù)”意味著：按照已有觀測值“老”的程度，其上的權(quán)數(shù)按指數(shù)速度遞減。11指數(shù)平滑 以簡單的沒有趨勢和沒有季節(jié)成分的純粹時(shí)間序列為例，指數(shù)平滑在數(shù)學(xué)上這實(shí)際上是一個(gè)幾何級數(shù)。這時(shí)，如果用Yt表示在t時(shí)間的平

6、滑后的數(shù)據(jù)（或預(yù)測值），而用X1, X2, , Xt表示原始的時(shí)間序列。那么指數(shù)平滑模型為 或者，等價(jià)地，這里的系數(shù)為幾何級數(shù)。因此稱之為“幾何平滑”比使人不解的“指數(shù)平滑”似乎更有道理。 12指數(shù)平滑 自然，這種在簡單情況下導(dǎo)出的公式（如上面的公式）無法應(yīng)對具有各種成分的復(fù)雜情況。后面將給出各種實(shí)用的指數(shù)平滑模型的公式。根據(jù)數(shù)據(jù)，可以得到這些模型參數(shù)的估計(jì)以及對未來的預(yù)測。在和我們例子有關(guān)的指數(shù)平滑模型中，需要估計(jì)12個(gè)季節(jié)指標(biāo)和三個(gè)參數(shù)（包含前面公式權(quán)重中的a，和趨勢有關(guān)的g，以及和季節(jié)指標(biāo)有關(guān)的d）。在簡單的選項(xiàng)之后，SPSS通過指數(shù)平滑產(chǎn)生了對2005年6月后一年的預(yù)測。下圖為原始的時(shí)

7、間序列和預(yù)測的時(shí)間序列(光滑后的)。下面為誤差。 1314例15.1時(shí)間序列數(shù)據(jù)的指數(shù)平滑和對未來的預(yù)測 15x=scan(d:/booktj1/data/tax.txt)tax=ts(x, frequency = 12, start = c(1995, 1)ts.plot(tax,ylab=Tax) #plot(x1,ylab=Sales) a=stl(tax, period) #分解a$time.series #分解結(jié)果(三列) ts.plot(a$time.series,1:3)b=HoltWinters(tax,beta=0) #Holt-Winters濾波指數(shù)平滑predict(b,

8、n.ahead=12) #對未來12個(gè)月預(yù)測pacf(tax); acf(tax)w=arima(tax, c(0, 1, 1),seasonal = list(order=c(1,2 ,1), period=12)predict(w, n.ahead = 12) w$residuals#殘差acf(w$resi)pacf(w$resi)w$coef#估計(jì)的模型系數(shù)w$aic #aic值16Box-Jenkins 方法：ARIMA模型 如果要對比較復(fù)雜的純粹時(shí)間序列進(jìn)行細(xì)致的分析,指數(shù)平滑往往是無法滿足要求的.而若想對有獨(dú)立變量的時(shí)間序列進(jìn)行預(yù)測，指數(shù)平滑更是無能為力。于是需要更加強(qiáng)有力的模型

9、。這就是下面要介紹的Box-Jenkins ARIMA模型。數(shù)學(xué)上,指數(shù)平滑僅僅是ARIMA模型的特例. 17ARIMA模型 ：AR模型比指數(shù)平滑要有用和精細(xì)得多的模型是Box-Jenkins引入的ARIMA模型?；蚍Q為整合自回歸移動平均模型(ARIMA 為Autoregressive Integrated Moving Average一些關(guān)鍵字母的縮寫)。該模型的基礎(chǔ)是自回歸和移動平均模型或ARMA(Autoregressive and Moving Average) 模型。它由兩個(gè)特殊模型發(fā)展而成，一個(gè)特例是自回歸模型或AR (Autoregressive) 模型。假定時(shí)間序列用X1, X

10、2, , Xt表示，則一個(gè)純粹的AR (p)模型意味著變量的一個(gè)觀測值由其以前的p個(gè)觀測值的線性組合加上隨機(jī)誤差項(xiàng)at（該誤差為獨(dú)立無關(guān)的）而得： 這看上去象自己對自己回歸一樣，所以稱為自回歸模型；它牽涉到過去p個(gè)觀測值（相關(guān)的觀測值間隔最多為p個(gè).18ARIMA模型 ：MA模型ARMA模型的另一個(gè)特例為移動平均模型或MA (Moving Average) 模型，一個(gè)純粹的MA (q)模型意味著變量的一個(gè)觀測值由目前的和先前的q個(gè)隨機(jī)誤差的線性的組合： 由于右邊系數(shù)的和不為1（q 甚至不一定是正數(shù)），因此叫做“移動平均”不如叫做“移動線性組合”更確切；雖然行家已經(jīng)習(xí)慣于叫“平均”了，但初學(xué)者還

11、是因此可能和初等平滑方法中的什么“三點(diǎn)平均”之類的術(shù)語混淆。 19ARIMA模型 ：ARMA模型顯然ARMA(p,q)模型應(yīng)該為AR (p)模型和MA(q)模型的組合了：顯然ARMA(p,0)模型就是AR (p)模型，而ARMA(0,q)模型就是MA(q)模型。這個(gè)一般模型有p+q個(gè)參數(shù)要估計(jì)，看起來很繁瑣，但利用計(jì)算機(jī)軟件則是常規(guī)運(yùn)算；并不復(fù)雜。 20ARIMA模型：平穩(wěn)性和可逆性但是要想ARMA(p,q)模型有意義則要求時(shí)間序列滿足平穩(wěn)性(stationarity)和可逆性(invertibility)的條件，這意味著序列均值不隨著時(shí)間增加或減少，序列的方差不隨時(shí)間變化，另外序列本身相關(guān)的

12、模式不改變等。一個(gè)實(shí)際的時(shí)間序列是否滿足這些條件是無法在數(shù)學(xué)上驗(yàn)證的，這沒有關(guān)系，但可以從下面要介紹的時(shí)間序列的自相關(guān)函數(shù)和偏相關(guān)函數(shù)圖中可以識別出來。一般人們所關(guān)注的的有趨勢和季節(jié)/循環(huán)成分的時(shí)間序列都不是平穩(wěn)的。這時(shí)就需要對時(shí)間序列進(jìn)行差分(difference)來消除這些使序列不平穩(wěn)的成分，而使其變成平穩(wěn)的時(shí)間序列，并估計(jì)ARMA模型，估計(jì)之后再轉(zhuǎn)變該模型，使之適應(yīng)于差分之前的序列（這個(gè)過程和差分相反，所以稱為整合的(integrated)ARMA模型），得到的模型于是稱為ARIMA模型。21ARIMA模型：差分差分是什么意思呢？差分可以是每一個(gè)觀測值減去其前面的一個(gè)觀測值，即Xt-Xt

13、-1。這樣，如果時(shí)間序列有一個(gè)斜率不變的趨勢，經(jīng)過這樣的差分之后，該趨勢就會被消除了。當(dāng)然差分也可以是每一個(gè)觀測值減去其前面任意間隔的一個(gè)觀測值；比如存在周期固定為s的季節(jié)成分，那么相隔s的差分 為Xt-Xt-s就可以把這種以s為周期的季節(jié)成分消除。對于復(fù)雜情況，可能要進(jìn)行多次差分，才能夠使得變換后的時(shí)間序列平穩(wěn)。 22ARMA模型的識別和估計(jì) 上面引進(jìn)了一些必要的術(shù)語和概念。下面就如何識別模型進(jìn)行說明。要想擬合ARIMA模型，必須先把它利用差分變成ARMA(p,q)模型，并確定是否平穩(wěn)，然后確定參數(shù)p,q。現(xiàn)在利用一個(gè)例子來說明如何識別一個(gè)AR(p)模型和參數(shù)p。由此MA(q)及ARMA(p

14、,q)模型模型可用類似的方法來識別。23ARMA模型的識別和估計(jì) 根據(jù)ARMA(p,q)模型的定義,它的參數(shù)p,q和自相關(guān)函數(shù)(acf，autocorrelations function)及偏自相關(guān)函數(shù)(pacf，partial autocorrelations function)有關(guān)。自相關(guān)函數(shù)描述觀測值和前面的觀測值的相關(guān)系數(shù)；而偏自相關(guān)函數(shù)為在給定中間觀測值的條件下觀測值和前面某間隔的觀測值的相關(guān)系數(shù)。這里當(dāng)然不打算討論這兩個(gè)概念的細(xì)節(jié)。引進(jìn)這兩個(gè)概念主要是為了能夠了解如何通過研究關(guān)于這兩個(gè)函數(shù)的acf和pacf圖來識別模型。 24例：數(shù)據(jù)AR2.sav 為了直觀地理解上面的概念，下面利

15、用一個(gè)數(shù)據(jù)例子來描述。25例：數(shù)據(jù)AR2.sav；拖尾和截尾先來看該時(shí)間序列的acf(左)和pacf圖(右) 左邊的acf條形圖是衰減的指數(shù)型的波動；這種圖形稱為拖尾。而右邊的pacf條形圖是在第二個(gè)條(p=2)之后就很小，而且沒有什么模式；這種圖形稱為在在p=2后截尾。這說明該數(shù)據(jù)滿足是平穩(wěn)的AR(2)模型。26拖尾和截尾所謂拖尾圖形模式也可能不是以指數(shù)形式，而是以正負(fù)相間的正弦形式衰減。類似地，如果acf圖形是在第q=k個(gè)條后截尾，而pacf圖形為拖尾，則數(shù)據(jù)滿足MA(q)模型。如果兩個(gè)圖形都拖尾則可能滿足ARMA(p,q)模型。具體判別法總結(jié)在下面表中（并不一定嚴(yán)格！）：27acf和pa

16、cf圖如acf和pacf圖中至少一個(gè)不是以指數(shù)形式或正弦形式衰減，那么說明該序列不是平穩(wěn)序列，必須進(jìn)行差分變換來得到一個(gè)可以估計(jì)參數(shù)的滿足ARMA(p,q)模型的序列如一個(gè)時(shí)間序列的acf和pacf圖沒有任何模式，而且數(shù)值很小，那么這個(gè)序列可能就是一些互相獨(dú)立的無關(guān)的隨機(jī)變量。一個(gè)很好擬合的時(shí)間序列模型的殘差就應(yīng)該有這樣的acf和pacf圖。28AR(2)、MA(2)和ARMA(2,2)模型所對應(yīng)的acf和pacf圖。注意，圖中有些條是從0開始的（不算在p或q內(nèi)）。 29例：數(shù)據(jù)AR2.sav根據(jù)acf和pacf圖的形態(tài)，不用進(jìn)行任何差分就可以直接用AR(2)模型擬合。利用SPSS軟件，選擇A

17、R(2)模型(等價(jià)地ARIMA(2,0,0)(0,0,0)模型),得到參數(shù)估計(jì)為也就是說該AR(2)模型為 30例：數(shù)據(jù)AR2.sav例15.2的原始序列和由模型AR(2)得到的擬合值及對未來10個(gè)觀測的預(yù)測圖（虛線） 31例：數(shù)據(jù)AR2.sav下面再看剩下的殘差序列是否還有什么模式。這還可以由殘差的pacf(左)和acf(右)圖來判斷?？梢钥闯?，它們沒有什么模式；這說明擬合比較成功。 32例：數(shù)據(jù)AR2.sav下圖為殘差對擬合值的散點(diǎn)圖?？床怀鋈魏文Ｊ?。說明殘差的確是獨(dú)立的和隨機(jī)的。33ARIMA (p,d,q)(P,D,Q)s模型在對含有季節(jié)和趨勢/循環(huán)等成分的時(shí)間序列進(jìn)行ARIMA模型的

18、擬合研究和預(yù)測時(shí)，就不象對純粹的滿足可解條件的ARMA模型那么簡單了。一般的ARIMA模型有多個(gè)參數(shù)，沒有季節(jié)成分的可以記為ARIMA(p,d,q)，如果沒有必要利用差分來消除趨勢或循環(huán)成分時(shí)，差分階數(shù)d=0，模型為ARIMA(p,0,q)，即ARMA(p, q)。在有已知的固定周期s時(shí)，模型多了4個(gè)參數(shù)，可記為ARIMA(p,d,q)(P,D,Q)s。這里增加的除了周期s已知之外，還有描述季節(jié)本身的ARIMA(P,D,Q)的模型識別問題。因此，實(shí)際建模要復(fù)雜得多。需要經(jīng)過反復(fù)比較。34用ARIMA模型擬合tax.sav 先前對例15.1(數(shù)據(jù)tax.txt或tax.sav)進(jìn)行了分解，并且用

19、指數(shù)平滑做了預(yù)測。知道其中有季節(jié)和趨勢成分。 下面試圖對其進(jìn)行ARIMA模型擬合。先試圖對該序列做acf和pacf條形圖。其中acf圖顯然不是拖尾（不是以指數(shù)速率遞減），因此說明需要進(jìn)行差分。35用ARIMA模型擬合例tax.sav 關(guān)于于參數(shù)，不要選得過大；每次擬合之后要檢查殘差的acf和pacf圖，看是否為無關(guān)隨機(jī)序列。在SPSS軟件中還有類似于回歸系數(shù)的檢驗(yàn)以及其他一些判別標(biāo)準(zhǔn)的計(jì)算機(jī)輸出可做參考（這里不細(xì)說）。經(jīng)過幾次對比之后，對于例16.1數(shù)據(jù)我們最后選中了ARIMA(0,1,1)(1,2,1)12模型來擬合。擬合的結(jié)果和對2005年6月之后12個(gè)月的預(yù)測在下圖中36例tax.sav

20、的原始序列和由模型得到的擬合值及對未來12個(gè)月的預(yù)測圖。 37例：數(shù)據(jù)tax.sav為了核對，當(dāng)然要畫出殘差的acf和pacf的條形圖來看是否還有什么非隨機(jī)的因素存在。下圖為這兩個(gè)點(diǎn)圖，看來我們的模型選擇還是適當(dāng)?shù)摹?3839例：數(shù)據(jù)tax.sav例15.1數(shù)據(jù)擬合ARIMA(0,1,1)(1,2,1)12模型后殘差序列的Ljung-Box檢驗(yàn)的p值 40新SPSS414243用ARIMA模型擬合帶有獨(dú)立變量的時(shí)間序列 例：數(shù)據(jù)tsadds2.sav是一個(gè)銷售時(shí)間序列，以每周七天為一個(gè)季節(jié)周期，除了銷售額序列sales之外，還有一個(gè)廣告花費(fèi)的獨(dú)立變量adds。先不理睬這個(gè)獨(dú)立變量，把該序列當(dāng)成

21、純粹時(shí)間序列來用ARIMA模型擬合。右圖為該序列的點(diǎn)圖。44數(shù)據(jù)tsadds2.sav再首先點(diǎn)出其acf和pacf條形圖 acf圖顯然不是拖尾模式，因此，必須進(jìn)行差分以消除季節(jié)影響。試驗(yàn)多次之后，看上去ARIMA(2,1,2)( 0,1,1)7的結(jié)果還可以接受。殘差的pacf和acf條形圖在下一頁圖中 45用ARIMA模型擬合帶有獨(dú)立變量的時(shí)間序列 繼續(xù)改進(jìn)我們的模型，再把獨(dú)立變量廣告支出加入模型，最后得到的帶有獨(dú)立變量adds的ARIMA(2,1,2)( 0,1,1)7模型。擬合后的殘差圖在下圖中。 46用ARIMA模型擬合帶有獨(dú)立變量的時(shí)間序列 從各種角度來看擬合帶獨(dú)立變量平方的ARIMA

22、(2,1,2)( 0,1,1)7模型給出更好的結(jié)果。雖然從上面的acf和pacf圖看不出（一般也不應(yīng)該看出）獨(dú)立變量對序列的自相關(guān)性的影響，但是根據(jù)另外的一些判別準(zhǔn)則，獨(dú)立變量的影響是顯著的，而且加入獨(dú)立變量使得模型更加有效。 47用ARIMA模型擬合帶有獨(dú)立變量的時(shí)間序列 要注意，一些獨(dú)立變量的效果也可能是滿足某些時(shí)間序列模型的，也可能會和季節(jié)、趨勢等效應(yīng)混雜起來不易分辯。這時(shí)，模型選擇可能就比較困難。也可能不同模型會有類似的效果。一個(gè)時(shí)間序列在各種相關(guān)的因素影響下的模型選擇并不是一件簡單明了的事情。實(shí)際上沒有任何統(tǒng)計(jì)模型是絕對正確的，它們的區(qū)別在于，在某種意義上，一些模型的某些性質(zhì)可能要優(yōu)

23、于另外一些。48新SPSS的時(shí)間序列實(shí)現(xiàn)特點(diǎn): 在ARIMA中自動選擇用什么參數(shù)在指數(shù)平滑和ARIMA中自動選擇模型(包括參數(shù))下面是兩個(gè)例子TAXAIRPORT49tsadds2.sav50515253Airport.sav545556575859606162SPSS的實(shí)現(xiàn):ARIMA模型 時(shí)間序列的acf和pacf圖：可以用選項(xiàng)GraphsTime SeriesAutocorrelations，然后把變量選入Variables中(對于數(shù)據(jù)AR1.sav，把時(shí)間序列Z選入)。在Display中(默認(rèn)地)有選項(xiàng)Autocorrelations和Partial autocorrelations導(dǎo)

24、致acf和pacf圖。人們還經(jīng)常對殘差項(xiàng)繪acf和pacf圖。63SPSS的實(shí)現(xiàn):ARIMA(p,d,q)(P,D,Q)s模型擬合 選擇AnalyzeTime SeriesARIMA，然后把數(shù)據(jù)中的時(shí)間序列選入Dependent(在數(shù)據(jù)AR1.sav中,選Z,對數(shù)據(jù)tssales.sav時(shí)選sales,而對數(shù)據(jù)tsadds2.sav時(shí)選sales),對于Independent,僅在使用數(shù)據(jù)tsadds2.sav時(shí)選了adds。在Model的第一列為ARIMA(p,d,q)(P,D,Q)s模型的前三個(gè)參數(shù)(p,d,q),第二列(sp,sd,sq)為ARIMA(p,d,q)(P,D,Q)s模型的后

25、三個(gè)參數(shù)(P,D,Q)。這樣只要選定我們所希望嘗試的模型參數(shù)即可。周期s由于在定義序列時(shí)已經(jīng)有了(見對話框中注明的Current Periodicity后面的數(shù)字),就不用另外輸入了。在輸出的變量中有誤差和擬合(預(yù)測)的序列，在輸出文件中還有各個(gè)參數(shù)和一些判別準(zhǔn)則等。64公式：指數(shù)平滑模型這些模型中有a，g，d，f為待估計(jì)參數(shù)，g0意味著斜率為常數(shù)（趨勢無變化），而d0意味著沒有季節(jié)成分，f和減幅趨勢有關(guān)；對于時(shí)間序列Xt，趨勢、光滑后的序列、季節(jié)因子和預(yù)測的序列分別用Tt、St、It 和 表示；另外，p表示周期，et為殘差 65指數(shù)平滑模型:線性趨勢可加季節(jié)模型（Linear trend, additive seasonality model） 66指數(shù)平滑模型:線性趨勢可乘季節(jié)模型（Linear trend, multiplicative seasonality model） 67指數(shù)平滑模型:指數(shù)趨勢可加季節(jié)模型（Exponential trend, additive seasonality model） 68指數(shù)平滑模型:指數(shù)趨勢可乘季節(jié)模型(Exponential trend, multiplicative seasonality model)6