時間序列分析方法第05章最大似然估計

1、 將一個對角矩陣表示成為下三角矩陣的對角化，稱為一個矩陣的三角因子化。將這樣的矩陣分解帶入到似然函數(shù)中，得到：f（y;0）=（2兀）-t/2|ADAI-1/2exp一（y一p）A-1D-1A-1（y一p）Y2注意到矩陣A是主對角線都是1的下三角矩陣，因此它的行列式為IAI=1，這時有：IADAI=IAIIDIIAI=IDI進一步定義：三A1（y-p）則似然函數(shù)可以表示成為：fY（y；0）=（2冗）-t/2IDI-1/2exp-D-1厶注意到變換形式也可以表示為：Ay=y-p這個系統(tǒng)的第一行表明1=y1，而第t行意味著:01+02+04+02（t-2）y=y一卩一y.tt1+02+04+02（t

2、1）t-1TOC o 1-5 h z因此向量y可以從，y-開始，利用上式進行疊代得到，t，2,3,T。變量可11t以解釋為y基于常數(shù)和y,y，,y的線性投影,而矩陣D的第t個對角元素是這個線性tt-1t-21投影的MSE：dtt，E(02)，2t1+dtt，E(02)，2t1+2+4+2(t-1)由于矩陣D是對角矩陣，其行列式是對角元素的乘積:IDl，Hdttt=1而矩陣D-1可以利用矩陣D的主對角線元素取倒數(shù)得到。因此:t,t,1tt這樣一來，似然函數(shù)可以簡化為:%ttt,1exp1另一2/t,1ttfY(y；o)，(2冗)-T/2因此，高斯MA(1)過程的確切對數(shù)似然函數(shù)為:L(0)=lo

3、gfY(y;9)，-log(2冗)-*乞log(d)-2乞牛t,1t,1tt如果給定參數(shù)的初始數(shù)值，可以利用疊代方法計算上述似然函數(shù)。這樣的計算可以對嘗試參數(shù)的優(yōu)劣進行比較。與條件似然函數(shù)不同的是，上述似然函數(shù)的表達式對任何參數(shù)都是有效的，而不取決于是否該過程具有可逆MA(1)表示。5.5高斯MA(q)過程的似然函數(shù)在討論了一階移動平均過程似然函數(shù)的基礎上，我們繼續(xù)討論MA(q)過程的極大似然估計問題。5.5.1高斯MA(q)過程的條件似然函數(shù)ConditionalLikelihoodFunction考慮一個高斯MA(q)過程：Y=+&+，i.i.dN(0,2)t12t2qtq此時一個簡單方法

4、是考慮給定前q個初值的條件似然函數(shù)，假設初值為：=00-1-2-q+1利用這些初值，我們對時刻t，1,2,.,T,利用下式進行疊代：=y-tt1t-12t2qtq利用向量表示q1向量(,)，則條件對數(shù)似然函數(shù)為：00-1一q+1L(0)=logf(y,y,y,yI=0;0)TOC o 1-5 h zYt,YtdYt2,Y1l0,0TT-1T-210TTt2，-log(2冗)-log(2)-乙222y2這里的參數(shù)向量為：0=(,1,；,)。與1階情形類似，這里要求下述特征方程的根落在單位圓外面:1+z+z2+zq,012q上述條件是要求移動平均過程是可逆的，這時條件似然函數(shù)的參數(shù)估計對誤差初值的

5、選取沒有嚴重的依賴性。5.5.2高斯MA(q)過程的確切似然函數(shù)ExactLikelihoodFunction由于高斯過程的聯(lián)合分布是多元正態(tài)概率分布，因此高斯MA(q)過程的確切似然函數(shù)可以表示為：fY(y；0)=(2兀)-T/2I11/2exp2(y卩)g_t(y卩)YqY0這里的樣本為y三(y,y2,yT)，均值為卩=(,)，TYqY0Q=Yq上述矩陣中的元素為：Q(i,j)=y.j|?1i川qQ(i,j)=I0,|ij|q這里y是MA(q)過程的k階自協(xié)方差函數(shù)：k-2(0+.”),k=0,1,2,qy=q+j，a=0。對數(shù)給定的數(shù)值參數(shù)，計算機程序可以十分容易地獲得這些矩陣的數(shù)值。i

6、j將這樣的矩陣分解帶入到MA(q)過程的似然函數(shù)中，得到：fY(y;ofY(y;o)=(2兀)-T/2IDI-1/2exp2D1y這里：ay=y-卩，y的元素可以疊代計算如下:=y，11=(y)一a，2211y=(y)ayay，3322311y=(y)一aj,一a2y2ayttt,t1t1t,t2t2t,tqtq因此，高斯MA(q)過程的確切對數(shù)似然函數(shù)為：L(0)=logfY(y;0)=flog(2冗)2log(d2工計t=1t=1tt給定參數(shù)數(shù)值，可以計算上述似然函數(shù)的函數(shù)值。但是，給定樣本，計算上述函數(shù)的極大值的非線性優(yōu)化過程卻是比較復雜的。5.6高斯ARMA(p,q)過程的似然函數(shù)將自

7、回歸過程和移動平均過程的方法結合起來，就可以討論移動平均過程的條件似然函數(shù)和確切似然函數(shù)問題。5.6.1條件似然函數(shù)ConditionalLikelihoodFunction考慮一個高斯ARMA(p,q)過程：Y，c+Y+Y+Y+，t1t12t2ptpt1t12t2qtqi.i.dN(0,c2)我們的目標是估計母體參數(shù)向量o，(c,e,c2)，。12p12q此時，對自回歸部分條件似然函數(shù)的近似依賴于初始的y，對移動平均部分條件似然函數(shù)的近似依賴于初始的。對移動平均過程ARMA(p,q)的似然函數(shù)共同的近似即依賴初始的y，也依賴初始的。將初始的y三(y,y，y)和三(,，,)當作給定的，則誤差序

8、列00一1一p+100一1q+l,可以通過y,y,y，利用下式疊代獲得：12T12T，y一c一y一Yy一一，tt1t一12t一2pt一p1t一12t一2qt一qt，1,2,.,T因此條件似然函數(shù)是：L(0)，logf(y,y,y,yIY,;0)Yt心2,Y1Y0,0TTTT-2100TTT2=一=log(2冗)一log(c2)一乙22,2c2一種選擇是將y和的初值設定為它們的預期值，即：c1一一12p，0，s，0,一1,一2,.,一q+1s然后對t，1,2,.,T,進行上述的疊代計算。另外，BoxandJenkins(1976)建議設定為零，但將y設定為它們的真實數(shù)值。因此,對上式的疊代可以從時點t，p+1開始，將y,y，,y選取為真實的樣本觀測值，選取12p初值：，0pp1pq+1則對數(shù)條件似然函數(shù)可以計算為：L(0)L(0),logf