则 s(α) αT xT xα αT xT y yT xα yT y ，于是 α 的最小二 乘估计为
ˆ (xT x) 1 xT y α
即
ˆ ) y T y y T x(xT x) 1 xT y inf s(α ˆ) s (α
α

2 相应地，白噪声方差 的最小二乘估计
ˆ ˆ0 r r 1 ˆ2 r ˆ r 1 r r ˆ p ˆp 1 ˆ r 1 ˆ0 r ˆp 2 r ˆ1 ˆp 1 r ˆp 2 ˆ2 r ˆ0 ˆ r p
A. AR(p)模型参数的Yule-Walker估计

对于AR(p)模型，自回归系数 α 由AR(p)序列的自协 方差函数 r0 , r 1 ,, rp 通过Yule-Walker方程
r1 r2 r p r0 r1 r p 1
ˆ j j , ˆ 2
2 p p
(1)
(2) 1 ) 。 布 N (0, 2p
ˆ1 1 ,, ˆ p p )T n (
依分布收敛到p维正态分
1 注：用 j , j 表示 2p 的第 j j 元素时，可知 ˆ j j )依分布收敛到N (0, j , j ) ，于是 j 的 n ( 95%的渐近臵信区间是
B. AR(p)模型参数的最小二乘估计

ˆ1 , ˆ 2 , ˆ p 是自回归系数1,2 ,, p 的估计， 如果 白噪声 j 的估计定义为
ˆ j x j ( ˆ1x j 1 ˆ 2 x j 2 ˆ p x j p ), p 1 j n

ˆ j 1.96 j , j / n , ˆ j 1.96 j , j / n ] [
2 ˆ 1 ˆ 在实际问题中， j , j 未知，可用 p 的 j j 元素 ˆ j , j 代替 j , j ，得到 的近似臵信区间 j
ˆ j 1.96 ˆ j , j / n , ˆ j 1.96 ˆ j, j / n ] [
第六章 ARMA模型的参数估计

第一节 AR(p)模型的参数估计 第二节 MA(q)模型的参数估计
第三节 ARMA(p,q)模型的参数估计 第四节 求和模型及季节模型的参数估计



第一节. AR(p)模型的参数估计

目的：为观测数据建立AR(p)模型 (1.1) T 假定自回归阶数p已知，考虑回归系数 α (1,, p ) 和 零均值白噪声{ t } 的方差 2 的估计。
产生长度为n=300的样本，计算出前5个样本自协方差函 数值为
r0 1.5419 , r1 0.7771 , r2 0.3886 , r3 0.1773 , r4 0.0123
求参数的矩估计和最小二乘估计。 2 2 ˆ ˆ , , (1) 参数 1 的矩估计 1 分别为

注：当n充分大时，AR(p)模型参数的极大似然 估计、最小二乘估计和矩估计(Yule-Walker估 计)三者都非常接近，即三者渐近相等，它们 都可以作为AR(p)模型的参数估计，这是AR(p) 模型的独有的优点。

例1.1. 由下列AR(1)序列 X t 0.5 X t 1 t , t ~ N (0,1)
n .
C. AR(P)模型的极大似然估计

假定模型AR(p)中的{ t } 为正态分布，则观测向量 xn ( x1 , x2 ,, xn )T 的高斯似然函数为
L(α, 2 | x1 , x2 ,, xn ) ( 2 )
n 2
| Γn |

1 2
e xp(
1 T 1 x n n x n ) 2
(1.3)
和
ˆ2 r ˆ0 ˆ jr ˆj
j 1Leabharlann p(1.4)决定。

令
ˆ0 r ˆ r 1 ˆ Γp r ˆp 1 ˆ r 1 ˆ0 r ˆp 2 r ˆ ˆ1 ˆp 1 r r 1 ˆp 2 ˆ2 ˆ2 r r ˆ ˆp , b p , α ˆ0 ˆ ˆ r r p p
1
k 1 ak1 k 2 ak 2
1 akk
k 2
导出。

定理1.1 如果AR(p)模型中的 { t } 是独立同分布 的 WN (0, 2 ), Et4 ，则当 n 时

ˆ j , p 1 j n 为残差。 通常 我们把能使
s(α )
j p 1
{ x
n
t
1 xt 1 2 xt 2 p xt p }2
(1.6)
ˆ 称为 α 的最小二乘估计。 达到极小值的 α

记
x p 1 xp x p2 x p 1 y , x x x n 1 n x p 1 xp xn 2 x1 x2 , xn p

从另一角度考虑：
n p 2
由于 t 服从正态分布，则 p 1 , , n 有联合密度函数 ( 2 )

e xp(
1 2
2
t p 1

n
2 t
).
于是可得基于x1 , , x n的似然函数 L(α , ) ( 2 )
2 n p 2
e xp{
1 2 2
相应的对数似然函数为
1 n 1 1 1 l (α, 2 | x1 , x2 ,, xn ) log( 2 ) | Γ n | 2 xT n n xn 2 2 2
| Γ n | 表示 Γ n 其中，Γ n 为 ( x1 , x2 ,, xn )T 的协方差阵， 2 l ( α , | x1 , x2 ,, xn ) 的行列式，使得对数似然函数 2 2 α ˆ 和 达到极大值的 α 的极大似然估计。 ˆ 称为 和
2 ˆ ˆ1 r ˆ ˆ ˆ ˆ0 ˆ1r ˆ / r , r 1 0 1 1
将样本自协方差函数值代入得
ˆ1 0.504 ˆ 2 1.150 ,
n
就称 { n } 是依概率有界的，记为 n O p(1). 如果 { n / c n } O p(1), 就称 n O p(c n ). 记 ˆ为Yule Wal ker 估计， ˆL 为最小二乘估计， 则对AR 模型，有 ˆL ˆ O p(1 / n ),
1 依分布收敛到p维正态分布 N (0, 2p )
注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大。

定义1.1：设 { n } 是时间序列， {c n } 是非零常数列，如果对 任何
0,存在正数M，使得 sup P(| n | M ) ,
2 ˆ1,, ˆ p )T (a ˆ p,1, a ˆ p,2 ,, a ˆ p, p )T , ˆ 2 ˆp (
上式是由求偏相关函数的公式：
1 1 2 1 k k 1
1
X t 1 X t 1 2 X t 2 p X t p t

数据 x1 , x2 ,, xn 的预处理：如果样本均值不为零，需将 它们中心化，即将它们都同时减去其样本均值
xn 1 / n xt
t 1
n
再对序列按(1.1)式的拟合方法进行拟合。

t p 1

n
( x t j x t j ) 2 }.
j 1
p
相应的对数似然可定义 为 Np 1 l (α , 2 ) ln( 2) 2 2 2
t p 1
( x
t j 1
n
p
j
xt j )2 c
Np 1 ln( 2) S (α ) c , 2 2 2 Np 其中c l n (2 )是常数. 2
1 1 ˆ ˆ s(α) (y T y y T x(xT x) 1 xT y ) n p n p
2 n 1 ˆ1 xt 1 ˆ p xt p ) 2 ( xt n p t p 1
ˆ1 , ˆ 2 , ˆp 为 α ˆ 的p个分量。 式中
为求l (α , 2 )的最大值点，解方程 l ( α , 2 ) n p 1 S (α ) 0 2 2 4 2 2 于是，得 1 2 S (α ). n p 将上式代入l (α , 2 )表达式，得到 Np 1 l (α , 2 ) l n {S (α )} S (α ) c0， 2 2 2 这里c0 是常数.容易看出， l (α , 2 )的最大值点实际上是S (α ) 的最小值点，从而是α的最小二乘估计。
则(1.3),(1.4)式可写为
ˆ α ˆ ˆp b Γ p p

实际应用中，对于较大的p,为了加快计算速度可采用 如下的Levison递推方法 2 ˆ0 ˆ0 r 2 a ˆ11 r ˆ1 / ˆ0 2 2 2 ˆ ˆ ˆ ( 1 a k k 1 k ,k ) k k ˆ k 1,k 1 (r ˆk 1 r ˆk 1 j a ˆ kj )(r ˆ0 r ˆj a ˆ kj ) 1 j 1 j 1 ˆ k 1, j a ˆk , j a ˆ k 1,k 1a ˆ k ,k 1 j 1 j k , k p a 递推最后得到矩估计