第一节线性差分方程一、后移算子B定义为三、齐次方程解的计算1、AR(n)过程自相关函数ACF 1阶自回归模型AR(1) Xt= Xt-1+ at 的k 阶滞后自协方差为：Xt= 1Xt-1+ 2Xt-2 + at 该模型的方差0以及滞后1期与2期的自协方差1, 2分别为一般地，n 阶自回归模型AR(n) Xt= 1Xt-1+ 2Xt-2 + …nXt-n + at 其中：zi是AR(n)特征方程⑵=0的特征根，由AR(n)平稳的条件知，|zi|<1; 因此，当zi均为实数根时，k呈几何型衰减(单调或振荡)；当存在虚数根时，则一对共扼复根构成通解中的一个阻尼正弦波项，k呈正弦波衰减。
对MA(1)过程其自协方差系数为二、偏自相关函数从Xt 中去掉Xt-1的影响，则只剩下随机扰动项at ,显然它与Xt-2无关, 因此我们说Xt与Xt-2的偏自相关系数为零，记为MA(1)过程可以等价地写成at 关于无穷序列Xt , Xt-1 ，…的线性组合的形式：与MA(1)相仿，可以验证MA(m)过程的偏自相关函数是非截尾但趋于零的。
ARMA(n,m)的自相关函数，可以看作MA(m)的自相关函数和AR(n)的自相关函数的混合物。
当n=0时，它具有截尾性质；当m=0时，它具有拖尾性质；当n、m都不为0时，它具有拖尾性质从识别上看，通常：ARMA(n , m)过程的偏自相关函数(PACF ) 可能在n阶滞后前有几项明显的尖柱(spikes )，但从n阶滞后项开始逐渐趋向于零；而它的自相关函数(ACF )则是在m阶滞后前有几项明显的尖柱，从m阶滞后项开始逐渐趋向于零。
对k=1 , 2 , 3,…依次求解方程，得上述……序列为AR模型的偏自相关函数。
偏自相关性是条件相关，是在给定的条件下，和的条件相关。
换名话说，偏自相关函数是对和所解释的相关的度量。
之间未被由最小二乘原理易得，是作为关于线性回归的回归系数。
如果自回归过程的阶数为n，则对于k>n 应该有kk=O。
L + + + = - - 2 2 1 t t t t X X X q q a或t t t t X X X a q q + - - - = - - L 2 2 1 这是一个AR()过程，它的偏自相关函数非截尾但却趋于零，因此MA(1)的偏自相关函数是非截尾但却趋于零的。
注意：上式只有当| |<1时才有意义，否则意味着距Xt 越远的X值，对Xt的影响越大，显然不符合常理。
因此，我们把| |<1称为MA(1)的可逆性条件(invertibility condition ) 或可逆域。
MA(m)模型的识别规则：若随机序列的自相关函数截尾，即自m以后，k=0 (k>m )；而它的偏自相关函数是拖尾的，则此序列是移动平均MA(m)序列。
同样需要注意的是：在实际识别时，由于样本自相关函数rk是总体自相关函数k的一个估计，由于样本的随机性，当k>m 时，rk不会全为0,而是在0的上下波动。
但可以证明，当k>m 时，r k服从如下渐近正态分布：rk~N(0,1/n) 式中n表示样本容量。
因此，如果计算的rk满足：我们就有95.5%的把握判断原时间序列在m之后截尾。
ARMA(n, m)过程*，从而前面的MA(m)模型、AR(n)模型和ARMA(n,m) 模型可分别表示为：其中：后移算子的性质：二、线性差分方程差分方程的通解为：可写成这里这里，C (t)是齐次方程通解，l(t)是特解。
假定G1 ,G2，…, Gn是互不相同，则在时刻t的通解：其中Ai为常数(可由初始条件确定)。
无重根考虑齐次差分方程重根设有d个相等的根，可验证通解为对一般情形，因此，齐次方程解是由衰减指数项、多项式、衰减正弦项，以及这些函数的组合混合生成的。
齐次方程解便是请看例题定义：设零均值平稳序列第二节格林函数(Green ' s function)和平稳性(Stationarity) —、格林函数(Green ' s function) 能够表示为则称上式为平稳序列的传递形式，式中的加权系数称为格林(Green )函数，其中格林函数的含义：格林函数是描述系统记忆扰动程度的函数。
(1)式可以记为其中式(1)表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统“”的作用而生成，是j个单位时间以前加入系统的干扰项对现实响应的权，亦即系统对的“记忆”。
二、AR ( 1)系统的格林函数由AR ( 1)模型即：则AR(1)模型的格林函数例：下面是参数分别为0.9、0.1和-0.9的AR ( 1)系统对扰动的记忆情况。
(演示试验)比较前后三个不同参数的图，可以看出：取正值时，响应波动较平坦。
取负值时，响应波动较大。
越大，系统响应回到均衡位置的速度越慢，时间越长。
三、格林函数与AR (n)系统的平稳性平稳性的涵义就是干扰项对系统的影响逐渐减弱，直到消失，对于一个AR ( n)系统，将其写成格林函数的表示形式，如果系统是平稳的，则预示随着j宀乂，扰动的权数对于AR(1)系统即这要求上述条件等价于AR(1)系统的特征方程的根在单位圆内(或方程的根在单位圆外).AR (n)模型，即其中：的平稳性条件为：的根在单位圆外(或的根在单位圆内)。
AR (n) 系统的平稳性条件：(请同学们观察平稳性AR(n)与非平稳性AR(n) 的区别。
)AR(1)的结论可以推广到AR(n)图示如右图几个例题ARMA模型格林函数的通用解法ARMA(n,m)模型且则令则化为比较等式两边B的同次幕的系数，可得由上式，格林函数可从开始依次递推算出。
例：求AR(2,1)系统的格林函数。
是零均值平稳序列，如果白噪声序列第三节逆函数和可逆性(In vertibility )能够表示为一、逆函数的定义设则称上式为平稳序列式中的加权系数称为逆函数。
可逆。
ARMA (n,m )模型逆函数通用解法对于ARMA (n,m ) 模型的逆函数求解模型格林函数求解方法相同。
令二、ARMA模型的逆函数的逆转形式则平稳序列可表示为由ARMA( n,m)模型可得仍由先前定义的和，则上式可化为比较上式两边B的同次幕的系数，得到即可从由此开始推算出。
对于MA (m)模型的可逆性讨论与AR ( n)模型平稳性的讨论是类似的，即：MA ( m)模型的可逆性条件为其特征方程的特征根满足ARMA( n,m)系统格林函数与逆函数的关系在格林函数的表达式中，用代替，代替代替，，即可得到相对应的逆函数。
理论自协方差函数和自相关函数对于ARMA系统来说，设序列的均值为零，则自协方差函数第四节自相关函数与偏自相关函数自相关函数样本自相关函数的计算在拟合模型之前，我们所有的只是序列的一个有限样本数据，无法求得理论自相关函数，只能求样本的自协方差函数和自相关函数。
样本自协方差有两种形式：一、自相关函数则相应的自相关函数为在通常情况下，我们采用第一种算法。
0 1 1 )) ( ( g j jg a j g k k t t k t k X X E = = + = - - - =1,2, …因此，AR(1)模型的自相关函数为=1,2,…由AR(1)的稳定性知| |<1 ，因此，k时，呈指数形衰减，直到零。
这种现象称为拖尾或称AR(1)有无穷记忆(infinite memory )。
注意，<0时，呈振荡衰减状。
2阶自回归模型AR(2) 2 2 2 1 1 0 a s g j g j g + + = 类似地,可写出一般的k期滞后自协方差：2 2 1 1 2 2 1 1 )) ( ( ----------- +=+ + = k k t t t k t k r X X X E j g j a j j g (K=2,3, …)于是,AR(2) 的k阶自相关函数为：(K=2,3,…)其中：1= 1/(1- 2), 0=1如果AR(2)平稳，则由1+ 2<1知| k|衰减趋于零，呈拖尾状。
至于衰减的形式，要看AR(2)特征根的实虚性，若为实根，则呈单调或振荡型衰减，若为虚根，则呈正弦波型衰减。
k期滞后协方差为：n k n k k t n t n t t K t k X X X X E ------------ + + + = + + + + = g j gj g j a j j j g L L 2 2 1 1 2 2 1 1 ))(( 从而有自相关函数:可见，无论k有多大，k的计算均与其1到n阶滞后的自相关函数有关，因此呈拖尾状。
如果AR(n)是平稳的，则| k|递减且趋于零。
事实上，自相关函数是一n阶差分方程，其通解为2、MA(m)过程1 - - = t t t X qa a 可容易地写出它的自协方差系数：0 ) 1 ( 3 2 2 1 2 2 0 ===-=+ = L g g qs g s q g a a 于是，MA(1)过程的自相关函数为：可见，当k>1时，k>0 ，即Xt与Xt-k不相关，MA(1)自相关函数是截尾的。
一般地，m阶移动平均过程MA(m) 相应的自相关函数为可见，当k>m 时，Xt与Xt-k不相关，即存在截尾现象，因此，当k>m 时，k=0是MA(m)的一个特征。
于是：可以根据自相关系数是否从某一点开始一直为0来判断MA(m)模型的阶。
自相关函数ACF(k)给出了Xt与Xt-1的总体相关性，但总体相关性可能掩盖了变量间完全不同的隐含关系。
例如，在AR(1)随机过程中，Xt与Xt-2间有相关性可能主要是由于它们各自与Xt-1间的相关性带来的：即自相关函数中包含了这种所有的“间接”相关。
与之相反，Xt与Xt-k间的偏自相关函数(partial autocorrelation ，简记为PACF)则是消除了中间变量Xt-1 ，…，Xt-k+1带来的间接相关后的直接相关性，它是在已知序列值Xt-1 ，…，Xt-k+1的条件下，Xt与Xt-k间关系的度量。
在AR(1)中，0 ) , ( 2 * 2 = = - t t XCorr a r同样地，在AR(n)过程中，对所有的k>n , Xt与Xt-k间的偏自相关系数为零。
AR(n)的一个主要特征是:k>n时，k*=Corr(Xt,Xt-k)=0 即k*在n以后是截尾的。
一随机时间序列的识别原则：若Xt的偏自相关函数在n以后截尾，即k>n时，k*=0 , 而它的自相关函数k是拖尾的，则此序列是自回归AR(n)序列。
对于一个k阶AR模型，有：由此得到Yule-Walker方程，记为：已知时，由该方程组可以解出。
遗憾的是，用该方程组求解时，需要知道自回归过程的阶数。
因此，我们可以对连续的k值求解Yule-Walker 方程。