第四章 预 测在本章当中我们讨论预测的一般概念和方法，然后分析利用),(q p ARMA 模型进行预测的问题。
§4.1 预期原理利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。
为此，需要了解如何确定预测值和度量预测的精度。
4.1.1 基于条件预期的预测假设我们可以观察到一组随机变量t X 的样本值，然后利用这些数据预测随机变量1+t Y 的值。
特别地，一个最为简单的情形就是利用t Y 的前m 个样本值预测1+t Y ，此时t X 可以描述为：假设*|1t t Y +表示根据t X 对于1+t Y 做出的预测。
那么如何度量预测效果呢？通常情况下，我们利用损失函数来度量预测效果的优劣。
假设预测值与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)：定理4.1 使得预测均方误差达到最小的预测是给定t X 时，对1+t Y 的条件数学期望，即：证明：假设基于t X 对1+t Y 的任意预测值为： 则此预测的均方误差为：对上式均方误差进行分解，可以得到：其中交叉项的数学期望为(利用数学期望的叠代法则)： 因此均方误差为：为了使得均方误差达到最小，则有： 此时最优预测的均方误差为：211*|1)]|([)(t t t t t X Y E Y E Y MSE +++-=End我们以后经常使用条件数学期望作为随机变量的预测值。
4.1.2 基于线性投影的预测由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测：如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。
定义4.1 如果我们可以求出一个系数向量值α，使得预测误差)(1t t X Y α'-+与t X 不相关：则称预测t X α'为1+t Y 基于t X 的线性投影。
定理4.2 在所有线性预测当中，线性投影预测具有最小的均方误差。
证明：假设t X g '是任意一个线性预测，则对应的均方误差可以分解为：由于t X α'是线性投影，则有： 因此均方误差为：为了使得均方误差达到最小，线性预测满足：这是一个线性投影。
End我们将线性投影预测表示为： 或者简化为：显然线性投影的预测误差仍然不小于条件期望预测，因此有： 当条件中包含常数的时候，此时线性投影当中就含有常数，为此使用Eˆ表示含有常数项的线性投影预测，即： 4.1.3 线性投影的性质根据线性投影的定义，我们可以求出投影的系数向量： 如果)(t t X X E '是可逆的，则有： 命题4.1 线性预测满足下述性质： (1) 最优线性预测的均方误差为： (2) 线性投影满足线性平移性质：证明：(1) 根据投影向量的表达式，可以得到： 化简就可以得到命题表达式。
(2) 需要证明b X Y P a t t ++)|(ˆ1是b aY t ++1的线性投影。
显然，它是线性函数，其次，可以证明它满足正交性质。
End4.1.4 线性投影和普通最小二乘回归线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。
例如，将1+t y 基于t x 建立线性回归方程，得到：对于给定1+t y 和t x 的T 个样本，样本残差平方和定义为： 使得残差平方和达到最小的系数最小二乘估计为：如果过程是协方差平稳过程且关于二阶矩是遍历的，则有： 因此上述OLS 估计按概率收敛到线性投影系数：4.1.5 向量预测上述结果可以推广到利用1⨯m 维向量t X 预测1⨯n 维向量1+t Y ，记为： 其中α'为投影系数的一个m n ⨯阶矩阵，满足正交条件：上式说明预测误差)ˆ(|11tt t Y Y ++-的每一个分量与条件变量t X 的每一个分量都无关。
命题4.2 假设tt Y |1ˆ+是1+t Y 的最小均方误差线性预测，则对任意1+t Y 的线性组合11++'=t t Y h z ，它的最小均方误差线性预测为：证明：只需证明是线性投影即可，这时需要验证相应的正交性。
End类似地，投影矩阵为：与此对应的均方误差矩阵为：§4.2 基于无限个观测值的预测无论是条件期望预测还是正交线性预测，都是基于有限个条件变量的，下面我们分析基于无限个观测值情形下的预测。
4.2.1 基于滞后误差的预测考察一个无限阶移动平均过程)(∞MA ：t t L Y εψμ)(+=， +++=2210)(L L L ψψψψ，∑+∞=∞<0||j j ψ假设已经知道过去所有时间阶段的残差观测值},,,{21 --t t t εεε，也知道模型中各种参数的值。
现在我们要预测s 个阶段以后的s t Y +，根据模型它应该是：对此最优线性预测形式为： 这个预测值的对应误差为： 这个预测值的均方误差为：例4.1 试求)(q MA 过程的最优线性预测。
解：)(q MA 过程为：()t t Y L μθε=+，2012()q q L L L L θθθθθ=++++ 则它的最优线性预测为： 对应的均方误差为：上述预测具有清楚的含义，在时间间隔q 以后，使用过程的均值进行预测，而方差是过程的无条件方差。
4.2.2 基于滞后Y 的预测一般情况下，我们仅仅可以观察到Y 的值，为此假设移动平均过程具有可逆表示： 其中：+++=2210)(L L L ηηηη，10=η，∑+∞=∞<0||j j η假设上述AR 过程与MA 过程之间滞后算子多项式的关系： 1. 协方差平稳的)(p AR 过程为： 表示成为算子多项式形式： 满足：)()(L L φη=，1)]([)(-=L L φψ2. 一个)(q MA 过程可以表示成为： 也可以表示成为算子多项式形式： 在可逆性假设条件下，则有： )()(L L θψ=，1)]([)(-=L L θη如果给出了观测值},,{1 -t t Y Y ，可以在模型当中构造出残差序列},,{1 -t t εε，例如在)1(AR 过程当中：对于给定系数和},,{1 -t t Y Y ，由上式可以计算出： 在可逆的)1(MA 过程当中，可以得到：最后，可以得到给定},,{1 -t t Y Y 条件下的预测公式为： 或者：)()(1)(],,|[ˆ1μψψμ-⎥⎦⎤⎢⎣⎡+=+-+t s t t s t Y L L L Y Y Y E 上述公式也被称为Wiener-Kolmogorov 预测公式。
上述公式当中的算子是截断形式的算子表达式，算子表达式中将滞后算子的负指数项省略。
4.2.3 预测一个)1(AR 过程对于一个平稳的)1(AR 过程，可以将算子多项式表示成为： 利用上述公式，可以得到s 阶段后的最优线性预测为：上述预测公式说明，随着预测阶段的增加，预测值将趋于长期均值。
对应的预测误差为：随着预测阶段的增加，预测误差也趋于无条件方差)1/(22φσ-。
4.2.4 预测一个)(p AR 过程对于一个平稳的)(p AR 过程，可以利用Wiener-Kolmogorov 预测公式进行预测。
该公式的主要特点在于：它可以利用过去的过程观测值和未来的残差值表示预测值，然后未来的残差值利用期望去掉。
其中)(t j i f 表示矩阵t F 中第i 行、第j 列元素，矩阵F 为：这时s 阶段的最优预测为：显然上述预测是均值基础上加上观测值的一个线性组合，是观测值的线性函数。
相应的预测误差为：下面我们给出具体的预测推导过程： (1) 进行1个时期的预测，它满足： (2) 将时间开始阶段换为1+t ，得到：根据多重投影定理断言，如果2+t Y 的1+t 期预测是t 期信息的投影，则该预测也是t 期进行的最优线性预测，则有： 将1期预测代入得到：(3) )(p AR 过程的前s 期预测根据叠代可以得到： )ˆ()ˆ()ˆ(ˆ||22|11|μφμφμφμ-++-+-=--+-+-++t p j t p t j t t j t t j t Y Y Y Y ，s j ,,2,1 = 其中：ττY Y t =|ˆ，t ≤τ 4.2.5 预测一个)1(MA 过程继续考察一个)1(MA 过程，可以利用滞后算子表示为： t t L Y εθμ)1(+=-，1||<θ利用Wiener-Kolmogorov 预测公式进行预测，得到： 向前预测1期时有： 则预测值为：当预测步长超过1时： 则预测值为：4.2.6 预测一个)(q MA 过程继续考察一个可逆的)(q MA 过程：利用Wiener-Kolmogorov 预测公式进行预测，得到： 其中：对于比较近期的预测(q s ,,2,1 =)有： 其中t εˆ可以利用下述递推表示：对于比较远期的预测(q s >)比较简单：4.2.7 预测一个)1,1(ARMA 过程)1,1(ARMA 过程可以表示为：假设该过程是平稳的(1||<φ)和可逆的(1||<θ)，则：其中：代入到预测公式中：注意到对于任意1>s ，预测值满足递推公式：这意味着预测值按照几何方式以速度φ收敛到无条件均值。
前1期预测由下式给出：上式可以等价地表示为： 其中： 或者：4.2.8 预测一个),(q p ARMA 过程综合上述各种预测情形，我们可以得到预测平稳),(q p ARMA 过程的方法。
),(q p ARMA 过程可以表示为：最优线性预测方程可以表示为： 其中t εˆ可以利用下述递推表示：前s 期预测为： 其中：ττY Y t =-1|ˆ，t ≤τ§4.2 基于无限个观测值的预测下面我们假设已知模型的参数，但是只获得了有限样本},,,{11+--m t t t Y Y Y 情形下的预测问题。
4.3.1 最优预测的近似基于有限个观察值的预测方法是假设样本之前的残差ε都为零，这是因为有下面的近似公式存在：4.3.2 有限样本情形下的精确预测利用线性投影可以得到有限样本情形下的精确预测： §4.7 ARMA (1)过程之和下面我们考虑两个ARMA 过程相加所得到的时间序列性质。
4.7.1 MA (1)过程与白噪声之和假设一个序列是零均值的)1(ARMA 过程： 其中t u 是白噪声序列，满足： 此时t X 过程自协方差函数为：假设随机过程t v 是另外一个白噪声过程，满足：假设两个白噪声序列之间在任何时点都是不相关的，也即有： 0)(=s t v u E ，t s ,∀ 这是也有：0)(=s t v X E ，t s ,∀目前的问题是，如何观测到一个序列t Y 是上述移动平均过程和白噪声过程的和，那么这个和过程的性质如何？显然，上述过程仍然具有零均值，它的自协方差函数可以表示为： 由此可见，随机过程t Y 也是平稳过程，它的自协方差函数与)1(MA 过程是类似的。