第5章 非平稳随机过程
5.1 引言
5.2 平稳余差过程
5.3* 随机过程的线性变换 5.4* 随机过程的Fourier变换
5.5 小结
5.1 引言
现实世界中很多研究对象不仅表现出一定的随机性，而且随时间的推移还会呈现出 上升或下降的趋势，当这种趋势用时间的非线性函数表达的时候，基于弱平稳随机 过程理论的建模方法就不适用了。这样的对象应该用非平稳随机过程的理论来支持 模型的建立。此外，在很多情况下要求对象的协方差函数只与时间差有关也不一定 合理。如果不能确认对象是平稳过程，那么就不能套用第4章讨论的方法来建立模 型。 研究对象的非平稳特性要求继续研究新的建模理论和方法，然而目前数学理论对于 非平稳过程的研究还没有多少成果能够帮助解决建模过程中碰到的种种难题，只是 由于实际需要在工程领域出现了一些关于处理非平稳过程的方法，本章将主要围绕 这些实用的数据处理方法来探讨其数学原理。 现有处理非平稳过程的方法主要是把某些非平稳过程经过数据处理后变为平稳过程， 然后再用平稳过程的建模方法对它们建模。这种处理问题的方法尽管只能处理一些 比较简单的非平稳过程，或者在某些特殊的条件下建立非平稳对象的模型，但是这 些处理问题的方法具有较强的工程性，能够解决实际问题，弥补平稳过程建模方法 的不足。 在一些情况下，对象的非平稳性是和对象的时变性联系在一起的。这一类系统往 往不能用一个恒定不变的模型来描述，要求所建立的模型具有较好的跟踪能力，例 如用新息来修改模型，不仅修改模型的参数，有时也要求修改模型结构。应该说， 这种建模思想更符合客观实际情况，但是无论在理论上还是在实际建模过程中，仍
5.2 平稳余差过程
5.2.1 平稳余差过程的基础
5.2.2 ARIMA模型
5.2.3 季节性模型 5.2.4 函数生成理论
5.2.1 平稳余差过程的基础
1.模型描述
2.参数估计的统计分析
1.模型描述
应用的观点出发对非平稳过程最简单的理解是认为它的 均值函数呈现某种规律性，而协方差只与时间差有关。 这一类过程又称为具有平稳余差的非平稳过程，或简称 为平稳余差过程。
8
9 10
9．247
45．123 55．448
18
19 20
93．357
5.3.3 第二类线性变换
第二类线性变换是建立动态回归方程或时变参数回归方程的基础。前面曾
谈到这样一个观点：现实世界中的大部分对象都会随时间的变化而改变。
可能存在两种情况，一种情况是对象因为服从其运动规律而发生的变化， 而运动规律本身并不改变；另一种情况是运动规律也发生了变化，这样根
据历史样本建立的模型就会失去作用。如果对象运动规律改变的速度比较
5.4.4 噪声分离技术
1.噪声分离的原理
2.计算方法
3.仿真计算例子
1.噪声分离的原理
图5-1 用时间窗截取时间序列
1.噪声分离的原理
图5-2 时间窗的谱函数
ห้องสมุดไป่ตู้ 2.计算方法
1)设时间序列为｛y(n),n=0,1,2,…,N-1｝，对它进行离散Fourier变 换运算 2)利用式(5-64)计算δ(0) 3)计算矩型窗口的离散Fourier变换 4)利用式(5-61)和式(5-62)计算噪声的谱函数 5)利用离散Fourier反变换计算原时间序列中的噪声分量 6)分离原时间序列中的均值分量
慢，那么依靠历史数据建立的模型还可以表达对象近期的运动规律，如果 对象运动规律改变的速度比较快，那么依靠历史数据建立的模型就不一定
能表达对象未来的运动规律。本书研究对模型参数建模，希望通过参数的
改变来表达对象运动规律的变化。此外，本书前面还谈到可以用时变参数 的线性模型来描述复杂的非线性模型。
5.4* 随机过程的Fourier变换
5.4.3 离散Fourier变换
•设有时间序列｛x0,x1,…,xN-1｝，其中N为序列长度，把它的离散Fourier变 换记为 •Xk=DFT［xr］(5-48) •其反变换记为 •xr=IDFT［Xk］(5-49) •若用 •wN=exp-2πiN(5-50) •表示DFT运算符，那么正变换定义为 •Xk=1N∑N-1k=0xrwrkN(5-51) •反变换定义为 •xr=1N∑XkwrkN(5-52) •离散Fourier变换具有线性分配性，因此对式(5-38)的离散Fourier变换可以 写成 •DFT［yt］＝DFT［mt］+DFT［xt］(5-53)
5.2.2 ARIMA模型
20世纪70年代Box和Jenkins提出一种研究平稳余差序列的方法， 建立了积分自回归滑动平均模型，记为ARIMA。差分法是这种方 法的基础，通过差分消除序列中的趋势成分和周期成分而得到一 个弱平稳序列。尽管新的弱平稳序列与原来的余差序列并不等价， 但是它们之间有密切的关系，从新序列的统计特性可以推测原来 的余差序列的统计特性。 当序列的均值函数m(t)为多项式时，用简单的差分方法就可以把趋 势成分消除，使序列变成一个弱平稳序列。
5.4.2 零均值随机过程的Fourier变换
假定过程xt是零均值、方差有界，而且是各态历经的，那么它的Fourier变换 为 Xλ=1T∫T0eiλtxtdt(5-46) 考虑当λ=０时，有 X0=1T∫T0xtdt(5-47) 按照各态历经的概念，式(5-47)计算的应该是随机过程xt的均值，所以Ｘ0为 0，也就是说，零均值弱平稳随机过程的谱函数在零谱点上取值为0。 把这个结论和上面提到的均值函数的谱完全集中在零谱点上合在一起考虑， 可以看出在频率域内，可以很容易地把增长趋势的均值函数同零均值的随机 噪声分离开。当采用数值计算方法分离噪声时，要引入离散Fourier变换 (DFT)，其计算方法比上面提到的结论略微复杂一点，但是没有本质的区别， 都是利用在频率域内均值函数和随机干扰在不同谱点上信息的不同分配来分 离它们。
5.4.1 均值函数的Fourier变换
5.4.2 零均值随机过程的Fourier变换
5.4.3 离散Fourier变换 5.4.4 噪声分离技术
5.4.5 方差滤波
5.4.1 均值函数的Fourier变换
研究对象往往在存在增长或下降的趋势同时具有随机特征。当去掉趋势成分后余 下的随机过程可以认为是零均值随机过程，在很多情况下它是系统受到的多种干 扰的综合结果，通常希望选择好的参数估计方法尽量减少它们对模型的影响。即 使系统本身就是随机的，也可以按照前面介绍的时间序列分析的方法建立模型。 如果能够在参数估计之前分离系统观测值中的趋势成分和随机成分，那么可以降 低对于参数估计方法的要求。
5.2.3 季节性模型
利用差分方法也可以消除均值函数中的周期分量或季节性分量，使平稳 余差序列变成弱平稳序列，称这一类模型为季节性模型。季节性模型可 以用于描述有周期性变化的对象，如电力负荷、水文气象、保温或降温 的消费品需求等。 季节性模型首先应该把握变化周期，根据变化周期建模。周期性变化 可能是季节、月、天。不同的周期还有可能叠加在一起。比较简单的季 节模型是只包含季节分量或者只包含月度分量的模型。
2.参数估计的统计分析
•当式(5-2)中回归变量φk(t)不含未知参数，这时依据序列｛y(t)｝估计回归 系数(或模型参数)在前面几章已经进行了比较详细的讨论，其中重点讨论 了最小二乘法。可以把前面的方法用来求解平稳余差过程模型。为此，定 义向量和矩阵 •Y＝［y(1),y(2),…,y(n)］Ｔ， X＝［x(1),x(2),…,x(n)］Ｔ •α＝［α1,α2,…,αm］ Φ＝φ1(1)…φm(1)︙︙φ1(n)…φm(n) •则，得到矩阵方程 •Y=Φα+Χ(5-3) •可以利用最小二乘法的批处理公式求解式(5-3)表达的模型。把用最小二乘 法求解的参数估计值记为LS，那么 •LS＝(ΦTΦ)-1ΦTY(5-4) •定理5-1 LS是的线性无偏估计。
5.3.2 第一类线性变换
•Fourier变换属于第一类线性变换，然而在一般函数意义下，不能对随机过 程进行Fourier变换，如果把随机过程同广义函数联系起来，利用广义函数 的Fourier变换，可以发现若干比谱分解定理更有实用价值的结论。 •随机过程的第一类线性变换改变参数空间的属性。例如，对时间序列进行 Fourier变换，可以认为参数由时间域映射到复频域，称时间序列经Fourier 变换后所得到函数为谱函数。当时间序列是一个随机过程时，它所对应的 谱函数是随机谱函数。现有的平稳随机过程理论把研究的视野局限在H空 间，因此无法定义随机过程的Fourier变换。为了克服研究中的困难，在谱 分解定理中引出正交增量过程来与弱平稳过程对应。如果把研究的视野由 H空间扩大到D空间，那么可能解决的问题会更多一些，例如可以直接证明 弱平稳过程谱函数的正交性，还可以找到分离平稳余差过程均值函数的方 法。
5.3* 随机过程的线性变换
5.3.1 基本概念
5.3.2 第一类线性变换
5.3.3 第二类线性变换
5.3.1 基本概念
把随机过程xt(ω)，t∈N视为一个二元泛函。一方面它可以看成定义于N而取值 于概率空间(Ω,F,P)的抽象函数；另一方面它可以看成定义于概率空间(Ω,F,P)， 取值于广义函数空间D的广义函数。因此研究xt(ω)的线性变换应该从两方面考 虑：一种变换与参数t有关，研究对于函数xt的线性变换；另一种变换以x为基 本元，研究对x的线性变换。 当以t为参考变量时，对xt施以线性变换，有 yλ=L(xt)(5-26) 显然，若xt是以t为参数的随机过程，那么yλ则应该是以λ为参数的随机过程， 这类变换称为随机过程的第一类线性变换。 当以x为变换的基本元时，为了不引起误解，记ξt=xt(ω)，于是就变成以ξt为基 本元，研究 ηt=A(ξt)(5-27) 式中，ηt为定义于N取值于概率空间(Ω,F,P)的随机过程。 这就是说，变换A把概率空间(Ω,F,P)变成它自身。称式(5-27)为随机过程的第 二类线性变换。
5.2.4 函数生成理论