最优预测和滤波
波形估计与动态估计 • 估计问题
在许多实际问题中，需要研究随时间变化的随 机变量或随机矢量的估计问题，即按照某种最 优准则对随时间变化的随机变量或随机矢量作 出估计。
• 不同称谓
- 在通信工程中称为波形估计 - 在控制工程中称为动态估计
最优预测和滤波
滤波与预测 滤波定义 从含噪信号x(n)=s(n)+v(n) 或其矢量信号x(n)=s(n)+v(n) 中尽可能排除噪声v(n)或v(n) 干扰，而将有用信号s(n) 或s(n)分离或提取出来。 滤波、预测与平滑 滤波 用n时刻及以前数据估计n时刻信号s(n)或s(n)。属因果 系统 预测 用n时刻及以前的共p个数据估计未来某时刻信号。 平滑 用全部数据（过去及未来的）来估计n时刻信号.属非 因果系统，（脱线处理）
2 Rss (0) Rss (1) Rss (2) v 0 0 * 2 Rss (1) Rss (0) Rss (1) 0 v 0 R* (2) R* (1) R (0) 0 0 2 ss ss v ss
R为Hermit 和Toeplitz对称阵。 定义输入与期望响应的互相关向量：
P E x (n) s (n) Rxs (0), Rxs ( 1), , Rxs (1 M ) M 1
* T
Wiener-Hopf方程的解
Wiener-Hopf（差分）方程组：
M 1 i 0
输出
ˆ y(n) s(n)
- +
估计误差 e( n)
期望响应 s ( n)
结论 线性离散时间滤波器的最优设计问题可表述如下： 设计线性离散时间滤波器的系数h, 使滤波器输出 y(n) 在给定输入样本x(0),x(1),…的情况下给出期望响应s(n) 的估计，并能使估计误差 e(n) s(n) y(n) 的均方值 2 E{ e(n) } 为最小
上述表明，使得均方误差代价函数最小化的充要条 eopt 件是估计误差 (n) 与输入向量正交。这就是著名 的正交性原理。
正交性原理（续）
由于 E


y (n)e (n) E
*
h x ( n k )e ( n ) k 0
* k *
* hk E x (n k )e* ( n) k 0
s ( n ) v ( n) s(n) v(n), s(n 1) v(n 1), s(n 2) v(n 2 * E s(n 1) v(n 1) s(n 2) v(n 2)
对滤波器要求是使估计误差在某种统计意义下“尽可能小”。
最优滤波理论
线性最优滤ห้องสมุดไป่ตู้器（续）
对滤波器的约束
滤波器是线性的。
一是为了使信号通过滤波器后不致于发生“畸变”； 二是为了便于对滤波器进行数学分析. 滤波器是离散时间的，便于系统数字硬件或软件实现.
设计准则:估计误差在某种条件意义下尽可能小的滤波
的整数；
(3) 因果IIR维纳滤波器：i取从 0 的整数；
FIR型的Wiener滤波器
x ( n)
z
* h0
1
x(n 1)
z
h1*
1
x(n M 2)
…
… …
z
* hM 2
1
x(n M 1)
* hM 1
+
+
+
+
y ( n) s ( n)
T
e( n )
hk ak jbk
h [h0 , h1 ,]T
k 0,1, 2
正交性原理（续）
定义梯度算子：
h , h0 , h1
T
其中函数对复变量hk的偏导：
J (h) J (h) J (h) j , hk ak bk J (h) 0, hk k 0,1, 2,
eopt
根据最优滤波器的正交性原理有下式：
E x(n k ) s* (n) hopt (i ) x* (n i ) 0 i k
等价于：
hopt (i)E x(n k ) x* (n i ) E x(n k ) s* (n) , k
自适应滤波器的应用
最优滤波理论
线性最优滤波器 x(n) s(n) v(n) 问题描述
输入 x(0), x(1), 线性离散时 间滤波器
h0 , h1 ,
输出
ˆ y(n) s(n)
- +
估计误差 e( n)
期望响应 s ( n)
输入x(1),x(2),… x(n)，滤波器的脉冲响应序列(h0, h1,… ) y(n)代表滤波器在时间n时的输出,希望它是期望响应s(n) 的估计值。 估计误差e(n)：定义为期望响应s(n)与滤波器输出y(n)之差, 即 ˆ e(n) s(n) s(n) s(n) y(n)
正交性原理
根据滤波器原理，n时刻的滤波器输出表示为：
y (n) hi* x(n i ), n 1, 2,
i
定义估计误差为：
e(n) s(n) y(n)
定义代价函数为均方误差
J (h) E e(n)

2

E e(n)e* (n)
滤波器复抽头权（tap-weight)系数
s(n) s* (n) Rss (0) s ( n) v ( n) s* (n) E s(n 1) s* (n) R (1) E s(n 1) v(n 1) ss * s(n 2) v(n 2) s(n 2) s (n) R (2) ss
定义输入向量
x (n) x(n), x(n 1), , x(n M 1)
Wiener滤波理论（续）
定义输入信号的自相关矩阵：
R E x (n) x H (n) Rxx (1) Rxx ( M 1) Rxx (0) R* (1) Rxx (0) Rxx ( M 2) xx * * Rxx ( M 1) Rxx ( M 2) Rxx (0) M M
x* ( n k )
jx(n k )
jx* (n k )
正交性原理（续）
故：
J (h) 2 E x(n k )e* (n) , hk k
J (h) 令 ０ 即可得到最小均方值条件。 hk
即：
* E x(n k )eopt (n) 0 k 0,1, 2
最优预测和滤波
维纳滤波与卡尔曼滤波
维纳滤波
设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的, 且 已知其功率谱或自相关函数的知识，则基于观测过程x(k) 或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k) 所作的最优估计称为维纳滤波
卡尔曼滤波
设已知信号的动态模型测量方程，则基于过程x(k)及初 始条件，按线性无偏最小方差递推估计准则,对状态s(k) 所作的最优估计称为卡尔曼滤波.
2 0 Rss (0) Rss (1) Rss (2) v 0 * R Rss (1) Rss (0) Rss (1) 0 v2 0 R* (2) R* (1) R (0) 0 0 v2 ss ss ss P E[x(n) s* (n)]
器称为这一统计意义下的最优滤波器。最常用的最优准 则是使某个代价函数最小化。最典型的代价函数有： 估计误差的均方值(最常用的统计优化准则,即MMSE准则) 估计误差绝对值的期望值 估计误差绝对值的三次幂或高次幂的期望值
最优滤波理论
输入 x(0), x(1), 线性离散时 间滤波器
h0 , h1 ,
观测信号为：x(n) s(n) v(n) ，试中v( n) 是方差为0.45的零 均值白噪声，它与s(n）统计独立。试设计一个长为N=3的 FIR滤波器来处理x(n)，使得其输出与s(n)的差的均方值最小。 解： x(n) [ x(n), x(n 1), x(n 2)]T
R E[x(n)x H (n)] h [h(0), h(1), h(2)]T
h
i
opt
(i)Rxx (i k ) Rxs (k ),
k
这就是著名的Wiener-Hopf(差分）方程，该方程定 义了最优滤波器系数必须服从的条件。
i 的取值范围：
(1) 有限脉冲响应（FIR）维纳滤波器：i=0,1,…,M-1； (2) 非因果无限脉冲响应（IIR）维纳滤波器：i取从
最优预测和滤波
自适应滤波器
维纳滤波与卡尔曼滤波的特点
维纳滤波和卡尔曼滤波都是随机情况下最优滤波, 特点是: 维纳滤波: 参数固定, 适用于平稳随机情况下的最优滤波 且实现简单； 卡尔曼滤波: 参数时变, 适用于非平稳随机情况下最优滤波 且性能优越；
维纳滤波与卡尔曼滤波的局限性
只有在信号和噪声统计特性先验已知的情况下,这两种滤 波器才能获得最优滤波。在实际应用中,往往无法得到这 些统计特性的先验知识, 或统计特性随时间而变, 这时就 无法用这两种滤波器实现最优滤波。


当滤波器工作在最优条件时，由正交性原理上式等于零。
* E yopt (n)eopt (n) 0
当滤波器工作在最优条件时，其输出响应 yopt (n) 与相应 估计误差 eopt (n) 也正交。
正交性原理的几何解释
s