服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
❖ 递推公式的直观意义：
^
^
❖
如果用
y(N
1)
T N
1
表示预报值，那么
^
y(N 1) y(N 1) e(N 1)
N
12TT
T N
y(1)
yN
y(2)
Y (n)
❖ 则有
y(k
)
T k
e(k)
❖ 考虑目标函数
J ( )
1 N
N k 1
y(k
)
T k
2
1 N
N
e2 (k)
k 1
❖ 极小化，可求得
^
N
T N
N
1 T N
yN
❖ 当新数据 y(N 1) 取得时，有
y ^ N 1
ቤተ መጻሕፍቲ ባይዱ
T N
1
PN
N
1
1
T N
1
PN
N
1
y(N
1)
❖ 把它代入原式，消去同类项，经整理得
^
N 1
^
N
PN N 1
1
T N
1
PN
N
1
y(
N
1)
^
T N
1
N
❖ 此式即为最小二乘的递推算式。
❖ 利用此式计算
^
N 1
，PN 1 时要已知
^
N
，PN（前次估计
值），
（历史数据）和新观测值
N
y(N 1)。
❖ 算法所需存贮空间分析：
❖ 从方程中可看到 b0 0 ，因此
[a1 a2 b1 b2 ]T
❖ 真实的 为
[1.5 0.7 1.0 0.5]T
❖ 取观测数据长度 N 100，当噪声均方差 取不同 值时，系统参数的最小二乘估计值如下表
表5.1 参数估值表
^
a1
^
^
^
a2
b1
b2
0.0 1.5 0.00 0.70 0.00 1.00 0.00 0.50 0.00
❖ 将 x(k) 代入差分方程中，有 y(k) a1 y(k 1) an y(k n) b0u(k) bnu(k n) （4）
n
n(k) ain(k i) i1
❖ 往往把 n(k)看作白噪声
❖设
n
(k) n(k) ain(k i)
i1
❖ 则式（4）可写成
y(k) a1 y(k 1) an y(k n) b0u(k) bnu(k n) (k)（5）
由此得到的参数估计量与实际参数之间的误差越来
越大，即出现“数据饱和”现象。
❖
这是因为 P0
是正定的，而PN1
P 1
T
N
N 1 N 1
中 1
T
N 1 N 1
是递非推负最定 小的 二， 乘所 法以中公Pi式(i ，1,可2,得, N：) 都是正定的。根据
PN
PN1
PN N 1
1
T N
❖ 将 e(k) 称为残差。把 k n 1,n 2, ,n N 分别代入上 式可得残差 e(n 1),e(n 2), ,e(n N) 。设
e e(n 1) e(n 2) e(n N)T
❖ 则有
^
e y y y
❖ 最小二乘估计要求残差的平方和为最小，即按照目
标函数
J
eT e
❖ 式（8）式一个含有 (2n 1) 个未知参数，由N个方程 组成方程组。
❖ 当 N 2n 1 ，方程数少于未知数数目，则方程组的 解是不定的。
❖ 当 N 2n 1，方程数正好与未知数相等，当噪声 0 时，就能准确的解出
1 y
❖ 如果噪声 0 ，则
1 y 1
❖ 从上式可以看出噪声 对参数估计有影响，
1)
P T N N 1 N 1
N
1
T N
1
PN
N
1
^
P T N N 1 N 1
N
1
T N
1
PN
N
1
N 1 y(N
1)
❖ 由于上式中第二项为
PN N 1 y(N
1)
PN
N
1
1 1
T N T N
1 1
PN PN
N N
1 1
y(N
1)
PN
N
1
1
y(N
T N 1
1)
PN
N
1
PN N 1
x(k) a1x(k 1) an x(k n) b0u(k) bnu(k n)
k 1, 2, 3,
（1）
❖ 式中：u(k) 为输入信号；x(k) 为理论上的输出值。
❖ x(k) 的观测值 y(k) 可表示为
y(k) x(k) n(k)
❖ 式中 n(k)为随机干扰，则：x(k) y(k) n(k)
❖ 假设 (k)不仅包含了x(k)的测量误差，而且还包含 u(k) 的测量误差和系统内部噪声。
❖ 假定 (k) 是不相关随机序列。
❖ 现分别测出 n N 个输出输入值 y(1), y(2), , y(n N) ，
u(1),u(2), ,u(n N)
❖设
a1
y
y(n
y(n
y(n
1)
2)
1
PN
N
1
P 1 T N 1 N
0
❖ 所以 PN PN1
❖ 随着递推次数的增加，PN 越来越小，这会导致新采
样值对参数估计的修正不再起作用，即产生“数据 饱和”现象。
❖ 另外，由于递推在有穷字长的计算机上实现时，每 步都存在舍入误差。因此数据饱和后，由于这些原 因致使新的采样值不仅对参数估计不起改进作用， 反而可能使所计算的 PN 失去正定性，甚至失去对 称性，造成参数的估计值和真实参数之间的偏差越 来越大。
T
1 T
N 1 N 1
N 1 N 1
❖ 其中：
N 1
N
T N
1
y N 1
yN y(N
1)
（10）
❖令
PN TNN 1
❖则
PN1
TN 1 N 1
1
T N
N
N 1 N 1
1
P 1
T 1
N
N 1 N 1
❖ 应用矩阵求逆引理，可得 PN1 和 PN 的递推关系式
N
)
1
T N
(
T N
N
)
1
T N
T
E
(
T N
N
)
1
T N
2 N
(
T N
N
) 1
2E
(
T N
N
) 1
❖ 证毕。
❖ 上式可写为
^
Var
2
N
E
1 N
(
T N
N
)
1
❖
当 N
时，上式为零，即
^
以概率1趋近
。
❖ 因此，当 (k)为不相关随机序列时，最小二乘估计具有无偏
性和一致性。如果系统的参数估计具有这种特性，就称系统 具有可辨识性。
0
N
0
1 ,
^
N0
PN
0
T N
0YN
0
❖
2）假定
^
0
0,
P0
c2I,
c
是充分大的常数，I
为 (2n 1)(2n 1)
单位矩阵,则经过若干次递推之后能得到较好的参数
估计。
3、最小二乘估计量的统计特性
❖ 1、无偏性
❖ 定理1：假设模型（5）式中的 (k)是均值为零的平
稳独立随机序列，则最小二乘估计量