1T T 2 N T N
T 2 T 3 N 1 T N 1
4.7最小二乘估计的性质
4.7.1 最小二乘估计的特点 1） 唯一性 2）适用范围广 3）应用简单，鲁棒性好
1
1 1 T T PN 1 PN PN ψ N 1 ψ N 1PN ψ N 1 ψ N 1PN
其中，λ称为“遗忘因子”。选择不同的λ就得到不 同的遗忘效果。 λ越小，遗忘的速度越快。 λ =1：无遗忘； λ =0：全遗忘 一般来说， λ必须选择接近于1的正数，对于线性系 统，应选择0.95≤λ≤1。
2n+1维 参数向量
则可写为
y
3
e y y y
最小二乘估计要求残差的平方和为最小，即按照指 标函数 为最小来确定估值 。求J对 的偏导数并令其等于0
J e e ( y ) ( y )
T T
可得 的最小二乘估计
( ) y
YN YN 1 y ( n N 1)
10
YN YN 1 y ( n N 1)
此时，由n+N+1个观测数据获得 的最小二乘估计为
1 T N 1 (T ) N 1YN 1 N 1 N 1
N T N 1
T N 1 N


2 1 令 PN (T ， ) N N
则得渐消记忆的递推最小二乘算法
渐消记忆递推最小二乘算法
θ N 1 θ N K N 1 yn N 1 ψ T N 1θ N
K N 1 PN ψ N 1 ψ
T N 1 N


P ψ N 1
1
1 1 T PN 1 PN PN ψ N 1 ψ N 1PN ψ N 1 ψ T P N 1 N
2 T T Φ Φ N N N 1 N 1 1 1

1
2
1
Φ
T N
ΦN
1 1
1
2018/9/28 18
最小二乘估计法的缺陷
y
( ) y
T 1 T
最小二乘估计的无偏性、一致性等概率性质，都是 在ξ(k)为零均值、不相关随机序列的前提下得到的。 但实际系统中ξ(k)往往是相关的，有些系统即使外 加干扰为不相关的随机序列，但在参数估计过程中，也 变成相关的随机序列了。


1
T T N 1 Φ N Φ N

1 T ) NYN ，则上式变为 又因为 N (T N N
N 1 N Φ Φ N N 1
T N 1 2
Φ
T N
Φ N N 1
1 2 T N 1


T N 1 1
Φ
T N
Φ N N 1
1
T N 1 2
Φ
T N
Φ N N 1


1
T N 1 N
1
y (n N 1)
N Φ Φ N N 1

T N 1
Φ
T N
Φ N N 1
1

1
y(n N 1)
最小二乘估计法的缺陷
系统 B(z-1)/A(z-1)
+
x(k ) a1 x(k 1) b0 u (k )
an x(k n)
bn u (k n), k 1, 2,3
y(k ) x(k ) (k )
y (k ) a1 y (k 1) b0 u (k )
1
2
T N
ΦN
1
1
2
T N
Φ N N 1
1 2

T N 1
Φ
T N
Φ N N 1
1

1
T N 1
Φ
T N
ΦN
1
将上面的结果带入（*）式，并展开得
2 T T 2 T N 1 Φ Φ Φ N YN N 1 y (n N 1) N N N 1 N 1 1
T N 1 N
P ψ N 1 ψ T N 1PN
1
6
该递推公式有明显的物理意义：
θ N 1 θ N K N 1 yn N 1 ψ T N 1θ N
K N 1 PN ψ N 1 1 ψ T N 1PN ψ N 1


1
θN 1 θN θN
2
1
Φ
T N
ΦN
1
1 1 1 T T T T N 1 1 N 1 2 Φ N Φ N N 1 N 1 2 Φ N Φ N 1

Φ ΦN 2
T N

Φ Φ N N 1 2
T N 1 2
T 1 T
J为极小值的充分条件是
2 J T 2 0 2
4
即矩阵 T 为正定矩阵。
递推最小二乘 参数辨识算法 u(k) y(k)
动态系统模型
反馈控制律
图4.1 动态系统递推最小二乘在线辨识过程原理图
2018/9/28 5
递推最小二乘法
1 ) 令 PN (T ，则递推最小二乘算法 N N
PN 1 PN PN ψ N 1 1 ψ PN PN 1 PN ψ N 1 1 ψ
T N 1 N
P ψ N 1 ψ T N 1PN
1 1
T N 1 N
P ψ N 1 ψ T N 1PN
ψ N 1ψ T N 1 PN PN 1 PN PN 0 T 1 ψ N 1PN ψ N 1
2 T N
T
T N N T T N 1 N 1
1 T N 1
1
YN y (n N 1)
Φ Φ N N 1
2 T Φ N YN N 1 y (n N 1)
2018/9/28
1
最小二乘法辨识
回顾
考虑系统模型：
y(k ) a1 y(k 1) a2 y(k 2)
an y(k n)
b0u(k ) b1u(k 1)
bnu(k n) (k )
2
最小二乘法：
a1 N维噪声向量 ( n 1) y (n 1) N维输出向量 y (n 2) (n 2) an , , y b0 (n N ) N×(2n+1)维 y (n N ) 测量矩阵 b n y (1) u (n 1) u (1) y ( n) y (n 1) y (2) u ( n 2) u (2) y ( N ) u (n N ) u( N ) y (n N 1)
（*）
( A BBT )1 A1 A1B( I BT A1B)1 BT A1
2 T T Φ Φ N N N 1 N 1 1 1

1

2
Φ Φ
T N
ΦN
1
1

2
Φ Φ
T N
ΦN
1
1 1 1 1 T T T T N 1 1 N Φ Φ Φ Φ 1 N N N 1 N 1 N N 2 2
为了克服数据饱和现象，可以用降低旧数据影响 的办法来修改算法。
9
4.6 渐消记忆递推算法 渐消记忆法是对每个数据按指数加权，老的数据 作用逐渐减弱。 由n+N个观测数据获得 的最小二乘估计为
1 T N (T ) NYN N N
u (n N 1) 如果再获得一对新的观测值 y(n N 1) ， 则有 N N N 1 T N 1 T N 1 N 1 0 1
2018/9/28
17
4.7.2 最小二乘估计的概率性质 如果ξ(k)是不相关随机序列，且均值为0。 1） 无偏性
辅助变量法、广义最小二乘法、增广矩阵法
2）一致性
ˆ 以概率1趋近于。 当N 时，θ
3） 有效性
在众多无偏估计中，方差最小。
4） 渐进正态性
如果ξ是均值为0且服从正态分布的白噪声向量，则最小 二乘参数估计值服从正态分布。
θ N 1 θ N K N 1 yn N 1 ψ T N 1θ N
K N 1 PN ψ N 1 1 ψ
T N 1 N


P ψ N 1
1
PN 1 PN PN ψ N 1 1 ψ ( I K N 1ψ T N 1 )PN
2018/9/28
an y (k n) an (k n)
bn u (k n) (k ) a1 (k 1)
最小二乘估计法的缺陷
(k ) (k ) a1 (k 1)
an (k n)
E (k ) (k j) 0
可见ξ(k)是相关序列，进而得到的最小二乘参数估 计不是无偏、一致估计。 因而，LS估计方法的应用受到一定限制，下面介绍 在LS基础上加以改进的方法。
限定记忆法
思路：限定每次估计都用最新的n+N个数据，增加 一个新数据就去掉一个老数据。 y (n 2) y (n 1) y (n 3) y (n 2) YN 1 YN y ( n N 1) y ( n N )