11
利用数据序列{z(k)}和{h(k)}
极小化下列准则函数
L
J ( ) [z(k) hT (k) ]2 k 1
使 J 最小的 的估计值
估计
ˆ，称为的最小二乘
12
４.3 最小二乘问题的提法
设时不变 SISO 动态过程的数学模型为
A(z 1)z(k) B(z 1)u(k) n(k)
所要解决的最小二乘问题
则有
J ( )
0
ˆWLS
)
ˆWLS
H
T L
LZL
21
当
H
T L
L
Z
L
可逆时（称为正则）时
ˆWLS
(
H
T L
L
H
L
)1
H
T L
LZL
充分条件
2 J ( ) 2
ˆWLs
2H
T L
L
H
L
0
因 L 0
所以 J ( ) WLS min , ˆWLS 是唯一的 22
通过极小化（16）式
，计算的逆矩阵
H
T L
ΛL H L
（要求必须是正则矩阵），按照式(16)即可计
算出过程参数 θ 的估计值 θˆWLS 。这种方法
称为“一次完成算法”，它为理论分析提供了
便利，但在计算时需要对矩阵求逆，如果矩阵
维数过大，矩阵求逆的计算量将急剧增加，对
计算机造成一定的负担。较为实用的方法是
“递推算法”，即把式(16)化成递推计算的形
[a1, a2 ,L , ana , b1, b2 ,L , bnb ]T 14
对 k 1,2, , L
(4)式构成一个线性方程组
可以写成
zL H L nL
其中
zL
nL
[z(1), z(2), [n(1),n(2),
z(L)]T n(L)]T
15
hT (1) z(0)
计算 ˆWLS 称为加权最小二乘法
取 L I
则（16）式变化成
ˆLS
(
H
T L
H
L
)1
H
T L
ZL
L k 1
h(k
)hT
(k
)
1
L k 1
h(k
)
z
(k
)
ˆLS - 最小二乘估计值
23
上述最小二乘法的计算步骤为：首先获取一批
足够数量的过程输入输出数据 zL 和 HL ，
并确定加权矩阵 ΛL
如何利用过程的输入、输出数据
确定多项式 A(z 1 ) 和 B(z 1 ) 的系数
13
在最小二乘问题中，一般对模型作以下假设
首先，模型的阶次 na ， nb 已定
且一般 na nb
其次，将（3）模型写成最小二乘格式
z(k) hT (k) n(k)
式中
h(k) [z(k 1),L , z(k na ),u(k 1),L ,u(k nb )]T
K = 1 时 (1) L1 1
K = L 时 (L) 1
19
准则函数 J ( ) 可写成二次型形式
J ( ) (z L H L )T L (z L H L )
L - 加权矩，一般为正定的对角矩阵
(1) 0
0
L 0 (2)
0
0
0
(L)
20
设 WLS
使
J ( ) WLS min
u(k) 和 z(k) 分别是过程的输入和输出 G(z 1 ) - 描述输入输出关系的模型，称为过程模型
4
G(z 1 ) 通常可以表示成
G(z 1 ) B(z 1 ) A(z 1 )
其中
A(z 1 B(z
) 1 )
1 a1z 1 b1z 1
a2 z 2 b2 z 2
a bnb
c
E{nL} 0
ov{nL
}
2 n
I
2 n
-
n(k)的方差
E{n(k)u(k l)} 0 k,l
最后，假设数据长度 L (na nb )
18
４.4 最小二乘问题的解
取准则函数
L
J ( ) (k)[z(k) hT (k) ]2 k 1
(k) - 加权因子，对 k, (k) 0 如 (k) Lk 0 1
E{n(L)}
E{n2 (1)} E{n(1)n(2)}
cov{nL}
E{nL nLT
}
E{n(2)n(1)}
E{n2 (2)}
E{n(L)n(1)} E{n(L)n(2)}
E{n(1)n(L)}
E{n(2)n(L)}
n
E{n2 (L)}
17
在最小二乘法中
假定 {n(k)} 是白噪声序列
A(z 1 )z(k) B(z 1 )u(k) 1 v(k) C(z 1 )
7
经比较
各种方法所用过程模型一样 只是噪声模型有所不同
8
４．２最小二乘辨识算法
内容
基本概念 最小二乘问题的提法 最小二乘问题的解 最小二乘参数估计值的统计性质 噪声方差估计 最小二乘参数估计的递推算法
z na
na
z nb
5
{n(k)}为噪声
可以表示成均值为零的平稳随机系列
n(k) N (z 1 )v(k)
N (z 1 ) D(z 1 ) C(z 1 )
式中
C(z 1) 1 c1z 1 c2 z 2 D(z 1) 1 d1z 1 d2 z 2
cnc z nc d nd z nd
第４ 章 最小二乘类参数辨识方法
1
主要内容
引言 最小二乘辨识算法 自适应辨识算法 偏差补偿最小二乘法 增广最小二乘算法 广义最小二乘法 辅助变量法 系统的结构辨识
2
４.1 引言
如果
仅仅关心所要辨识的过程输入输出特性 可以将所过程视为“黑箱” 而不考虑过程的内部机理
3
过程的“黑箱”结构
HL
hT
(2)
z(1)
hT
(
L)
z(L 1)
z(1 na ) z(1 na )
z(L na )
u(0) u(1 nb )
u(1)
u(2 nb )
u(L 1) u(L nb )
16
另外
设模型的噪声 n(k) 特征为
E{n(1)}
E{nL }
E{n(2)}
0
6
各种方法所用的辨识模型结构略有不同
最小二乘法（受控自回归 CAR模型）
A(z 1 )z(k) B(z 1 )u(k) v(k)
增广最小二乘法(受控自回归滑动平均 CARMA模型)
A(z 1 )z(k) B(z 1 )u(k) D(z 1 )v(k)
广义最小二乘法(动态调节 DA模型)
9
11.2 最小二乘法的基本概念
最小二乘法
1795年高斯在其著名的星体运动轨迹预报研究 工作中提出的,后来成了估计理论的奠基石。
10
假设
过程的输入输出关系可以描述成以下最小二乘格式
z(k) hT (k) n(k)
z(k) ― 输出
― 参数
h(k) ― 观测数据向量 n(k) ― 均值为零的随机噪声