H θ : z (k ) hT (k )θ ● 给定不同的 z () 和 h() ，存在不同的超曲面 H θ : z () hT ()θ。从


ˆ(k 1) 的值作为 ˆ(k ) ，即 一个超曲面到另一个超曲面，选择最靠近
H1 θ : z (k ) hT (k 1)θ
其中， f ,,是一种代数函数；
ˆ(k 1) 是上一时刻的模型参数估计值；
} 和输出数 D(k ) 是数据集， 由输入数据 U (k ) {u(k ), u(k 1), u(k 2),
据 Z (k ) {z(k ), z(k 1), z(k 2),} 组成。
ˆ (k ) θ θ (k ) ˆθ 0 ˆ(k 1) hT (k )θ (k 1) z (k ) ˆ z (k ) hT (k )θ
ˆ (k ) θ θ ˆ(k 1) θ θ ˆ(0) θ , 或 θ (k ) θ(k 1) 0，k 1 ① θ 0 0 0 ~ ~ ~ 说明： ( k ) 非负、有界、不增； (k ) 不会比 (k 1) 离 0 更远。
p( z | ) 最 大 限 度 地 逼 近 条 件 0 下 的 概 率 密 度 p ( z | 0 ) ， 即
ax p( z | ˆ) m p( z | 0 ) 。典型的方法有极大似然法、预报误差法等。
4.2 模型参数辨识在线方案
① 辨识在线方案
ˆ(k ) f [θ ˆ(k 1), D(k ), k ] θ


H 2 θ : z (k ) hT (k )θ


ˆ(k 1)
ˆ(k )
图 4-1 投影原理 写成数学表达式
2 1 ˆ ˆ (k ) min θ (k 1) θ 2
J
5
2、准则 准则函数取
1 ˆ ˆ (k ) θ (k 1) θ 2 ˆ (k ) 。 其约束条件为 z(k ) hT (k ) J
E{z(k )} hT (k )
其中， h(k ) 是可测的数据向量，那么利用随机序列的一个实现，使准则函数
J (θ ) [ z(k ) hT (k ) θ ]2
k 1
L
ˆ 称作 的方程误差估计，或称最小二乘估计。 达到极小的参数估计值 ˆ ，使序 ● 方程误差原理表明，未知参数估计问题，就是求参数估计值
2 ~ 与 ( L) 非负、有界、不增是矛盾的。
7
③ lim
k
z (k ) c h (k )h(k )
T 1 2
0
说明：误差将趋于零。 证明：因 lim
L
z 2 (k ) ，必有 lim T k k k 1 c h (k )h(k )
L
c h
a2 ~ z 2 (k )
T
(k )h(k )

2
ˆ(k 1)
2
a 2 hT (k )h(k )z 2 (k )
T c h (k )h(k ) 2
ˆ (k ) θ ˆ(k d ) , ⑥ lim θ
L k d
L
2
d
说明：d 步参数变化平方和有界。
数据 Z (k d ) {z(k d ), z(k d 1),} 组成。
d 表示参数估计的预报能力，即利用 (k d ) 时刻以前的数据来估计当前
时刻的模型参数；
~ ˆ(k 1) 引起的模型预报误差。 z (k ) 建模误差，如由
4.3 方程误差辨识方法
● 方程误差原理：设一个随机序列 { z(k ), k (1,2, , L)} 的均值是参数 的线性函数
k 1
c h
hT (k )h(k )~ z 2 (k )
T
(k )h(k )

2

L ~ c~ z 2 (k ) z 2 (k ) ，右边 T 2 T k 1 c h ( k ) h( k ) k 1 c h ( k ) h( k ) L


第一项
L ~ c~ z 2 (k ) z 2 (k ) 0 ，故左边 ，右边第二项 2 T T k 1 c h ( k ) h( k ) k 1 c h ( k ) h( k )
z (k ) c h (k )h(k )
T 1 2
0 ，这是因为
2 lim ak ，必有 lim ak 0 L k 1
k
④ lim
L k 1
L
c h
L
hT (k )h(k )~ z 2 (k )
T
(k )h(k )

2

说明：误差平方和有界。 证明：因
1
6、协方差修正最小二乘算法 7、输出误差最小二乘算法 8、带死区的最小二乘算法 9、带约束条件的最小二乘算法 4.3.6 辨识算法的收敛性条件 1、正交投影辨识算法的收敛性 2、最小二乘辨识算法的收敛性 3、投影辨识算法的收敛性
2
Part II 辨识方法
第 4 章 模型参数辨识方法
4.1 模型参数辨识方法分类
课程名称： 《系统辨识理论与实践》
（Theory and Practice of System Identification）
Part II 辨识方法
第 4 章 模型参数辨识方法
4.1 模型参数辨识方法分类 4.2 模型参数辨识在线方案 4.3 方程误差辨识方法
4.3.1 投影辨识算法 1、模型 2、准则 3、算法 4、几何解析 5、基本性质 4.3.2 正交投影辨识算法 1、思想 2、算法 3、基本性质 4、收敛性 5、改进的正交投影辨识算法 4.3.3 最小二乘辨识算法 1、算法 2、性质 4.3.4 投影算法、正交投影算法和最小二乘算法的特点比较 4.3.5 最小二乘辨识算法的变形 1、加权最小二乘算法 2、遗忘因子最小二乘算法 3、限定记忆最小二乘算法 4、折息最小二乘算法 5、协方差重调最小二乘算法
证明：算法表达式两边减去 0
ˆ(k 1) （下同），又因 c 0, 0 a 2 ，则 其中， ~ z (k ) z(k ) hT (k )
ahT (k )h(k ) 2 0 c hT (k )h(k )
2 2 ~ ~ ~ ~ 所以 (k ) (k 1) 0 ，（ ~ z (k ) 可能为零），也就是 (k ) (k 1) 0 。
3
② 广泛采用的形式
ˆ( k ) ˆ(k 1) K (k )h(k d )~ z (k )
其中， K (k ) 为增益矩阵；
ˆ(k 1) 是上一时刻的模型参数估计值；
h(k d ) 是数据向量，由输入数据 U (k ) {u(k d ), u(k d 1),} 和输出
② lim
~ z 2 (k ) T L k 1 c h ( k ) h( k )
L
说明：误差平方和有界；为自适应控制算法提供全局收敛的充分条件。
~ 证明: ( L)
2
L ~ 2 ahT (k )h(k ) z 2 (k ) ~ (0) a 2 T T c h (k )h(k ) c h (k )h(k ) k 1
L
1
L
hT (k )h(k )~ z 2 (k ) c hT (k )h(k )

2

ˆ( k ) ˆ(k 1) ⑤ lim
说明：一步参数变化平方和有界。
ˆ( k ) ˆ(k 1) 证明：因
则根据④可得⑤。
2

T


1
h(k )
h(k 1)
超平面
θ0
ˆ(k ) θ ˆ(k 1) θ ˆ(k 1) θ
ˆ : z (k ) hT (k )θ H1 θ


超平面
ˆ : z (k 1) hT (k 1)θ H2 θ


2
图 4-1 投影算法的几何解析
6
5、基本性质 引入记号
ahT (k )h(k ) 0 ，若 因为 ( L) 非负、有界、不增，且有 2 c hT (k )h(k )
~
2
~ z 2 (k ) 不成立， T L k 1 c h ( k ) h( k ) lim
L
L ~ 2 ahT (k )h(k ) z 2 (k ) ~ ，也就是 ( L) ，这 意味 a 2 T T c h (k )h(k ) c h (k )h(k ) k 1
列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值 之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式
z(k ) hT (k ) n(k )
式中，z(k)为模型输出变量，h(k)为数据向量， 为模型参数向量，n(k)为零均
4
值随机噪声。为了求模型的参数估计值，可以利用上述方程误差原理。根据观 测到的已知数据序列 { z( k )} 和 { h( k )} ，极小化下列准则函数
J
0
ˆ
h(k ) ˆ(k 1) z(k ) hT (k ) h (k )h(k ) ● 改进投影算法（防止分母为零）：
ˆ(k ) ˆ(k 1)
T


ˆ(k ) ˆ(k 1)
4、几何解析
a h(k ) ˆ(k 1) , c 0, 0 a 2 z(k ) hT (k ) h (k )h(k ) c
J ( ) [ z (k ) hT (k ) ]2