C (q )e(k ) (k ) ，其中 C (q ) 1 ci q i ，{ (k )}为白噪声，
1
1 i 1
A(q 1 ) y (k ) B (q 1 )u (k )
(k )
C (q 1 )
即 C (q 1 ) A(q 1 ) y(k ) C (q 1 ) B(q 1 )u (k ) (k )
T P ( k ) K ( k 1) x (k 1) P (k )
1
一般取值 0.9 0.999。 当 1时候， 算法退化为一般递推算法， 越小跟踪性能越好， 但是参数可能出现不希望的跳跃， 而 越
大，估计所得的参数的变化越平滑。
17
限定记忆的递推最小二乘法
3
将系统方程改写成
y (k ) ai y (k i ) biu (k i ) e(k )
i 1 i 1 n n
利用测得的数据，建立 N 个观测方程 y (n 1) a1 y (n) a2 y (n 2) an y (1) b u (n) b u (1) e(n 1) 1 n y (n 2) a1 y (n 1) a2 y (n 1) an y (2) b1u (n 1) bnu (2) e(n 2) y (n N ) a1 y (n N ) an y ( N ) b u (n N ) b u ( N ) e( n N ) 1 n
1
13
根据矩阵求逆辅助公式
[ A BCD]1 A1 A1 B(C 1 DA1 B) 1 DA1
令 A P 1 (k ) ， B x(k 1)， C 1, D xT (k 1) ，则得到
P(k ) x(k 1) xT (k 1) P(k ) P(k 1) P(k ) 1 xT (k 1) P(k ) x(k 1)
ˆ(0) 的选取 关于 P(0)和 ˆ( N ) 做初值， N 2n 1. 任选一批数据，可取 P( N ) 和 ˆ(0) ，而令 P(0) I ，其中 105 1010 ， I 为单位矩 2. 任取
阵。
15
普通递推最小二乘算法的缺点是数据饱和，同时不能跟踪参 数变化
P(k ) xT (k 1) x(k 1) P(k ) P(k ) P(k 1) 0 T 1 x (k 1) P(k ) x(k 1)
同时得到
ˆ(k 1) P(k 1)[ X T (k ) y (k ) x(k 1) y (k 1)]
14
整理可得
P(k ) x(k 1) K (k 1) 1 xT (k 1) P (k ) x (k 1) ˆ(k 1) ˆ(k ) K (k 1)[ y (k 1) xT (k 1) ˆ (k )] P(k 1) P (k ) K (k 1) xT (k 1)P (k )
x2 (k ) u 2 (k ) ，
则可得
y (k ) a0 a1 x1 (k ) a2 x2 (k ) e(k )
这是线性方程，可以使用最小二乘法。
9
3. 自回归方程的参数估计
y (k ) ai y (k i ) e( k )
i 1 n
4. 线性系统的权序列辨识
y ( k ) hi u ( k i ) e( k )
i 1 n
写成矩阵形式
y ( p ) [u ( p ) h(0) h(1) e (k ) u (0)] h ( p )
从而写成
y Uh e
10
最小二乘法的缺点 1. 数据增加时，要求计算机的 存储空间增加 2. 每增加一组数据 [u(i), y(i)] ，就要作一次求逆，导致计算量 增加 目标：寻求一种递推算法，使得 1. 不保留全部数据 2. 避免求逆
20
辅助变量法
y (k ) ai y (k i ) biu (k i ) e(k )
i 1 i 1 n n
传统做法是由
X T X X T y X T e
得到
ˆ ( X T X )1 X T y ( X T X )1 X T e ，
ˆ。 如果 X 与 e 不相关，则 E ( )
因此有 P(k ) P(k 1) ， 可见当 k 时， P(k ) 0， K (k 1) ， 从而失去修正作用。
16
渐消记忆的递推最小二乘法
目标：
ˆ(k ))2 minJ k i ( y (i ) T (i )
i 1 k
得到递推算法为
P (k ) x(k 1) K (k 1) xT (k 1) P (k ) x (k 1) ˆ(k 1) ˆ(k ) K (k 1)[ y (k 1) xT (k 1) ˆ (k )] P (k 1)
线性系统参数估计的 最小二乘法
1
简介
最小二乘方法是用于参数估计的数学方法， 它使得数学模 型在误差平方和最小的意义上拟合实验数据。 LS 方法是一种涉及较少数学知识而又被大量采用的一种 基本方法。最早由高斯提出。当时（1795 年） ，高斯为了解决 从观测到的行星轨道数据推算行星轨道的参数而提出的。此 后，最小二乘法成了处理观测所得实验数据的有力工具，为 工程技术人员广泛采用。 在系统辨识领域中，它是应用最广泛的基本方法， 许多方 法都是在它的基础上发展起来的。
从中可以解得
ˆ (T )1 T y
6
最小二乘法的应用
原则：只要能把输出和被辨识参数的关系描述为线性方程，则 可以使用最小二乘法。 1. 多输入单输出系统的辨识 y (k ) b0 b1u1 (k ) b2u2 (k )
{ui ( k )}和{ y(k )}， k 1,2,
2
基本原理
给定 SISO 线性、定常，随机系统的数学模型为
y (k ) ai y (k i ) biu (k i ) e(k )
i 1 i 1 n n
已经得到{u(k )}和{ y(k )}序列， k 1,2,3,
n
对于这样的系统，辨识需要解决两个问题： 1. 首先需要确定系统阶数 n ，这是系统结构辨识的问题 2. 在阶数 n 确定了以后，求参数 ai 和 bi ，这是参数辨识问题
如果 X 与 e 相关，构造与 X 同维的与 e 不相关的矩阵 Z ，令
Z T X Z T y Z T e
从而
( Z T X )1 Z T y
21
增广最小二乘法
A(q 1 ) y (k ) B(q 1 )u (k ) C (q 1 ) (k )
其中 A(q ) 1 ai q ， B(q ) bi q ， C (q ) 1 ci q i
令
P(k ) [ X T (k ) X (k )]1
则
X (k ) T P(k 1) X (k ) x(k 1) T x (k ) [ X T (k ) X (k ) x(k 1) xT (k 1)]1 [ P 1 x(k 1) xT (k 1)]1
y X e
un (1) un (2) un ( N )
从而 ˆ ( X T X )1 X T y 如何推广到 MIMO 系统？
8
2. 非线性系统的辨识
y(k ) a0 a1u (k ) a2u 2 (k ) e(k )
选取
x1 ( k ) u (k )
得新解
ˆ(k 1) [ X T (k 1) X (k 1)]1 X T (k 1) y (k 1)
12
其中
X (k ) y (k ) , y (k 1) , X (k 1) T x (k 1) y (k 1)
限定每次估计的只有 N 方程，每得到一个新方程，则去掉一个 老方程，数据就像用一个矩形框框住。
18
最小二乘算法的估计特性
1. 无偏性 2. 一致性 3. 有效性
19
广义最小二乘法
设系统的方程为
y (k ) ai y (k i ) biu (k i ) e(k ) 其中 e( k ) ( k ) ai ( k i )
bnun (k ) e(k ) , bn ？
进行 N （ N n 1）次观测以后，得到多输入多输出观测数据 如何求解 b0 , b1 , ,N， i 1,2, , n ，
7
根据观测数据，建立观测方程组。令 y [ y (1) y ( N )]T 1 u1 (1) 1 u (2) [b0 bn ]T 1 X e [e(1) e( N )]T 1 u1 ( N ) 于是
4
令 T [a1 , a2 , , an , b1 , b2 , bn ]和
T (n i) [ y(n i 1), y (n i 2), , y (i), u (n i 1), , u (i)]
则有 y (n i) T (n i) e(n i) 或写成 y(k ) = φT (k )θ +e(k ) 如果定义
则可得到矩阵形式
y ( N ) T ( N ) e( N )
因此从观测方程中可以求解出参数 θ
5
1. 如果 N 2n ，此时相当于从 2 n 个观测方程中求解 2 n 个参数， ˆ 1 ( N ) y( N ) ，而实际上，e( N ) 0 ，因此 如令 e( N ) 0 ，则