即
ˆ E [ x] = E [ x]
ˆ ˆ 如果估值 x 的数学期望等于x 的数学期望，或者估计误差 x 的数学 期望为零，则最小方差估计是无偏的。因此 x 的估计是无偏估计。Leabharlann ˆ 估计误差 x 的方差为
2 2 2 E ( x − mx ) = ∫ ( x − mx ) p ( x ) dx = σ x −∞ +∞
一、参数估计 参数估计属于曲线拟合问题。例如做完某项试验之后，得到若干 个观测值 zi与相应时间 ti 的关系( zi , ti )( i = 1,2,L, m ) 。我们希望以一 条曲线来表示 z 和 t 的关系，设
z ( t ) = x1h1 ( t ) + x2 h2 ( t ) + L + xn hn ( t ) L t 式中h1 ( t )、h2 ( t )、 、hn ( t ) 为已知的时间函数，一般是 的幂函数、指 L 数函数或正余弦函数等等。x1、x2、 、xn为 n个未知参数，它们不随时 间而变。
第十一章 参数估计方法
本章讨论参数估计准则和估计方法，根据对被估值统计特性的掌 握程度不同，可提出不同的估计准则。依据不同的准则，就有相应 的估计方法，即最小方差估计、线性最小方差估计、极大似然估计、 极大验后估计、最小二乘估计等，本章将对这些估计方法进步不同 程度的讨论。
第一节 最小方差估计与线性最小方差估计
=
γ xzσ xσ z γ xzσ z = 2 2 σx σx
(11-9)
σ 式中， x、σ z 分别为随机变量 x 和 z 的均方根差，γ xz为 x 与z 的相关系 数 γ xz = a = Cov ( x, z ) / σ xσ z 。于是的估值为
Cov ( x, z )
ˆ x = az + b = mx +
{
T
} {
− E x − E ( x ) z − E ( z )
T
}= 0
因此
A = Cov ( x、z )( Varz )
−1
(11-16)
将式(11-16)代入式(11-14)，可得
b = E [x ] − Cov ( x、z )( Varz ) E [ z ]
−1
根据式(11-16)和式(11-17)求得 A和b 代入式(11-11)，得
一、最小方差估计 最小方差准则，要求误差的方差为最小，它是一种最古典的估计 方法，这呼估计方法需要知道被估随机变量x 的概率分布密度 p ( x ) 和数学期望 E ( x ) 。这种苛刻的先验条件，使此方法在工程上的应用 受到很大限制。这里只以一维随机变量的估计为例，介绍最小方差 估计方法。
设有一维随机变量 x ，它的概率密度 p ( x ) 和常数期望 E [ x ] = mx，都 ˆ ˆ 是已知的，求x 的估值 x 。评价估计优劣的准则是 x 与 x的误差的方 差为最小，即
人们希望估计出来的参数或状态愈接近真值愈好，因此提出了 最优估计问题。所谓最优估计，是指在某一确定的准则条件下， 从某种统计意义上来说，估计达到最优，显然，最优估计不是唯 一的，它随着准则不同而不同，因此在估计时，要恰当选择估计 准则。 在自动控制中，为了实现最优控制和自适应控制，遇到许多参 数估计或状态估计问题，促进了估计理论和估计方法的发展。另 外，由于电子计算机的迅猛发展和广泛使用，使得许多复杂的估 计问题的解决成为可能，这也促进了估计理论的发展。所以近二 十多年来最优估计理论及其应用得到迅速的发展。
−1
所以估计是无偏的。 估计误差的方差阵为
J = Varx-Cov ( x、z )( Varz ) Cov ( z、x )
−1
(11-19)
第二节
极大似然法估计与极大验后法估计
一 、极大似然法估计 极大似然法估计是以观测值出现的概率为最大作为估计准则的，它 是一种常用的参数估计方法。 设 z 是连续随机变量，其分布密度为 p ( z,θ1 ,θ2 ,L,θn ) ，含有 n 个未知 参数θ1 ,θ 2 ,L,θ n 。把 k 个独立观测值 z1 , z2 ,L, zk 分别代入 p ( z,θ1 ,θ 2 ,L,θ n ) 中的 z ，则得
p ( zi ,θ1 ,θ 2 ,L,θ n ) i = 1,2,L，k
将所得的 k 个函数相乘，得
L ( z1 , z2 ,L，zk；θ1 ,θ 2 ,L,θ n ) = ∏ p ( zi ,θ1 ,θ 2 ,L,θ n )
i =1 k
(11-20)
称函数 L为似然函数。当 z1 , z2 ,L, zk 固定时，L 是 θ1 ,θ2 ,L,θn 的函数。极 大似然法的实质就是求出使L 达到极大时的θ1 ,θ2 ,L,θn 的估值 ˆ1 ,θˆ2 ,L,θˆn θ 。从式(11-20)可看到θˆ1 ,θˆ2 ,L,θˆn 是观测值 z1 , z2 ,L, zk 的函数。
{
}
(11-15)
= 2 AE ( zzT ) + bE ( zT ) − E ( xxT ) = 0
将式(11-14)代入式(11-15)得
AE ( zzT ) + E [x ] E ( zT ) − AE [ z ] E zT − E ( xz T ) = 0 A E ( zzT ) − E ( z ) E ( zT ) − E ( xzT ) − E ( x ) E ( zT ) = 0 AE z − E ( z ) z − E ( z ) AVarz − Cov( x, z ) = 0
L 根据 m 对观测值 ( zi , ti )( i = 1,2,L, m；m > n )来估计未知参数 x1、x2、 、xn 。按照什么准则来估计这些参数呢？
这将是第十章讨论的主要问题。
二、状态估计 设系统的状态方程和观测方程分别为
& x (t ) = A (t ) x (t ) + B (t ) u (t ) + F (t ) w (t ) z (t ) = H (t ) x (t ) + v (t )
(11-3)
所以数学期望 mx 是 x 的最小方差估计。 这种方法可以推广到多维随机变量的估值，这里不再叙述。
二、线性最小方差估计
线性最小方差估计就是估计值为观测值的线性函数，估计误差 的方差为最小。在使用这种方法时，需要知道观测值和被估值的 一、二阶矩，即数学期望 E [ z ] 和 E [ x ] 、方差Varz和Varx及协方差 Cov [ x，z ]和 Cov [ z，x ] 。
式中，x ( t ) 为状态变量，它是随时间而变的随机过程，u ( t )为控制 变量，w ( t ) 为系统噪声，v ( t ) 为测量噪声， z ( t ) 为观测值。现要根据 观测值来估计状态变量 x ( t ) ，这就是状态估计问题。卡尔曼滤波是 一种最有效的状态估计方法，将在第十一章讨论这个问题。
σ
2 x
( z − mz )
(11-10)
估计误差为
ˆ x = x−x
E [ x ] = E [ x ] − E [ mz ] − = m x − mz −
γ xzσ z E ( z − mz ) σx
γ xzσ z ( mz − mz ) = 0 σx
因此 E [ x ] = E [ x ] 。所以估计是无偏的。
}
从式(11-7)可得
mx − amz − b = 0
式中 mx 和 mz 为 z 和 x 的数学期望，从此式可得
b = mx − amz
(11-8)
将式(11-8)代入式(11-6)得
E {( x − az − mx + amz ) z} = 0
把上式改写成
E ( x − m x ) − a ( z − mz ) ( z − mz + mz ) = 0
∂J ˆ = 2 x − 2E [ x] ˆ ∂x
则 x 的最优估值为
ˆ x = E [ x] = ∫
+∞ −∞
xp ( x ) dx = mx
(11-2)
因此 x 的最小方差估值为 mx ，估计误差为
ˆ E [ x ] = E [ x ] − R [ x ] = E [ x ] − [ mx ] = mx − mx = 0 ˆ x = x − x = x − mx
b = m z − Am z = E [x ] − AE [ x ]
(11-14)
∂J t ∂ T = E [ x − b − Az ] [ x − b − Az ] ∂A ∂A = −2 E [ x − b − Az ] zT = −2 E ( x − b ) x T + 2 E AzzT
q 下面讨论x 和 z 都是多维随机变量的估计问题。设 x为n 维， z 为维， x z 已知 和 的一、二阶矩，即
E [ x ]、E [ z ]、Var、Varz、Cov ( x, z ) 和Cov ( z , x )
ˆ 假定 x 的估值 x 是 z 的线性函数
ˆ x ( z ) = b + Az
ˆ ˆ J＝E ( x − x ) = ∫ ( x − x ) p ( x ) dx = min −∞
2 +∞ 2
(11-1)
将上式展开，得
2 ˆ ˆ ˆ J = E ( x − x ) = E x 2 − 2 xE [ x ] + x 2
ˆ 求上式对 x 的偏导数，令偏导数等于零，得
2
{
} {
2
} = min
(11-5)
的条件来确定系数 a 和 b 。
求式(11-5)对 a和 b的偏导数，令偏导数等于零，可求得 a和 b两个 系数。