θ θ θ
w
θ
− ＝µθ＋( Cθ + H C H ) H T Cw1 ( x − H µθ ) −1 T −1 w −1
ˆ 估计量的性能是通过误差ε＝θ－θ 来度量的，它的PDF是高斯的，均 值为零，协方差矩阵为 Cε = Ex ,θ (εε T ) = Cθ − Cθ H T ( HCθ H T + Cw ) −1 HCθ = ( Cθ + H C H )
先验分布的确定方法
先验分布的确定方法
Bayes统计中，关于先验分布的选取是一个重大问题。 Bayes本人对 先验分布作了如下假设：先验分布是无信息先验分布，在θ的取值范 围内“均匀分布”。
先验分布的确定方法
(4)共轭分布方法 H.Raiffa,R.Schlaifer提出先验分布应取共轭分布才合适 设样本X的分布族为{f(x|θ ):θ ∈ Θ},若先验分布h(θ ) 与后验分布h(θ|x)属于同一分布类型，则先验分布h(θ ) 称为h(θ|x)的共轭分布。
高斯PDF的特性
贝叶斯线性模型
贝叶斯一般线性模型为 x=Hθ +w 其中x是一个N × 1的数据矢量，H是一个已知的N × p矩阵， θ 是一个p × 1的具有先验概率PDFN(µθ ,Cθ )的随机矢量，w是一个 N × 1的噪声矢量，具有PDFN(0,Cw ),且与θ 无关。它和经典的一 般线性模型的区别在于，将θ 看作为一个具有高斯先验PDF的随 机变量。 如果观测数据x满足上面的模型，那么后验PDFp(θ|x)是高斯 分布的，它的均值和协方差分别为 E (θ | x) = µθ + Cθ H T ( HCθ H T + Cw ) −1 ( x − H µθ ) Cθ | x = Cθ − Cθ H T ( HCθ H T + Cw ) −1 HCθ 为确保HCθ H T + Cw的可逆性，那么H 不必是满秩的。
h(θ ) = hg [ g (θ )] | g ′(θ ) |
若选取的h(θ) 符合上式，则用θ或θ的函数g(θ)到处的先验分布总是一 致的。 困难之处在于如何找到满足上式的h(θ) ，Jeffreys利用Fisher信息量的 不变性，找到了符合要求的h(θ)
先验分布的确定原则－Jeffreys原则
贝叶斯统计模型
p(A i | B) = p(B | A i )p(A i ) p(B | A i )p(A i ) = p(B) ∑ p(B | Ai )p(A i )
i
A1
A2 A3 A4 E
i=1…n
பைடு நூலகம்A6
A5
设事件A1 ， A2 ， …， An构成互不相容的事件组，贝 叶斯公式如上给出，先验信息以{P[Ai], i=1…n}给 出，即先验分布。由于事件B的发生，可以对A1 ， A2 ， …， An发生的概率重新估计。 贝叶斯公式综合了先验信息与试验提供的新信息，获 得了后验信息，以后验概率{P(Ai|B), i=1…n}体现出 来，贝叶斯公式反映了先验分布向后验分布的转化。 贝叶斯公式反映了先验分布向后验分布的转化
贝叶斯估计
贝叶斯估计
贝叶斯估计
Bayes MSE与传统MSE
Bayes MSE估计
MMSE估计的性质
MMSE估计被确定为是E(θ |x)或后验 PDF的均值，因此它通常也称为条件均值 估计量。
对于线性变换，它可以交换。即满足线性特 性； 对于独立的数据集，MMSE估计量具有叠加 性质。 在联合高斯情况下，MMSE是数据的线性函 数。
贝叶斯参数估计
Bayes学派认为：后验分布族 h(θ | x, θ ∈ Θ) 是统计推断的出发点。这里样本观测值是确定的，而 θ是随机的。而经典统计中，其出发点是样本分布 族，其中θ是未知参数，而样本观测值x只是无限次 可能试验结果的一个具体实现，总体来说，样本X是 随机的。 无偏性与样本分布族有关，因而“无偏性”不符合 Bayes统计推断原则。 总之， Bayes统计推断的任务是根据已知的样本观 测值x对未知的随机变量根据后验分布作出推断，这 对未知的随机变量根据后验分布作出推断 里x是具体的值，没有必要将其放在“无限多可能值 之一”中考察。
贝叶斯线性模型
后验PDF的均值和协方差还可以表达为
− E (θ | x) = µθ + ( Cθ + H C H ) H T Cw1 ( x − H µθ ) −1 T −1 w −1
且
－ − Cθ | x = ( Cθ + H C H ) , 即Cθ | x1＝Cθ−1 + H T Cw1 H −1 T −1 w −1
−1 T −1 w −1
误差协方差矩阵也是最小的MSE矩阵M θˆ , 其对角线上的元素产生最小 ˆ 贝叶斯MSE,即 ⎡ Mθˆ ⎤ = [ Cε ]ii ＝Bmse(θi ) ⎣ ⎦
ii
贝叶斯估计
贝叶斯估计的数据建模
根据给定的PDF选择A的行为是Bayes方法和经典方法的不同之 处。以往的问题是估计A的值或者随机变量的实现，而现在我们 可以把A是如何选择的知识结合进来。 是如何选择的知识结合进来
先验分布与后验分布
先验分布
定义
(1)参数θ的参数空间Θ上的一个概率分布称为θ的先验分布，即Bayes 参数统计模型中的参数θ 是参数空间Θ上的随机变量，它的概率分布 叫参数θ的先验分布，记为{h(θ ):θ ∈ Θ}
σ
δ
2
,故
σ
, h(δ ) ∝
δ
先验分布的确定原则－最大熵原则
(6) 最大熵原则
熵是信息论的一个基本概念，是随机变 量不确定性的度量。不确定性越大，则 熵越大，在“无信息”的情况下，应取熵最 大的分布为先验分布。 最大熵原则：无信息先验分布应取参数 θ的变化范围内使熵最大的分布。 回顾信息论中离散和连续情况下的最大 熵定理
先验分布的确定原则－Jeffreys原则
(5)Jeffreys原则 Jeffreys提出的选取先验分布的原则是一种不变原理，较好地解决了 Bayes假设中的一个矛盾，即若对参数θ选用均匀分布，则其函数g(θ)往 往不是均匀分布。 Jeffreys原则：设按照原则决定θ的先验分布为h(θ),若以g(θ)作为参 数，按同一原则决定的η＝ g(θ)的先验分布是hg(η),则应用关系式：
贝叶斯学派
Bayes统计模型的特点是将参数θ视为随机变量，并具 有先验分布H(θ); Bayes统计学派与经典学派的分歧主要是在关于参数的 认识上的分歧，经典学派视θ为未知常数； Bayes学 派视θ为随机变量且具有先验分布； 为随机变量且具有先验分布 两个学派分歧的根源在于对于概率的理解。经典学派 视概率为事件大量重复实验频率的稳定值；而Bayes学 派赞成主观概率，将事件的概率理解为认识主体对事 件发生的相信程度，当然，对于可以独立重复实验的 事件，概率仍可视为频率稳定值。显然，将θ视为随 机变量且具有先验分布具有实际意义，能拓广统计学 应用的范围。
T (2)样本X=(X1 ,X 2 , ,X n )的条件密度函数族{f(x|θ ):θ ∈ Θ}称为样本
分布族 (3)先验分布{h(θ ):θ ∈ Θ}与样本分布族{f(x|θ ):θ ∈ Θ}构成Bayes 参数统计模型
后验分布
定义：在X = x的条件下，θ的条件分布称为θ的后验分布，后验 分布由后验概率密度函数{h(θ|x):θ ∈ Θ}描述
一般Bayes估计
三种典型的代价函数
不同代价函数的估计量
对上面的三种代价函数，使贝叶斯风险最小的估计量分别是后验PDF的均值，中 值和众数（最大值的位置，对应于最大后验MAP估计量）
Bayes估计的性能
贝叶斯线性模型下的MMSE估 计量的性能
贝叶斯线性模型下MMSE估计量的性能： 如果观测数据x可以使用贝叶斯线性模型表示，那么MMSE估计量为 θˆ＝µ + C H T ( HC H T + C ) −1 ( x − H µ )
Bayes统计推断的原则
选取先验分布的方法
Bayes统计中，选取先验分布是一个相当重要 的问题。 若对参数θ选用均匀分布，但其函数g(θ)往往 不服从均匀分布，即往往不再服从Bayes假 设； 又由Bayes统计推断原则，后验分布是统计推 断的基础，而只有正确选择的先验分布，才有 正确的后验分布。因此在Bayes统计中，必须 深入探讨选取先验分布的方法。
引理：设η＝g (θ )与θ 具有相同维数p，则有 I(θ ) I(θ )
1/ 2 1/ 2
∂g (θ ) 1/ 2 I (η ) = ∂θ
1/ 2
, I (η )
分别表示I (θ ), I (η )的行列式的平方根，而
∂g (θ ) ⎛ ∂g (θ ) ⎞ 是其行列式绝对值。 ⎜ ⎟ , ⎝ ∂θ ⎠ p× p ∂θ 由此引理与Jeffreys原则，可取 h(θ ) ∝ I(θ )
1/ 2
该式对标量参数和矢量参数都适用。
先验分布的确定原则－Jeffreys原则
例1：设X是来自正态总体N(µ ,)的IID样本，求µ的先验分布。 1 可求得I ( µ ) = n, 故h( µ ) ∝ 1 例2：设X是来自正态总体N(0,σ 2 )的IID样本，求σ 与δ =σ 2 的先验分布。 可求得I(σ )= h(σ ) ∝ 1 2n , I(δ )= 2 1 2n
贝叶斯统计
英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳 推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为 贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统 计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组 成数理统计学中的贝叶斯学派，其形成可追溯到 20世纪 30 年代。到 50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩 大。 贝叶斯统计中的两个基本概念是先验分布和后验分布 。①先验分布。总 体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于 总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息 外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个 要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于 要素。 主观信念。②后验分布。根据样本分布和未知参数的先验分布，用概率 论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分 布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推 断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样 本分布。