1、 概率 先验概率是由源或发信机构决定，表达式为 P(H0),P(H1), P(H0)+ P(H1)=1。 后验概率是由源与观测值之间的联系决定，表达式为 p( Hi | z) 2、 充分统计量 a、充分统计量的涵义 统计量是数据的函数，也就是子样的函数。所以，统计量中所含有的一些的信息，一般 都会比整个样本函数所包含的信息要少。 统计量把子样中所包含的有关我们需要研究的一些 对象的信息集中起来后作为进行统计推断的依据。 但是统计量是非常多的， 那么我们就需要 找到一个最佳的统计量。所谓最佳的统计量也就是指我们不仅要提供子样所包含的全部信 息，同时又要尽可能地使之简单。 下面我们就通过全部信息来引伸出充分统计量。在数理统计学中 ξ1 ，ξ2， ξ3 …，给 我们提供了母体的信息。如果母体的概率函数依赖于参数 θ，子样当然也包含 θ 的信息，但 是依赖于子样的统计量 η 却不一定包含全部信息。 例如在一般情形下， 子样的联合概率函数 （即似然函数）能分解成
exp[c( )T ( x) d ( ) S ( x)],a x b f ( x; ) 0, 其他
这里 f ( x; ) 为概率函数。需要注意的是，这里 T(x)和 S(x)可以不唯一，但要强调的是 a 和 b 不能依赖于参数 。若随机变量具有单参数指数族分布 f ( x; ) 。 1 ， 2 ，„， n 为取 自母体 的一个子样，则统计量
为其分布，即参数在它的变化范围内，取到各个值的机会是相同的，称这个假定为贝叶斯假 设。贝叶斯假设在直觉上易于被人们所接受，然而它在处理无信息先验分布，尤其是未知参 数无界的情况却遇到了困难。经验贝叶斯估计把经典的方法和贝叶斯方法结合在一起， 经典的方法获得样本的边缘密度 p(x)，然后通过下式来确定先验分布 π(θ)[3]：
p(x) ( ) p( x | )d
-

在贝叶斯理论学习中，先验知识的形式可以是:(1)每个候选假设的先验概率。(2)每个可 能假设在可观察数据上的概率分布。 贝叶斯方法可允许假设做出不确定性的预测。 新的样本 分类可由多个假设一起作出预测，以它们的概率为权重。[4]
三、基本概念
指数分布族分布族包括正态分布族， 二项分布族， 单参数分布族等许多常见的重要分布 族， 而且以后还会见到它们所含的参数具有充分统计量。 因此在许多近代数理统计理论中起 着重要作用。 我们所常见的伯努利过程和泊松过程也都能用指数函数族来表示。 在这里我们 只介绍单参数情形 分布族 f ( x; )： ， = : r ，其中 r 和 是常数，叫做单参数指数族分 布。如果存在定义在 上的实值函数 c( )、d( )和定义在空间 a<x<b 上的实值函数 T(x)、 S(x)使得
[5]
f ( y | ) h( y) exp( t ( y) kb( ))
其中，h(y)是相关的密度函数；θ 为自然参数, 它是一个列向量；t(y) 是一维充分统计量， 它也是一个列向量；k 是一个常量；b(θ)是标准化了的常量，它是表示条件概率密度函数
f ( y | ) 所必须要有的一个常量。
p( | x)
( ) * p( x | )
p ( x)

( ) * p( x | ) （π (θ)是 θ 的先验分布） ( ) * p( x | )d
从上式我们可以看出， 对未知参数向量的估计综合了它的先验信息和样本信息。 贝叶斯 方法对未知参数向量估计的一般过程为： 1．将未知参数看成是随机向量。 2．根据以往对参数 θ 的知识，确定先验分布 π(θ)。 3．计算后验分布密度，做出对未知参数的推断。 在第二步，如果没有任何以往的知识来帮助确定 π(θ)，贝叶斯提出可以采用均匀分布作
Key words: CME, Bayesian hypothesis, sufficient statistic
一、引言
1、 估计理论 估计问题是进一步对信号的一个或多个随机参数进行估计， 使估计的参数尽可能与真实 的参数一致，或误差最小。 估计有参数估计和非参数估计。 （1）参数估计就是最佳地找出一个物理系统的不同参数。如果总体分布函数的形式已 知，只是分布中的一些参量未知，要估这些参量的真值。 （2）非参数估计：如果总体分布函数的形式未知，但想估计总体分布的某些数字特征， 如均值、方差。 2、 检测 检测就是根据有限的观测，在某种准则下，最佳地区分一个物理系统的不同状态。检测 问题是研究在背景噪声下，确认信号有无、或是什么形式的方法。检测理论就研究了如何更 有效地从接受信号中提取有用信号和如何采取有效的方法实现它， 检测理论在很多应用领域 中被证明是很有用的。 3、 检测与估计的对比
H0 H1
。 比检验公式为 ( z )
H0
H1
二、贝叶斯理论的基本观点
贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是:假定对所研究的对象在抽 样前已有一定的认识， 常用先验分布来描述这种认识， 然后基于抽取的样本再对先验认识作 修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样 本，在一定的统计模型下做出统计推断。在取得样本观测值 X 之前，往往对参数统计模型 中的参数 θ 有某些先验知识， 关于 θ 的先验知识的数学描述就是先验分布。 贝叶斯统计的主 要特点是使用先验分布，而在得到样本观测值 X=(x1, x2, … , xn )T 后，由 X 与先验分布提供 的信息，经过计算和处理，组成较完整的后验信息[1,2]。 贝叶斯的两项工作是贝叶斯定理和贝叶斯假设。 贝叶斯定理将事件的先验概率与后验概 率联系起来。 假定随机向量 x, θ 的联合分布密度是 p(x, θ)， 它们的边缘密度分别为 p(x), p(θ)。 一般情况下设 x 是观测向量，θ 是未知参数向量，通过观测向量获得未知参数向量的估计， 贝叶斯定理记作：
检测与估计是有区别的。检测的时候，信号状态是有限的或假设是有限；它的判决结 果可以与原来的假设完全相同； 另外， 检测时， 代价函数的取值是有限的； 而且可以有单次、 多次测量，序贯之分。而对于估计，信号参量是连续变化的；而且估值不能做到与原来的参 量完全相符，只能尽量接近；此外，因为参量有无穷多个估计结果，代价函数是连续的；而 估值一定是多次测量，估值结果多为取样均形式。 它们也有相似之处， 都要用到了信源和信道的统计特性， 都可以利用后验概率或似然函 数作为工具。 4、 假设检验 假设检验理论是用来检测信号是否存在的统计判决理论。 假设可视为关于可能判决或检 验的陈述，那么源就是产生这些陈述的机构。考虑两种可能的假设，假定 H0 为不存在，H1 为存在，在观测空间 z 的取值范围内，根据对随机变量测量的结果 z 来判断哪个假设正确， 此为二元检测问题。 我们把判决公式写作 P( H1 / z ) P( H 0 / z ) ，定义 ( z ) 为似然比， 为门限，则似然
i 0,1。
L( ; x1x2...xn) g( y; )h( x1x2...x n)
h（x1,x2,..xn）是条件 η=y 下的条件概率函数，它一般是依赖于 θ 的函数，如果 θ 未知 h（x1,x2,..xn ; θ)也就不可能知道，这时统计量 η 并没有反映子样所含有的 “全部信息”， 只有在不依赖于 θ 时 ,统计量 η 才反映了子样的“全部信息” 。正因为这一点，费歇命名 这种反映“全部信息”的统计量为充分统计量。[4] 所以我们可以这样认为， 不含于统计量的那些样本函数中的信息与我们所需要研究的问 题不相干。 那么除了这些信息以外其余的信息， 就是统计量所包含的那些能够充分反映所要 研究的问题特性的信息，不比原来的样本函数的信息少，那么就可以称之为充分统计量。充 分统计量就是“不损失信息”的统计量.也就是说，充分统计量能够完全捕捉到一个随机变 量分布中参数所包含的关于分布的信息， 那么这个随机变量关于它的分布就取决于充分统计 量的值，而不取决于原来的参数值。例如正态分布的均值和方差包含的信息少于样本，但是
条件均值估计和贝叶斯假设检测
摘要：贝叶斯假设检验要求规定代价和先验概率。如果先验概率不能确定，则可以采用均匀分布作为其分 布。检验一般都用似然比检验。从具有指数族分布结构的条件平均概率密度函数中可以知道边缘概率的似 然比有估计器-相关器结构。文中提到了充分统计量的概念，从某种意义上来说，它包括了作判决所需要的 全部信息。检测高斯噪声中高斯信号时，接收机把观测结果同已知信号相关就可以产生充分统计量。 关键词：条件均值估计，贝叶斯假设，充分统计量
总体条件分布不依赖于其他参数值， 而是依赖于给定的均值和方差的值， 它们就是充分统计 量。 b、充分统计量的定义 设总体 X 服从某个分布 Pθ (x)，为了对参数 θ 作统计推断，需要从该总体中抽取一个样 本 X = (X1,…,X n) ，样本 X 中含有 θ 的信息。显然，对样本 X 加工不可能增加信息，不减 少 θ 的信息就是最好的了。由样本 X 可算出统计量 T， 假如能由统计量 T 的值恢复样本, 那 么这种统计量就不会损失有关 θ 的信息。 要做到这一点， 关键要在给定 T = t 下， 样本 X 的 条件分布不依赖于 θ，即有 P0(X=x |T=t) = P (X=x |T=t)。 由以上分析知, 在对样本的加工过程中, 一个统计量“不损失信息”的数学描述是“在 T 取任一个值时, 样本的条件分布不依赖于未知参数” , 但允许 T 的一个零测集有例外, 由 此可给出充分统计量的一般定义： 设(X,B, {Pθ ∈Θ}) 是一个统计结构, 又设T = T(X) 是(X , B) 到(J, b) 的一个统计量, PθT是T的诱导分布, 假如在PθT的零测集外,T取任一个值t时, 样本X =(X1,…, Xn) 的条件分 布都不依赖于θ, 即对任意的θ∈Θ和B ∈B , 有Pθ(B/t) = P(B/t) , a· s· PθT ，则称T为该分布族 (或参数θ)的充分统计量。 3、 指数分布族 在解决检测一类的问题时，通常用指数族函数来描述其条件概率密度：