当前位置:文档之家› 贝叶斯估计方法学习感想及看法

贝叶斯估计方法学习感想及看法

关于贝叶斯估计方法学习感想及看法
经过半学期的课程学习,终于在参数估计这部分内容的学习上有了个终结。

参数估计方面的学习主要分了经典学派的理论和贝叶斯学派的理论。

在参数估计上经典学派运用的是矩法和极大似然估计,贝叶斯学派用的当然就是Bayes 估计。

经典学派的学习在本科学习比较多,而Bayes 方法对我来说算是个新知识,在此只对Bayes 统计方法做个小结,然而由于知识有限性,只能粗略地从讲义中对Bayes 估计总结点观点出来。

贝叶斯统计中除了运用经典学派的总体信息和样本信息外,还用到了先验信息,其中的两个基本概念是先验分布和后验分布。

1,先验分布,总体分布参数θ的一个概率分布。

贝叶斯学派的根本观点,是认为在关于总体分布参数总体分布参数θ的任何统计推断问题中,除了使用样本所提供的信息外,还必须规定一个先验分布,它是在进行统计推断时不可缺少的一个要素。

他们认为先验分布不必有客观的依据,可以部分地或完全地基于主观信念。

2,后验分布。

根据样本分布和未知参数的先验分布,可以用概率论中求条件概率分布的方法,求出的在样本已知下,未知参数的条件分布。

因为这个分布是在抽样以后才得到的,故称为后验分布。

贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布,而不能再涉及本分布。

可以看出Bayes 统计模型的特点是将参数θ视为随机变量,并具有先验分布H(θ)。

Bayes 统计学派与经典学派的分歧主要是在关于参数的 认识上的分歧,经典学派视经典学派视θ为未知常数;而Bayes 学派视θ为随机变量且具有先验分布为随机变量且具有先验分布。

两个学派分歧的根源在于对于概率的理解。

经典学派视概率为事件大量重复实验频率的稳定值;而Bayes 学派赞成主观概率,将事件的概率理解为认识主体对事件发生的相信程度。

个人认为将θ视为随机变量且具有先验分布具有实际意义,这也算Bayes 学派在二百年时间不断发展的一个前提。

然后用数学计算的观点来看看Bayes 估计:
一切估计的目的是要对未知参数θ作统计推断。

在没有样本信息时,我们只能依据先验分布对θ作出推断。

在有了样本观察值1(,,)n X x x = 之后,我们应依据(,)h X θ对θ作出推断。

若把(,)h X θ作如下分解:
()(,)|()h X X m X θπθ=
其中()m X 是X 的边际概率函数:
⎰⎰ΘΘ
==,)()|(),()(θθπθθθd X p d X h X m 它与θ无关,或者说)(X m 中不含θ的任何信息因此能用来对θ作出推断的仅是条件分布)|(X θπ,它的计算公式是:)|(X θπ=(,)h X θ/()m X 。

贝叶斯统计学关键是首先要想方设法先去寻求θ的先验分布h (θ),先验分布的确定方法有客观法,主观概率法,同等无知原则,共轭分布方法,Jeffreys
原则,最大熵原则等。

通过比较和大量成功的案例发现采用β分布族作为先验分布族时候往往很实用,而且在数学处理方面处理很方便:
其次,根据先验信息在先验分布族中选一个分布作为先验分布,使它与先验信息符合较好。

利用θ的先验信息去确定β分布中的两个参数a 与b 。

假如的信息较为丰富,譬如对此产品经常进行抽样检查,每次都对废品率作出一个估计,把这些估计值看作的一些观察值,再经过整理,可用一个分布去拟合它。

假如信息较少,甚至没有先验信息时候,也可以用用区间(0,1)上的均匀分布即a=b=1,也既是所谓的贝叶斯假设。

以上就是贝叶斯估计相关的知识的理解和其中最基本的方法。

谈到贝叶斯统计方法的应用除了简单的估计、推断外,应该还有贝叶斯决策问题,即把损失函数加入贝叶斯推断中形成的。

根据决策者的分析和偏好可以用不同形式的损失函数。

在贝叶斯决策论中,将损失函数视为贝叶斯统计中的第四种信息。

在老师课上也主要提到了MINMAX 方法和可容许性两种方法,这里就不简单重复了。

0,0,10,)1()()()()(11><≤≤-ΓΓ+Γ=--b a b a b a b a θθθθπ。

相关主题