叶斯统计决策理论是指综合运用决策科学的基础理论和决策的各种科学方法对投资进行分析决策。
其应用决策科学的一般原理和决策分析的方法研究投资方案的比选问题,从多方面考虑投资效果,并进行科学的分析,从而对投资方案作出决策。
涉及到投资效果的各种评价、评价标准、费用(效益分析)等问题。
投资决策效果的评价问题首要的是对投资效果的含义有正确理解,并进行正确评价。
贝叶斯统计中的两个基本概念是先验分布和后验分布。
①先验分布。
总体分布参数θ的一个概率分布。
贝叶斯学派的根本观点,是认为在关于总体分布参数θ的任何统计推断问题中,除了使用样本所提供的信息外,还必须规定一个先验分布,它是在进行统计推断时不可缺少的一个要素。
他们认为先验分布不必有客观的依据,可以部分地或完全地基于主观信念。
②后验分布。
根据样本分布和未知参数的先验分布,用概率论中求条件概率分布的方法,求出的在样本已知下,未知参数的条件分布。
因为这个分布是在抽样以后才得到的,故称为后验分布。
贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布,而不能再涉及样本分布。
贝叶斯统计(Bayesian statistics),推断统计理论的一种。
英国学者贝叶斯在1763年发表的论文《有关机遇问题求解的短论》中提出。
依据获得样本(Xl,X2,…,Xn)之后θ的后验分布π(θ|X1,X2,…,Xn)对总体参数θ作出估计和推断。
它不是由样本分布作出推断。
其理论基础是先验概率和后验分布,即在事件概率时,除样本提供的后验信息外,还会凭借自己主观已有的先验信息来估计事件的概率。
而以R.A.费希尔为首的经典统计理论对事件概率的解释是频率解释,即通过抽取样本,由样本计算出事件的频率,而样本提供的信息完全是客观的,一切推断的结论或决策不允许加入任何主观的先验的信息。
以对神童出现的概率P的估计为例。
按经典统计的做法,完全由样本提供的信息(即后验信息)来估计,认为参数p是一个“值”。
贝叶斯统计的做法是,除样本提供的后验信息外,人类的经验对p 有了一个了解,如p可能取pl与户p2,且取p1的机会很大,取p2机会很小。
先验信息关于参数p的信息是一个“分布”,如P(p=p1)=0.9,P(p=p2)=0.1,即在抽样之前已知道(先验的)p取p1的可能性为0.9。
若不去抽样便要作出推断,自然会取p=p1。
但若抽样后,除非后验信息(即样本提供的信息)包含十分有利于“p—=p2”的支持论据,否则采纳先验的看法“p=p1”。
20世纪50年代后贝叶斯统计得到真正发展,但在发展过程中始终存在着与经典统计之间的争论。
[编辑]贝叶斯统计的历史[1]贝叶斯统计的历史可以上溯到16 世纪。
1713 年,James Bernoulli 意识到在可用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别,他提出一个著名的问题:前者的机理如何能帮助处理后面的推断。
托马斯.贝叶斯(ThomasBayes,1702-1761)是长老会的牧师。
他对这个问题产生浓厚的兴趣,并且对这个问题进行认真的研究,期间,他写了一篇文章来回答Bernoulli 的问题,提出了后来以他的名字命名的公式:贝叶斯公式。
但是,直到贝叶斯死后才由他的朋友Richard Price 在1763 年发表了这篇文章,对Bernoulli 的问题提供了回答。
这篇文章标志着贝叶斯统计的产生。
但贝叶斯统计的思想在开始时并没有得到重视。
后来,Laplace 本人重新发现了贝叶斯公式,而且阐述得比贝叶斯更为清晰。
由于贝叶斯统计对于概率的观点过于主观,与当时的主流统计观点相左,此外也很难应用当时严谨的数学理论解释。
例如贝叶斯统计中的先验概率的观点,一直以来都是贝叶斯统计学派和非贝叶斯统计学派争论的焦点之一。
在历史上,贝叶斯统计长期受到排斥,受到当时主流的数学家们的拒绝。
例如,近代优秀的统计学家R. A. Fisher就是贝叶斯统计的反对者。
然而,随着科学的进步,贝叶斯统计在实际应用上取得的成功慢慢改变了人们的观点。
贝叶斯统计慢慢的受到人们的重视,目前贝叶斯统计已经成为统计学中一门很热门的研究课题。
从贝叶斯为了回答James Bernoulli 的问题而写的那一篇论文,提出著名的贝叶斯统计思想以来,经过几百年的发展,目前关于贝叶斯统计的论文和学术专著有很多。
目前统计界公认比较权威的贝叶斯统计的著作是James O. Berger 的作品:StatisticalDecision theory and Bayesian Analysis。
国内有其中译本:《统计决策论及贝叶斯分析》,它是由贾乃光主译,吴喜之校译,中国统计出版社出版。
[编辑]基本思想贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:★已知类条件概率密度参数表达式和先验概率★利用贝叶斯公式转换成后验概率★根据后验概率大小进行决策分类2公式设D1,D2,……,Dn为样本空间S的一个划分,如果以P(Di)表示事件Di发生的概率,且P(Di)>0(i=1,2,…,n)。
对于任一事件x,P(x)>0,如图3理论分析(1)如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合,那我们就需要从训练样本集合中来估计概率分布的参数。
在现实世界中有时会出现这种情况。
(如已知为正态分布了,根据标记好类别的样本来估计参数,常见的是极大似然率和贝叶斯参数估计方法)(2)如果我们不知道任何有关被分类类别概率分布的知识,已知已经标记类别的训练样本集合和判别式函数的形式,那我们就需要从训练样本集合中来估计判别式函数的参数。
在现实世界中有时会出现这种情况。
(如已知判别式函数为线性或二次的,那么就要根据训练样本来估计判别式的参数,常见的是线性判别式和神经网络)(3)如果我们既不知道任何有关被分类类别概率分布的知识,也不知道判别式函数的形式,只有已经标记类别的训练样本集合。
那我们就需要从训练样本集合中来估计概率分布函数的参数。
在现实世界中经常出现这种情况。
(如首先要估计是什么分布,再估计参数。
常见的是非参数估计)(4)只有没有标记类别的训练样本集合。
这是经常发生的情形。
我们需要对训练样本集合进行聚类,从而估计它们概率分布的参数。
(这是无监督的学习)(5)如果我们已知被分类类别的概率分布,那么,我们不需要训练样本集合,利用贝叶斯决策理论就可以设计最优分类器。
但是,在现实世界中从没有出现过这种情况。
这里是贝叶斯决策理论常用的地方。
问题:假设我们将根据特征矢量x 提供的证据来分类某个物体,那么我们进行分类的标准是什么?decide wj,if(p(wj|x)>p(wi|x))(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj),决策规则就是似然率测试规则。
结论:对于任何给定问题,可以通过似然率测试决策规则得到最小的错误概率。
这个错误概率称为贝叶斯错误率,且是所有分类器中可以得到的最好结果。
最小化错误概率的决策规则就是最大化后验概率判据。
4决策判据贝叶斯决策理论方法是统计模式识别中的一个基本方法。
贝叶斯决策判据既考虑了各类参考总体出现的概率大小,又考虑了因误判造成的损失大小,判别能力强。
贝叶斯方法更适用于下列场合:(1) 样本(子样)的数量(容量)不充分大,因而大子样统计理论不适宜的场合。
(2) 试验具有继承性,反映在统计学上就是要具有在试验之前已有先验信息的场合。
用这种方法进行分类时要求两点:第一,要决策分类的参考总体的类别数是一定的。
例如两类参考总体(正常状态Dl和异常状态D2),或L类参考总体D1,D2,…,DL(如良好、满意、可以、不满意、不允许、……)。
第二,各类参考总体的概率分布是已知的,即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。
显然,0≤P(Di)≤1,(i=l,2,…,L),∑P(Di)=1。
对于两类故障诊断问题,就相当于在识别前已知正常状态D1的概率P(D1)和异常状态D2的概率P(D2),它们是由先验知识确定的状态先验概率。
如果不做进一步的仔细观测,仅依靠先验概率去作决策,那么就应给出下列的决策规则:若P(D1)>P(D2),则做出状态属于D1类的决策;反之,则做出状态属于D2类的决策。
例如,某设备在365天中,有故障是少见的,无故障是经常的,有故障的概率远小于无故障的概率。
因此,若无特别明显的异常状况,就应判断为无故障。
显然,这样做对某一实际的待检状态根本达不到诊断的目的,这是由于只利用先验概率提供的分类信息太少了。
为此,我们还要对系统状态进行状态检测,分析所观测到的信息。
叶斯学派的根本观点,是认为在关于θ的任何统计推断问题中,除了使用样本X所提供的信息外,还必须对θ规定一个先验分布,它是在进行推断时不可或缺的一个要素。
贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述,先验分布不必有客观的依据,它可以部分地或完全地基于主观信念。
例如,某甲怀疑自己患有一种疾病A,在就诊时医生对他测了诸如体温、血压等指标,其结果构成样本X。
引进参数θ:有病时,θ=1;无病时,θ=0。
X的分布取决于θ是0还是1,因而知道了X有助于推断θ是否为1。
按传统(频率)学派的观点,医生诊断时,只使用X提供的信息;而按贝叶斯学派观点,则认为只有在规定了一个介于0与1之间的数p作为事件{θ=1}的先验概率时,才能对甲是否有病(即θ是否为1)进行推断。
p这个数刻画了本问题的先验分布,且可解释为疾病A 的发病率。
先验分布的规定对推断结果有影响,如在此例中,若疾病A的发病率很小,医生将倾向于只有在样本X显示出很强的证据时,才诊断甲有病。
在这里先验分布的使用看来是合理的,但贝叶斯学派并不是基于“p是发病率”这样一个解释而使用它的,事实上即使对本病的发病率毫无所知,也必须规定这样一个p,否则问题就无法求解。
后验分布根据样本X的分布Pθ及θ的先验分布已知X=x的条件下,θ的条件分布π(θ|x)。
因为这个分布是在抽样以后才得到的,故称为后验分布。
贝叶斯学派认为:这个分布综合了样本X及先验分布π(θ)所提供的有关的信息。
抽样的全部目的,就在于完成由先验分布到后验分布的转换。
如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为:在某甲的指标量出之前,他患病的可能性定为0.001,而在得到X后,认识发生了变化:其患病的可能性提高为0.86,这一点的实现既与X有关,也离不开先验分布。
计算后验分布的公式本质上就是概率论中著名的1763年的文章的一个重要内容。
推断方法贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π(θ│X),而不能再涉及X的样本分布Pθ。