但是，在２０世纪５０年代以后，随着统计理论和方法应用范围的扩大，贝叶 斯理论也受到了欢迎，并得到了迅速发展，特别对于决策问题而言，先验知识的 使用是非常重要的，而且与纯理论问题比较，在这类问题中主观概率的提法往往 更为自然，同时反映了决策者所掌握的信息的程度，因此贝叶斯观点更易于接受。 二十世纪初，数学公理化倾向影响到了统计学界，概率的公理化最终由 Ｋｏｌｍｏｇｏｒｏｖ完成，并得到普遍赞同；然而，对于主观概率应该用什么样的公理 来描述，经过了很长时间讨论也还没有比较一致的看法。意大利学者Ｄｅ Ｆｉｎｅｔｔｉ 认为Ｋｏｌｍｏｇｏｒｏｖ公理中互斥事件概率之和等于个事件概率之和的结论对于主观 概率而言是不成立的，只能是有限可加：Ｄｅ Ｆｉｎｅｔｔｉ关于可换随机变量的研究成 果为先验分布的客观性提供了理论基础；Ｆｉｓｈｅｒ的似然原理促进了贝叶斯学派的 发展，似然函数是贝叶斯学派的基点和支柱，从最大似然估计到最大后验估计， 从似然比到后验比等，使贝叶斯推断、估计理论和方法获得了系统论述。英国学 者Ｊｅｆｆｒｅｙｓ在无信息先验分布上的重要突破，形成了后来称为的Ｊｅｆｆｒｅｙｓ准则， 其专著【１２１有力地推动了贝叶斯理论的发展；后来Ｇｏｏｄ对主观概率的研究， Ｓａｖａｇｅ对于效应函数、主观概率、以及他们之间相互关系的研究，进一步推动 了贝叶斯学派的发展；１９５０年Ｗａｌｄ的著作【２３】，２０世纪７０年代Ｒｕｂｉｎ的工作， 使得贝叶斯理论进一步完善；Ｌｉｎｄｌｅｙ则将一些经典学派的成果给出了贝叶斯学
Ｔｈｅ Ｂａｙｅｓｉａｎ ｉｎｆｅｒｅｎｃｅ ｔｈｅｏｒｙ ａｂｏｕｔ ｓｉｎｇｌｅ ｅｑｕａｔｉｏｎ ｍｏｄｅｌ ｉｓ ｅｘｐｌｏｒｅｄ，ａｎｄ ｔｈｅｎ ｆｌｏｗｉｎｇ ｔｈｅ ｍｕｌｔｉｐｌｅ ｅｑｕａｔｉｏｎ ｍｏｄｅｌ ｔｏ ｂｅ ｄｉｓｃｕｓｓｅｄ ａｓ
ｗｅｌｌ ａｓ．Ｔｈｅ Ｂａｙｅｓｉａｎ ａｎａｌｙｓｉｓ ａｂｏｕｔ ｔｈｅ ｃｏｅｆｆｉｃｌｅｎｔ ｓｈｏｗ ｔｈａｔ ｔｈｅｉｒ
一些学者认为，经典统计对一些统计问题的提法不妥，包括估计中的置信区 间和假设检验。在经典理论中，参数是固定的常数，不具备随机性，因而不能谈 论参数属于某区间的概率，只能理解为这～区间盖住该参数的概率，然而人们最
２
硕士学位论文
回归模型中的贝叶斯分析
关心的恰好是参数位于该区间的概率有多大，经典估计理论对于这一问题的提法 并不令人满意。而贝叶斯方法恰好不存在上述问题，因为在贝叶斯理论体系中， 参数本身是随机变量，其本身就具有统计分布。
１．１．３贝叶斯推断的பைடு நூலகம்本观点
贝叶斯公式 贝叶斯公式的离散形式
设４，４，…，４是互不相容的事件，每个事件发生的概率Ｐ（４）均已知，对于
事件曰’有口ｃⅡ４，且在事件４发生Ｊ｜＝ｉ鸵ＥＴ口发生的概率Ｐ（圳４）已知，则
在事件口发生情况下尸，（４４发Ｉ口生）的；概１１率量譬上掣ｆ；１，２，…，七 Ｚ尸（４）Ｐ（曰ＩＡｊ） 贝叶斯公式的随机变量形式 设随机变量ｘ，Ｙ的联合分布密度是
研究了在无信息先验分布下，一元多重模型向量参数的贝叶斯估计理论，证 明了他们的后验分布为多元ｔ分布，并分别给出了其参数各分量的贝叶斯后验区 间估计。分别研究了在参数向量服从多元正态分布条件下，以及参数向量服从多 元正态分布、标准差服从倒ｒ分布条件下，一元多重模型系数的贝叶斯估计，给 出了它的贝叶斯决策解。在多元模型中，研究了系数参数矩阵服从矩阵正态先验 分布下的贝叶斯推断方法，证明了其后验分布仍服从正态分布，并给出了贝叶斯 决策解。将对模型的研究从简单推广到复杂也是本文的一个特点。
的联合后验分布和样本－，算：，…，吒的分布，于是由贝叶斯公式可以求得口对
ｍ‰…㈡一嚣羔瑞 薯，Ｘ２，…，％的条件分布密度，也就是目的后验分布密度＾（日ｌｘａ，Ｘ２，…，‘），即
再利用其后验密度＾ｐＩｘａ，Ｘ：，…，‘）对口作出推断，因此贝叶斯统计推断的
一般模式也可以概括成
先验分布＋样本信息一 后验分布
ｍｕｌｔｉｖａｒｉａｔｅ ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ．
【Ｋｅｙ Ｗｏｒｄｓ】
ｄｉｓｔｒｉｂｕｔｉｏｎ
ｍｕｌｔｉ—ｓｔａｒｉｓｔｉｃｓ，Ｂａｙｅｓｉａｎ
ａｎａｌｙｓｉｓ，ｐｏｓｔｅｒｉｏｒ
Ｉｌ
硕上学位论文
第１章 引言
回归模型中的贝叶斯分析
１．１贝叶斯统计学
本节主要内容是介绍贝叶斯统计学历史发展，基本观点及方法特点，比较贝 叶斯方法和经典方法的差异，并概括了现代贝叶斯理论研究与应用的基本情况。
【关键词】 多元统计，贝叶斯分析，后验估计
Ｔｉｔｌｅ：Ｂａｙｅｓｉａｎ Ａｎａｌｙｓｉｓ ｉｎ Ｒｅｇｒｓｓｉｏｎ Ｍｏｄｅｌ
Ｍａｊｏｒ：Ｍｕｔｉ—Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｅｃｏｎｏｍｉｃ Ａｎａｌｙｓｉｓ
Ｎａｍｅ：Ｘｕ Ｙｕａｎ
Ｓｕｐｅｒｖｉｓｏｒ：Ｈｅ Ｙｕａｎｊｉａｎｇ
ＡＢＳＴＲＡＣＴ
ｐ（ｘｌ，工：，…，‘；∞看成是葺，工：，…，Ｘｎ对目的条件密度，记为 Ｐ（毛，ｘ：，…，‘１０）
３
硕＿Ｉ＿＿学位论文
回归模型中的贝叶斯分析
或简为ｐ（ｘＩ们
再设法确定０的先验分布筇（们，这往往根据以往对参数０的知识来确定，因
而也是比较困难和容易引起争议的一步。
然后利用条件分布密度ｐ－１０）和先验分布玎（∞，可以求出ＸＩ，Ｘ２，…，‘和０
贝叶斯学派则认为，先验分布反映了在做试验前我们关于未知参数的知识， 在获得样本带来的信息后，人们对这个认识有了改变，其结果就反映在后验分布 中，或者说，后验分布综合了先验分布的信息和样本的信息。由此可以看出，频 率学派的统计推断是“从无到有”的过程，在试验前，关于未知参数的情形是一 无所知，而试验后则有所了解，但对了解多少并无普遍地表述方法，在实践中有 赖于所使用的统计量的针对性；贝叶斯推断则不然，它是一个“从有到有”的过 程，且结果清楚自然，符合人们的思维习惯，根据所获得的信息修正以前的看法， 因此。贝叶斯推断方法更类似于人的学习过程。
Ｄｆ－｛ｙ，，ｑ一，）－｛ｙ。，咒－１．一，Ｙｌ，Ｄ０１
故有
ｐ（ｑ ＩＤ，一，）。厶。ｐ（以Ｉｏ，一ｑ一－归（包一。ＩＤ，一。）
其中，ｑ一。ＥＲ“，Ｆ（·）是分布函数。因为 ｐ（Ｍ Ｉ口一。）ｐ（ｑ ｌ皿）一ｙ（只１只，ｑ一，）ｐ（ｑ ｌ Ｄｆ一。）
从而由先验概率可以求得后验概率
两个学派在具体的推断理念也有差异。统计学奠基人Ｆｉｓｈｅｒ把统计学的任务 概括为三个问题，即选定模型，确定统计量和决定统计量的分布。根据Ｆｉｓｈｅｒ 的观点，信息包含在样本中，但样本为数众多，因此需用少数几个统计量把信息 集中起来，而抽样分布则决定了统计量的全部性质，频率派基本上是按照这种思 路来处理统计推断问题的。
硕士学位论文
回归模型中的贝叶斯分析
派的推导和解释；因此，贝叶斯理论和方法不断丰富和发展起来。对此，我国的 陈希孺，茆诗松等学者也指出，贝叶斯学派已经成为统计学中～个很有影响、不 可忽视的学派。
１．１．２贝叶斯统计学方法的特点及与经典统计的比较
经典统计，即频率学派，在进行统计推断时，依据两类信息，～是模型信息， 即统计总体服从某种概率分布，这是制定统计方法的基础；另一个是样本信息， 即观察和试验的结果。贝叶斯统计除了运用以上两类信息外，还需利用另外一类 信息，即总体分布中未知参数的分布信息。由于这类信息是在进行试验以前就有 的，故一般称为先验信息。贝叶斯统计要求这类信息能以未知参数的一个概率分 布来表示，这个概率分布就称为先验分布。所以贝叶斯统计在做统计推断时，既 考虑客观信息，也考虑主观信息。
１．１．１贝叶斯统计学历史发展概述
统计学有贝叶斯统计和经典统计两大学派，这两个学派之间长期存在争论， 至今也没有定论。这两个学派之间的争论构成了现代数理统计学发展过程的一个 大特色，无论如何，这场争论对现代数理统计学的发展起到了积极的促进作用。
贝叶斯理论源于英国学者贝叶斯（ＲｅｖｅｒｅｎｄＴｏｍａｓＢａｙｅｓ）于１７６３年在皇家 学会学报上发表的论文，后来鉴于他的奠基性的工作，英国的统计杂志 Ｂｉｏｍｅｔｒｉｋａ在１９５８年重新全文刊登了他的论文【ｌ】。他在论文中提出了从二项 分布的观测值出发对其参数进行概率推断地方法，后称之为贝叶斯定理，并且被 推广到二项分布以外的应用之中以及任何的统计分布。
而经典统计的最大不足在于其推断过程中过于着眼于当前数据，忽视了历史 经验、人们已有的知识和认识，以及人们的主观能动性：统计推断的精度主要取 决于样本大小，这对于小样本的情况，往往是很困难甚至是无能为力的。例如在 军事尖端武器的可靠性评定中，相同条件下的试验往往不超过１０个，有时只有 两三个试验，就必须作出决策了。
中山大学 硕士学位论文 回归模型中的贝叶斯分析 姓名：徐远 申请学位级别：硕士 专业：概率论与数理统计 指导教师：何远江
20040528
论文题目：回归模型中的贝叶斯分析
专业：概率论与数理统计
硕士生：徐远
指导教师：何远江教授
摘要
本文主要研究了线性模型回归分析中的参数的贝叶斯推断方法，包括简单的 一元模型，并推广到多重和多元的情形，探讨了分别在扩散无信息先验分布和多 元正态以及矩阵正态先验分布等条件下，参数的贝叶斯估计理论，给出了其贝叶 斯决策解，而在决策理论中单参数，向量和矩阵参数平方损失函数形式下，贝叶 斯决策解和贝叶斯后验风险决策解是等价的。
ｐ（ｘ，Ｙ）一ｐ（ｘ）ｐ（ｙＩｚ）
其中，ｐ（工）是ｘ的边缘分布密度，Ｐ｛ＹＩ工）表示当ｘ—ｘ时，ｖｘＣｘ的条件
密度，于是ｘ对Ｙ的条件密度可表为
类似地，有
ｇ（ｚ¨两Ｐ｛币ｘ）ｐ而（ｙ Ｉ面ｘ）
咖㈦一需粉
其中ｑ（Ｙ１是ｙ的边缘分布密度。
由贝叶斯公式可以看出贝叶斯方法处理问题的一般过程，即首先将未知参数 看成随机变量，记它为口，于是当ｐ已知时，样本ｔ，ｘ：，…，Ｘｎ的联合密度
ｐｏｓｔｅｒｉｏｒ ｄｉｓｔｒｉｂｕｔｉｏｎ ａｒｅ ｉｎ ｔ ｏｒ ｍｕｌｔｉｐｌｅ ｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｗｈｅｎ ｔｈｅｙ ｐｒｉｏｒ ｄｉｓｔｒｉｂｕｔｉｏｎ ａｒｅ ｎｏｎ—ｉｎｆｏｒｍａｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ．Ａｎｄ Ｔｈｅ Ｂａｙｅｓｉａｎ ａｎａｌｙｓｉｓ