统计决策与贝叶斯推断概述
sup R( , d*) inf{sup R( , d)}
dD
则称 d*为该统计决策问题的最小最大决策函数, 相应的风险称为最小最大风险。
3、贝叶斯决策准则
先验信息与先验分布
无论是在统计决策问题还是在统计推断问题中总 会包含未知量 。为了对 作统计决策或者作统 计推断,样本信息是必不可少的,因为它包含 的 最新信息。除此之外,一些非样本信息也可用于统 计决策和统计推断。这些非样本信息主要来源于经 验或历史资料。由于此类经验或历史资料大多存在 于(获取样本的)试验之前,故称这些非样本信息 为先验信息。
:d3肯定不买 那么,什么是这位收藏家的最小最大决策?
(20).75如,果根发2 据生卖的画概者率以为往0的.25资,料那得么知这,位1收发藏生家的是概否率应为买
下这幅画呢?
(3)在(2)的条件下,这位收藏家为稳妥起见,聘请一 位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画, 以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品, 那么这位收藏家是否应买下这幅画呢?
R( , d*) R(, d),
则称 d*()为决策函数类D 的一致最小风险决策 函数,或称为一致最优决策函数。
2、最小最大(Minimax)决策准则
定义 对于一个统计决策问题,设D {d()}表示定义 在样本空间H 上取值于行动空间A 的某一决策 函数类。若有决策函数 d*()D ,使得
决策问题的分类
一1、、损基失本函数概念
描述当未知量处于状态 而采取行动 时所引起 的损失,记为
线性损失函数
L(
,
a)
K K
0 1
(
(a
a),
),
a a
常数K
0和K
的选取反映行动
1
a低于状态
和高
于状态的相对重要性。
绝对损失函数:L( , a) a
加权线性损失函数:
L(
,
a)
K(0 )( K(1 )(a
d D
则称 d* 为决策函数类 D 在贝叶斯(先验)风险准则 下的最优决策函数,简称贝叶斯决策函数或贝叶斯 解。
定义2: 在给定的统计决策问题中,设L(, d(X ))为决 策函数d(X )的损失函数, ( x)为 的后验分布,则条 件期望风险
R(d x) E x[L( , d (x))]
L(, d(x)) ( x)d
称为决策函数 d()的贝叶斯后验风险。若在决策函数 类D 中存在d*() ,使得
R(d* x) inf R(d x), x H
dD
则称 d*为决策函数类 D 在贝叶斯后验风险准则下的 最优决策函数,或称其为贝叶斯后验型决策函数。
例6.1 一位收藏家拟收购一幅名画,这幅画标价为 5000元。若这幅画是真品,则值10000元;若是赝品, 则一文不值。此外,买下一幅假画或者没有买下一幅 真画都会损害这位收藏家的名誉,其收益情况如下表
( ) p(x )d
称 ( x) 为 的后验分布。
先验风险准则与后验风险准则
定义1: 在给定的统计决策问题中,设 R(, d)为决策 函数d() 的风险函数, ( )为 的先验分布,则平均风 险
B(d ) E [R( , d )] R( , d ) ( )d
称为决策 d()的贝叶斯风险。若在决策函数类D 中存 在 d*(),使得 B(d*) inf B(d )
a a
一、基本概念
2、决策函数
由样本空间 到行动空间 的 可测映射 d称( x为) 决
策函数。
3、风险函数
设 d()是一个决策函数,则损失函数 L( , d( X )) 关于样本分布F ( x / ) 的数学期望
R( , d ) ˆ Ex| [L( , d( X ))]
X L( , d( X ))dF ( x / )
采取的行动 画的状态
真品
赝品
买 +5000 -6000
不买 -3000 0
现在,这位收藏家需要决定是买还是不买这幅画?
(1) 如果收藏家有以下三种决策可供选择: :d1以概率0.5买下这幅画; :d2请一位鉴赏家进行鉴定(已知该鉴赏家以概率0.95 识
别一幅真画,以概率0.7识别一幅假画),如果鉴赏家鉴 定为真品就买下这幅画;
第6章 统计决策与贝叶斯推断
在数理统计学中存在两大学派:
经典学派、频率学派或抽样学派
贝叶斯学派:贝叶斯统计,其核心是贝叶斯推断
6.1 统计决策
统计学家瓦尔德(A.Wald)把关于假设检验 和参数估计的经典统计理论加以概括,将不确定 意义下的决策科学也包括在统计学范围之内,于 1939年创立了统计决策理论,该理论弥补了过 去统计理论的缺陷。
统计决策的显著特点是: ➢ 统计决策建立在统计分析和统计预测的基础 上,是一种定量决策 。 ➢ 统计决策是在不确定情况下,应用概率来进 行决策的计算和分析,是一种概率决策。
状态集
行动集 行动空间
决策问题的 三个基本要素
损失函数
依统计决策论的观点,对决策有用的信息
先验信息
样本信息
无数据
贝叶斯
(无样本信息) 决策问题 统计决策问题 决策问题
a),
),
a a
Hale Waihona Puke 平方损失函数:L( , a) ( a)2
加权平方损失函数: L( , a) (() a)2
凸损失函数:L( , a) ( )C( a )
( ) 0且有限, C()是定义在x 0上的单调非降
凸函数且C(0) 0.
0
1损失函数: L(
,
a)
0,
1,
其中 0
统计学中有两个主要学派:经典(频率)学派与 贝叶斯学派。经典学派认为 是未知参数;贝叶斯 学派认为 是随机变量,应该用一个概率分布去描 述 的未知状况。这个概率分布在抽样之前就已存 在,它是关于 的先验信息的概率陈述。这个概率 分布就称为先验分布,用 ( )来表示。
贝叶斯公式与后验分布
( ) p(x ) ( x)
这是一个决策问题,状态集 {1,2} ,1 为真品,2
称为决策函数 d() 的风险函数。 风险函数 R( ,描d )述在未知量处于状态 而
采取决策 时d所蒙受的平均损失。 平均损失愈小,决策函数愈好。
二、常用的决策准则
1、一致最优决策准则
定义 设D {d()}表示定义在样本空间H 上取值于行 动空间 A 的某一决策函数类,若存在一个决 策函数 d*()D ,使得对任意d()D ,都有