不确定知识处理13.1 根据基本原理证明:1)|(=∧a b a P 。
参考解答:此处“基本原理”是指条件概率的定义,)(/)()|(Y P Y X P Y X P ∧=,以及逻辑“与”的定义。
因此认为给定了A B ∧成立,则A 必定为真是不足以完成证明的。
应从上述两个定义出发,由A A A ⇔∧,且满足交换律和结合率,则有:1)()()())(()|(=∧∧=∧∧∧=∧A B P A B P A B P A B A P A B A P 得证。
a.)(toothacheP b.)(Cavity Pc.)|(Cavity Toothache Pd.)|(catch toothache Cavity P ∨参考解答:本习题的主要目的在于熟练掌握一个基本的机理,即任何对该领域内的问题的答案都可以通过全联合概率分布的某些项相加得到。
此外,通过练习可以理解变量符号P 和P(即课本中的粗体P)、大写和小写开头(如Cavity 和cavity )的具体含义和区别。
a. 即询问e Toothocahc 为真的概率.2.0064.0016.0012.0108.0)(=+++=toothache Pb. 即询问随即变量Cavity 的概率值向量(即该随即变量取不同的值的概率)。
对于Cavity ,有两个值,按照〉〈false true ,的顺序给出。
通过以下4项相加得到2.0008.0072.0012.0108.0=+++,因此有:〉〈=8.0,2.0)(Cavity Pc. 即询问在给定Cavity 为真的条件下,Toothache 的概率值向量。
4.0,6.02.0/)008.0072.0(,2.0/)012.0108.0()|(=〉++〈=cavity Toothache Pd. 即问在给定Toothache 或Catch 为真的条件下,Cavity 的概率值向量。
首先计算416.0144.0072.0064.0016.0012.0108.0)(=+++++=∨catch toothcaheP 然后计算〉〈=〉++++〈=∨5384.0,4615.0416.0/)144.0064.0016.0(,416.0/)072.0012.0108.0()|(catch toothache Cavity P13.7 证明公式(13.8)中的独立性的3种形式是等价的,即两个命题b 和a 之间的独立性可以写作: )()|(a P b a P =或者)()|(b P a b P =或者)()()(b P a P b a P =∧参考解答:由第1个式子)()|(a P b a P =,两边乘上)(b P 得)()()()|(b P a P b P b a P =由乘法法则有)()()|(b a P b P b a P ∧=因此可得第3个式子)()()(b P a P b a P =∧所以第1个式子蕴涵第3个式子;通过和上述过程相反的处理,同样是应用乘法法则,在第3式两边同除以)(b P ,即可证明当)(b P 不为零时,有第3式蕴涵第1式(而当)(b P 为零时,条件概率无定义)。
所以得证第1式与第3式等价。
同理按照以上方法,在过程中以)(a P 代替)(b P ,即可证明第2式和第3式等价。
因此,得证三个式子等价。
13.8 在一年一度的体检之后,医生告诉你一个好消息和坏消息。
坏消息是你在一种严重疾病的测试结果呈阳性,而这个测试的准确率为99%(即当确实患这种病时,测试结果呈阳性的概率为0.99,同时也是未患这种疾病时测试结果为阴性的概率)。
好消息是,这是一种很罕见的病,在你这个年龄段大约10000人中才有1例。
为什么“这种病很罕见”对于你而言是一个好消息?你确实患有这种病的概率是多少?参考解答:由题意我们得到以下信息99.0)|(=disease test P99.0)|(=⌝⌝disease test P0001.0)(=disease P以及观察test 。
病人所关心的是)|(test disease P ,即测试结果为阳性,患病的概率多大?大概来说,“这种病很罕见”是一个好消息,原因在于)|(test disease P 与)(disease P 是成比例的,因此disease低的先验概率将意味着)|(test disease P 有个很低的值。
大约来看,如果10,000人进行测试,将会有1人确实患有该疾病,而且极有可能其测试为阳性,然而在其余没有患病的人里面,却会有1%(大约100人)的测试结果为阳性,因此)|(test disease P 将大约为1/100。
精确的计算,依据贝叶斯定理有:009804.09999.001.00001.099.00001.099.0)()|()()|()()|()|(=⨯+⨯⨯=⌝⌝+=disease P disease test P disease P disease test P disease P disease test P test disease P 其中的意义在于,当一种疾病很罕见,其概率远小于测试准确率时,则测试结果呈阳性并不意味着得病的可能性。
对测试阳性的错误解读会认为得病的可能性很大,其实不然。
和以上思路类似的有另外一个例子:医生说当一个婴儿仰卧着的时候,如果它的头更多转向右侧,则是习惯用右手;如果更多时候转向左侧的话,则是一个左撇子。
宝宝小明在躺着的时候,小脑袋更多时候是转向左侧;且已知有90%的人习惯用右手。
那么当以上所述的测试准确率为90%的时候,宝宝小明习惯用右手的概率是多少?如果测试准确率为80%,那它习惯右手的概率又是多少呢?按照同样的推理过程,可以得到当测试准确率为90%时,宝宝小明习惯用右手的概率为50%;如果测试准确率为80%的话,它习惯右手的概率为69%。
13.11 假设给你一只装有n 个无偏差硬币的袋子,并且告诉你其中1-n 个硬币是正常的,一面是正面一面是反面。
不过剩余1枚硬币是伪造的,它的两面都是正面。
a. 假设你把手伸进口袋均匀随即地取出一枚硬币,把它抛出去,并发现硬币落地后正面朝上。
那么你拿到伪币的(条件)概率是多少?b. 假设你不停地抛这枚硬币,拿到它之后一共抛了k 次而且看到k 次正面朝上。
那么现在你拿到伪币的条件概率是多少?c.假设你希望通过把取出的硬币抛掷k 次的方法来确定它是不是伪造的。
如果k 次抛掷后都是正面朝上,那么决策过程返回FAKE (伪造),否则返回NORMAL (正常)。
这个过程发生错误的(无条件)概率是多少?参考解答:a.一种典型的“计数”方法为如下的过程:取一个硬币会有n 种不同的取法(有多少个硬币就有多少种取法),一次抛掷有2种结果(尽管对于假币无法区分其抛掷结果的不同),因此共有个n 2原子事件。
当然其中只有2次是假币,即有)1(2-+n 次结果为正面。
所以在抛掷结果为正面的条件下,假币的概率)|(headsfake P 为)1/(2)12/(2+=-+n n 。
上述“计数”的解题方法常常会在事件变得复杂时陷入混乱。
所以最好使用以下公式:〉+-+〈=〉-〈=〉-〉〈〈==)1/()1(),1/(22/)1(,/1/)1(,/15.0,0.1)()|()|(n n n n n n n n n Fake P Fake heads P heads Fake P ααα b. 此时有n k 2个原子事件,其中k 2次取的是假币,及有)1(2-+n k 次抛掷结果为正面。
因此在k次正面的条件下,假币的概率)|(k heads fake P 为))1(2/(2-+n k k 。
注意当k 增加时,结果会向1逼近。
例如12==n k 时,9973.0)|(=k heads fake P 。
以公式描述如下:〉-+--+〈=〉-〈=〉-〉〈〈==)12/()1(),12/(22/)1(,/1/)1(,/15.0,0.1)()|()|(n n n n n n n n Fake P Fake head P heads Fake P k k k k k k k αααc.过程发生错误当且仅当一枚真币被选中且抛掷k 次都为正面。
其概率如下:n n fake P fake heads P k k 2/)1()()|(-=⌝⌝ 13.15 假设你时雅典一次夜间出租车肇事逃逸的交通事故的目击者。
雅典所有的出租车都是蓝色或者绿色的。
而你发誓所看见的肇事出租车时蓝色的。
大量的实验表明,在昏暗的灯光条件下,对于蓝色和绿色的区分的可靠度为75%。
有可能据此计算出肇事出租车最可能是什么颜色的吗?(提示:请仔细区分命题“肇事车是蓝色的”和命题“肇事车看起来是蓝色的”。
现在,如果已经雅典的出租车10辆有9辆是绿色的呢?参考解答:题意所述问题相关方面可由两个随机变量:令B 表示“的士是蓝色的”,LB 表示“的士看起来是蓝色的”。
则有关颜色的判断的可靠性有:75.0)|(=B LB P 75.0)|(=⌝⌝B LB P我们是要求出在看起来是蓝色的情况下,的士确实为蓝色的概率:)(75.0)()|()|(B P B P B LB P LB B P ∝∝))(1(25.0)()|()|(B P B P B LB P LB B P -∝⌝⌝∝⌝因此如若没有关于蓝色的士的先验概率的信息,是无法求出上式所述概率。
例如,如果知道所有的士都是蓝色的,即1)(=B P ,则显然有1)|(=LB B P ;另一方面,如果在缺乏信息的情况下,往往认为各种可能是机会均等的,即认为的士为绿色或蓝色的概率是均等的,有5.0)(=B P ,则75.0)|(=LB B P 。
通常会知道一些相关的差异信息(例如题目给出绿色和蓝色的士为9:1,即1.0)(=B P ),则有:075.01.075.0)|(∝⨯∝LB B P225.09.025.0)|(∝⨯∝⌝LB B P所以 25.0225.0075.0075.0)|(=+=LB B P 75.0225.0075.0225.0)|(=+=⌝LB B P 13.18 文本分类是在文档所包含的文本基础上,把给定的文档分配到固定类别集合中某一个类别。
这个任务常常用到朴素贝叶斯模型。
在这些模型中,查询变量是文档类别,“结果”变量是语言中每个词是否出现。
我们假设文档中的词的出现都是独立的,其出现频率由文档类别确定。
a.准确地解释当给定一组类别已经确定的文档作为“训练数据”时,这样的模型时如何构造的。
b.准确解释如何对新文档进行分类c.这里独立性假设合理吗?请讨论。
参考解答:本题提出的问题是课本第23章相关内容的一个预览版,不过更直接的说,本题是为了理解掌握从完整的数据中如何对条件概率进行估计。