条件概率；全概率公式和贝叶斯公式.doc

§1.5 条件概率、全概率公式和贝叶斯公式一、条件概率 简单地说，条件概率就是在一定附加条件之下的事件概率. 从广义上看，任何概率都是条件概率，因为任何事件都产生于一定条件下的试验或观察， 但我们这里所说的“附加条件”是指除试验条件之外的附加信息，这种附加信息通常表现为 “已知某某事件发生了” 定义 1.2 设 A 和 B 为两个事件，P(B)>0，那么，在“B 已发生” 的条件下，A 发生的条件概率 P(A|B)定义为 P(A|B)= P ( AB) . （1-11） P (B) 由这个定义可知，对任意两个事件 A、B，若 P（B） 〉0，则有 P（AB）=P（B）P（A|B） 并称上式微概率的乘法公式。P（·|B）具有下面 3 个性质： （1） 非负性：对任意的 A  f.P（A|B）≥0； （2） 规范性：P（  |B）=1； （3） 可列可加性：对任意的一列两两部相容的事件 Ai （I=1,2…） ，有    i 1  i 1  Ai | B=  P( Ai | B) P  例 题见书 35 三、全概率公式设事件组 B1, B2 , …互斥  且 Bi   ,P（ Bi ）>0，I=1，2，…则对任一事件 B，  i 1 有  P（A）= i P(Bi ) p( A | Bi ) 1 称此式为全概率公式. 证明：略（P37）例题（见书 P37） 四、贝叶斯公式若 B1, B2 , …为一系列互不相容的事件，且  Bi   ,P（ Bi ）>0，I=1，2，…则对任一事件 A，有  i 1 P (Bi )P ( A | Bi ) P（ Bi |A）=  ，I= 1，2，… i P(Bi )P( A | Bi ) 1 这一公式最早发表于 1763 年，当时贝叶斯已经去世，其结果没有受到应有的重视. 后来， 人们才逐渐认识到了这个著名概率公式的重要性. 现在，贝叶斯公式以及根据它发展起来的 贝叶斯统计已成为机器学习、人工智能、知识发现等领域的重要工具. 贝叶斯公式给出了‘结果’事件 B 已发生的条件下，‘原因’事件 的条 件概率 从这个意义上讲，它是一个“执果索因”的条件概率计算公式.相对于事件 B 而言 ，概 率 论 中 把 称 为 先 验 概 率 （ PriorProbability ）， 而 把 称 为 后 验 概 率 （ Posterior Probability） ，这是在已有附加信息（即事件 B 已发生）之后对事件发生的可能性做出的重 新认识，体现了已有信息带来的知识更新.