先验概率与后验概率

1. 先验概率

事情还没有发生，根据以往的经验来判断事情发生的概率，是“由因求果”。(根据统计和规律得出得概率 )

扔一个硬币，在扔之前就知道正面向上的概率为0.5。这是根据我们之前的经验得到的。这个0.5就是先验概率。

2. 后验概率

事情已发生，有多种原因，判断事情的发生是由哪一种原因引起的，是“由果求因”。(根据贝叶斯公式可以得到)

今天上学迟到了，有两个原因，一个是自行车坏了，一个是生病了。后验概率就是根据结果（迟到）来计算原因（生病/自行车坏了）的概率。

数学表达上，后验概率和条件概率有相同的形式

贝叶斯公式就是由先验概率求后验概率的公式

3. 总结

先验概率是对某一件事情发生可能性的预先客观评估，而后验概率是对事情发生是由某一个原因导致的概率。

先验概率是以全事件为背景下A事件发生的概率$P(A|\Omega)$，后验概率是以新事件B为背景下A事件发生的概率$P(A|B)$全事件一般是统计获得的，所以称为先验概率，没有实验前的概率。新事件一般是实验，如试验B，此时的事件背景从全事件变成了B，该事件B可能对A的概率有影响，那么需要对A现在的概率进行一个修正，从$P(A|Ω)$变成$P(A|B)$，所以称 $P(A|B)$为后验概率，也就是试验(事件B发生)后的概率。

后验概率分布是条件概率的一个例子。 后验概率告诉我们，在我们观察到一组特定数据的情况下，参数值的可能性有多大。 当然，条件概率不需要描述参数和数据，所以后验概率是条件概率的一个特例。

4. 补充-条件概率与后验概率

后验概率就是一种条件概率，但是与其它条件概率的不同之处在于，它限定了目标事件为隐变量取值，而其中的条件为观测结果。 一般的条件概率，条件和事件都可以是任意的。

举例区分普通条件概率与后验概率的区别：

1）那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。

2）如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，那这个就叫做后验概率 （其实也是条件概率，但是通常习惯这么说） 。也就是P(交通事故|堵车)。这是有果求因。

从上述例子可知道，后验概率就是在已知某B事件发生的情况下，求解其中A事件发生的概率是多少，而A事件正是B事件发生的一个隐状态事件，所以A与B是有前后关联的。在利用贝叶斯进行文本分类的时候也是这个意思：

$$P(\frac{c}{d})=\frac{p(\frac{d}{c})p(c)}{p(d)}$$

d文档分为c类的概率，$p(c)$就是先验概率，$p(c/d)$就是后验概率，所以贝叶斯就是用先验概率估计后验概率。

而一般的条件概率，目标事件A和条件事件B，是可以没有任何关系的。

---

概率论老师说：

A的概率——$P(A)$

A在条件C下的概率——$P(A|C)$

统计学老师说：

A事件发生的先验概率——$P(A)$

知道C事件发生后，A事件发生的后验概率——$P(A|C)$

小结

条件概率和后验概率理论上是没区别，唯一的区别在于后验概率来自后验概率分布上。后验概率按理应该是在贝叶斯推论框架下，在这个框架下，必须将后验概率分布和后验概率结合来看。

综上，后验概率是贝叶斯推论中的概念，而条件概率在频率学派和贝叶斯学派中都有使用，注意这两个学派的区别后，应该能能理解这两者的区别。

相关链接：

参考链接1：贝叶斯学派与频率学派有何不同？ - 知乎

参考链接2：用贝叶斯 计算后验概率(一) - 住奥马哈的张校长的文章 - 知乎

参考链接3：贝叶斯推断如何更新后验概率？ - 知乎

参考链接4：概率与似然 - CSDN

参考链接5：似然(likelihood)和概率(probability)的区别与联系 - CSDN