后验概率分布就是未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。后验的意思是，考虑相关事件已经被检视并且能够得到一些信息。

后验概率是关于参数在给定的数据样本下的概率，即；似然函数是在给定参数下的数据样本的概率分布，即；先验概率为主观上的经验估计，即，不依赖于数据样本。基于贝叶斯定理，三者之间的关系可以表示为：

…（1）

鉴于分母是一个常数，上式可以表达成如下比例关系：

…（2）

在应用贝叶斯理论中，为了使计算后验概率方便，有时候会选择共轭先验。如果后验概率和先验概率是同一族的，则认为它们是共轭分布。如果后验概率分布与先验概率分布属于同类，则先验分布与后验分布被称为共轭分布。先验分布被称为似然函数的共轭先验。比如，高斯分布家族在高斯似然函数下与其自身共轭。具体地说，就是给定贝叶斯公式假定似然函数是已知的，问题就是选取什么样的先验概率分布会让后验概率分布与先验概率分布具有相同的数学形式。共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。所有指数家族的分布都有共轭先验。