设为观测值向量；为未知参数向量；为根据求得的的一个估计量，其估计误差为。若设估计误差的一个标量值函数为：

(1)

且具有如下性质：

①当时，；

②当时，；

③。

式中，则为估计量对的损失函数（或代价函数）。

将的数学期望称为的贝叶斯风险，并记为。贝叶斯估计就是使贝叶斯风险达到最小为准则求定未知参数估计量的方法，即使满足：

(2)

显然，选择不同形式的损失函数，就得到不同的贝叶斯估计方法。事实上，极大验后估计和最小方差估计就是贝叶斯估计的两种形式。

若损失函数选择为：

(3)

则的贝叶斯风险为：

(4)

设的贝叶斯估计量为，当足够小时：

(5)

且又等价于：

(6)

此时，又是的极大验后估计。

同理，若损失函数选择为：

(7)

式中为对称非负定阵，若取，贝叶斯估计就是最小方差估计。