贝叶斯估计是参数估计中的重要方法。在最大后验估计的基础上,贝叶斯估计作了进一步的拓展,此方法将估计参数看作服从概率分布的随机变量,并将后验概率拆分为先验概率和似然函数两部分。对于观测数据和估计参数,基于贝叶斯公式的参数的后验分布表示为:
此时的一般可以通过全概率公式得到:
贝叶斯估计的求解步骤包括:①确定参数的似然函数。②确定参数的先验分布。③确定参数的后验分布函数。④根据贝叶斯公式求解参数的后验分布。
贝叶斯定理最早由英国学者T.贝叶斯本人在18世纪提出,后经过法国学者P.-S.拉普拉斯推导了此定理的一般版本,应用在天体力学、医疗统计学、可靠度及法学上。到20世纪时,P.-S.拉普拉斯的概念往下分支为两派,开始出现主观贝叶斯方法及客观贝叶斯方法。在客观贝叶斯方法中,统计分析只依照假设的模型、分析的资料以及给定先验分布的方式。在主观贝叶斯方法中,先验的规格依信念而定,信念可以由专家整理资讯后总结产生,也可以来自以往的研究等。