设有参数向量，它可以是随机量，也可以是非随机量，为了估计参数，进行了次观测，得到观测值向量的观测值。假定对的所有可能取值为，在的条件下得到观测向量的条件概率密度为，极大似然估计就是以为准则求最佳估值的方法。

事实上，是和函数，但由于对具体的观测值，可以认为只是函数，因此，如果是中的一个，而是中的最大值，则是准确值的可能性最大，为此，称为的极大似然估计值。显然，它满足于：

(1)

该方程称为似然方程，称为似然函数，而称为对数似然函数。在利用极大似然估计求估值时，首先需要给出似然函数或对数似然函数。另外，由似然方程可见，极大似然估值是观测值的函数。

当为正态条件概率密度时，有：

(2)

式中；。为使似然方程取得最大值，等价于：

(3)

设观测方程为：

(4)

式中，,。则得：

(5)

(6)

(7)

从而可得：

(8)

(9)

于是得：

(10)

顾及，，显然它就是最小二乘估计，即。可见，当服从正态分布时，极大似然估计可以导出最小二乘估计。

若以条件概率密度函数为准则求参数最佳估值的方法，就是极大验后估计。即：

(11)

该方程称为验后方程。由于极大验后估计顾及了参数的先验统计性质，因此，当已知参数的先验期望和先验方差时，极大验后估计改善了最小二乘估计。