19世纪初，法国科学家A.-M.勒让德^[注]和德国数学家J.C.F.高斯^[注]独立提出了最小二乘法估计，即最小平方误差估计。20世纪20年代后，英国统计学家R.A.费希尔系统地建立了经典估计理论。

估计量是样本空间映射到样本估计值的一个函数。用来标记对应观测数据的随机变量，估计量（本身视为随机变量）的符号表示为该随机变量的函数。对特定观测数据集（即对于）的估计值为一固定值。通常使用简化标记，用表示随机变量。例如，可用频率作为概率的估计量；用样本均值作为总体数学期望的估计量。

估计量用于估计未知总体的参数，有时也被称为估计子。一次估计是将估计量函数作用在一组已知的观测数据集上的结果。对于给定的参数，可以定义许多不同的估计量。通过一些选择标准可以挑选出较好的估计量，一个好的估计量应具有相合性、无偏性、最小方差性和充分性等，但是有时很难评定一个估计量比另外一个更好。

对于一个给定样本，估计量的偏差定义为：

式中为待估参数。偏差不仅取决于估计量（估计公式或过程），还取决于样本。估计量的均方误差被定义为误差的平方的期望值，即为：

它用来显示估计值的集合与被估计单个参数的平均差异。

一致估计量序列是一列随着序号（通常是样本容量）无限增大时，依概率收敛于被估量的估计量序列。在数学上，一个估计量序列是参数的一致估计量，当且仅当对于所有，都有：

例如抛硬币实验，随着试验次数的增加，正（反）面朝上的频率均会趋于0.5，则该频率就是抛硬币事件中正（反）面朝上概率的一致估计量。