由法国数学家A.-M.勒让德（Adrien-Marie Legendre，1752～1833）1806年首次公开发表，但人们通常认为是德国科学家C.F.高斯（Carl Friedrich Gauss，1777～1855）于1795年提出了该方法。估计准则是残差平方和最小，其中残差被定义为实际测量数据与拟合结果之差，观测数据数量应大于求解参数的数量。从拟合函数形式角度出发可以分为线性最小二乘估计、非线性最小二乘估计两类。

线性最小二乘估计指拟合函数是被估计向量的线性表达式，拟合误差如下式所示，式中为第次观测，为第次解释向量，已知总观测次数为。设：

通过最小化拟合误差：

得到的最小二乘估计解为：

，

只要非奇异，即可获得线性最小二乘估计解。

在不区分观测数据精度情况下，线性最小二乘估计不考虑观测噪声的统计特性。当需要区别对待不同观测精度数据进行估计时，可采用加权最小二乘估计，通过权重的不同调节数据的利用程度。特别地，在权重为观测噪声协方差阵的逆时，称为马尔可夫估计。马尔可夫估计在特殊的情况下与最小方差估计、最大似然估计存在转化关系。

非线性最小二乘估计采用迭代数值计算的方式求解，常用的方法包括高斯-牛顿法、莱文伯格-马夸特算法、罚函数法。高斯-牛顿法是在非线性拟合误差函数的一阶线性化基础上，利用线性最小二乘估计计算获得的修正方向。，为第步的值，为关于的海塞矩阵，为在函数值。进而通过下式拟合误差平方和最小得到第步的估计解。

奇异或接近奇异情况下，高斯-牛顿法无法求解，莱文伯格-马夸特算法通过对的改造有效解决了这一问题，计算公式如下：

式中为与相同阶数的单位矩阵。

罚函数法将不等式、等式约束转化为罚函数，并与拟合误差平方和相结合，不要求拟合误差函数、约束条件具有凸性等特殊性，可以处理非线性不等式、等式约束，具有更好的实用性。