最小二乘广泛应用在自然科学的诸多学科领域，统计学家用其估计未知参数，工程技术人员用其进行曲线拟合、函数逼近或数据光滑，而数值分析学家用其讨论求解非正方形的线性方程组。但无论是参数估计还是曲线拟合，实际上均可归结为非正方形的线性方程组求解。

具体在测量平差中，设为观测值向量，为其观测误差向量，为未知参数向量，相应的线性观测方程为。进一步设的估值为，的估值为，则有误差方程为：

所谓最小二乘估计就是使二次型达到最小值，即：

从而求得：

式中为观测值的权矩阵，为对称正定阵。其估计误差的方差阵为：

最小二乘估计具有如下性质：①最小二乘估计是一种线性估计，即估计量是观测值的线性函数。②当观测误差的数学期望为零时，最小二乘估计是无偏估计。③当观测误差的方差阵为，且取或时，最小二乘估计的误差方差阵达到最小。④最小二乘估计不需要未知参数的任何先验统计信息。

最小二乘在诸多自然科学领域得到广泛应用。随着观测数据的多源化、数学模型的复杂化，以及模型解算的精确化，最小二乘也得到广泛发展，如非线性最小二乘、等式（或不等式）约束最小二乘、动态最小二乘、整体最小二乘、偏最小二乘、移动最小二乘等。