利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法源于天文学和测量学中数据处理理论，由于测量仪器的精度不完善和人为因素及外界条件的影响，观测的结果会产生误差。为了从带有误差的观测值中找出未知量的最佳估值，就需要用到一定的准则来对未知参数进行估计。这个准则就是通过最小化观测值误差的平方和寻找未知量的最佳估值，即最小二乘法。

18世纪末，在天文学、大地测量学以及与观测自然现象有关的其他科学领域中，如何从多于未知数的观测值集合中求出未知数的最佳估值是科学家们经常探讨的问题。19世纪初，意大利天文学家G.皮亚齐（Giuseppe Piazzi）发现了第一颗小行星谷神星，并对其运行轨道进行跟踪观测，后来因故中止。随后科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁德国科学家J.C.F.高斯（Johann Carl Friedrich Gauss）提出最小二乘法，并也计算了谷神星的轨道，奥地利天文学家H.奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。1809年，高斯在《天体运动理论》一文中正式发表了他的方法，从概率论观点，详细叙述了他所提出的最小二乘原理。这个原理如下：如果未知数个数等于观测个数，未知数有唯一解，如果观测个数多于未知数个数，此问题是不定解。在这种情况下，为了求唯一解，必须提出一些条件，例如，使计算出的观测值与原始观测值之差，满足

(1)

式（1）就是著名的最小二乘原理。在此之前，1806年法国数学家A.M.勒让德（Adrien-MarieLegendre）发表的《计算彗星轨道的新方法》一文中，从代数观点独立地提出了最小二乘法，并定名为最小二乘法。

在生产实际中，经常会遇到利用一组观测数据来估计某些未知参数的问题。例如，一个做匀速运动的质点在时刻的位置是，可以用如下的线性函数来描述：

(2)

式中为质点在时刻的初始位置；为平均速度，它们是待估计的未知参数。如果观测没有误差，则只要在两个不同时刻和观测出质点的相对位置和，分别建立两个方程，就可以解出和的值了。但是实际上在观测时，考虑到观测值带有偶然误差，所以总是作多余观测。在这种情况下，为了求得和，就需要在不同的时刻来测定其位置，得出一组观测值。这时，由于任意两个时刻的对应的观测数据都可以求出相应的和，为了求得一组唯一的值，可以通过如下最小二乘原理公式求得待估参数和的最佳估值和。

如果将对应的、用图解表示，则可以做出如图所示的图形，从图中可以看出，由于存在观测误差的缘故，由观测数据绘出的点位置，描绘不成直线，而有某些“摆动”。

这就产生这样一个问题：用什么准则，来对参数和进行估计，从而使估计直线“最佳”地拟合于各观测点。这里的“最佳”可以有不同的理解。例如，可以认为各观测点对直线的距离取最小值时，直线是“最佳”的；也可以认为各观测点到直线的偏差的绝对值之和取最小值时，直线是“最佳”的等。在不同的“最佳”要求下，可以求得相应问题中的参数和的不同估值。但是，在解这类问题时，一般应用的是最小二乘原理，认为“最佳”地拟合于各观测点的估计直线，应使各观测点到该直线的方向的偏差的平方和得到最小。

设观测值的改正数为，可以写出

(3)

所谓最小二乘原理，就是要在满足的条件下可以求得唯一一组最佳估值和。这种求估计量的方法就称为最小二乘法。最小二乘法原理示意图如下图所示。

最小二乘法原理示意图

最小二乘法解决了如何从带有误差的观测值中找出未知量的最佳估值的问题，为测量平差与误差理论的发展奠定了理论基础。