常用的变量选择方法还有向前法、向后法等。向前法的基本思想是变量由少到多，每次增加一个，直到没有可引入的变量为止。但此方法有一个明显的缺点，就是由于各自变量之间可能存在着相关关系，因此后续选入的变量可能会使前面已选入的自变量变得不重要。向后法与向前法正好相反。它是先将全部自变量选入回归模型，然后逐个剔除不重要的变量。而逐步回归法可以看作是向前法与向后法的结合。

逐步回归法的基本思想是，将变量一个一个引入，同时，每引入一个新变量，对已入选方程的老变量逐个进行检验，将经检验认为不显著的变量剔除，以保证所得自变量子集中的每个变量都是显著的。此过程经若干步直到不能再引入新变量为止。这时，回归方程中所有自变量对因变量都是显著的，而不在回归方程中的变量对都是经检验不显著的。由此可见，逐步回归法选择变量的过程包含两个基本步骤，一是从回归方程中剔除经检验不显著的变量，二是引入新变量到回归方程中。

逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和，然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，如果显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。接着再对未引入回归方程中的变量分别计算其偏回归平方和，并选其中偏回归平方和最大的一个变量，同样在给定水平下作显著性检验，如果显著则将该变量引入回归方程，这一过程一直继续下去，直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归过程结束。

从长期应用实践看，逐步回归方法所给出的回归方程比较好。在计算上，逐步回归计算量不大，有成熟的软件实现自动化选择变量，因此到目前为止仍是被广泛采用的变量选择方法。