给定由个属性描述的样本，其中是在第个属性上的取值，线性模型（Linear Model）试图学得以下来进行预测的判别函数，即

      …（1）

一般用向量形式写成

     …（2）

式中。和学得之后，模型就得以确定。

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上，通过引入层级结构或高维映射而得。此外，由于直观表达了各属性在预测中的重要性，因此线性模型具有很好的可解释性。

对于最简单的两类分类问题，线性模型要求实现以下的判定规则：如果，则判定为；如果，则判定为。也就是，如果内积大于阈值，则将样本归到，反之为。方程定义了相应的判别超平面，其把归类于的点与归类于的点分开。如果和都在判别面上，则：

    …（3）

或

     …（4）

这表明，和超平面上的任意向量正交。通常，一个超平面将特征空间分为两个半空间，即对应于类的决策域和对应于类的决策域。因为当在中时，，所以超平面的法向量指向，中的任何在超平面的正侧，中的任何在超平面的负侧。判别函数是特征空间中点到超平面的一种代数距离度量。将表示为：

    …（5）

式中为到超平面的投影向量；为相应的算术距离——如果为正，则在超平面的正侧；如果为负，则在超平面的负侧。由于，有

    …（6）

或

    …（7）

特别地，从原点到超平面的距离为。如果，则原点在超平面的正侧；如果，则原点在超平面的负侧。如果，超平面通过原点。

  综上，线性模型利用一个判定超平面把特征空间分割成两个区域。超平面的方向由法向量确定，超平面关于原点的位置由阈值确定。判别函数正比于到超平面的代数距离（带正负号）。当在超平面正侧时，；在超平面负侧时，。

  对于复杂的多类分类问题，线性模型可采用多种策略。第一种策略，将类问题转化为个两类问题，其中第个问题是用线性判别函数把属于类的样本与不属于类的样本分开。第二种策略，用个线性判别函数，把样本分为个类别，每个线性判别函数只对其中的两个类别分类。但是，这两种策略都会产生无法确定其类型的区域。第三种策略，定义个判别函数

        …（8）

如果对一切有，则把归为类；如果，则拒绝判别。这样得到的分类器称为“线性机”，其将特征空间分为个判决区域，当在中时，具有最大值。如果和相邻，则它们的分界面就是超平面的一部分，定义为：

       …（9）

即    

        …（10）                

式中为超平面的法向量，其到超平面的距离为。

经典的线性模型包括回归问题中的线性回归、分类问题中的对数几率回归、特征降维问题中的线性判别分析等。