D维原始特征为，变换后的d维新特征为。式中为维矩阵，称为变换矩阵。在模式识别中，特征提取就是根据训练样本求解适当的，使得某种特征变换的准则最优。一般情况下，，即特征变换是降维变换。

模式识别中把每个对象都量化为一组特征来描述，构建特征空间是解决模式识别问题的第一步，其中通过直接测量得到的特征称为原始特征，这些特征不能反映对象的本质特征，高维的原始特征不利于后续的分析和分类。特征提取的变换矩阵一般通过求解面向训练样本的目标函数得到。根据目标函数是否使用类别标签，特征提取可以分为有监督和无监督两大类。在信号处理中，人们还常用离散傅里叶变换、离散余弦变换和小波变换等预先计算的基信号来表示原信号，实现高效的信号处理。

无监督的线性特征提取一般以精确地表示样本信息为目的，它的优化过程不依赖样本的类别标签但可以使得变换特征满足某种特性。典型方法有主成分分析、独立成分分析和流形学习方法。主成分分析方法由英国统计学家K.皮尔逊（Karl Pearson，1857-03-27～1936-04-27）在1901年提出，至今仍然是最常用的特征提取方法。其出发点是通过正交变换矩阵保证新特征的不相关性，并从一组特征中计算出一组按方差（重要性）从大到小排列的新特征。独立成分分析则通过高阶统计分析，从非高斯数据中提取具有统计独立性的新特征。此外，线性化的流形学习（manifold learning）是一类较新的特征提取方法，它保证低维特征同样满足与高维空间流形有关的几何约束关系。中国学者何晓飞等人提出了拉普拉斯特征映射的线性化方法，成为一系列图嵌入的线性特征提取方法的基础。

有监督线性特征的优化过程使用样本的类别标签作为指导，通过降低特征维数来提高模式识别的精度和效率。1936年由英国统计学家R.A.费希尔（Ronald Aylmer Fisher，1890-02-17～1962-07-29）提出的线性判别分析是一种最典型的方法，其基本思想是选择一个投影方向，使投影后两类相隔尽可能远，而同时每一类内部的样本又尽可能聚集。这种思想随后被扩展到多类情况，通过求解类内散度矩阵和类间散度矩阵的广义特征值问题求解出个投影方向（为类别数）。当样本服从高斯分布时，线性判别分析是贝叶斯最优的。面向非高斯分布的高维数据，华裔学者颜水成等人把判别分析中的同类和异类样本的距离约束引入了图嵌入框架中，提出了基于边界样本推拉的鉴别特征提取方法。

在20世纪90年代，基于外观的子空间表示学习方法开启了持续20多年的人脸识别研究热潮。主成分分析、线性判别分析和局部保持投影等经典方法陆续被运用到人脸图像中，产生了特征脸（eigenfaces）、费希（舍）尔脸（Fisherfaces）和拉普拉斯脸（Laplacianfaces）等经典子空间方法，对模式识别和计算机视觉发展有着深刻影响。中国学者杨健等人提出了小样本情况下线性判别分析的理论与系列算法，并提出了在二维图像矩阵中进行线性特征抽取的新方法。