合理的统计分类必须具备两大特征:首先是同质性,同一类中的元素(或个体),其相似性应尽可能高;其次是差异性,不同类中的元素(或个体),其差异性应尽可能大。同质性的度量主要通过相似系数,如方差和协方差、积差相关系数、等级相关系数等,而差异性的度量则主要通过距离,包括绝对值距离、欧式距离、切比雪夫距离、明式距离、马氏距离以及兰氏距离等。
传统的统计分类方法主要是聚类分析和判别分析。聚类分析的根据是观察变量(样本)间的相似程度聚类。聚类依赖于观察变量间相似程度所反映出来的量。描述变量关系的数学方法不同,产生的分类结果也会有所不同。应用较广的方法是相关系数和距离。因为聚类分析是把分类对象按照一定规则分成组或类,这些组或类并不是事先给定的而是根据特征而定的。因此聚类通常是含糊的、不确定的。判别分析是判别观察变量(样本)所属类别的一种统计方法。在已知分类情况下,遇到新的观察变量时,可以选用此方法来判断将新的观察变量归于哪个类中。判别分析可以从不同的角度提出问题,因此有许多不同的判别准则,如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等。按判别规则的不同,又可以提出多种判别方法,常用的方法有距离判别法、Fisher判别法、Bayes判别法和逐步判别法。
另外,不同的学科领域对分类的理解稍有不同。如在机器学习领域中,分类被认为是在监督学习中所使用的方法。而与之相对应的非监督学习(不知道各类的特征)所使用的方法通常被称为聚类。在社区生态学中,分类通常是指聚类分析,即无监督学习。