在贝叶斯分类器中，构造分类器需要知道类概率密度函数。如果按先验知识已知其分布，则只需要知道分布的参数即可。例如：类概率密度是正态分布，它完全由其均值向量和协方差矩阵所确定。对均值向量和协方差矩阵的估计即贝叶斯分类器中的一种参数估计问题。参数估计的两种方式：一种是将参数作为非随机变量来处理，如矩估计就是一种非随机参数的估计；另一种是随机参数的估计，即把这些参数看成是随机变量，如贝叶斯参数估计。

常用的参数估计方法有矩估计法、最大似然估计法，以及贝叶斯估计法等。①矩估计法。使用样本矩代替总体矩，从而计算出待估计的参数。②最大似然估计法。对于给定的观测数据，人们希望能够从所有参数中找到最大概率生成观测数据的参数作为预测结果，被估计的参数应该满足似然函数。③贝叶斯估计法。认为参数服从某种概率分布，已有数据是基于这种分布产生的。同最大似然估计不同的是，贝叶斯估计在估计参数前会引入先验知识，这样在数据量小的情况下估计出来的结果往往会更合理。

贝叶斯分类器中对均值和协方差矩阵的估计：假设模式服从正态分布，其类概率密度函数为，则其均值向量定义为：

式中，。

若以样本的平均值作为均值向量的近似值，则均值估计量为：

式中为样本的数目。

协方差矩阵写成向量形式为：

协方差矩阵的估计量（当时）为：

式中样本模式总体为。因为计算估计量时没有真实的均值向量可用，只能用均值向量的估计量来代替，会存在偏差。对均值向量和协方差矩阵的估计即贝叶斯分类器中的一种参数估计问题，这样就可以获取贝叶斯分类器中的类概率密度函数。