首页 . 理学 . 计算机科学技术 . 计算机应用 . 多媒体计算 . 模式识别 . 线性特征提取 . 特征选择

嵌入式方法

/embedded methods/
条目作者许倩倩

许倩倩

最后更新 2024-12-03
浏览 167
最后更新 2024-12-03
浏览 167
0 意见反馈 条目引用

特征选择的一类方法。

英文名称
embedded methods
所属学科
计算机科学技术

此类方法结合了过滤方法和包装器方法的特点,在指定的模式识别算法中,基于训练数据,将特征对模型预测结果的重要程度(importance)作为特征选择的准则,通过抑制或移除非重要的特征来完成特征选择,同时得到的模型可以用于后续的模式识别任务中。由于此类方法不能和对应算法的学习过程进行分离,因而得名。

由于融合了其他特征选择方法的特点,嵌入式方法在计算开销和特征选择性能之间取得了一定的平衡,可以处理特征维数较高的大规模特征选择问题,同时具有较好的性能;但是嵌入式方法依赖于指定的模式识别算法,因此其泛用性逊色于过滤方法。

对嵌入式特征选择方法的研究可以追溯到数学和统计中的正则化方法。1970年,A.E.霍尔(Hoerl)和 R.W.肯纳德(Kennard)提出了岭回归(又称脊回归,ridge regression)方法。此方法在传统的线性回归函数中加入了岭迹(ridge trace)作为正则项,并通过求解带有正则项的新目标函数得到原回归问题的有偏估计,从而提升模型的泛化性并同时完成特征选择。这一方法也被称为吉洪诺夫正则(Tikhonov regularization)。1996年,R.Tibshirani提出了套索方法(LASSO)。此方法用L1范数作为正则项替代了吉洪诺夫正则,鼓励模型参数具有稀疏性实现特征选择,并使得模型具有更好的泛化性能。除正则化方法外,嵌入式特征选择方法还包括基于树的特征选择方法。由于树结构的学习算法能够将特征选择的原则融合在树结构的设计当中,因而可以实现嵌入式的特征选择。

基于神经网络的深度学习技术已成为模式识别中的重要方法,由于深度神经网络具有输入数据特征维数高、模型参数庞大等特点,面向神经网络的嵌入式特征选择成为了一个重要课题。

相关条目

阅读历史

    意见反馈

    提 交

    感谢您的反馈

    我们会尽快处理您的反馈!
    您可以进入个人中心的反馈栏目查看反馈详情。
    谢谢!