首页 . 理学 . 计算机科学技术 . 计算机应用 . 多媒体计算 . 计算机视觉 . 高层视觉 . 物体检测

显著区域检测

/salient region detection/
条目作者李甲

李甲

最后更新 2024-12-03
浏览 117
最后更新 2024-12-03
浏览 117
0 意见反馈 条目引用

在遵循人类视觉显著性规律的基础上,综合利用图像的颜色、强度、局部特征等特性,计算出图像中各个区域的显著程度。

英文名称
salient region detection
所属学科
计算机科学技术

显著区域检测的本质是一种视觉注意模型,该模型利用视觉注意机制得到图像中最容易引起注意的区域,并用响应强度作为该图像显著性度量。模拟人类视觉系统的显著性区域计算模型主要从两个角度出发:①自下而上的视觉分析计算模型,不需要任何的先验知识,由数据驱动,自动捕获刺激人眼的区域,主要集中于颜色、方向、纹理等低层级特征。②自上而下的视觉选择注意模型,基于高级视觉特征,即先验知识的学习,由知识和任务驱动,以自我意识决定视觉关注区域,主要把面部识别、物体识别这类基于语义的信息作为对象。

从计算机理来看,显著区域检测的基本框架主要包括两种:①自底向上(bottom-up)。自底向上框架主要模拟人类视觉系统自底向上的信息处理流程。主要思想是在像素、宏块、超像素等尺度上,设计并提取可能影响显著性的多种视觉特征,通过特征融合得到输入图像的显著性图。主要包括考虑局部特征的itti算法和GBVS算法、考虑整体性的SR算法和IG算法,基于全局对比度的RC算法,以及局部和整体结合的Goferman等人提出的算法。②自顶向下(top-down)。自顶向下框架主要参考人类视觉系统自顶向下的调制流程,建模各种先验知识在显著性计算过程中的影响。基本思想是从场景中提取多种基本特征,随后将其集成作为显著图像表示。主要包括频域学习显著性滤波器的SSD算法,学习显著物体互补先验的算法,考虑显著区域特征与非显著区域特征联合的ELE算法、考虑边界特征选择性与内部特征不变性引导的BANet算法、以及利用金字塔特征注意网络增强上下文特征表达能力的PFA等算法。

从计算方式来看,显著区域检测的模型主要包括两类:①启发式模型(heuristic)。启发式模型源于人们对显著物体特性的观测,一般通过人工设计的特征和计算框架检测显著对象。②基于学习的模型(learning-based)。基于学习的模型可以细分为两个子类。第一类是“知其然,不知其所以然”,使用人工设计的特征,并通过Random Forest、Multi-instance Learning、Bootstrap Learning等机器学习方法构建“特征-显著性”映射函数来检测显著物体;另一类“不知其然,也不知其所以然”,以图像为输入,以显著性图为输出,通过“端到端”的机器学习方法,直接求取从“视觉刺激-显著性”的映射,具体使用的特征,以及特征的融合策略均不明确。从实验结果来看,以深度学习为代表学习模型在检测具有明确语义的显著对象时,能够取得当前最好的结果,但在解决一些非常基础的显著对象检测问题时(例如检测一批绿色竖条纹中的红色横条纹),有可能会失败。

显著区域检测的标准:①突出最为显著的物体。显著图能够非常清楚的将显著物体凸显出来,这个区域的显著值明显的要高于其他区域。②一致高亮整个显著物体。在显著图中,显著物体内部各像素均应具有比外部背景区域高的显著性,这样才能够显著物体区域和背景区域完全分离开来。③精确分割物体的边界。显著区域有清晰的边界,与图像中物体边界吻合。④高抗噪性。显著图能够忽视原图像中噪声、复杂纹理和纷乱颜色的影响。⑤全分辨率。显著图的分辨率和原图像保持一致,利于显著图实际应用。

显著性区域检测的作用:①能够实现图像显著性信息的提取;②能够为内容感知的图像编辑、图像分割、图像检索等应用提供有价值的参考信息;③能够缓解图像内容理解与图像底层特征之间的隔阂,使得更高层的图像理解成为可能。深入研究显著性区域检测技术,对提高图像分析和图像理解系统的性能以及提高图像处理技术的应用水平都有深远的意义。

显著性区域检测有着广泛的应用,在目标自动检测、图像检索、物体识别、图像分割、视频的快速浏览和汇总、图像和视频压缩、图像自动化修剪和内容感知的图像编辑等领域都可以应用。

  • LAURENT I, GERAINT R, TSOTSOS J.Neurobiology of Attention.San Diego:Amsterdam: Elsevier Press,2005.
  • STEMBERG R J,STEMBERG K, JEFF M.Cognitive Psychology.[S.l.]:Cengage Learning,2008.
  • JIA LI, WEN GAO.Visual Saliency Computation: A Machine Learning Perspective.[S.l.]:Springer,2014.
  • ITTI L, KOCH C, NIEBUR E.A model of saliency-based visual attention for rapid scene analysis.IEEE TPAMI,1998,20(11):1254-1259.
  • JIA LI, LING-YU DUAN, XIAOWU CHEN.Tiejun Huang, Yonghong Tian. Finding the Secret of Image Saliency in the Frequency Domain.IEEE TPAMI,2015,37(12):2428-2440.

相关条目

阅读历史

    意见反馈

    提 交

    感谢您的反馈

    我们会尽快处理您的反馈!
    您可以进入个人中心的反馈栏目查看反馈详情。
    谢谢!