基于边缘信息结合空间权重的图像显著性检测算法研究

邵凯旋 余映 钱俊 吴青龙 杨鉴

引用本文:
Citation:

基于边缘信息结合空间权重的图像显著性检测算法研究

    作者简介: 邵凯旋(1993−),男,河北人,硕士生,研究方向为图像处理. E-mail:534422802@qq.com;
    通讯作者: 余映, yuying.mail@163.com
  • 中图分类号: TP 391

Research on image saliency detection algorithm based on edge information combined with spatial weight

    Corresponding author: YU Ying, yuying.mail@163.com ;
  • CLC number: TP 391

  • 摘要: 针对当前显著性检测算法普遍存在的背景噪声较多,目标区域检测不够完整等问题,提出了一种空间域的显著性算法. 首先将输入图像进行超像素分割,以边缘信息作为背景先验区域集,通过计算超像素与背景先验区域集内超像素在颜色、亮度方面的差异,得到背景差异显著图;然后确定前景先验区域集,计算各超像素与前景先验区域集内超像素的差异性,得到前景差异显著图. 最后融合两部分显著图;最后在此基础上构建视觉中心,围绕视觉中心确定各超像素空间权重信息,得到最终显著图. 采用MSRA-1000数据库进行对照实验,结果表明本文算法的准确性更高,整体效果更好.
  • 图 1  本文算法流程图

    Figure 1.  The algorithm flowchart of this paper

    图 2  自然图像(a),超像素图像(b)

    Figure 2.  Natural image and superpixel segmented image

    图 3  背景差异显著图

    Figure 3.  Background difference saliency map

    图 4  前景先验区域提取流程

    Figure 4.  Extraction process of foreground prior region

    图 5  前景差异显著图

    Figure 5.  Foreground difference saliency map

    图 6  显著图融合过程

    Figure 6.  The fusion process of saliency graph

    图 7  最终显著图(a)和人工标注图(b)

    Figure 7.  Final saliency map and ground-truth image

    图 8  抽取实验步骤结果对比图

    Figure 8.  Extract the comparison chart of experimental step results

    图 9  本文算法与其它主流算法对比结果图

    Figure 9.  Comparison between the algorithm of this paper and other mainstream algorithms

    图 10  PR曲线对比

    Figure 10.  Comparison of PR curves

    图 11  ROC曲线对比

    Figure 11.  Comparison of ROC curves

    表 1  AUC值计算结果

    Table 1.  AUC value calculation result

    算法ITSRGBFTCAHCRCLCOURS
    AUC0.725 20.673 60.830 50.866 00.889 40.921 20.945 00.793 10.949 8
    下载: 导出CSV

    表 2  准确率,召回率,F-measure计算结果

    Table 2.  Precision, Recall, F-measure calculation results

    算法ITSRGBFTCAHCRCLCOURS
    P0.461 40.421 20.576 00.744 30.730 00.729 80.823 60.553 40.859 3
    R0.204 00.302 00.476 50.595 00.710 00.725 90.581 70.527 30.717 8
    F0.305 50.367 00.518 00.667 50.720 00.704 40.677 40.527 90.784 0
    下载: 导出CSV
  • [1] Guo C, Zhang L. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J]. IEEE Transactions on Image Processing, 2009, 19(1): 185-198.
    [2] Hariharan B, Arbelaez, Pablo, Girshick R, et al. Simultaneous detection and segmentation[J]. Lecture Notes in Computer Science, 2014, 8695: 297-312.
    [3] Furuya T, Ohbuchi R. Visual saliency weighting and cross-domain manifold ranking for sketch-based image retrieval[M]. MultiMedia Modeling: Springer International Publishing, 2014.
    [4] Koch C, Ullman S. Shifts in selective visual attention: towards the underlying neural circuitry[J]. Human Neurobiology, 1987, 4(4): 219-227.
    [5] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 20(11): 1 254-1 259.
    [6] Ma Y F, Zhang H J. Contrast-based image attention analysis by using fuzzy growing[C]. Proceedings of the Eleventh ACM International Conference on Multimedia, Berkeley, CA, USA, 2003: 374-381.
    [7] Harel J, Koch C, Perona P. Graph-based visual saliency[C]. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2007: 545-552.
    [8] Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation[C]. Proceedings of the 6th International Conference on Computer Vision Systems, Springer, Berlin, Heidelberg, 2008: 66-75.
    [9] Cheng M M, Zhang G X, Mitra N J, et al. Global contrast based salient region detection[C]. IEEE Computer Vision and Pattern Recognition (CVPR), Colorado Springs, CO, USA, 2011: 409-416.
    [10] Cheng M M, Mitra N J, Huang X, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569-582. DOI:  10.1109/TPAMI.2014.2345401.
    [11] Hou X, Zhang L. Saliency detection: A spectral residual approach[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA, 2007: 1-8.
    [12] 余映, 杨鉴. 用于显著性检测的除法归一化方法[J]. 计算机辅助设计与图形学学报, 2015, 27(9): 1 759-1 766. DOI:  10.3969/j.issn.1003-9775.2015.09.021. Yu Y, Yang J. A division normalization method for saliency detection[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(9): 1 759-1 766.
    [13] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2 274-2 282. DOI:  10.1109/TPAMI.2012.120.
    [14] Wei Y, Wen F, Zhu W, et al. Geodesic saliency using background priors[C]. European Conference on Computer Vision, Springer, Berlin, Heidelberg, 2012: 29-42.
    [15] Zhu W, Liang S, Wei Y, et al. Saliency optimization from robust background detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2014: 2 814-2 821.
    [16] 姚钊健, 谭台哲. 结合背景和前景先验的显著性检测[J]. 中国图象图形学报, 2017, 22(10): 1 381-1 391. DOI:  10.11834/jig.160668. Yao Z J, Tan T Z. Saliency detection combining background and foreground priors[J]. Journal of Image and Graphics, 2017, 22(10): 1 381-1 391.
    [17] Wang J, Lu H, Li X, et al. Saliency detection via background and foreground seed selection[J]. Neurocomputing, 2015, 152: 359-368. DOI:  10.1016/j.neucom.2014.10.056.
    [18] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1 915-1 926. DOI:  10.1109/TPAMI.2011.272.
    [19] 万怡. “留白”—中国艺术审美的新境界[J]. 文学界: 理论版, 2011(4): 266-267. Wan Y. "Leave blank"-a new realm of Chinese art aesthetics[J]. Literary Circles: Theoretical Edition, 2011(4): 266-267.
    [20] 吴青龙, 敖成刚, 余映. 基于视觉中心及超像素空间加权的图像显著性检测[J]. 云南大学学报: 自然科学版, 2018, 40(5): 26-32. DOI:  10.7540/j.ynu.20170639. Wu Q L, Ao C G, Yu Y. Image saliency detection based on vision center and superpixel space weighting[J]. Journal of Yunnan University: Natural Sciences Edition, 2018, 40(5): 26-32.
    [21] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]. IEEE International Conference on Computer Vision and Pattern Recognition, Miami, Florida, 2009: 1 597-1 604.
    [22] Goferman S, Zelnikmanor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(10): 1 915-1 926.
    [23] Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]. Proceedings of the 14th ACM international conference on Multimedia, California. ACM, 2006: 815-824.
  • [1] 吴青龙敖成刚余映 . 基于视觉中心及超像素空间加权的图像显著性检测*. 云南大学学报(自然科学版), 2018, 40(5): 848-854. doi: 10.7540/j.ynu.20170639
    [2] 郭正红张俊华郭晓鹏梅礼晔 . 结合视觉显著图的Seam Carving图像缩放方法. 云南大学学报(自然科学版), 2018, 40(2): 222-227. doi: 10.7540/j.ynu.20170223
    [3] 饶小李张力周浩 . 多光源非均匀光照场景的颜色恒常性. 云南大学学报(自然科学版), 2014, 36(2): 187-192. doi: 10.7540/j.ynu.20130322
    [4] 邹钺朱艰李晓强焦成昝庆安蒋自立孙跃先 . 烟蚜茧蜂防治烟蚜的应用前景分析. 云南大学学报(自然科学版), 2012, 34(S1): 122-128.
    [5] 陈丽李忠木张朝元 . 基于颜色的206个星系的星族年龄与金属丰度研究. 云南大学学报(自然科学版), 2012, 34(3): 291-297.
    [6] 李劲刘惟一 . 构造多Agents影响图的策略相关图. 云南大学学报(自然科学版), 2004, 26(2): 115-118.
    [7] 董伟李郑刚 . 自动分层存储技术在现代存储中的应用分析与前景展望. 云南大学学报(自然科学版), 2013, 35(S2): 54-. doi: 10.7540/j.ynu.2013b2
    [8] 谢岿锐杨 功肖高强 . 澜沧江南段元素地球化学特征及找矿前景. 云南大学学报(自然科学版), 2012, 34(S2): 148-156.
    [9] 张晓辉卢建岳李根亮武慧红潘江敏 . 完全图的循环齐次分解. 云南大学学报(自然科学版), 2010, 32(3): 254-257 .
    [10] 代志涛苏寒松刘高华张倩芳 . 基于改进非局部均值滤波算法的显著性区域检测*. 云南大学学报(自然科学版), 2018, 40(3): 440-450. doi: 10.7540/j.ynu.20170351
    [11] 杨素雨张秀年杞明辉牛法宝 . 2009年秋季云南降水极端偏少的显著异常气候特征分析. 云南大学学报(自然科学版), 2011, 33(3): 317-324 .
    [12] 邹力鵾王丽珍何婧 . 基于图的空间例外检测算法研究. 云南大学学报(自然科学版), 2003, 25(5): 398-400.
    [13] 杨桥艳李青柏潘江敏 . 4pn 阶素数度弧正则图. 云南大学学报(自然科学版), 2013, 35(4): 453-456. doi: 10.7540/j.ynu.20120545
    [14] 罗智勇孙广路刘嘉辉王卫兵 . 攻击图算法在入侵防御系统中的应用. 云南大学学报(自然科学版), 2012, 34(3): 271-275,284.
    [15] 高珏翟应田 . 几类常用仪器分析谱图的量与单位. 云南大学学报(自然科学版), 2011, 33(S2): 59-62.
    [16] 于雪娄本功 . 素数阶完全图的边传递地图. 云南大学学报(自然科学版), 2019, 41(4): 655-660. doi: 10.7540/j.ynu.20180555
    [17] 丁斋生周冬明聂仁灿侯瑞超刘栋刘琰煜 . 基于视觉显著性与残差网络的红外-可见光图像融合方法. 云南大学学报(自然科学版), 2019, 41(6): 1108-1117. doi: 10.7540/j.ynu.20180692
    [18] 程祥磊鲍慈光彭莉 . 人工神经网络预测离子色谱分离条件. 云南大学学报(自然科学版), 2003, 25(1): 61-64.
    [19] 刘洋龙华赵继东杜庆治 . 基于GABP技术的PCA弥苴河水质预测. 云南大学学报(自然科学版), 2017, 39(1): 39-44. doi: 10.7540/j.ynu.20160125
    [20] 张自立刘惟一 . 基于动态贝叶斯网的状态预测. 云南大学学报(自然科学版), 2007, 29(1): 35-39.
  • 加载中
图(11)表(2)
计量
  • 文章访问数:  283
  • HTML全文浏览量:  218
  • PDF下载量:  18
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-08-23
  • 录用日期:  2019-11-29
  • 网络出版日期:  2019-12-19
  • 刊出日期:  2020-05-01

基于边缘信息结合空间权重的图像显著性检测算法研究

    作者简介:邵凯旋(1993−),男,河北人,硕士生,研究方向为图像处理. E-mail:534422802@qq.com
    通讯作者: 余映, yuying.mail@163.com
  • 云南大学 信息学院,云南 昆明 650500

摘要: 针对当前显著性检测算法普遍存在的背景噪声较多,目标区域检测不够完整等问题,提出了一种空间域的显著性算法. 首先将输入图像进行超像素分割,以边缘信息作为背景先验区域集,通过计算超像素与背景先验区域集内超像素在颜色、亮度方面的差异,得到背景差异显著图;然后确定前景先验区域集,计算各超像素与前景先验区域集内超像素的差异性,得到前景差异显著图. 最后融合两部分显著图;最后在此基础上构建视觉中心,围绕视觉中心确定各超像素空间权重信息,得到最终显著图. 采用MSRA-1000数据库进行对照实验,结果表明本文算法的准确性更高,整体效果更好.

English Abstract

  • 在日常生活中,人们能够做到快速、准确的处理各种视觉信息,得益于自身视觉注意机制. 而显著性检测技术以仿生学、计算机应用科学等学科理论为基础,通过模仿人类的这种视觉注意特性,对图像显著区域进行有效的提取. 随着移动互联网的兴起,各种显著性研究成果已被大量应用于图像压缩[1]、分割[2]、目标检测[3]等众多领域. 按照视觉注意机制划分,显著性模型可以分为两类:一类为任务驱动下的自顶向下(Top-down)模型,其特点是高度依赖人类自身的认知、目的以及相应的学习经验;另一类为数据驱动下的自底向上(Bottom-up)模型,其基本思想是充分利用图像的底层特征进行合理化差异计算以得到显著区域. 由于自顶向下(Top-down)模型易受人脑认知的影响,不确定性较大,所以现阶段显著性检测研究仍以自底向上模型为主.

    早在20世纪80年代,Koch等[4]在深入研究人类视觉系统特性以后,结合特征整合理论,提出了最早的显著性检测模型,并明确给出了显著图这一概念. 随后Itti等[5]在此基础上提出了一种自底向上的显著性检测模型,我们把它简称为ITTI模型. 其核心思想是在多个尺度上整合颜色、亮度、方向特征同时引入“中心周边”差异计算,得到最终的显著图. Ma等[6]采用局部对比的计算方法,通过引入模糊增长算法来得到最终的显著图,计算速度较快,但目标区域内部偏暗. Harel等[7]在ITTI模型的基础上,引入马尔科夫链来对多个特征图进行规范组合,其检测结果较为模糊,计算量较大. Achanta等[8]提出的AC模型,该模型采用区域对比思想,通过计算任意图像区域与其邻域区域的差异性来得到最终的显著图. 而Cheng等[9]将颜色信息进行量化统计,通过计算像素与其它像素之间的差异性,生成最终结果图,该算法整体效果较为理想. 随后Cheng等[10]在此基础上进行了改进,提出了RC模型. 该模型除了计算颜色差异性以外,还引入空间位置差异计算,明确指出不同的区域位置其显著性也应有所差异. 其检测结果准确性更高,但同样存在部分背景噪声的干扰. 而在其它研究层面上,Hou等[11]基于频域角度出发提出了SR模型. Yu等[12]采用除法归一化思想对颜色通道进行部分抑制,来得到最终的显著图. 为了更好的抑制背景噪声,本文从生物学角度出发,结合空间权重思想,在Lab颜色空间域进行差异计算,同时优化得到最终显著图.

    • 显著性一般指视觉场景中的奇异性、特殊性,是一个相对属性,本人将显著性检测视为图像显著区域与背景区域分离、识别的过程. 而显著区域又与图像背景在颜色、亮度、纹理等多个底层特征上存在较大差异. 本文实验从人类的视觉特性出发,计算显著区域与背景区域在颜色、亮度方面的差异性,同时结合空间权重思想,得到最终的显著图. 本文算法流程如图1所示.

      图  1  本文算法流程图

      Figure 1.  The algorithm flowchart of this paper

    • 为了减少图像中的细节信息对实验的影响,首先对输入图像进行均值滤波处理,得到较为平滑的自然图像. 其次考虑到RGB图像在后续差异计算当中的局限性,将自然图像由RGB颜色空间转至Lab颜色空间. 同时参考文献[13]对图像进行超像素分割. 其主要计算公式为:

      $D' = \sqrt {{{\left( {\frac{{{d_{\rm{c}}}}}{m}} \right)}^2} + {{\left( {\frac{{{d_{\rm{s}}}}}{n}} \right)}^2}}, $

      其中 $D'$ 为超像素分割的最终距离,其中dc表示颜色差异度,ds表示两者的空间位置差异,最大颜色距离n会随着图像的不同而存在差异,m用来权衡颜色和空间位置两者之间的关系. 记录每块超像素的聚类中心的位置坐标xy,以及相应的Lab通道信息. 分割结果如图2所示.

      图  2  自然图像(a),超像素图像(b)

      Figure 2.  Natural image and superpixel segmented image

    • 文献[14-15]通过提取图像边缘信息作为背景进行差值计算,已经能够得到较为准确的显著目标.随着研究的不断深入, 研究人员发现,一幅图像越靠近中心区域部分往往能首先引起人眼的注意,而随着逐渐远离图像中心区域,其重要性也逐渐降低. 同时颜色差异又是我们提取显著性区域的关键. 因此在进行超像素分割后,以超像素聚类中心坐标为参考指标,取靠近图像边缘P区域内的超像素作为背景先验区域集,记为Gb. 这里可变参数P的取值为9%. 若图像内任意超像素与背景先验区域集内超像素在颜色、亮度方面差异较大,则越可能为显著区域. 根据欧式距离计算方法,定义第 i 块超像素的显著值为 $S_i^{\rm{b}}$,计算公式为:

      $S_i^{\rm{b}} \!=\! \mathop \sum \limits_{j \in {G^{\rm{b}}}} \sqrt {\alpha {{\left( {{L_i} \!-\! {L_j}} \right)}^2} \!+\! \beta {{\left( {{a_i} \!-\! {a_j}} \right)}^2} \!+\! \gamma {{\left( {{b_i} \!-\! {b_j}} \right)}^2}} .$

      由于在Lab颜色空间中亮度L的取值范围为:$\left[ {0,100} \right]$,颜色通道ab的取值范围为:$\left[ { - 128,127} \right]$,为平衡3个通道的权重,这里我们设置可供调节的权重参数 $\alpha ,\beta ,\gamma $ 取值分别为1,2.55,2.55.

      同时我们粗略地将图像边缘区域认定为背景区域,可能会忽略部分目标区域位于边缘的特殊情况. 所以为避免计算误差较大,除了需要与背景先验区域集内的所有超像素进行比较外,还应与平均背景信息进行比较.定义加入平均背景计算后的显著值为$\bar S_i^{\rm{b}}$,计算公式为:

      $\bar S_i^{\rm{b}} = S_i^{\rm{b}} + \sqrt {\alpha {{\left( {{L_i} - {M_L}} \right)}^2} + \beta {{\left( {{a_i} - {M_a}} \right)}^2} + \gamma {{\left( {{b_i} - {M_b}} \right)}^2}}, $

      其中 ${M_L},{M_a},{M_b}$,分别表示背景先验区域集内超像素各通道的均值信息,参数 $\alpha ,\beta ,\gamma $ 的取值仍为1,2.55,2.55. 进一步计算显著值,得到背景差异显著图如图3所示,该图像显著目标轮廓清晰完整,但背景干扰较多,需对背景噪声进行抑制.

      图  3  背景差异显著图

      Figure 3.  Background difference saliency map

    • 虽然将背景先验知识应用于显著性检测领域,可以大大提高算法的准确性,但检测结果往往准确性不高,存在较多的背景噪声. 参考文献[16-17],我们通过加入前景区域预测来进一步提高算法的准确性. 与背景先验区域集的确定有所不同,背景区域一般出现在图像边缘区域,而前景区域不一定会在图像的中心位置,而会随着目标区域位置的不同而有所差异[18]. 因此本文通过计算凸包区域结合阈值处理的方式确定前景先验区域集.

      首先将灰度图像进行DCT变换,对图像进行压缩处理. 同时采用Harris算法对图像进行角点检测,顺时针连接外围边缘显著点来形成一个闭合完整的凸包区域如图4(a)所示. 然后,在得到的背景差异显著图以后,将每块超像素的显著值 $\bar S_i^{\rm{b}}$ 进行从小到大排序,通过设定合理的阈值T保留显著值较大的超像素作为前景候选区域如图4(b)所示. 最后根据MSRA-1000数据库背景区域与显著性区域面积学习占比可得,阈值T取20%较为合适. 保留下来的超像素显著值较大,越可能为前景区域,同时阈值T可以随着图像目标区域的大小适当的增加或是减少. 这里保留两部分公共区域内的超像素作为前景先验区域集如图4(c)所示,记为Gf.

      图  4  前景先验区域提取流程

      Figure 4.  Extraction process of foreground prior region

      与1.2节计算过程类似,如果图像内任意超像素与前景先验区域集内超像素在颜色、亮度方面差异较小,则越可能为显著区域. 在确定前景先验区域集Gf后,计算图像中的任意超像素与前景先验区域集Gf内的超像素在颜色、亮度方面的差异性. 定义第i块超像素显著值为 $S_i^{\rm{f}}$,计算参考公式为:

      $S_i^{\rm{f}} \!=\!\frac{1}{{ \displaystyle\sum \nolimits_{n \in {G^{\rm{f}}}} \!\!\sqrt {\alpha {{\left( {{L_i} - {L_n}} \right)}^2} + \beta {{\left( {{a_i} - {a_n}} \right)}^2} + \gamma {{\left( {{b_i} - {b_n}} \right)}^2}} }}.$

      考虑到计算过程中会出现分母为零的情况. 当i=n时,取该超像素与前景先验区域集内剩余超像素进行差异计算(除自身以外的超像素),得到自身显著值. 同时还应计算平均前景值,加入平均前景优化最终结果,以减少由于前景先验区域集选取的不准确而造成不必要的背景噪声。定义加入前景均值信息后的显著值为 $\bar S_i^{\rm{f}}$,计算公式为:

      $\bar S_i^{\rm{f}} \!=\! S_i^{\rm{f}}\cdot \frac{1}{{\sqrt {\alpha {{\left( {{L_i} \!-\! {C_L}} \right)}^2} \!+\! \beta {{\left( {{a_i} \!-\! {C_a}} \right)}^2} \!+\! \gamma {{\left( {{b_i} \!-\! {C_b}} \right)}^2}} }},$

      这里 ${C_L},{C_a},{C_b}$ 分别表示前景先验区域集内超像素各通道的均值信息,同时权重参数 $\alpha ,\beta ,\gamma $ 的取值仍为1,2.55,2.55. 根据计算结果生成前景差异显著图如图5所示.相较于背景差异显著图,该图像显著目标整体偏暗,轮廓完整度、清晰度较差,但抗干扰能力较强,背景抑制效果更好.

      图  5  前景差异显著图

      Figure 5.  Foreground difference saliency map

    • 通过前两节计算生成差异显著图,其中背景差异显著图如图6(a)所示,目标区域较为完整,但准确性不高,存在较多的背景噪声. 而前景差异显著图如图6(b)所示,可以较好的抑制背景噪声,但目标区域不够完整,显著区域较为黯淡. 综合考虑将两部分显著图特点,进行特征融合,以得到更优的检测结果.参考文献[17],首先对两部分显著图进行归一化处理,定义最终显著值为Si,计算参考公式为:

      图  6  显著图融合过程

      Figure 6.  The fusion process of saliency graph

      ${S_i} =\varepsilon S^{-b}_i\left(1-\exp \left(-\mu S^{-{\rm{f}}}_i\right)\right) .$

      通过设置合理的参数来调整两部分显著图的权重占比. 其中权重参数 $\varepsilon ,\mu $ 取值分别为1、5.5. 同时采用均值滤波处理,得到更为均匀的结果图.得到融合显著图图6(c).该图像既保留了完整、清晰的显著目标,同时进一步抑制了背景的干扰,整体效果更好.

    • 对于一幅自然图像来讲,人眼更容易被图像的中心位置所吸引,而随着视线逐渐远离图像中心,其关注的也逐渐降低. 古人作画以“留白”手法受今人所追捧[19]. 与西方作画艺术相比,东方的绘画艺术更加注重空间上向四周延续,以宋代花鸟画为例单画花鸟局部,背景皆留白,不仅给欣赏者自由的想象意境,还能更好的凸显目标物体. 本文参照古人“留白”的作画思想,对于图像中心区域赋予更高的权重,进一步抑制背景噪声[20].

      在得到融合显著图后,记录各超像素显著值. 考虑以显著值较大的前M的超像素作为先验区域,计算先验区域平均坐标(x0y0)作为目标区域中心点. 若任一超像素坐标越靠近中心点,其显著性相应越高. 即根据距离视觉中心的远近程度,赋予中心区域更高的权重. M取值可以根据显著目标区域的大小适当调节,这里取值为20%,空间权重计算公式为:

      ${D_i} = {\left( {{{\left( {{x_0} - {x_i}} \right)}^2} + {{\left( {{y_0} - {y_i}} \right)}^2}} \right)^{1/2}},$

      ${W_i} = \sigma {e^{\frac{3}{2}}}\frac{1}{{\sqrt {{D_i}} }},$

      其中xiyi为该图像每块超像素块的坐标,Di为图像各超像素坐标到平均坐标的欧式距离,Wi为空间权重系数. σ控制空间权重强度,通过多次实验分析,这里σ取值为2.5较为合适. 由式(8)计算出每块超像素对应的空间权重系数,将其系数对应乘以相应的显著值,得到加权后的显著值.

      加入空间权重计算,虽然可以高亮目标区,但依然存在不同程度的背景噪声,为了进一步抑制背景噪声、凸显目标区域,本文在得到空间权重计算的显著值后,通过阈值处理舍去部分显著值较低的超像素. 同时采用S型曲线进行拉伸优化处理,得到最终显著图如图7(a)所示. 人工标注的二值图像(GT图)如图7(b)所示.

      图  7  最终显著图(a)和人工标注图(b)

      Figure 7.  Final saliency map and ground-truth image

      本文并法各实验步骤如图8所示. 其中采用超像素分割代替传统的像素点进行计算,可以较大程度的提高计算效率. 通过背景、前景差异计算可以更加准确的确定目标区域,最后采用空间权重计算、S型曲线优化得到的最终显著图背景噪声更少,目标区域更加完整、高亮.

      图  8  抽取实验步骤结果对比图

      Figure 8.  Extract the comparison chart of experimental step results

    • 为了证明算法的有效性,本文选取MSRA-1000数据库[21]作为测试集,其中含有1 000张自然图像和与其相对应的人工标注图(GT图). 本文算法采用Matlab编程实现,在Windows10操作系统上与当前主流算法:IT算法[5]、SR算法[11]、GB算法[7]、FT算法[21]、CA算法[22]、HC算法[9]、RC算法[10]、LC算法[23]进行比较,抽取部分结果图如图9所示. 其中IT算法得到的检测结果模糊不清,很难区分显著目标与背景区域. SR算法、GB算法、CA算法虽然可以得到较为完整的边缘轮廓信息,但是其内部区域不够高亮. FT算法、HC算法、RC算法、LC算法虽然可以得到较为完整的显著区域,但同样存在着不同程度的背景噪声. 本文算法不仅能够得到更加完整、高亮的显著目标,同时还可以较大程度的抑制背景噪声.

      图  9  本文算法与其它主流算法对比结果图

      Figure 9.  Comparison between the algorithm of this paper and other mainstream algorithms

    • 直接观察实验结果虽然可以便捷直观地判断出实验结果的好坏,但容易受到图片的选取、人类主观因素的影响. 这里我们考虑加入客观对比,采用PR曲线、ROC曲线、以及自动阈值分割的F-measure计算来充分证明本文算法的有效性.

      (1)PR曲线. 准确率和召回率通常是作为分类算法的一种常见的评估指标,近年来被引入显著性检测领域作为客观评价指标. 计算公式如下:

      $R = \frac{{{T_{\rm{P}}}}}{{{T_{\rm{P}}} + {F_{\rm{N}}}}},$

      $P = \frac{{{T_{\rm{P}}}}}{{{T_{\rm{P}}} + {F_{\rm{P}}}}},$

      其中TPFP分别表示正确、错误识别为显著区域的像素点数,FN为错误识别为非显著区域的像素点数. 设定阈值t由0~255依次取值,计算得到每次变化后的准确率(P)和召回率(R). 以召回率为x轴,准确率为y轴,依次绘制出各个显著性检测算法的PR曲线,结果如图10所示.

      图  10  PR曲线对比

      Figure 10.  Comparison of PR curves

      图10可以看出,本文算法PR曲线OURS(黑色曲线)明显高于其它8种显著性检测算法,同时采用超像素分割作为预处理算法,不存在阈值选取过低而造成召回率过小的情况. 从而证明了本文显著性检测算法的整体效果更为理想.

      (2)ROC曲线. ROC曲线通常认为是评价算法对于图像显著区域的预测能力. 阈值t由0~255依次取值,参考公式依次计算真阳性率、伪阳性率,以伪阳性率(False Positive Rate, F)为x轴,真阳性率(True Positive Rate, T)为y轴,依次绘制各个显著性检测算法的ROC曲线. 计算公式如下:

      $F = \frac{{{F_{\rm{P}}}}}{{{F_{\rm{P}}} + {T_{\rm{N}}}}},$

      $T = \frac{{{T_{\rm{P}}}}}{{{T_{\rm{P}}} + {F_{\rm{N}}}}},$

      其中TP表示正确识别为显著区域的像素点数,FP表示错误识别为显著目标的像素点数,TN表示正确识别为非显著目标的像素点数,FN指错误识别为非显著目标的像素点数. 绘制成曲线对比结果图如图11所示.

      图  11  ROC曲线对比

      Figure 11.  Comparison of ROC curves

      另一方面从几何角度分析,ROC曲线下方所包含几何面积越大,表明该算法准确性越高. 同时定义AUC为ROC曲线与横纵坐标轴的下方所包围的面积. 计算结果如表1所示.

      算法ITSRGBFTCAHCRCLCOURS
      AUC0.725 20.673 60.830 50.866 00.889 40.921 20.945 00.793 10.949 8

      表 1  AUC值计算结果

      Table 1.  AUC value calculation result

      图11所示,本文曲线OURS(黑色曲线)与RC算法曲线存在部分交叉,整体水平相近. 但明显高于其它7种算法曲线;从几何角度分析,本文算法AUC值计算结果为0.949 8,略高于RC算法,同比高于其它7种主流显著性检测算法. 综合考虑本文算法准确性更高,检测效果更好.

      (3)自动阈值分割的F-measure. F-measure用来表示准确率、召回率总体性能. 3个评价指标越大,说明该算法越准确. F(F-measure)计算公式如下.

      ${F } = \frac{{\left( {1 + {\beta ^2}} \right)\cdot P\cdot R}}{{{\beta ^2}\cdot P + R}}.$

      通常认为准确率比召回率更加的重要,这里取β2=0.3来控制准确率与召回率之间的权重. 将自动阈值分割得到的二值图像与人工标注图进行比较,求得3个指标的均值来衡量算法的整体质量. 得到各个算法的计算结果如表2所示.

      算法ITSRGBFTCAHCRCLCOURS
      P0.461 40.421 20.576 00.744 30.730 00.729 80.823 60.553 40.859 3
      R0.204 00.302 00.476 50.595 00.710 00.725 90.581 70.527 30.717 8
      F0.305 50.367 00.518 00.667 50.720 00.704 40.677 40.527 90.784 0

      表 2  准确率,召回率,F-measure计算结果

      Table 2.  Precision, Recall, F-measure calculation results

      表2给出具体计算结果,本文算法在准确率和F-measure两个客观评价指标上都明显高于其它8种算法. 召回率计算结果为0.717 8与CA算法结果(0.710 0)相近,略低于HC算法(0.725 9),同时明显高于IT算法、SR算法、GB算法、FT算法、RC算法、LC算法的计算结果. 综合上述PR曲线、ROC曲线对比分析,充分证明了本文算法的有效性.

    • 本文提出一种结合图像边缘信息与空间权重计算的显著性检测算法. 该算法从人类的视觉特性出发,分别提取图像背景信息、前景信息进行差异计算得到背景差异显著图、前景差异显著图,融合两部分结果图,同时考虑位置信息空间权重计算以及S型曲线优化得到最终的显著图. 与其它算法进行比较,本文算法准确性更高,背景噪声更少,目标区域更加完整高亮.接下来考虑将本文算法结合当前研究较为热门的深度学习、大数据算法,来实现具体的应用研究,如目标定位、识别等.

参考文献 (23)

目录

    /

    返回文章
    返回