一种基于遮蔽效应的图像质量评价研究

孔紫剑 周冬明 聂仁灿 王长城

引用本文:
Citation:

一种基于遮蔽效应的图像质量评价研究

    作者简介: 孔紫剑(1995−),男,北京人,硕士生,主要研究图像处理. E-mail:kongzijian@mail.ynu.edu.cn;
    通讯作者: 周冬明, zhoudm@ynu.edu.cn
  • 中图分类号: TP391

A study on image quality evaluation based on masking effect

    Corresponding author: ZHOU Dong-ming, zhoudm@ynu.edu.cn ;
  • CLC number: TP391

  • 摘要: 针对梯度结构相似性指标(Gradient Structure Similarity,GSSIM)无法对近阈值失真图像做出很好的判断,导致其判断结果与人类视觉系统(Human Visual System,HVS)不完全一致的问题,为提高GSSIM的准确性及其与HVS的一致性,提出了一种基于梯度遮蔽和视觉显著性的图像质量评价指标(Visual Saliency-Gradient Structure Similarity,VS-GSSIM). 首先,根据梯度信号之间存在的遮蔽效应优化梯度性相似性模型;然后,结合显著性模型提高指标和HVS评判的一致性;最后,调整图像局部区域感知质量水平的相对重要性并池化最终得分. 实验结果表明所提模型在一致性和单调性的评价指标上均超过GSSIM,并且优于目前绝大多数算法.
  • 图 1  基于HVS自底而上的策略

    Figure 1.  Bottom-up strategy based on HVS

    图 2  “狒狒”对比图像

    Figure 2.  Images of“Baboon”for comparison

    图 3  梯度算子用于计算梯度值

    Figure 3.  Operators for calculating the gradient value

    图 4  VS-GSSIM算法流程图

    Figure 4.  The algorithm flow chart of VS-GSSIM

    图 5  遮蔽测试参考图像Patterns

    Figure 5.  Reference image Patterns for masking test

    图 6  TID2008 I04测试图像

    Figure 6.  TID2008 I04 test images

    图 7  IQA模型客观得分与MOS/DMOS之间的散点图

    Figure 7.  Scatter plots between objective scores of several IQA models and MOS/DMOS

    表 1  FSIM和FSIM-M算法在遮蔽测试集上的评价指标对比

    Table 1.  Comparison of evaluation indicators of FSIM and FSIM-M algorithms on the masking test set

    图像
    编号
    噪声
    类型
    失真
    等级
    遮蔽
    影响
    RSEFSIMFSIM-M
    1GN1N3.60.96790.9647
    2GN2H1.60.97530.9731
    3GN3L6.70.96620.9591
    4SCN1N12.70.91580.9001
    5SCN2H5.30.96130.9561
    6SCN3L13.00.91940.9051
    7GN1N5.60.96150.9564
    8GN2H2.80.96750.9639
    9GN3L8.40.96080.9525
    10SCN1N14.70.90170.8836
    11SCN2H10.30.93910.9279
    12SCN3L14.90.90980.8945
    13GN1N8.00.95040.9423
    14GN2H5.40.95410.9470
    15GN3L10.00.95160.9414
    16SCN1N16.30.88120.8607
    17SCN2H14.50.90760.8900
    18SCN3L17.10.89210.8755
    下载: 导出CSV

    表 2  FSIM和FSIM-M算法的相关性对比

    Table 2.  Comparison of the correlation between FSIM and FSIM-M algorithms

    评价指标 FSIM FSIM-M
    KROCC 0.8301 0.8431
    SROCC 0.9546 0.9587
    PLCC 0.9554 0.9626
    RMSE 4.7709 1.2957
    下载: 导出CSV

    表 3  几种IQA算法对图6的得分

    Table 3.  Scores of several IQA algorithms for Fig.6

    评价算法(b)(c)(d)(e)(f)
    MOS4.9433.9146.2425.5715.286
    UQI0.9980.9920.9991.0070.997
    PSNR27.00527.01727.21233.23431.955
    SSIM0.6870.7360.8510.8990.848
    MS-SSIM0.9020.8040.9780.9830.943
    VSI0.9890.9620.9980.9960.992
    FSIMc0.9040.8820.9950.9810.973
    VS-GSSIM0.9720.9150.9970.9910.979
    下载: 导出CSV

    表 4  几种IQA算法对图6客观得分与主观评价一致性验证

    Table 4.  Consistent verification of objective score and subjective evaluation of several IQA algorithms for Fig.6

    评价算法(b)(c)(d)(e)(f)
    MOS45123
    UQI35214
    PSNR54312
    SSIM54213
    MS-SSIM45213
    VSI45123
    FSIMc45123
    VS-GSSIM45123
    下载: 导出CSV

    表 5  各种算法在CSIQ数据库上评价指标对比

    Table 5.  Comparison of evaluation indicators of various algorithms on the CSIQ database

    指标PSNR[3]VIF[8]SSIM[10]IW-SSIM[12]MS-SSIM[11]GSSIM[15]MAD[7]FSIMc[13]VS-GSSIM
    SROCC0.81060.91950.87560.92130.91330.88240.94660.92420.9344
    KROCC0.62470.75370.69070.75290.73930.68990.79700.75670.7685
    PLCC0.80020.92770.86130.91440.89910.86560.95020.91200.9171
    RMSE0.15750.09800.13340.10630.11490.13150.08180.10070.1046
    下载: 导出CSV

    表 6  各种IQA算法运行时间比较

    Table 6.  Comparison of runtime of various IQA algorithms

    评价指标 运行时间/s
    PSNR 0.0138
    SSIM 0.6692
    GSSIM 0.5908
    VSI 0.1558
    FSIMc 0.1398
    MAD 1.0753
    VS-GSSIM 0.1261
    下载: 导出CSV
  • [1] 褚江, 陈强, 杨曦晨. 全参考图像质量评价综述[J]. 计算机应用研究, 2014, 31(1): 13-22. DOI:  10.3969/j.issn.1001-3695.2014.01.003. Chu J, Chen Q, Yang C X. Summary of full reference image quality evaluation[J]. Application Research of Computers, 2014, 31(1): 13-22.
    [2] Khosravi M H, Hassanpour H. Image quality assessment using a novel region smoothness measure[J]. Journal of Visual Communication and Image Representation, 2019, 60: 217-228. DOI:  10.1016/j.jvcir.2018.11.019.
    [3] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3 440-3 451. DOI:  10.1109/TIP.2006.881959.
    [4] Zhou W, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84. DOI:  10.1109/97.995823.
    [5] Tang Z S, Zheng Y L, Ke G, et al. Full-reference image quality assessment by combining features in spatial and frequency domains[J]. IEEE Transactions on Broadcasting, 2019, 65(1): 138-151. DOI:  10.1109/TBC.2018.2871376.
    [6] Liu A, Verma M, Lin W. Modeling the masking effect of the human visual system with visual attention model[C]//7th International Conference on Information, Communications and Signal Processing (ICICS), IEEE, Nanjing, China, 2009: 1-5.
    [7] Larson E C, Chandler D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010, 19(1): 011006-1-011006-21. DOI:  10.1117/1.3267105.
    [8] Sheikh H R, Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444. DOI:  10.1109/TIP.2005.859378.
    [9] Sheikh H R, Bovik A C, de Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2 117-2 128. DOI:  10.1109/TIP.2005.859389.
    [10] Zhou W, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI:  10.1109/TIP.2003.819861.
    [11] Zhang L, Zhang L, Mou X, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2 378-2 386. DOI:  10.1109/TIP.2011.2109730.
    [12] 易三莉, 苗莹, 钱洁, 等. 基于感兴趣区域的边缘结构相似度图像质量评估[J]. 计算机工程, 2015, 41(6): 216-220. Yi S L, Miao Y, Qian J, et al. Image quality assessment of edge structure similarity based on region of interest[J]. Computer Engineering, 2015, 41(6): 216-220.
    [13] Zhang F, Zhang B Y, Zhang R Y, et al. SPCM: Image quality assessment based on symmetry phase congruency[J]. Applied Soft Computing, 2020, 87: 105 987. DOI:  10.1016/j.asoc.2019.105987.
    [14] Wang Z, Li Q. Information content weighting for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2010, 20(5): 1 185-1 198.
    [15] 苗莹, 易三莉, 贺建峰, 等. 结合梯度信息的特征相似性图像质量评估[J]. 中国图象图形学报, 2015, 20(6): 749-755. Miao Y, Yi S L, He J F, et al. Image quality assessment of feature similarity combined with gradient information[J]. Journal of Image and Graphics, 2015, 20(6): 749-755.
    [16] Liu Z, Laganière R. Phase congruence measurement for image similarity assessment[J]. Pattern Recognition Letters, 2007, 28(1): 166-172. DOI:  10.1016/j.patrec.2006.06.019.
    [17] Yang G, Li D, Lu F, et al. RVSIM: a feature similarity method for full-reference image quality assessment[J]. EURASIP Journal on Image and Video Processing, 2018(1): 1-15.
    [18] Zhang L, Shen Y, Li H. VSI: A visual saliency-induced index for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2014, 23(10): 4 270-4 281. DOI:  10.1109/TIP.2014.2346028.
    [19] Wen Y, Li Y, Zhang X, et al. A weighted full-reference image quality assessment based on visual saliency[J]. Journal of Visual Communication and Image Representation, 2017, 43: 119-126. DOI:  10.1016/j.jvcir.2016.12.005.
    [20] Zhang W, Zou W, Yang F. Linking visual saliency deviation to image quality degradation: A saliency deviation-based image quality index[J]. Signal Processing: Image Communication, 2019, 75: 168-177. DOI:  10.1016/j.image.2019.04.007.
    [21] Iwashima Y, Wang J, Yashima Y. Full reference image quality assessment by CNN feature maps and visual saliency[C]// 8th Global Conference on Consumer Electronics (GCCE), IEEE, Osaka, Japan, 2019: 203-207.
    [22] Chen G H, Yang C L, Xie S L. Gradient-based structural similarity for image quality assessment[C]// International Conference on Image Processing, IEEE, Atlanta, GA, USA, 2006: 2 929-2 932.
    [23] Zhang L, Gu Z, Li H. SDSP: A novel saliency detection method by combining simple priors[C]// International Conference on Image Processing, IEEE, Melbourne, VIC, Australia, 2013: 171-175.
    [24] Liu A, Lin W, Paul M, et al. Just noticeable difference for images with decomposition model for separating edge and textured regions[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(11): 1 648-1 652. DOI:  10.1109/TCSVT.2010.2087432.
    [25] Chang H, Yang H, Gan Y, et al. Sparse feature fidelity for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2013, 22(10): 4 007-4 018. DOI:  10.1109/TIP.2013.2266579.
    [26] Jin M, Wang T, Ji Z, et al. Perceptual gradient similarity deviation for full reference image quality assessment[J]. Computers, Materials & Continua, 2018, 56(3): 501-515.
    [27] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008-a database for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radio Electronics, 2009, 10(4): 30-45.
    [28] Larson E C, Chandler D M. Categorical image quality (CSIQ) database 2009 [EB/OL]. [2020-09-10]. http://vision.okstate.edu/csiq.
    [29] 吴亚东, 张红英. 基于全变分模型的视觉感知图像质量评价方法[J]. 电子科技大学学报, 2015, 44(1): 79-83. DOI:  10.3969/j.issn.1001-0548.2015.01.013. Wu Y D, Zhang H Y. Visual perception image quality evaluation method based on total variation model[J]. Journal of University of Electronic Science and Technology of China, 2015, 44(1): 79-83.
    [30] Antkowiak J, Baina TJ. Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL]. [2020-09-08]. http://www.vqeg.org/.
    [31] Egiazarian K, Astola J, Ponomarenko N, et al. New full-reference quality metrics based on HVS[C]//CD-ROM Proceedings of the Second International Workshop on Video Processing and Quality Metrics, Scottsdale, USA, 2006: 1-4.
  • [1] 吴青龙敖成刚余映 . 基于视觉中心及超像素空间加权的图像显著性检测*. 云南大学学报(自然科学版), 2018, 40(5): 848-854. doi: 10.7540/j.ynu.20170639
    [2] 丁斋生周冬明聂仁灿侯瑞超刘栋刘琰煜 . 基于视觉显著性与残差网络的红外-可见光图像融合方法. 云南大学学报(自然科学版), 2019, 41(6): 1108-1117. doi: 10.7540/j.ynu.20180692
    [3] 谢诗冬周冬明聂仁灿刘琰煜王长城 . 基于显著性检测与梯度导向滤波的红外与可见光图像融合. 云南大学学报(自然科学版), 2020, 42(6): 1053-1063. doi: 10.7540/j.ynu.20190675
    [4] 邵凯旋余映钱俊吴青龙杨鉴 . 基于边缘信息结合空间权重的图像显著性检测算法研究. 云南大学学报(自然科学版), 2020, 42(3): 429-436. doi: 10.7540/j.ynu.20190442
    [5] 陈为民徐东霞 . 一种基于灰度相似性的指纹纹线密度提取方法. 云南大学学报(自然科学版), 2006, 28(2): 122-126.
    [6] 代志涛苏寒松刘高华张倩芳 . 基于改进非局部均值滤波算法的显著性区域检测*. 云南大学学报(自然科学版), 2018, 40(3): 440-450. doi: 10.7540/j.ynu.20170351
    [7] 李世镇钱俊余映杨鉴 . 基于凸包计算和颜色特征的显著性检测算法. 云南大学学报(自然科学版), 2021, 43(2): 254-262. doi: 10.7540/j.ynu.20200250
    [8] 裴以建余江宗容蔡光卉 . 行走机器人高精度视觉系统. 云南大学学报(自然科学版), 2006, 28(6): 483-486.
    [9] 郭正红张俊华郭晓鹏梅礼晔 . 结合视觉显著图的Seam Carving图像缩放方法. 云南大学学报(自然科学版), 2018, 40(2): 222-227. doi: 10.7540/j.ynu.20170223
    [10] 罗碧梅贾云锋娄烁烁 . 一类具有强Allee效应的捕食−食饵模型的共存性. 云南大学学报(自然科学版), 2019, 41(1): 13-17. doi: 10.7540/j.ynu.20180061
    [11] 徐瑾岳昆钱文华张学杰 . 一种基于概率图模型的研究生生源质量评价方法. 云南大学学报(自然科学版), 2011, 33(S2): 299-304.
    [12] 汪海涛刘帅姜瑛陈星 . 一种基于模糊物元评价法的构件质量度量模型研究. 云南大学学报(自然科学版), 2015, 37(1): 31-42. doi: 10.7540/j.ynu.20140017
    [13] 郭丽红陈善娜龚明 . 玉米幼苗热激诱导抗冷性过程中钙的效应. 云南大学学报(自然科学版), 2003, 25(5): 449-452462.
    [14] 张美玲王肖肖韩月林贾利群 . 变质量完整系统相对运动Nielsen方程的Mei对称性和Mei守恒量. 云南大学学报(自然科学版), 2012, 34(6): 664-668.
    [15] 杜云姜瑛 . 构件质量模型研究. 云南大学学报(自然科学版), 2011, 33(3): 281-288, .
    [16] 赖祥军刘门全刘宏林罗志全 . 超新星中夸克相变的u,d夸克质量效应. 云南大学学报(自然科学版), 2007, 29(6): 584-588,595.
    [17] 彭匡鼎陈善娜陈小兰 . 蓝藻系统的热动平衡及其效应. 云南大学学报(自然科学版), 2005, 27(2): 142-145.
    [18] 初辰辉王锋田丰邓辉 . 基于Steering Law的触控设备手指运动方向可用性评价. 云南大学学报(自然科学版), 2013, 35(S2): 29-. doi: 10.7540/j.ynu.2013b54
    [19] 彭匡鼎 . 超流动性的孤波模型. 云南大学学报(自然科学版), 2003, 25(3): 225-227.
    [20] 刘新国李永昆刘兴桂 . 离散互惠共生模型的持久性. 云南大学学报(自然科学版), 2007, 29(2): 114-117.
  • 加载中
图(7)表(6)
计量
  • 文章访问数:  509
  • HTML全文浏览量:  402
  • PDF下载量:  26
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-10-23
  • 录用日期:  2021-03-30
  • 网络出版日期:  2021-06-21
  • 刊出日期:  2021-11-15

一种基于遮蔽效应的图像质量评价研究

    作者简介:孔紫剑(1995−),男,北京人,硕士生,主要研究图像处理. E-mail:kongzijian@mail.ynu.edu.cn
    通讯作者: 周冬明, zhoudm@ynu.edu.cn
  • 云南大学 信息学院,云南 昆明  650500

摘要: 针对梯度结构相似性指标(Gradient Structure Similarity,GSSIM)无法对近阈值失真图像做出很好的判断,导致其判断结果与人类视觉系统(Human Visual System,HVS)不完全一致的问题,为提高GSSIM的准确性及其与HVS的一致性,提出了一种基于梯度遮蔽和视觉显著性的图像质量评价指标(Visual Saliency-Gradient Structure Similarity,VS-GSSIM). 首先,根据梯度信号之间存在的遮蔽效应优化梯度性相似性模型;然后,结合显著性模型提高指标和HVS评判的一致性;最后,调整图像局部区域感知质量水平的相对重要性并池化最终得分. 实验结果表明所提模型在一致性和单调性的评价指标上均超过GSSIM,并且优于目前绝大多数算法.

English Abstract

  • 数字图像在经历采集、处理、压缩、传输、储存等过程后会造成不同形式的失真,这些失真往往会导致图像视觉质量的退化. 图像质量评价(Image Quality Assessment,IQA)是用于计算图像质量退化的程度或评价图像处理过程中参数的优化水平,在近10年被提出并得到了广泛的应用.

    IQA的指标根据参考图像是否存在分为全参考、无参考和半参考[1]. 全参考质量评价指标常将参考图像看作是完美图像,将其与对应的质量退化图像作比较;参考图像不存在的称为无参考或“盲的”图像质量评价指标;半参考质量评价指参考图像的部分信息是存在的.

    本文针对全参考质量评价指标进行研究. 输入为参考图像和该图像的失真版本,输出为失真图像的视觉质量预测值,评价指标的有效性[2]通过计算预测值和主观测试中人眼感知失真图像的“真实值”之间的映射关系得到. 最传统的基于全参考的图像质量评价指标为峰值信噪比(Peak Signal Noise Ratio,PSNR)[3]和均方误差(Mean Squared Error,MSE)[4],它们的原理是在像素域中计算参考图像和失真图像灰度值的统计差异,因其数学特性简单,得到了广泛的应用. 但这两种仅仅是基于失真能量的算法,没有考虑像素之间的结构关系,因此与人的主观判断差异较大.

    通常情况下,人眼都是经过图像处理过程的最终接收者,然而采用基于人眼的主观评价方式耗费大量人力,无法实时地处理图像,并且评判的结果鲁棒性差. 因此在近数十年,研究人员通过模拟人类视觉系统(Human Visual System,HVS)感知图像质量的方式,将基于HVS的客观评价方法嵌入到图像处理系统中,自动高效地解决主观判断上存在的问题. 以HVS为导向的客观评价方法大致可以分为自底向上和自顶向下两种策略.

    第1种策略受人眼刺激驱动,流程图如图1所示. 首先,从人类视觉系统视觉路径的角度出发,在预处理阶段先将图像空间转换到更符合人眼的色彩空间;然后,图像经过变换域分解,模拟HVS视觉早期阶段的“感知分解过程”,利用对比度敏感度函数(Contrast Sensitive Function,CSF)[5]补偿人眼对于不同空间频率信号的对比灵敏度,在误差归一化阶段考虑近阈值的心理特性如遮蔽效应[6]、差异恰可识别差异模型等,将可视误差信号归一化;最后,在图像空间域上沿着不同的通道(频带)池化所有误差信号,得到一个标量值. Larson等[7]提出的最明显失真(Most Apparent Distortion,MAD)是目前基于自底而上策略最有效的方法,采用两种感知图像质量的模型解决了图像存在多种失真难以评判的问题. HVS在评判图像质量时,会根据图像的失真水平自适应地调整感知策略,当图像中存在近阈值失真时,失真图像的质量相对较高,算法利用CSF和遮蔽效应因子[5-6]计算图像之间的可视性误差信号采用来模拟HVS针对较高质量图像;当图像中存在超阈值失真时,失真图像的质量相对较低,算法利用Log-Gabor滤波器统计子带信息差异,采用内容分辨的策略表征HVS针对较低质量图像. 虽然算法结果和主观评价有很好的关联性,但是计算复杂度较高,且对不同图像失真类型的鲁棒性较差.

    图  1  基于HVS自底而上的策略

    Figure 1.  Bottom-up strategy based on HVS

    第2种策略受任务驱动,通过模拟HVS的某些特征,以“假说”的形式来构建一个全局的评价方法. Sheikh等认为图像的质量退化过程会严重扰乱图像信号的统计特性,因此提出了视觉信息保真度(Visual Information Fidelity,VIF)[8]和信息保真度标准(Information Fidelity Criterion,IFC)[9]量化参考图像和失真图像之间的统计信息,通过计算图像之间互信息的多少来评价图像质量,其结果对于超阈值失真图像(相对低质量图像)有很好的评判,但是对近阈值失真图像(相对高质量图像)评判较差,最终导致结果与HVS不一致. 经典的结构相似性(Structural Similarity,SSIM)[10]方法基于HVS能高度自适应地提取图像中的结构化信息,捕捉结构损失的假说,计算失真图像与参考图像在局部亮度、对比度和结构信息的相似程度来评判图像的失真水平. Zhang等[11]证明了该方法好于目前的其他方法,但是它在池化得分时对图像每一个位置采用了相同的权重值,低估了边缘失真对图像感知质量的影响,导致图像感知质量的预测结果与主观评价不一致. 随后很多学者在SSIM基础上进行改进,如边缘结构相似性(E-SSIM)[12]根据边缘信息划分图像区域;考虑多尺度结构相似性(MS-SSIM)[13]对图像进行多尺度分解,首先在原尺度上计算图像亮度、对比度和结构相似度信息,然后在其他4个尺度上计算对比度和结构相似度,最后根据HVS的特性权重分配系数,得到最终的图像质量评价指标;信息加权结构相似性(IW-SSIM)[13]结合小波分解和多尺度模型进行系数加权;文献[14-15]提到基于特征似性(Feature Similarity, FSIM)的方法进行图像质量评价,将相位一致性(Phase Congruency, PC)作为视觉显著特征探测视觉上较重要区域,同时补充梯度值(Gradient Magnitude, GM)作为计算对比度和结构信息的第二特征,该方法要优于VIF、SSIM等传统算法,然而计算相位一致性需要在频域内多次滤波和傅里叶变换才能完成,其计算复杂度较高[16],结果并不令人满意.

    视觉注意是HVS在视觉场景中驱动视觉信息选择的一种机制,在计算机视觉的研究中,通常这种自底而上、受刺激驱动的注意力机制称为视觉显著性[17]. 近些年来,研究者逐渐发现HVS对视觉场景的显著区域相当敏感,同时超阈值失真会极大地改变图像的视觉显著图(Visual Saliency Map,VSM)的分布. 因此利用视觉显著性来表征人类更加关注的区域是图像质量评价优秀的手段.

    Zhang等提出了视觉显著性算法(Visual Saliency-Induced,VSI)[18],利用视觉显著探测模型提取失真图像中的显著性区域,分别计算参考图像和失真图像之间的显著区域相似性、梯度相似性和色度相似性,利用池化函数提取局部质量图的视觉显著性区域,得到图像质量评价指标. Wen等[19]提出了一种基于视觉显著性加权的全参考图像质量度量方法,结合PSNR和梯度结构相似性指标(GSSIM),同时加强对宽频带信号和结构变化较大的信号处理,利用视觉显著性图经过加权函数分别作用于两个快速IQA方法,对图像每个像素施加一个权重. Zhang等[20]认为显著区域的视觉伪影比非显著性区域的视觉伪影对图像感知质量的影响更大,因此研究显著性偏差和图像质量退化之间的关系,该方法避开了使用显著性模型作为显著性加权函数,通过量化了视觉伪影产生的视觉显著性偏差,分别计算参考图像和失真图像之间的全局、局部和色度部分的显著性偏差,直接评估图像质量. Iwashima等[21]提出了结合视觉显著性和特征图的全参考图像质量评价模型,实验证明通过引入包含亮度、颜色、边缘方向等特征分布的显著性图可以提高图像质量评价的精度.

    一幅失真图像往往存在着不止一种失真形式,此时通常把每种失真类型看作一种信号,当HVS观察图像时,如图2所示,(a)图为“狒狒”的参考图像,(b)图是经过基于离散余弦变换滤波器处理后得到包含遮掩信号的失真图像. 观察可以发现,(b)图狒狒面部上毛发的复杂纹理信息遮蔽了眼窝处和脸颊两侧的噪声信号失真,使感知到的图像失真程度并没有PSNR这类仅考虑图像统计特性的算法计算得那么高,因此所提算法根据信号的遮蔽效应进行建模,用来模拟HVS的这一行为. 另一方面HVS具有多点注视的机制,能够自适应地感知到图像中视觉系统感兴趣的局部区域. 因此引入视觉注意机制来提取图像当中的视觉显著性区域.

    图  2  “狒狒”对比图像

    Figure 2.  Images of“Baboon”for comparison

    本文提出的算法基于梯度遮蔽效应和视觉显著相似性模型,根据遮蔽效应对信号的影响改进梯度相似性指标[22]并计算梯度相似度,利用显著性模型(Saliency Detection by combining Simple Priors, SDSP) [23]作为显著性特征计算参考图像和失真图像之间的显著性相似度,将二者与色彩相似度相结合,考虑到视觉显著性能反应局部区域对HVS的感知重要性,最后采用视觉显著图作为局部质量图(Local Quality Map, LQM)的加权函数. 该算法解决了上述对图像边缘信息处理不足、与人眼的视觉特性不一致、计算复杂度较高的问题. 实验结果表明,在公开的数据集,所提度量图像失真的指标能有效解决梯度信号之间的遮蔽效应,算法计算效率较高,在主观一致性和单调性的指标上都优于当今流行的绝大多数算法.

    • 大部分计算梯度幅度值的算法[24]都会在Sobel,Prewitt和Scharr算子中选择一种计算每个图像块x在水平和竖直方向上的梯度算子Gxx)和Gyx),然后再计算梯度值Gx). 然而这些梯度算子的核函数只有3×3,不足以充分包含图像块的相邻信息. 因此本算法使用较大的5×5梯度算子并计算水平竖直和斜对角线方向上的梯度,以增强图像块的局部相关性. 梯度算子如图3所示,P1P2分别是水平和竖直方向的梯度算子,用于检测纵向和横向的边缘区域;P3P4是对角线方向的梯度算子.

      图  3  梯度算子用于计算梯度值

      Figure 3.  Operators for calculating the gradient value

      梯度幅度值Gx)分两步计算:第1步计算图像块x在对角线、水平和竖直方向上的梯度值,加权系数Pk随着与中心像素距离的增加而减小; 第2步计算图像块在某个方向上的最大梯度幅度值,将其作为图像块的梯度值G. 梯度值的计算如下:

      $G = \mathop {\max }\limits_{k = 1,2,3,4} \{ \left| {(x * P_k)} \right|\} ,$

      式中, $ * $ 表示卷积运算,$\left| {\left( \cdot \right)} \right|$ 表示计算最大的梯度幅度值,作为图像块的梯度值.

      梯度相似性gx)可以定义为:

      $g(x) = \frac{{2G_1G_2 + {{C}}_{{1}}}}{{G_1^2 + G_2^2 + {{C}}_{{1}}}},$

      式中,G1G2表示参考和失真图像的梯度幅度值,C1是一个避免分母为0的常数(取 $C_1 = $$ {10^{ - 5}}$). gx)的取值范围为[0,1],其值越大表示失真图像的质量越高.

    • 遮蔽效应是HVS基于心理学上的属性,反映信号之间的相互作用. 在图像质量评价中,遮蔽效应表现为一个图像分量的存在会降低另一图像分量在空域、时域或频域的可见性,利用其原理提出了亮度遮蔽、对比敏感度、对比遮蔽中心凹点等模型,这些模型表达了人眼对于图像失真的容忍度. 而梯度的遮蔽效应反映的是梯度信号之间相互影响的情况. 为了研究梯度信号的遮蔽效应,对梯度相似性gx)进行改写成SGx):

      $ {S_{\rm{G}}}(x) = \dfrac{{{A^2} \cdot \left(2\dfrac{B}{A} + \dfrac{{{{C}}_{{1}}}}{{{A^2}}}\right)}}{{{A^2} \cdot \left[1 + \left(\dfrac{B}{A}\right){}^2 + \dfrac{{{{C}}_{{1}}}}{{{A^2}}}\right]}}{\rm{ = }}\dfrac{{2\dfrac{B}{A} + \dfrac{{{{C}}_{{1}}}}{{{A^2}}}}}{{\left[1 + \left(\dfrac{B}{A}\right){}^2 + \dfrac{{{{C}}_{{1}}}}{{{A^2}}}\right]}}, $

      式中,$A = \max (G_1,G_2)$$B = \min (G_1,G_2)$.

      简化式(3)得:

      $ \begin{split} \dfrac{{2\dfrac{{\min (G_1,G_2)}}{{\max (G_1,G_2)}} + {{K}}}}{{1 + {{\left(\dfrac{{\min (G_1,G_2)}}{{\max (G_1,G_2)}}\right)}^2} + {{K}}}} =& \dfrac{{2\left(1 - \dfrac{{|G_1 - G_2|}}{{\max (G_1,G_2)}}\right) + {{K}}}}{{1 + {{\left(1 - \dfrac{{\left| {G_1 - G_2} \right|}}{{\max (G_1,G_2)}}\right)}^2} + {{K}}}}=\\ & \dfrac{{2(1 - R) + {{K}}}}{{1 + {{(1 - R)}^2} + {{K}}}}, \end{split}$

      式中,$K = \dfrac{{C_1}}{{\max (G_1,G_2)}}$ 是一个很小的常数项,G1G2中梯度值较大的信号作为遮蔽信号,另一个作为被遮蔽信号.

      梯度遮蔽因子表示为:

      $R = \frac{{|G_1 - G_2|}}{{\max (G_1,G_2)}},$

      R是一个梯度变化和梯度遮蔽信号相关的遮蔽因子,取值范围为[0,1],其值越大表示梯度遮蔽信号的影响越大.

      结合式(4)和(5),可以看出:当 $G_1 = $$ G_2$ 时,$R = 0$${\rm{S}}_{\rm{G}}(x) = 1$,此时测试图像块与参考图像块的梯度值完全相同;当 $ G_1{\text{或}}G_2=0$ 时,$R = 1$${\rm{S}}_{\rm{G}}(x) = $$ 0$,此时可以说是原图像块是一个平滑图像块或是一个非平滑的图像块失真成为一个平滑图像块. 由此可见,梯度相似性的值随着R值的减小而增大. 除此之外,当梯度变化一定时,遮蔽信号与梯度变化的比值越大,梯度相似敏感度越低,这个结论与HVS对高遮蔽对比度不敏感的情况是一致的.

    • 在式(4)和(5)中,存在因遮蔽效应导致的对图像失真水平高估的特殊情况, 即在图像某一区域 $\max (G_1,G_2)$$|G_1 - G_2|$ 的值都很小时,遮蔽信号和被遮蔽信号也很小,其梯度误差本应不可视,然而会得到一个较大的R值,最终导致在这个区域图像块的梯度相似性比实际情况要偏低,图像的失真水平被高估. 究其原因是梯度相似性模型对于低遮蔽对比度过于敏感. 因此在这里需要调整梯度相似性公式,以改变上述失真水平高估的问题. 对此考虑调整参数K值满足以下两个条件:① K值不能过大到影响SGx)的结果. ②增大K值以覆盖低遮蔽对比度区域对图像失真水平高估的问题,使得此时SGx)的值趋近于1. 注意到公式(4)中 ${2 - 2R}$$1 + {(1 - R)^2}$ 的取值范围均为[0,2],因此K值自适应于 $\max (G_1,G_2)$,这里分别取 $K < 10$$K > 40$ 来满足上述条件. 此时基于遮蔽效应的梯度相似性 ${S_{\rm{G}}}^{\prime} (x)$ 表示为:

      $ \begin{split} {S_{\rm{G}}}^{\prime} (x) =& \dfrac{{2{G_1}{G_2} + K}}{{G_1^2 + G_2^2 + K}}=\\ & \dfrac{{2(1 - R) + {{K}}'/\max (G_1,G_2)}}{{1 + {{(1 - R)}^2} + {{K}}'/\max (G_1,G_2)}}, \end{split}$

      式中,$K = K'/\max (G_1,G_2)$,对于情况①、②时 $\max (G_1,G_2)$ 取值范围为[5,50],因此K′的取值范围为[200,500](在本实验中取 $K' = 200$).

    • 基于梯度遮蔽改进后的模型可以对近阈值失真图像做出很好的评判,但为了提高IQA与主观判断的一致性,使结果更符合HVS的判断,补充SDSP视觉显著性模型. 这个模型可以直观地反映一个局部区域的感知质量对于HVS有多显著.

      SDSP模型具有较高预测性能和较低计算成本,是1个结合3个先验知识的显著性检测方法. 首先,人眼会更关注于图像当中的显著物体,而LG(Log-Gabor)带通滤波器信号的响应形式与人类视觉系统一致,因此利用它来模拟人类视觉系统,检测自然场景下的显著区域;其次,人们更有可能将注意力集中在图像的中心位置;再次,对人眼而言,暖色比冷色吸引力更大;最后,通过3个简单的数学模型表征上述先验知识. Zhang等[23]的实验证明SDSP显著性模型在当今流行的显著性模型中预测准确性最高,计算时间较短.

    • 计算图像的视觉显著性区域、梯度值和色彩信息,以此建立一个结合梯度遮蔽效应和视觉显著性模型的图像评价指标. 算法流程如图4所示. 假设参考图像为f1,失真图像为f2Sx)为图像f1f2的局部相似性指标, V 1(x) 、 V 2(x) 和G 1(x) 、G 2(x) 分别是从 f1f2 得到的视觉显著图和基于遮蔽效应的梯度相似性图. 由于色彩信息也会影响HVS对图像的感知,因此它对视觉感知和视觉质量评价具有重要意义. 对于RGB彩色图像,将其转换到式(7)表示的LAB色彩空间[25],补充对色彩信息的考量.

      图  4  VS-GSSIM算法流程图

      Figure 4.  The algorithm flow chart of VS-GSSIM

      $\left[ {\begin{array}{*{20}{c}} L \\ M \\ N \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.06}&{0.63}&{0.27} \\ {0.30}&{0.04}&{{\rm{ - }}0.35} \\ {0.34}&{{\rm{ - }}0.6}&{0.17} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} R \\ G \\ {\rm{B}} \end{array}} \right],$

      式中,L通道用于计算梯度值,M1M2M通道获取,N1N2N通道获取,两个色彩通道用来计算因颜色失真引起的感知质量下降. 色彩空间转换的权重是根据HVS进行优化得到的[26]. 第1阶段分别计算视觉显著相似性,受遮蔽影响的梯度相似性以及色彩相似性;第2阶段池化相似性图得到一个基于HVS的感知质量分数.

      视觉显著性相似图Svsx)定义为:

      $S_{{\rm{vs}}}(x) = \frac{{2{V_1}(x) \cdot {V_2}(x) + {{{C}}_{{2}}}}}{{V_1^2(x) \cdot V_2^2(x) + {{C}}_{{2}}}},$

      式中,C2为一个保持Svsx)稳定性的较小的常数.

      色彩通道的相似性图Scx)定义为:

      ${S_{\rm{c}}}(x) = \frac{{2{M_1}(x) \cdot {M_2}(x) + {{{C}}_{{3}}}}}{{M_1^2(x) \cdot M_2^2(x) + {{{C}}_{{3}}}}} \cdot \frac{{2{N_1}(x) \cdot {N_2}(x) + {{{C}}_{{3}}}}}{{N_1^2(x) \cdot N_2^2(x) + {{{C}}_{{3}}}}},$

      式中,C3是一个与C2作用相同的常数.

      在实验中,固定C2C3的值以便我们对于数据库中所有的图像保持客观数据的一致性. 则对于图像f1f2位于x的局部质量图表示为:

      $S(x) = {S_{{\rm{vs}}}}(x) \cdot {[{S_{\rm{G}}}^{\prime} (x)]^{\boldsymbol{\alpha}} } \cdot {[{S_{\rm{c}}}(x)]^{\boldsymbol{\beta}} },$

      式中 ,$\alpha $$\;\beta $ 分别用于调整梯度信息和色彩信息的相对重要性,在实验中固定参数作用于数据库所有图像.

    • 所有质量评价指标的最后池化阶段都是从空间域上计算每一个图像块在不同的通道下所有的归一化误差信号. 通常采用一个如下的Minkowski形式:

      $E(\{ e_{l,k}\} ) = {\left(\sum\limits_l {\sum\limits_k {|e_{l,k}{|^{\boldsymbol{\beta}} }} } \right)^{\frac{1}{{\boldsymbol{\beta}} }}},$

      式中, $e_{l,k}$ 表示在第l通道第k个系数的归一化误差信号,$\;\beta $ 是一个介于1到4的常数.

      考虑到不同的区域对于HVS感知整个图像有不同的影响,比如图像的显著性区域比平滑区域承载在更重要的区域,并且视觉显著性图表征着图像显著区域的分布图,发生视觉显著区域的图像失真,比在其他位置更加影响HVS对图像整体质量的感知. 因此本文将视觉显著图作为在池化阶段的误差归一化策略.

      与FSIM[14]的池化形式相同,假设图像f1f2在某一位置x处有较大的值,这就意味着这个区域应该被更多地关注,因此我们用 $V_{\rm{m}}(x) = \max (V_1(x), $$ V_2(x))$ 来权衡LQM指标在全局上的重要性分布. 池化策略如下所示:

      $\theta_{{\rm{VS - GSSIM}}} = \frac{{\displaystyle\sum\limits_{x \in \Omega } {{V_{\rm{m}}}} (x) \cdot S(x)}}{{\displaystyle\sum\limits_{x \in \Omega } {{V_{\rm{m}}}} (x)}},$

      式中,Sx)表示参考图像和失真图像之间的局部质量图,Vmx)遍历了图像空间域 $\Omega $ 中所有位置,公式符合Minkowski形式.

    • 为验证本文VS-GSSIM算法的评价性能,采用公开数据库TID2008[27]和CSIQ[28]作为实验数据库. TID2008是评价图像失真水平较为完备的数据库,它由25组参考图像、17种失真类型组合成1700组失真图像,主观得分指标平均意见分数(Mean Opinion Score,MOS)的取值范围为0到9,其值越大表示图像的视觉质量越好. CSIQ由30组参考图片、866幅失真图像组成,其中包含模糊、对比度偏移、JPEG压缩等6种不同失真类型,主观得分指标微分平均意见得分(Differential Mean Opinion Score,DMOS)值的范围归一化到0到1的区间,其值越小表示图像视觉质量越好. CSIQ数据库中存在很多难以区分的图像,这就对算法衡量图像失真水平提出了很高的要求. 需要注意的是我们认为数据库每幅图像对应的主观得分为参考的“相对真实值”.

      通常情况下,用客观IQA算法的单调性和与主观评价水平的一致性来衡量评价算法的好坏. 常用4种评价IQA质量的指标为皮尔曼等级相关函数(Spearman Rank Order Correlation Coefficient,SROCC),肯德尔等级相关函数(Kendall Rank Order Correlation Coefficient,KROCC),皮尔逊线性相关函数(Pearson Linear Correlation Coefficient,PLCC)以及均方根误差(Root Mean Square Error,RMSE). SROCC和KROCC[29]不受任何非线性单调映射影响,只作用在数据点的秩上,因此常用于预测IQA算法的单调性,其值越接近于1说明算法的相关性越好;PLCC和RMSE用于预测IQA算法与主观评分的一致性. PLCC值越接近于1,说明算法精准度越好,而RMSE越小说明算法误差越小.

      为消除在主观评分过程出现的得分非线性问题,将主观得分和算法的客观分数调整到同一可比较区间,因此采用五参数逻辑映射的函数[30]对算法客观输出值fx)和对应的主观评分值x进行曲线拟合,即:

      $f(x) = {{\beta}}_{{ 1}}\left(\frac{1}{2} - \frac{1}{{1 + {{\rm{e}}^{{{\beta}}_{{ 2}}(x + {{\beta}}_{{ 3}})}}}} + {{\beta}}_{{ 4}}x + {{\beta}}_{{ 5}}\right),$

      式中,$\beta _i(i = 1,2,3,4,5)$ 为逻辑映射参数,调整参数使得fx)与客观得分x的均方误差最小. 在文中参数设为 $\;\beta _1 = 5$${\;\beta _2} = \min (x)$$\;\beta _3 = $$ {\rm{mean}}(f(x))$$\;\beta _4 = 0.1$$\;\beta _5 = 10$.

    • 用梯度遮蔽公式(6)替换FSIM算法中的梯度相似性,梯度算子[16]与所提相同. 假设用梯度遮蔽替代的方法称为$\theta_{{\rm{FSIM-M}}} $,则改写后的公式为:

      $\theta_{{\rm{FSIM}} - M} = \frac{{\displaystyle\sum\limits_{x \in \Omega } {{{[S_{{\rm{pc}}}(x)]}^{{\alpha}} } \cdot {{[g(x,y)']}^{{\beta}} }P_{{\rm{cm}}}} (x)}}{{\displaystyle\sum\limits_{x \in \Omega } {P_{{\rm{cm}}}} (x)}},$

      式中,Spc( x )和 Pcm(x ) 分别表示图像 f1f2 某一区域 x 的相位相似图和取到的较大相位一致性值.

      采用来自于文献[31]的图像测试集验证FSIM-M与主观评价的一致性,它包括1张参考图像和18张失真图像,参考图像如图5所示. 表1中列出了两种不同失真,即加性高斯噪声(Gaussian Noise,GN)和空间相关性噪声(Spatial Correlation Noise,SCN),3个不同失真等级(数字越大表示失真水平越高),遮蔽影响的不同程度(N—无遮蔽,L—轻遮蔽程度,H—高遮蔽程度)的失真图像的信息以及FSIM,FSIM-M的指标得分.

      图  5  遮蔽测试参考图像Patterns

      Figure 5.  Reference image Patterns for masking test

      图像
      编号
      噪声
      类型
      失真
      等级
      遮蔽
      影响
      RSEFSIMFSIM-M
      1GN1N3.60.96790.9647
      2GN2H1.60.97530.9731
      3GN3L6.70.96620.9591
      4SCN1N12.70.91580.9001
      5SCN2H5.30.96130.9561
      6SCN3L13.00.91940.9051
      7GN1N5.60.96150.9564
      8GN2H2.80.96750.9639
      9GN3L8.40.96080.9525
      10SCN1N14.70.90170.8836
      11SCN2H10.30.93910.9279
      12SCN3L14.90.90980.8945
      13GN1N8.00.95040.9423
      14GN2H5.40.95410.9470
      15GN3L10.00.95160.9414
      16SCN1N16.30.88120.8607
      17SCN2H14.50.90760.8900
      18SCN3L17.10.89210.8755

      表 1  FSIM和FSIM-M算法在遮蔽测试集上的评价指标对比

      Table 1.  Comparison of evaluation indicators of FSIM and FSIM-M algorithms on the masking test set

      采用相对平方误差(Relative Squared Error,RSE)表示参考图像和失真图像之间的主观差异,其值越小说明质量越高. 通过指标KROCC和SROCC以及PLCC和RMSE值评判算法的单调性和与主观评价的一致性.

      表2的实验结果看,FSIM-M在各个指标下均优于FSIM,尤其是在RMSE指标上要远优于FSIM. 因此考虑了梯度信息之间相互遮蔽的问题可以使算法更符合HVS的评判.

      评价指标 FSIM FSIM-M
      KROCC 0.8301 0.8431
      SROCC 0.9546 0.9587
      PLCC 0.9554 0.9626
      RMSE 4.7709 1.2957

      表 2  FSIM和FSIM-M算法的相关性对比

      Table 2.  Comparison of the correlation between FSIM and FSIM-M algorithms

    • 选取TID2008数据库中参考图像I04及其失真图像I04-01-2、I04-03-2、I04-04-2、I04-08-2、I04-10-2,编号表示的失真类型分别是加性高斯噪声、空间位置相关噪声、遮蔽噪声、高斯模糊和JPEG压缩. 如图6所示,(a)表示参考图像,(b)(f)为失真图像. HVS是一个高度自适应的系统,因此不同的失真会产生不同的视觉感知质量,5幅失真图像的MOS值如表3所示,其值越大表示图像的感知质量越高. 因此失真图像的感知质量从好到差分别是(d)(e)(f)(b)(c),分别对比VS-GSSIM和几种算法的客观得分,这几种算法分别是未使用人类视觉系统模型但广泛应用的UIQ(Universal Image Quality);基于数学统计特征信息的峰值信噪比PSNR,最广泛认可的基于图像结构信息SSIM及其多尺度的变体形式MS-SSIM,以及同样采用视觉注意力机制的VSI和结合彩色信息特征相似性算法的指标FSIMc,对应的图像感知质量排名如表4所示. 实验结果表明所提算法因为考虑了梯度遮蔽的问题,与算法VSI和FSIMc相同,且与主观评判一致.

      图  6  TID2008 I04测试图像

      Figure 6.  TID2008 I04 test images

      评价算法(b)(c)(d)(e)(f)
      MOS4.9433.9146.2425.5715.286
      UQI0.9980.9920.9991.0070.997
      PSNR27.00527.01727.21233.23431.955
      SSIM0.6870.7360.8510.8990.848
      MS-SSIM0.9020.8040.9780.9830.943
      VSI0.9890.9620.9980.9960.992
      FSIMc0.9040.8820.9950.9810.973
      VS-GSSIM0.9720.9150.9970.9910.979

      表 3  几种IQA算法对图6的得分

      Table 3.  Scores of several IQA algorithms for Fig.6

      评价算法(b)(c)(d)(e)(f)
      MOS45123
      UQI35214
      PSNR54312
      SSIM54213
      MS-SSIM45213
      VSI45123
      FSIMc45123
      VS-GSSIM45123

      表 4  几种IQA算法对图6客观得分与主观评价一致性验证

      Table 4.  Consistent verification of objective score and subjective evaluation of several IQA algorithms for Fig.6

    • 在CSIQ数据库测试不同的IQA算法的整体评价性能,为体现算法的优越性,挑选性能较好的PSNR、VIF、IFC、SSIM、MS-SSIM、GSSIM、FSIMc和MAD算法参与对比. 其中VIF和IFC算法的普适性较高,MAD算法是时下普遍认为结果较好的算法. 实验中的算法除GSSIM外,均采用作者提供的源代码,参数均为默认值,主观得分DMOS/MOS均采用各个算法在CSIQ数据库中给出的得分. 需要注意的是,GSSIM算法作者没有上传源代码,考虑到它作为对比算法有着重要的比较意义,因此根据文献复现此算法,参数为该论文中所提及的参数. 在表5中列出了各个算法分别计算SROCC,KROCC,PLCC和RMSE得分后的结果(对于各个算法的4种评价指标均使用文献[30]中算法的默认值计算得出),排名前三的结果值已用黑体表示. 实验结果表明:在9个算法当中,本算法有3个指标排名前三,且排名第四的RMSE指标与第三位的值非常接近,综合排名超过FSIM算法排在第二位.

      指标PSNR[3]VIF[8]SSIM[10]IW-SSIM[12]MS-SSIM[11]GSSIM[15]MAD[7]FSIMc[13]VS-GSSIM
      SROCC0.81060.91950.87560.92130.91330.88240.94660.92420.9344
      KROCC0.62470.75370.69070.75290.73930.68990.79700.75670.7685
      PLCC0.80020.92770.86130.91440.89910.86560.95020.91200.9171
      RMSE0.15750.09800.13340.10630.11490.13150.08180.10070.1046

      表 5  各种算法在CSIQ数据库上评价指标对比

      Table 5.  Comparison of evaluation indicators of various algorithms on the CSIQ database

      图7中列出IQA指标主观评价与客观得分的散点分布图,图中的点与拟合曲线越接近,说明算法预测的结果与主观评价的一致性越好. (a)~(i)图分别对应表5中的各个指标,对比(g)、(b)和(i)图,可以看出(g)图的点密集分布在曲线两侧,其一致性最优,(b)图因为有大量分散的点位于客观得分的中部区间([0.4,0.6]),所以聚合性不如(i)图;除此之外,可以直观地感受到(i)图点与曲线的聚合程度要优于包括(h)图FSIM和(f)图GSSIM算法在内的其他所有算法,因此本文所提的VS-GSMM指标的准确性和主观一致性要优于当今流行的绝大部分算法.

      图  7  IQA模型客观得分与MOS/DMOS之间的散点图

      Figure 7.  Scatter plots between objective scores of several IQA models and MOS/DMOS

    • 表6中列出了各IQA算法评价一对384×512彩色图像所需的执行时间,为了减小误差,在同一台计算机上以多次运行求平均时间的方式进行比较. 从表6中可以看出,VS-GSSIM具有较低的计算复杂度,其计算时间要低于FSIMc,运行效率要远远高于MAD,GSSIM和SSIM算法. 这表明VS-GSSIM更有利于应用到需要计算大量失真图像质量的场景.

      评价指标 运行时间/s
      PSNR 0.0138
      SSIM 0.6692
      GSSIM 0.5908
      VSI 0.1558
      FSIMc 0.1398
      MAD 1.0753
      VS-GSSIM 0.1261

      表 6  各种IQA算法运行时间比较

      Table 6.  Comparison of runtime of various IQA algorithms

    • 本文提出了一种基于遮蔽效应的全参考图像质量评价指标VS-GSSIM,结合梯度的遮蔽效应和视觉显著性模型,同时解决了梯度相似性指标与HVS不一致的问题,其计算复杂度较低. 与GSSIM相比,所提方法在SROCC、KROCC、PLCC和RMSE的指标性能上分别优化了5.9%、11.4%、6.0%和20.5%,超过绝大多数指标. 然而本文低估了模糊失真的影响,今后的研究将从多失真类型的角度进行.

参考文献 (31)

目录

    /

    返回文章
    返回