面向变电设备金属锈蚀检测的分层嵌套标注方法

张昭 张沛 曹勇 杨莎 黄树欣 孙瀚 张柏礼

引用本文:
Citation:

面向变电设备金属锈蚀检测的分层嵌套标注方法

    作者简介: 张 昭(1983−),男,河北人,高级工程师,主要研究电力系统自动化、计算机应用. E-mail:176733514@qq.com;
    通讯作者: 张柏礼, 402468432@qq.com
  • 中图分类号: TP181

A hierarchical annotation method for metal corrosion detection of power equipment

    Corresponding author: ZHANG Bai-li, 402468432@qq.com
  • CLC number: TP181

  • 摘要: 金属锈蚀对变电设备会造成持续性的破坏,形成安全隐患. 基于深度学习的金属锈蚀自动检测方法是目前一种可行的方法. 然而金属锈蚀形状的不规则性和可拆分性导致在训练样本标注时,标注者面临很多歧义,存在难以实现标注过程标准化和标注结果一致性的问题. 为此, 提出一种新的训练样本分层嵌套标注方法. 首先,采用较大的矩形框对锈蚀区域进行大面积标注;其次,在第一步的标注框内,对那些特征非常明显并具有相对独立性的区域进行二次标注,形成第二层的内部嵌套标注,这种标注方法不存在标注歧义,易于统一和标准化,容易获得稳定的标注质量,另外,这种标注方法突出了锈蚀特征,并一定程度上增加了被标注锈蚀的样本数量,实现了数据增强;最后,通过一系列实验表明,采用分层嵌套标注方法后,YOLOv5召回率从50.79%提升至59.41%,Faster R-CNN+VGG16召回率从66.50%提升至78.94%,Faster R-CNN+Res101召回率从78.32%提升至84.61%.
  • 图 1  方法1的标注结果

    Figure 1.  The annotation result by method 1

    图 2  方法2的标注结果

    Figure 2.  The annotation result by method

    图 3  金属锈蚀的可拆分性

    Figure 3.  The detachability of metal corrosion

    图 4  方法3的标注结果

    Figure 4.  The annotation result by method 3

    图 5  矩形框融合示意图

    Figure 5.  The diagram of merging rectangles

    图 6  多边形标注的标注结果

    Figure 6.  The annotation result by polygons

    图 7  检测结果中含有大量的非锈蚀区域

    Figure 7.  Existing a large non-corroded area in detection result

    图 8  不同标注方法下不同模型的召回率

    Figure 8.  The recall of each model with different annotation method

    图 9  Faster R-CNN+Res101检测结果

    Figure 9.  Outputs results of Faster R-CNN+Res101

    表 1  二分问题混淆矩阵

    Table 1.  Confusion matrix for binary classification

    实际结果检测结果
    正例反例
    正例PTNF
    反例PFNT
    下载: 导出CSV

    表 2  模型的超参数

    Table 2.  Hyper-parameters of these models

    检测模型批尺寸轮次学习率动量权重衰减
    YOLOv514000.010.90.0005
    Faster R-CNN11000.0010.90.0005
    下载: 导出CSV

    表 3  不同标注方法下不同模型的实验结果

    Table 3.  Experimental result of different models with different annotation methods

    检测模型标注方式查准率召回率
    YOLOv5方案189.5851.20
    方案293.8450.79
    方案391.1459.41
    Faster R-CNN+VGG16方案184.7266.50
    方案284.6970.51
    方案382.9578.94
    Faster R-CNN+Res101方案180.4978.32
    方案282.3182.69
    方案381.4884.61%
    下载: 导出CSV
  • [1] 罗贝热 P R, 吴荫顺, 李久青. 腐蚀工程手册[M]. 北京: 中国石化出版社, 2003.
    [2] Dunn W L, Yacout A M. Corrosion detection in aircraft by X-ray backscatter methods[J]. Applied Radiation and Isotopes, 2000, 53(4): 625-632.
    [3] Doshvarpassand S, Wu C, Wang X. An overview of corrosion defect characterization using active infrared thermography[J]. Infrared Physics & Technology, 2019, 96: 366-389.
    [4] Wicker M, Alduse B P, Jung S. Detection of hidden corrosion in metal roofing shingles utilizing infrared thermography[J]. Journal of Building Engineering, 2018, 20: 201-207. DOI:  10.1016/j.jobe.2018.07.018.
    [5] 罗萍萍, 林旭梅, 刘振东. 基于电磁法的钢筋混凝土腐蚀度检测研究[J]. 测控技术, 2018, 37(2):110-113.
    [6] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551. DOI:  10.1162/neco.1989.1.4.541.
    [7] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1 137-1 149.
    [8] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, USA. 2016: 779-788.
    [9] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]// IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, US, 2017: 6517-6525.
    [10] 范海兵, 胡锡幸, 刘明一, 肖俊. 深度学习在电力设备锈蚀检测中的应用[J]. 广东电力, 2020,33(9):154-165
    [11] Yao Y, Yang Y, Wang Y, et al. Artificial intelligence-based hull structural plate corrosion damage detection and recognition using convolutional neural network[J]. Applied Ocean Research, 2019, 90: 101823. DOI:  10.1016/j.apor.2019.05.008.
    [12] Jocher G, Stoken A, Borovec J, et al. ultralytics/yolov5: v3.1 - Bug Fixes and Performance Improvements[J]. Zenodo, 2020. https://doi.org/10.5281/zenodo.4154370
    [13] Oquab M, Bottou L, Laptev I, et al. Learning and transferring mid-level image representations using convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 1 717-1 724.
    [14] Kornblith S, Shlens J, Le Q V. Do better imagenet models transfer better?[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA. 2019: 2 661-2 671.
    [15] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations, San Diego, CA, USA, 2015.
    [16] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas, NV, USA. 2016: 770-778.
    [17] Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. Atlanta, USA. 2013: 1 139-1 147.
  • [1] 陆正福周宪法杨慧慧李佳 . 基于深度学习的隐私保护型分布式人脸识别系统. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20200404
    [2] 姚如苹孙静潘家华王威廉 . 基于变值逻辑与深度学习模型的心音分类研究. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20200549
    [3] 梅礼晔郭晓鹏张俊华郭正红肖佳 . 基于空间金字塔池化的深度卷积神经网络多聚焦图像融合. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20170670
    [4] 丁斋生周冬明聂仁灿侯瑞超刘栋刘琰煜 . 基于视觉显著性与残差网络的红外-可见光图像融合方法. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20180692
    [5] 钟鼎杰杨存建 . 基于遥感影像的山岳冰川信息计算机解译方法探讨——以梅里雪山为例. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20200543
    [6] 刘东陈境宇王生生 . 基于空间自适应和混合损失对抗网络的乳腺肿块图像分割方法. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20210223
    [7] 薛琪孟祥福张峰张霄雁朱金侠朱尧王丹丹 . HLMGAN:分层学习的多奖励文本生成对抗网络. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.P00173
    [8] 燕志星王海瑞杨宏伟靖婉婷 . 基于深度学习特征提取和GWO-SVM滚动轴承故障诊断的研究. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20190535
    [9] 陈满李茂军李宜伟赖志强 . 基于深度强化学习和人工势场法的移动机器人导航. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20210091
    [10] 宋媛李辉刘逵刘毅鹏杨若文 . 欧亚积雪深度的时空分布特征分析. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20140453
    [11] 徐继伟杨云 . 集成学习方法:研究综述. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20180455
    [12] 宋炯金钊杨维和 . 机器学习中加速强化学习的一种函数方法. 云南大学学报(自然科学版),
    [13] 李建有王朝进徐兴倩林凤仙 . 昆明盆地剪切波速与土层深度关系的统计分析. 云南大学学报(自然科学版),
    [14] 孙雪华潘晓英 . 基于PSO-CG优化深度信念网络的人脸表情识别. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20190471
    [15] 李淼周冬明刘琰煜谢诗冬王长城卫依雪 . 结合深度残差神经网络与Retinex理论的低照度图像增强. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20200421
    [16] 胡光华胡光涛 . 基于线性近似的即时差分学习. 云南大学学报(自然科学版),
    [17] 邱宇青胡光华潘文林 . 基于正交表的支持向量机并行学习算法. 云南大学学报(自然科学版),
    [18] 董伟李郑刚 . 自动分层存储技术在现代存储中的应用分析与前景展望. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.2013b2
    [19] 刘云王海花向婵 . WSN中基于中间节点的分层分簇网络生命周期优化研究. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20160727
    [20] 王一成万福成马宁 . 基于条件随机场的多线索中文语义角色标注. 云南大学学报(自然科学版), doi: 10.7540/j.ynu.20190397
  • 加载中
图(9)表(3)
计量
  • 文章访问数:  152
  • HTML全文浏览量:  121
  • PDF下载量:  3
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-04-20
  • 录用日期:  2021-07-24
  • 网络出版日期:  2021-10-08

面向变电设备金属锈蚀检测的分层嵌套标注方法

    作者简介:张 昭(1983−),男,河北人,高级工程师,主要研究电力系统自动化、计算机应用. E-mail:176733514@qq.com
    通讯作者: 张柏礼, 402468432@qq.com
  • 1. 智能电网保护和运行控制国家重点实验室,江苏 南京 211106
  • 2. 南瑞集团,江苏 南京 211106
  • 3. 国网山东省电力公司枣庄供电公司,山东 枣庄 27099
  • 4. 东南大学 计算机科学与工程学院,江苏 南京 211189

摘要: 金属锈蚀对变电设备会造成持续性的破坏,形成安全隐患. 基于深度学习的金属锈蚀自动检测方法是目前一种可行的方法. 然而金属锈蚀形状的不规则性和可拆分性导致在训练样本标注时,标注者面临很多歧义,存在难以实现标注过程标准化和标注结果一致性的问题. 为此, 提出一种新的训练样本分层嵌套标注方法. 首先,采用较大的矩形框对锈蚀区域进行大面积标注;其次,在第一步的标注框内,对那些特征非常明显并具有相对独立性的区域进行二次标注,形成第二层的内部嵌套标注,这种标注方法不存在标注歧义,易于统一和标准化,容易获得稳定的标注质量,另外,这种标注方法突出了锈蚀特征,并一定程度上增加了被标注锈蚀的样本数量,实现了数据增强;最后,通过一系列实验表明,采用分层嵌套标注方法后,YOLOv5召回率从50.79%提升至59.41%,Faster R-CNN+VGG16召回率从66.50%提升至78.94%,Faster R-CNN+Res101召回率从78.32%提升至84.61%.

English Abstract

  • 变电设备因长期暴露在户外环境中,容易产生金属锈蚀. 金属锈蚀是金属材料表面和内部微观结构与腐蚀环境相互作用而引起的劣化结果[1],会对变电设备安全运行和使用寿命产生不利的影响. 因此,需要通过定期/不定期变电设备巡检,及时发现金属锈蚀并及时解决. 除了依赖人工肉眼检测外,金属锈蚀的非破坏性无损检测技术是一种常见的解决方法,如X光[2]、红外热成像[3, 4]以及电磁图[5]等. 但上述方法均对检测环境、检测仪器、检测人员专业水平有着较高要求. 目前,利用卷积神经网络(Convolutional Neural Networks,CNN)[6]对RGB图像自动提取特征,再进行检测定位成为金属锈蚀检测的一种趋势. 其中,以Faster R-CNN[7],YoLo[8-9]为代表基于区域建议目标检测算法在具有较高精度的同时,也具有很好的检测速度.

    然而,金属锈蚀存在普遍的形状不规则性和可拆分性,使得训练样本标注时,标注者面临着很多歧义,难以实现标注过程标准化和标注结果一致性,标注质量不稳定,使得模型在训练中难以有效捕获金属锈蚀内在特征,直接影响目标检测模型的效果[10]. 针对上述问题,本文提出一种分层嵌套标注方法:首先,采用较大的矩形框对锈蚀出现范围内进行大面积标注,只要在视觉上是连续的、相邻的不能清晰划分的锈蚀都用一个较大的矩形框标注;接着,在第一步的标注框内,对那些特征非常明显并具有相对独立性的区域进行二次标注,形成第二层的内部嵌套标注. 这种标注方法简单直白,可以有效保证每个训练样本标注结果的唯一性,易于标注者掌握和标准化,利于形成稳定的标注质量,而且这种标注突出了锈蚀的特征并一定程度上增加了被标注锈蚀的样本数量,实现了数据增强,使得模型在训练中更容易捕捉到锈蚀的特征.

    本文的主要贡献如下:

    (1)针对变电设备的金属锈蚀精准检测,提出了新的数据集标注方法——分层嵌套标注方法;

    (2)在金属锈蚀检测领域,引入了检测框融合算法,实现检测结果归一化;

    (3)针对金属锈蚀检测领域的特点,引入了新的查准率、召回率定义.

    • 自AlexNet[11]在ImageNet大赛上展现优异成绩后,利用CNN进行特征提取并进行图像分类的方式得到了快速发展,广泛应用于各种领域的图像识别、目标检测. 针对金属锈蚀检测,目前以CNN为核心的目标检测模型中最具是代表性是Faster R-CNN和YOLO,它们通过预定义不同尺寸形状的anchor来检测不同尺寸形状的目标区域,可以同时解决分类和定位的问题.

      目标检测模型的训练效果高度依赖于足量的和高质量的数据集,针对目标检测任务的图片标注主要有2D边界框/矩形框(Bounding Boxes)、3D边界框/长方体(Cuboids)、多边形(Polygons)3种标注方法. 3D长方体标注可以显示目标的深度,用于立体图像中的识别对象,对于金属锈蚀的检测一般不涉及对象的深度,故未采用这种方法. 矩形框标注相对简单而常用,但标注的矩形区域通常含有非目标对象,尤其金属锈蚀具有明显的非规则性,导致标注的矩形框内可能存在大面积的非锈蚀区域,训练的模型难以学习到有效的锈蚀内在特征,进而影响识别精准度. 而采用多边形方法可以很好地吻合目标的形状,解决上述不足,但其标注非常耗时,成本非常高,因此实践中很少被用于数据集的大规模标注.

      针对金属锈蚀的形状不规则性导致标注结果可能包含大面积非锈蚀区域的问题,文献[12]首先通过滑动窗口截取较小的区域,以此来降低窗口中含有的非锈蚀区域;接着,再使用小型的CNN依次判断每个窗口是否为锈蚀区域. 但是这种将一张图片切分成多个微小的窗口,使得模型只关注窗口中的局部像素数据而忽略了全局像素数据. 其感受野过低导致模型学习到的特征过于局部、片面. 同时,窗口的尺寸导致设计的CNN不能太大,模型的学习能力受限. 因此,该方法容易产生误判,检测效果不佳.

    • 在变电设备中,由于设备大小不一以及锈蚀蔓延等问题导致锈蚀区域的形状大小具有不规则性. 同时,金属锈蚀往往又具有可拆分性,其既可以作为一整片锈蚀的组成部分,又可以看成一个个独立的锈蚀区域. 针对金属锈蚀这种特性,在矩形框标注的使用方面,一般有两种不同策略的标注方法:①采用尽可能小的标注框去标注锈蚀区域;②采用尽可能大的标注框去标注锈蚀区域.

      采用方法①可以尽可能减少矩形框中包含的非目标区域,但是金属锈蚀蔓延特性会导致一块锈蚀区域与邻近的非锈蚀区域之间会存在一段锈蚀程度逐渐减轻的锈蚀蔓延区域,使得标注者面临着很多歧义,如直接忽略,往往会漏掉一些锈蚀蔓延区域,如图1中标注结果附近存在部分未标注的锈蚀区域. 然而锈蚀蔓延是金属锈蚀的一个非常重要特征,如果选择标注,标注过程则难以标准化并导致标注结果的多样性,模型训练效果不佳.

      图  1  方法1的标注结果

      Figure 1.  The annotation result by method 1

      若采用方法②(尽可能大的标注框)对训练集进行标注,因为采用尽可能大的标注框以标注所有的锈蚀区域,则不存在方法①中难以标注的问题. 采用方法②标注的结果如图2所示.

      图  2  方法2的标注结果

      Figure 2.  The annotation result by method

      但是方法②也存在一定的不足:除了增加了矩形框中包含非目标区域外,由于变电设备的器件具有可拆分性,这使得图2中作为锈蚀区域一部分的螺帽在图3中却作为独立的锈蚀个体并被标注. 即可拆分性导致同为锈蚀的螺帽具有不同的标注结果;而在图2中,标注框内右上角的锈蚀螺帽与右下角的非锈蚀螺帽均没有被独立标注,这意味着不同类型的螺帽存在相同的标注结果. 综上所述,方法②在标注过程中存在二义性,也会导致模型训练的不稳定.

      图  3  金属锈蚀的可拆分性

      Figure 3.  The detachability of metal corrosion

      为此,本文提出一种分层嵌套标注方法作为金属锈蚀的第③种标注方法:首先,采用尽可能大的标注框对锈蚀进行大面积标注,只要在视觉上是连续的、相邻的不能清晰划分的锈蚀都用一个较大的矩形框标注,如图4中的框GT1;然后,在第一步的标注框内,对那些特征非常明显并具有相对独立性的区域进行二次标注,形成第二层的嵌套标注,如图4中的GT2、GT3. 由此可见,分层嵌套标注不仅解决了方法①在标注过程中产生漏标的问题,而且解决了方法②在标注过程中产生歧义的问题. 同时,采用分层嵌套标注方法后,大大增加了标注框数目进而达到数据增强的效果,一定程度上抵消了矩形框中包含非目标对象带来的负面影响.

      图  4  方法3的标注结果

      Figure 4.  The annotation result by method 3

    • 虽然分层嵌套标注法可以有效解决标注遗漏和标注歧义的问题,但也出现了标注框嵌套的新问题. 因此,采用分层嵌套标注的方法训练得到的模型,其检测结果中也会出现检测框嵌套的新问题,如图5(a)中的检测框A、B. 这对检测结果的可视化展示和模型评价指标计算都会产生干扰. 虽然不影响检测的实际效果,但与主流的检测结果展示方式不符. 为此,本文对检测结果进行了转换处理:依次判定任意两个检测框是否相交,如果相交则以二者的外接多边形进行替代,直至检测结果中任意两个检测框都不相交. 即使用图5(b)的橘色多边形C代替矩形框A、B作为最终检测结果.

      图  5  矩形框融合示意图

      Figure 5.  The diagram of merging rectangles

    • 通过第2节讨论可知,使用3种不同方法标注同一锈蚀样本,可能会出现不同的标注结果. 因此,采用方法①、方法②与方法③制作的测试集不可能相同. 即3种标注方法训练得到的模型无法采用统一的测试集去比较优劣. 针对上述问题,本文以多边形标注方式对测试集进行标注,以此来制作统一的测试集. 其标部分标注样本如图6所示.

      图  6  多边形标注的标注结果

      Figure 6.  The annotation result by polygons

      在本次实验中,采用模型的查准率和召回率作为评价指标. 根据检测结果是否正确可以将分类结果划分为4类. 如表1所示.

      实际结果检测结果
      正例反例
      正例PTNF
      反例PFNT

      表 1  二分问题混淆矩阵

      Table 1.  Confusion matrix for binary classification

      在目标检测中,通常采用交并比对检测结果正确与否进行判断. 交并比计算的是“检测的边框”和“真实的边框”的交集和并集的比值. 通常在实际工程项目中,设定交并比的阈值为0.5,即交并比大于0.5时,可以认为机器检测到了目标. 对于本文而言,由于测试集是以多边形的方式进行标注. 一个检测框与标注框之间的交并比往往很低,如图7所示,检测框与任意一个标注框的交并比都低于0.5, 因此不适合直接采用交并比来判断检测结果是否正确.

      图  7  检测结果中含有大量的非锈蚀区域

      Figure 7.  Existing a large non-corroded area in detection result

      为此,本文根据锈蚀检测的特点,通过以下标准来计算模型的查准率和召回率.

      (1)为了降低图片尺寸的影响,在计算之前将所有图片尺寸进行归一化处理. 召回率的计算公式如下:

      $ {召回率}=\frac{检测正确的总锈蚀区域面积}{总锈蚀区域面积}\times 100\% . $

      (2)如图7所示,即使模型很好的检测到了锈蚀区域,但检测结果中仍含有大量的非锈蚀区域. 因此,将检测正确的总锈蚀面积与检测的总面积之间的比作为查准率计算公式,得到的查准率往往很低,无法真实描述模型的优劣. 针对上述问题,本文将从检测数目的角度出发来计算查准率,即将含有锈蚀的检测结果视为检测正确,并以检测数目来计算模型查准率. 因此,查准率计算公式如下:

      $ {查准率}=\frac{检测正确的总数目}{检测的总数目}\times 100\% . $

      最终,本文通过制作统一的测试集,保证了3种标注方法可以在同一个测试集中进行横向对比;通过上述两种计算公式,使得其能够更加真实的描述模型的检测效果.

    • 本文的硬件平台是AMAX GPU服务器(I7-9800, 32GRAM, RTX2080Ti),以PyTorch为深度学习框架,以Faster R-CNN, YOLOv5[13]为实验的检测模型,以查准率、召回率为训练模型的评价指标. 表2所示:

      检测模型批尺寸轮次学习率动量权重衰减
      YOLOv514000.010.90.0005
      Faster R-CNN11000.0010.90.0005

      表 2  模型的超参数

      Table 2.  Hyper-parameters of these models

    • 实验采用以大规模训练集训练得到的骨干网进行模型参数初始化,再通过迁移学习微调的方式训练锈蚀检测模型[14-15].

      首先,本文采用多边形标注的方式标注了199张图片作为测试集,使用3种标注方法分别标注了1180张图片作为训练集;接着,分别以VGG16[16],Res101[17]为骨干网,SGD[18]为优化器,训练了Faster R- CNN检测模型、以DarkNet53[9]为骨干网,SGD为优化器,训练了YOLOv5检测模型. 最后采用检测框融合算法将检测结果中的相交检测框融合处理后,再计算检测模型的查准率、召回率. 训练中采用的超参数如表2所示.

    • 每个模型在不同标注方法下的实验结果如表3所示. 通过实验结果发现:Faster R-CNN相较于YOLOv5具有更高的召回率,但其查准率也更低;而在Faster R-CNN模型中,相较于VGG16,以Res101为骨干网具有更高的召回率,而查准率则略微下降;用分层嵌套标注的样本进行训练后,YOLOv5和Faster R-CNN在查准率几乎不变的同时提高了模型的召回率;而Faster R-CNN+Res101的召回率达到了所有实验的最大值,84.61%.

      检测模型标注方式查准率召回率
      YOLOv5方案189.5851.20
      方案293.8450.79
      方案391.1459.41
      Faster R-CNN+VGG16方案184.7266.50
      方案284.6970.51
      方案382.9578.94
      Faster R-CNN+Res101方案180.4978.32
      方案282.3182.69
      方案381.4884.61%

      表 3  不同标注方法下不同模型的实验结果

      Table 3.  Experimental result of different models with different annotation methods

      结合实际中变电站对金属锈蚀检测需求和处理流程,对实验结果做进一步分析:

      (1)YOLOv5模型虽然具有最高的查准率,但同时也具有最低的召回率. 而在实际应用中,往往需要对模型的检测结果进行人工复核. 因此,相较于拥有更高的查准率,实际应用中更倾向于锈蚀检测模型能够拥有更高的召回率,尽可能不要出现锈蚀的遗漏.

      (2)在Faster R-CNN中,Res101在查准率略低于VGG16的情况下,其召回率却更高. 因为Res101模型结构相较于VGG16拥有更多的卷积层,也更加复杂,因此也能学习到更多的特征. 因此,在同一检测框架中,骨干网的特征提取能力越强,锈蚀检测效果则越好.

      (3)采用分层嵌套标注后,各个模型的召回率相较其他两个方案都得到了提高,如图8所示.

      图  8  不同标注方法下不同模型的召回率

      Figure 8.  The recall of each model with different annotation method

      实验中使用的模型都是基于区域建议的目标检测模型,即通过预定义不同形状尺寸的anchor来检测不同形状尺寸的目标. 因此,相较于方法①(尽可能使用小的标注框),分层嵌套标注法增加了较大标注框的数量. 其在不影响小尺寸anchor的检测能力的同时,提高了大尺寸anchor的检测能力,进而提高了模型的综合检测能力. 而相较于方法②同理. 最终,采用分层嵌套标注后,模型的检测效果会得到提升. 综上所示,采用分层嵌套标注方法的Faster R-CNN+Res101模型检测效果最好,其部分锈蚀检测结果如图9所示.

      图  9  Faster R-CNN+Res101检测结果

      Figure 9.  Outputs results of Faster R-CNN+Res101

    • 本文提出了一种新型的分层嵌套标注方法,确定了锈蚀样本的标注标准并解决了标注结果不一致的问题. 同时,针对检测结果嵌套的现象,仅需要对其进行简单后处理即可解决. 采用该方法后,各模型的锈蚀检测能力均得到了提高,为锈蚀等其他不规则样本的数据标注提供了新思路,下一步可以应用于变电站巡检机器人平台,实现对锈蚀等变电设备缺陷的智能检测.

参考文献 (17)

目录

    /

    返回文章
    返回