旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

论文基于DA Faster R-CNN系列提出种别正则化框架,充分行使多标签分类的弱定位能力以及图片级展望和实例级展望的类一致性,从实验效果来看,类该方式能够很好地提升DA Faster R-CNN系列的性能

泉源:晓飞的算法工程条记 民众号

论文: Exploring Categorical Regularization for Domain Adaptive Object Detection

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

Introduction

  由于标注成本大,在训练好检测算法后,面临差异较大的新场景(种别稳定),若想获取大量的带标注图片举行再训练是很不利便的。对于这种情形,无监视的域自适应方式能够天真地自适应新场景,从包罗厚实标注信息的源域转移到无标注的目的域。其中,域自适应方式中比较有代表性的是Donamin Adaptive(DA) Faster R-CNN系列,行使匹敌训练来对齐图片和实例的漫衍,使得模子能够做到域稳定性,详细可以看上一篇先容。
  然则这些方式多数把无法转化的靠山内容也举行了对齐,而且在实例对齐时,没有从包罗较多低质量的proposal聚集中识别出难样本。为了解决上面的问题,论文提出种别正则化框架,辅助DA Faster R-CNN专注于对齐跨域中的要害区域和主要目的。
  论文的主要孝敬如下:

  • 提出新的种别正则化框架,作为域自适应目的检测算法的插件,不需要分外的标注和超参数。
  • 设计了两个正则化模块,划分用于榨取卷积分类器的弱定位能力以及图像级别展望和实例级别展望间的种别一致性,能够辅助分类器专注于对齐目的相关区域以及难对齐实例。
  • 对多种域转移场景举行实验,验证论文提出的方式的有用性。从实验效果来看,种别正则化框架能够提出DA Faster R-CNN系列方式的性能,并在基础数据集上到达SOTA。

Approach

Framework Overview

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  论文方式的整体架构如图2,在DA Faster R-CNN基础上添加了ICR(image-level categorical regularization)和CCR(categorical consistency regularization),能够更好地对齐域间的要害区域和主要实例。

Image-Level Categorical Regularization

  ICR的主要目的是提高主干网络的目的特征提取能力,同时降低靠山的激活。结构如图2b所示,ICR使用源域数据举行有监视训练,对主干网络的特征输出举行全局池化,再使用多标签分类器($1\times 1$卷积)举行分类,损失函数使用尺度交织熵多标签损失:

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  $C$为种别总数,$yc$为GT标签,$\hat{y}c$为展望标签,$y^c=1$示意图片至少包罗一个种别$c$物体。

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

 ICR模块行使多标签分类器的弱定位能力,能够有监视地指导主干网络只激活类相关特征。如图3所示,类相关的特征会有较高的激活值。在图像级对齐时,能够对齐域间要害区域,同时,由于靠山没有介入到图像级多标签分类器中,能够有用削减拟合不能对齐的源靠山的可能性。

Categorical Consistency Regularization

  CCR卖力发现难对齐实例,调整实例级对齐损失的权重,基于两点思量:

  • 由于不能区分远景和后景,实例对齐模块可能被低质量靠山proposal占有。
  • 添加的图像级分类器和实例检测head是互补的,前者卖力获取所有图像级上下文信息,后者使用正确的RoI特征,当两者展望不一致时,该实例就是难样本。

  基于以上思量,论文接纳图像级展望和实例级展望的种别一致性作为目的分类难易水平的判断,并在目的域中使用该一致性作为正则因子,调治难对齐样本在实例对齐中的权重。假定$\hat{p}{c}_j$为展望第$j$个实例为种别$c$的概率,$\hat{y}c$为实例展望包罗种别$c$的概率,种别一致性的盘算为

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  使用公式5来加权实例级匹敌损失

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  需要注重,仅对目的域的检测head展望为远景的实例使用公式5加权,源域的所有实例和目的域的靠山实例均使用$d_j=1$,前者由于是有监视的,而后者则是由于不主要。

Integration with DA Faster R-CNN Series

  将论文提出的方式加入到DA Faster R-CNN中,ICR为直接加入,CCR为对原损失的修改,最终的损失函数为

一对多分页的SQL到底应该怎么写?

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  论文也对比了另外一种主流的DA -Faster改善SW-Faster,该方式使用弱全局对齐模子来提升DA-Faster的强图像对齐模块,直接加入ICR和CCR,最终的损失函数为

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

Experiments

Comparison Results

  Faster R-CNN(Source)仅使用源域训练,Faster R-CNN(Oracle)仅使用目的域训练。

  • Weather Adaptation

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  这里对比模子对天气的自适应性。

  • Scene Adaptation

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  这里对比模子对差别都会的场景的自适应性。

  • Dissimilar Domain Adaptation

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  这里对比模子对真实图片和卡通图片的自适应性。

Visualization and Analyses

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  对前面临比实验的目的域测试图片举行了可视化。

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

  将特征降维并可视化,蓝点为源域样本,红点为目的域样本,可以看到论文的方式能够让域间的同分类实例距离更近。
  论文也盘算了域间距离,使用Earth Movers Distance (EMD) 丈量,SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR的效果划分是8.84、8.59和8.15。

CONCLUSION

  论文基于DA Faster R-CNN系列提出种别正则化框架,充分行使多标签分类的弱定位能力以及图片级展望和实例级展望的类一致性,从实验效果来看,类该方式能够很好地提升DA Faster R-CNN系列的性能。



若是本文对你有辅助,贫苦点个赞或在看呗~
更多内容请关注 微信民众号【晓飞的算法工程条记】

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

原创文章,作者:admin,如若转载,请注明出处:https://www.2lxm.com/archives/18015.html