【论文盘点】2019显著性目标检测论文概览
写在开头：本次盘点涵盖2019年CVPR和ICCV两大视觉顶会中的大部分显著性目标检测论文，旨在分析2019年内该方向的主要关注点，对每篇论文不附带详细解析，如果大家感兴趣的话可以阅读论文原文与Github源码，我在参考文献中会为大家提供地址。依时间安排和个人兴趣，可能会在之后提供部分论文的阅读笔记。
2019年以前显著性目标检测的发展可戳： 【论文综述】初探显著性目标检测
谢谢大家支持！
2019显著性目标检测论文概览
在2019年举办的CVPR和ICCV两大视觉顶会中，显著性目标检测领域共录用了至少二十篇论文，在这些论文中，研究者们关注的问题大致可分为两大类：（1）如何通过引入其他信息来增强显著性目标检测的效果？（2）如何开拓传统的显著性目标检测领域？在此，本文依据此分类对显著性目标检测去年一年的成果进行总结概览。
1.通过引入其他信息增强显著性检测
在过去几年，FCN的引入使得显著性目标检测模型的性能提升突飞猛进，在各个数据集上都取得了出色的检测成果。2019年，显著性目标检测的研究逐渐转向如何检测那些更难预测的像素点上，首当其冲的就是边缘像素点的检测。
1.1 边缘强化
尽管现有的显著性目标检测模型检测性能不错，但是在显著性物体的边缘的检测上仍然不够准确，尤其是在前景和背景对比度低，背景复杂等等情况下。基于此，众多研究者提出了自己的边缘强化方案，这些方案大致可以划分为两种：（1）通过引入外部知识库（即新的边缘数据集）的方法来强化模型在显著性目标边缘上的检测；（2）通过设计边缘敏感损失函数，来使模型更关注在边缘上的像素点的预测。
1.1.1 引入外部知识库
（1）EGNet[1]：EGNet通过构建一个使显著性目标信息和显著性边缘信息互补的网络，保留显著性目标边界，这些边界信息不但可以使模型更关注边缘，同时也更利于模型进行显著性目标的定位。
（2）SCRNet[2]：SCRNet通过循环堆叠多个CRU（Cross Refinement Unit）来同时使显著性目标和显著性边缘特征精细化，其中，CRU可在显着对象检测和边缘检测这两个任务之间双向传递消息。
（3）poolNet[3]：与其他同类方法使用由显著性图生成的新边缘数据集不同，poolNet从边缘检测任务中引入与显著性目标检测任务没有关系的新边缘数据集，并验证这能更好地提升检测效果。
（4）BANet[4]：BANet在提出一种新的边缘感知网络的同时，还从选择性-不变性的角度重新审视了显著性目标检测问题。
（5）PAGENet[5]:本文提出了一种金字塔注意力模型与一个显著性边缘检测模块，并利用后者来补充显著性物体信息。
（6）MLM[6]：本文提出的新网络结构MLM（Mutual Learning Module）采用前景边界检测（由显著性图生成）和边缘检测任务（已有的边缘数据集）相互指导，以生成更准确的前景边界，并同时减少边缘检测中的噪声。
1.1.2 设计边缘敏感损失函数
（1）AFNet[7]：在AFNet中，来自编码器块的多尺度特征被传输到相应的解码器中，并通过AFM（Attentive Feedback Modules）用于产生更好的分割结果。文章引入了边界增强损失函数（BEL）作为辅助，以生成更好的细节。
（2）BASNet[8]：BASNet提出了一种简洁有效的编码器-解码器模型，并设计了一种由BCE，SSIM 和 IoU组合而成的混合损失函数，使可以在pixel级别，patch级别和map级别进行综合的评估。
（3）PFANet[9]：本文提出了一种用于图像显著性检测的金字塔特征注意（PFA）网络。对高层特征和低层特征分别使用通道注意力和空间注意力来获得更精确的细节。
1.2 其他
除了边缘信息之外，还有一些其他信息同样被用来增强显著性目标检测的效果，如：
（1）S4Net[10]：对由骨干网络提取出的特征，S4Net除了设计显著性特征分支外，还使用了mask R-CNN结构来设计额外的分支。
（2）CapSal[11]：CapSal利用字幕信息（captioning，可认为是对图片中显著性物体的描述）来结合全局和局部份显著性信息进行预测，并提供了第一个相应的数据集。
2. 新的显著性检测任务
传统的显著性目标检测任务是一种二值分割任务，2019年，许多研究者在传统任务上进行拓展，使显著性目标检测面临更多新的挑战。按使用场景不同，本节分为（1）视频级显著性目标检测；（2）RGBD显著性目标检测；（3）高分辨率显著性目标检测；（4）弱监督显著性目标检测。
2.1 视频级显著性目标检测
（1）SSAV[12]：这篇2019CVPR的oral文章提供了视频级显著性目标检测一个新的大型数据集，以及一个结合了眼动点检测的模型。此外，文章对视频级显著性目标检测领域的论文进行了详细的盘点总结，如果初入领域，这篇文章能提供不小的帮助。
（2）MGANet[13]：文章提出了一种运动引导注意力模块，这些模块可以通过运动特征或运动显着性参与并增强显著性物体的外观特征，在此基础上提出由用于在静态图像进行显著性检测的外观分支（appearance branch），用于在光流图像中进行运动性检测的运动分支（motion branch）组成的网络。
（3）TASED-Net[14]：文章提出了一种端到端的3D完全卷积神经网络，并提出了辅助池的新概念，该概念可获取具有减小的时间维度的开关，从而使预测网络的max-unpooling 层可以正常工作。
（4）RCRNet[15]：本文设计了一种半监督视频显著性模型，引入了一种细化网络，并进一步提出一种流引导的伪标签生成器，捕获视频的帧间连续性并基于稀疏注释生成间隔的伪标签。
2.2 RGB-D显著性目标检测
（1）DMRANet[16]：文章设计了一种深度细化模块（DRB），一种深度感应多尺度加权模块（DMSW）和一个循环注意力模块（RAM），并提供了一个新的RGB-D数据集。
（2）CPFPNet[17]：本文设计了一种对比度损失，以利用先前在非深度学习方法中广泛使用的对比度进行深度图增强，同时提出了一种流体金字塔集成策略，以更好地利用多尺度交叉模式特征。
2.3 高分辨率显著性目标检测
（1）HRSOD[18]：文章提出了一种由全局分割网络（GSN），局部细化网络（LRN）和全局-局部融合网络（GLFN）组成的高分辨率显著性目标检测网络，并提供该任务上的第一个数据集。
2.4 弱监督显著性目标检测
（1）Multi-Source Weak Supervision Framework[19]：文章提出一种新颖的弱监督框架来训练具有多种监督来源的显著性性检测模型。这是第一个尝试将多个监管线索整合到一个用于显著性检测的统一框架中的文章，同时还提出了一种注意力损失函数。
3. 其他
除了上述论文之外，还有一些有意思的论文不属于这两个种类的研究中，这里做额外的归纳。
（1）TSPOANet[20]：本文是胶囊网络用于显著性目标检测的第一个尝试，文章在模型中加入了部分物体关系，采用两流策略来实现胶囊网络，有效降低了噪声分配的可能性。
（2）deep unifified CRF[21]：本文提出了一种级联CRF架构，该架构与主干CNN接缝较少，以逐步集成和完善CNN的多尺度上下文，以进行显著性目标检测，并将深度特征和深度预测的结构信息建模到统一的CRF模型中以进行联合细化，并开发平均场近似推断，以通过反向传播支持端到端模型训练。
（3）FLoss[22]：文章提出了一种新的loss函数，该loss函数比CELoss在显著性目标检测任务上表现得更好。
（4）CPD[23]：文章提出了一种新颖的级联部分解码器框架，该框架丢弃低级特征以降低深度聚合模型的复杂性，并利用生成的相对精确的注意力图进行细化。此模型速度可达到100+FPS。
（5） Iterative Top-Down and Bottom-Up Inference Network[24]：文章设计了一个通用且灵活的端到端框架，该框架以联合和迭代的方式学习自上而下/自下而上的显着性推断，从而模仿自上而下和自下而上的人类感知过程。
4. 总结
回顾2019年，显著性目标检测在边缘上做了许多工作，同时也提供了许多新的数据集，其中不乏一些分支领域的开山之作。本文可能没有将所有顶会的显著性论文包含在内，如有疏漏还请大家见谅。
5. 参考文献
[1]EGNet: Edge Guidance Network for Salient Object Detection. 论文地址 代码地址
[2]Stacked Cross Refifinement Network for Edge-Aware Salient Object Detection. 论文地址 代码地址
[3]A Simple Pooling-Based Design for Real-Time Salient Object Detection. 论文地址 代码地址
[4]Selectivity or Invariance: Boundary-aware Salient Object Detection. 论文地址
[5]Salient Object Detection with Pyramid Attention and Salient Edges. 论文地址 代码地址
[6]A Mutual Learning Method for Salient Object Detection with intertwined
Multi-Supervision. 论文地址
[7]Attentive Feedback Network for Boundary-Aware Salient Object Detection. 论文地址 代码地址
[8]BASNet: Boundary-Aware Salient Object Detection. 论文地址 代码地址
[9]Pyramid Feature Attention Network for Saliency detection. 论文地址 代码地址
[10]S4Net: Single Stage Salient-Instance Segmentation. 论文地址
[11]CapSal: Leveraging Captioning to Boost Semantics for Salient Object Detection. 论文地址 代码地址
[12]Shifting More Attention to Video Salient Object Detection. 论文地址 代码地址
[13]Motion Guided Attention for Video Salient Object Detection. 论文地址 论文笔记 代码地址
[14]TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network
for Video Saliency Detection. 论文地址
[15]Semi-Supervised Video Salient Object Detection Using Pseudo-Labels. 论文地址
[16]Depth-induced Multi-scale Recurrent Attention Network for Saliency Detection. 论文地址 代码地址
[17]Contrast Prior and Fluid Pyramid Integration for RGBD Salient Object Detection. 论文地址 代码地址
[18]Towards High-Resolution Salient Object Detection. 论文地址
[19]Multi-source weak supervision for saliency detection. 论文地址
[20]Employing Deep Part-Object Relationships for Salient Object Detection. 论文地址
[21]Structured Modeling of Joint Deep Feature and Prediction Refifinement for
Salient Object Detection. 论文地址
[22]Optimizing the F-measure for Threshold-free Salient Object Detection. 论文地址
[23]Cascaded Partial Decoder for Fast and Accurate Salient Object Detection. 论文地址 代码地址
[24]An Iterative and Cooperative Top-down and Bottom-up Inference Network for
Salient Object Detection. 论文地址
文章被以下专栏收录
