坏光下的语义分割研究

Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection

2021 ICCV

飞步科技

代码：https://github.com/cuiziteng/maet

解决问题

1. 如何在CNN中有效利用不同语义的特征进行车道线检测；
2. 如何提高车道线的定位精度

思路

首先检测高语义特征以粗略定位车道，然后根据详细特征进行细化以获得更精确的位置。逐步细化车道的位置和特征提取，以获得高精度的检测结果。

1. 提出了跨层细化网络（CLRNet），充分利用了低级和高级特征进行车道检测。
2. 提出了ROIGather通过聚集全局上下文来进一步增强车道特征的表示，且可以插入其他网络。
3. 提出了Line IoU Loss(LIoU)，将车道作为整个单元进行回归。
4. 为了更好地比较不同检测器的定位精度，还采用了新的mF1指标。

See Clearer at Night: Towards Robust Nighttime Semantic Segmentation through Day-Night Image Conversion

2019 arXiv

Zhejiang University

解决问题

通过将GAN和SOAT分割框架结合，实现对夜间图像也具有鲁
大分裂效果。

思路

1. 训练一个CycleGAN来执行跨域转换，将夜间图像转换为白天图像，然后在白天图像上训练ERF-PSPNet等算法；CycleGAN将训练集的部分白天图像转换为夜间图像，以扩展数据集的域覆盖范围。
2. 作为预处理步骤，推理过程将夜间图像动态转换为白天图像。
3. 将带有语义分割标签的BBD训练集中的部分白天图像转换为夜间图像。

DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation

2021 CVPR

University of South Carolina

https://github.com/W-zx-Y/DANNet

解决问题

夜间图像的语义分割

思路

提出了一种新的基于对抗学习的单阶段域自适应网络 (DANNet) 用于夜间语义
segmentation.

1. 所提出的DANNet 同时进行从 S 到Td 和从 S到 Tn的域适应训练。S为源域，Td白天目标域，Tn夜间目标域。它由三个不同的模块组成: 图像重光照网络、语义分割网络和两个鉴别器。
2. 设计了一个图像重光照网络，使不同区域的图像强度分布更接近，从而使后续的语义分割网络对光照变化不那么敏感。判别器的作用是将分割预测与源域或目标域区分开来。
3. 为了解决源域中不同对象类的像素数量不平衡的问题，提出了一种对预测的类似然图进行重新加权的策略。

HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images

2021 IROS

the University of Freiburg

https://github.com/JohanVer/heatnet

解决方法

解决夜间光照和强光下的语义分割，提高网络的鲁棒性。

思路

同时利用热图像和RGB提出了一种新的日间和夜间图像分割的多模态方法。

1. 利用现有的日间rgb数据集，避免了昂贵的夜间图像注释，并提出了一种师-生训练方法，将数据集的知识转移到夜间领域。
2. 学习到的特征空间进一步与域适应方法对齐，并提出了一种新的两阶段训练方案。
3. 提出的新数据集 Freiburg Thermal数据集包含超过20,000个在白天和夜间记录在城市和农村环境中的时间同步RGB和热图像，还提供激光雷达点云、精确的GPS数据和IMU读数。
4. 一种新的无目标热像仪校准方法。

Guided curriculum model adaptation and uncertainty-aware evaluation for semantic nighttime image segmentation

2019 ICCV

ETH Z¨urich（苏黎世联邦理工）

解决问题

通过在不使用夜间注释的情况下将白天模型适应夜间，解决了夜间图像的语义分割问题并改进了现有技术。

思路

一个新的评估框架旨在解决夜间图像中语义的巨大不确定性。

1. 提出了新数据集Dark Zurich。
2. 提出了一种用于语义分割的新的不确定性感知注释和评估框架和指标，针对不利条件进行设计，并以有原则的方式进行评估，以包括超出人类识别能力的图像区域。
3. 我们设计了一个通用的不确定性感知注释和评估框架，用于在不利条件下明确区分输入图像的无效和有效区域，并将其应用于夜间。

Dark Model Adaptation: Semantic Image Segmentation from Daytime to Nighttime

2018 IEEE International Conference on Intelligent Transportation Systems

http://people.ee.ethz.ch/~daid/NightDriving/

解决问题

夜景的语义图像分割。

思路

通过黄昏时间的桥梁，通过语义模型和黎明与日出、日落与黄昏之间的大规模注释，逐步适应夜间场景。

1. 在黄昏时拍摄的图像非常适合我们的目的——将知识从白天转移到黑夜。也就是说，黄昏时间是白天从源域到目标域的知识转移的桥梁。语义分割模型使用标准的监督学习范式在白天图像上进行训练，并应用于在民用黄昏时间记录的大型数据集以生成类响应。
2. 一个新的数据集，称为Nighttime Driving，由夜间和黄昏时间的真实驾驶场景图像组成，包括35000张未标记图像和50张密集标注的图像。这些贡献将有助于学习和评价夜间驾驶场景的语义分割方法。

Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation

2021 arxiv.org

https://github.com/ygjwd12345/BiMix

解决问题

使语义分割模型适应夜间环境

思路

在标记的白天数据集和未标记的数据集下，学习了判别性夜间模型，包括粗略对齐的昼夜图像对。

1. 提出了一种新的双向混合(Bi-Mix)框架，促进图像的翻译和分割的自适应过程。具体来说，在图像转换阶段，Bi-Mix利用昼夜图像对的知识来提高夜间图像重构的质量。另一方面，在分割自适应阶段，Bi-Mix有效地弥补了昼夜域之间的分布差距，使模型适应于夜域。
2. 提出了一种新的样本混合策略，使我们能够利用粗略对齐的昼夜图像对之间的信息来改进翻译适应模型。

CDAda: A Curriculum Domain Adaptation for Nighttime Semantic Segmentation

2021 ICCV

解决问题

图像语义知识从白天到晚上的传递

思路

提出了一种新的课程领域自适应方法(CDAda)来实现图像语义知识从白天到夜间的平滑转移。

提出了一种遵循模型适应顺序的两步课程模型适应方法，实现更平滑的语义知识传递。具体来说，它包括两个步骤：1)域间风格适应：通过所提出的基于频率的风格转换方法（将白天图像的低频分量替换为夜间图像的低频分量），在被标记的夜间图像上调整白天的训练模型；2)域内逐步自我训练：根据“熵+照明”排序原则，将夜间域划分为容易分裂的夜间域和难分裂的夜间域，然后通过对容易分割数据的伪监督和对难分割数据的熵最小化，逐步使模型逐渐适应这两个子域。将域内适应的概念扩展到自我训练，并证明了两方面的不同处理可以减少夜间域本身的分布差异。

Bridging the Day and Night Domain Gap for Semantic Segmentation

2019 IEEE Intelligent Vehicles Symposium (IV)

University of Alcal´a (UAH)

解决问题

通过使用最近的技术，如生成对抗网络(GANs)来缓解白天和夜间语义分割精度差距。

思路

探索了不同的选项，例如在无监督训练中扩展数据集以覆盖这些域，或者在推理过程中将图像动态调整到舒适的域，例如预处理步骤中的日光。

1. 作者提出了一种基于Coupled GANs的图像到图像转换框架，该框架能够学习训练图像集之间的共享潜在空间，框架通过使用GANs和变分自动编码器(VAEs)对域中的每个图像进行建模。对抗性训练目标与一个权重共享约束交互，强制共享一个潜在空间，在两个领域生成相应的图像，而变分自动编码器将翻译后的图像与各自领域的输入图像联系起来。
2. 使用训练过的GAN将像Cityscapes这样的数据集上的全天图像转换为夜间图像，将这些数据集集作为输入与分割标签一起输入到ERFNet，以像往常一样使用交叉熵损失进行端到端训练。
3. 在模型推理之前将夜间图像转换为白天图像不需要重新训练分割模型，但会增加推理的计算成本。

SEMANTIC NIGHTTIME IMAGE SEGMENTATION VIA ILLUMINATION AND POSITION AWARE DOMAIN ADAPTATION

2021 ICIP

首都师范大学

解决问题

通用图像分割模型在夜景中表现不佳

思路

提出了一种端到端的夜间分割网络。

1. 利用昼夜不同光照条件下的光适应来缩小特征图层面的分布差距。
2. 利用室外场景中每个物体位置的先验信息，结合自注意力机制，可以纠正一些分类错误。

MINATION AND POSITION AWARE DOMAIN ADAPTATION

2021 ICIP

首都师范大学

解决问题

通用图像分割模型在夜景中表现不佳

思路

提出了一种端到端的夜间分割网络。

1. 利用昼夜不同光照条件下的光适应来缩小特征图层面的分布差距。
2. 利用室外场景中每个物体位置的先验信息，结合自注意力机制，可以纠正一些分类错误。