(2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

(2022 CVPR) U2PL
Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Motivation:
半监督语义分割的关键是为未标记图像的像素分配足够的伪标签。

即使是不可靠的预测结果,虽然无法打上确定的伪标签,但仍可以作为部分类别的负样本,从而参与到模型的训练,从而让所有的无标签样本都能在训练过程中发挥作用。

Method:

(2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels
教师网络和学生网络:学生网络权重更新和一般网络更新过程相同,教师网络用EMA更新网络权重。
通过预测熵来分离可靠和不可靠像素,将每个不可靠像素推送到由负样本组成的类别队列中
在训练过程中,等量地选取B张labeled images和B张unlabeled images,对于每张带标签的图像目的是减小cross entropy loss;对于每张unlabeled image,teacher model进行预测,根据 pixel-level entropy 将预测结果分成 reliable pixels 和 unreliable pixels 两大部分, 然后选择reliable的伪标签计算upervised loss;对于剩余的unreliable的标签将通过contrastive loss. [InfoNCE Loss]
Pseudo-Labeling
无标签样本中可靠预测结果的利用方式,即损失函数中的Lu部分,通过熵
(2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

对预测结果的可靠性进行衡量,将最可靠的部分筛选出来,再通过常规方式打上伪标签
(2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

随着训练过程的推进,模型的性能在不断攀升,不可靠预测结果的比例相适应地也在不断下降,因此在不同的训练时刻对可靠部分的定义是不断变化的,这里简单采用了线性变化策略,
(2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Using Unreliable Pseudo-Labes
无标签样本中不可靠预测结果的利用方式,即损失函数中的 Lc部分

  1. anchor pixels(queries)
  2. positive samples for each anchor
    每一个类别都算一个特征中心,同一类的 anchor pixel 会 share 共同的特征中心作为 postive sample。
  3. negative samples for each anchor
    对于有标签样本,每个类别对应的负样本是该类别的易混样本:
    1)不属于类别c;(2)难以区分是c类别还是其Ground Truth
    对于无标签样本,由于伪标签可能存在错误,将预测概率最高的几个类别过滤掉,将该像素认作为剩下几个类别的负样本。
    1)伪标签是unreliable的;(2)可能不属于c类别;(3)不属于大部分不可能的类别
    由于数据集中存在长尾问题,如果只使用一个 batch 的样本作为对比学习的负样本可能会非常受限,因此我们采用 MemoryBank 来维护一个类别相关的负样本库,存入的是由 teacher 生成的断梯度特征,以先进先出的队列结构维护。
    (2022 CVPR) U2PL Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Experiments

训练时间长,

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年6月15日 上午11:44
下一篇 2022年6月15日 上午11:47

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!