机械臂抓取学习笔记*(用于机器人抓取检测和RGB语义分割的端到端可训练深度神经网络)

原文名称

End-to-end Trainable Deep Neural Network for Robotic Grasp Detection and Semantic Segmentation from RGB

写在前面

⭐⭐⭐本篇是上述论文的略读笔记,本篇论文原文中网络结构和训练过程介绍的比较清晰,而且本篇论文在github由代码,这里只是本人略读后整理出的一些信息,后续如果精读再更新

摘要

  • Tip1: 本文是针对平行夹具机械爪的抓取预测(实际预测结果如下图),是一种端到端可训练的CNN网络
    来自原文

  • Tip2: 提出一个模块,利用先前计算的抓取检测候选信息和语义分割结合,提高抓取准确率

  • Tip3: 扩展了OCID数据集,使可以抓取场景中的特定对象

相关工作

机器人抓取检测

  • 抓取检测方面,本篇采用传统的g=(x,y,w,h,θ)来描述抓取框(x,y为抓取中心点;w,h为矩形抓取框宽高;θ为抓取框鱼水平的夹角)

语义分割

  • Tip1: 语义分割的任务是为图像中的每个像素指定一个类别标签
  • Tip2: 对于不可见的抓取检测,将语义集定义为{可抓取、不可抓取}

方法

  • 网络结构如下,通过共享backbone提取特征,分别进行抓取检测和语义分割,将两者结合,提高抓取准确性
    机械臂抓取学习笔记*(用于机器人抓取检测和RGB语义分割的端到端可训练深度神经网络)

Backbone

  • BackBone采用的是作者微改的ResNet-101

抓取检测

  • 抓取检测部分基于Faster-RCNN,由RPN和检测结构组成

语义分割

  • 主要用到Mini-DeepLab模块

融合head

  • 这部分主要是将将前两个head的信息结合起来,通过MLP得到最终的五维输出
  • 这里是通过MLP将抓取候选对象的几何信息与有关对象形状的信息相结合
    机械臂抓取学习笔记*(用于机器人抓取检测和RGB语义分割的端到端可训练深度神经网络)

总结

  • Tip1: 提出新的CNN结构,共享backbone提取特征,联合抓取检测和语义分割
  • Tip2: 在复杂场景中保持抓取的高精度
  • Tip3: 展示了如何通过语义分割将候选对象分配给特定对象(将候选对象分配给指定对象,从而获取场景中的特定对象)

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月28日 下午4:17
下一篇 2022年5月28日 下午4:20

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!