编辑：OAK中国
首发：oakchina.cn
喜欢的话，请多多👍⭐️✍
内容可能会不定期更新，官网内容都是最新的，请查看首发地址链接。
▌前言
Hello，大家好，这里是OAK中国，我是助手君。
最近刷知乎看到这样一个问题👇
碰巧B站也有朋友在问这种类似的问题，我寻思刚开始接触深度相机的朋友们应该都会有这种疑问，所以我整理了一下这个内容。大家也可以去知乎看我的回答，别忘了三连哦~
▌什么是深度相机
深度相机也被称为3D相机，它和普通2D相机的区别在于可以获取物体到相机的距离信息，加之2D平面的X，Y坐标，可计算出每个点的三维坐标，以此我们可推断深度相机的应用，如三维重建、目标定位、导航避障等。
效果参考这个视频 ：
OAK相机室内室外测试 深度+物体识别+三维坐标
目前常见的深度相机，他们用的技术可以分为三类：
- 双目
- 结构光
- ToF
▌一、双目
0.基本原理
通过左右两个摄像头同时拍摄同一物体，然后利用计算机算法计算两个摄像头之间的视差，从而得出物体的深度信息。
图片来源
视差是指两个摄像头拍摄同一物体时，物体在两个图像中的位置差异。计算机通过测量这个差异来确定物体离相机的距离。视差类似人的双眼，你单独睁开左、右眼，与同时睁开双眼观看物体的位置、远近是不一样的。
双目相机不主动对外发射光源，因此称为被动深度相机。
1.优点
不需要结构光、TOF的发射器和接收器，因此结构简单硬件成本低，适合成本敏感的应用场景。因为依靠自然光，可在室内外使用。
2.缺点
强光、暗光影响较大，因为依赖于自然光。对无纹理的物体或表面影响较大，如纯色墙，因双目相机依据视觉特征进行图像匹配，单一问题会引起匹配失效。
3.应用场景
包括机器人导航、人脸识别、手势识别等。参考OAK相机的部分应用场景：
使用OAK-D进行无人机导航和SLAM，自主仓库检查。
OAK-D-Lite室内自主导航机器人
扔掉你的鼠标，游戏手柄、电视遥控器吧，用AI和深度视觉来识别肢体语言，控制现实世界的物体。
▌二、结构光
0.基本原理
主要硬件有投射仪、相机，通过投射仪主动发射（因此称为主动测量）一束光源（通常是红外线激光）来照亮物体表面，并通过相机镜头来捕捉反射回来的光线。
OAK-D-Pro相机
在这个过程中，光线经过一个光学元件（例如衍射光栅或投射仪），以形成一个结构化的光斑（例如条纹或格子）。
当这个结构化光斑照射到物体表面时，它会产生形变，导致反射回相机的光斑也发生了畸变。通过分析这种畸变的形状和大小，深度相机可以计算出物体表面上每个像素点的深度信息，从而生成一张深度图。
1.优点
近距离(1米内)精度较高，毫米级。测量范围广、对光线和颜色的敏感度低等。主动投影，适合弱光照使用。
2.缺点
测量距离和分辨率存在一定的局限性。远距离精度差，随着距离的拉长，精度也随之变差。对环境光的干扰较大，室外强光照不宜使用，强光容易干扰投影光。
3.应用场景
包括3D扫描、机器视觉、机器人导航等。参考OAK相机的部分应用场景：
【开源OAK-D与TurtleBot3机器人项目】OAK-D点云和里程计
【开源】智能农业机器人BenchBot，可识别杂草，计算单位作物量。
▌三、ToF
0.基本原理
相机通过发送一束光到目标物体上，这个光的波长通常为红外线。当这束光被目标物体反射回来时，相机的光电二极管（PD）阵列接收反射光，并测量光的时间飞行（ToF）。基于ToF的测量技术可以计算光从相机到物体然后返回相机的时间，从而确定物体的距离。
因其主动发射脉冲光，也属于主动测量方式。
1.优点
因为是依靠投射自身光线的技术，所以它不需要任何外部光源来扫描周围环境，即使在光线很少或没有光线的情况下也能正常工作。TOF的测量距离较远，不受表面灰度和特征影响，达百米，可用于无人驾驶
深度距离计算，不会随距离的变化而变化，稳定在厘米级
不像双目相机、结构光需要经过算法处理才能输出三维数据，TOF可以直接输出被测物体三维数据
2.缺点
对环境的光强和干扰比较敏感，室外强光照基本不能使用。由于基于飞行时间的技术依赖于发射和接收自身光的反向反射，因此在自然环境中（例如暴露在阳光下）它们可能表现不佳，这是因为其他光源发出的波会干扰相机设备发出的光。类似地，还有其他因素使ToF传感器更难正常工作，如“反光”表面（在不同方向反射光）或角落（产生多次反射）等。
3.应用场景
客流统计、无人零售、虚拟现实、机器人导航等领域。参考OAK相机的部分应用场景：
将OAK相机装在机械臂上，实现3D目标检测定位，准确识别抓取物体！
【开源】OAK自动叉车项目，检测准确度更高。
▌四、总结
| 类别 | 双目 | 结构光 | ToF |
|---|---|---|---|
| 软件复杂度 | 高 | 中等 | 低 |
| 成本 | 低 | 高 | 中 |
| 精度 | 低 | 高 | 中 |
| 低光下性能 | 差 | 好 | 好 |
| 测距方式 | 被动式 | 主动式 | 主动式 |
| 户外强光下工作 | 无影响 | 有影响 | 有影响 |
▌五、特别说明
罗列的部分应用场景视频来自我们的用户，项目实际所用相机可能不是属于结构光或tof类的深度相机，但因为我们的产品具有兼容性，所以同一项目用不同种类的OAK相机均可正常使用！
都看这里了，至少点个赞已阅啊！
▌参考资料
https://docs.oakchina.cn/projects/api/tutorials/configuring-stereo-depth.html
https://www.oakchina.cn/2022/02/07/robotic-drones-avoidance/
https://www.cnblogs.com/hansjorn/p/15593170.html
https://picture.iczhiku.com/weixin/message1595412592554.html
https://cloud.tencent.com/developer/article/2104734
OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态
戳「+关注」获取最新资讯↗↗
文章出处登录后可见！
