双目相机基本原理

双目图像

如图所示，双目图像就是通过左右两个摄像头拍摄的图片，存在一定视差

视差

视差就是指，同一像素在两张图片上位置的差距。举例来说，看下面这张图，我们聚焦在同一像素点，摩托车后视镜上。在左图，该像素点坐标是（80，150），右图是（35，150），那该图的视差就是80-35=45

深度

深度就是指实际物体到摄像头的距离

深度与视差之间的关系

这是根据一个博主的图我自己补充的，根据公式推导（依据相似三角形），可以得到最后的视差与深度的公式。深度等于两摄像头之间的距离乘上焦距除以视差

极平面

极平面就是由左右摄像头以及物体三点组成的平面，在上图中就是LRP平面

极线

极线就是极平面与成像平面的交线，在上图中就是写着成像平面那一条线，但是因为上图是理想情况，即两摄像头焦距一样，成像平面也在同一平面上，所以极线是在一条连续的线上且在同一平面，但如果两摄像头没那么理想，就如下图：

这样的话，极线就是abcd了

极线约束

如果在左图有一点，想在右图上找到对应的一点的话，全图搜索太费时间了，所以出现了这个概念叫极线约束。意思就是如果想找到对应点的话，只需要在极线上找就行了。两图中相同的像素点一定在同一极线上

单应性矩阵

但是如果摄像头不是共面，会带来很大的麻烦，极线也没办法找，所以需要图像矫正，即把两个成像平面”掰“到同一平面上，”掰“成理想情况，具体怎么”掰“？就是用单应性矩阵。单应性矩阵是一个33的矩阵，作用就是将一个平面掰到另一个平面。具体操作就是每个像素点坐标做成31的向量v = [x,y,1]，然后与单应性矩阵H相乘=>Hv得到另一个3*1的向量v’，v’=[x’,y’,1]，x‘和y’就是该像素点掰过去后的新坐标，具体原理可以参考博客： 单应性矩阵