手眼标定原理（眼在手上和眼在手外）

手眼标定是指求解出工业机器人的末端坐标系与相机坐标系之间的坐标变换关系，或者工业机器人的基底坐标系与相机坐标系之间的坐标变换关系。手眼标定有两种情形：第一种是相机（眼）固定在机器臂（手）的末端，相机相对于机器臂末端是固定的，相机跟随机器臂移动，这种方式的手眼标定成为 Eye-in-hand；第二种是相机（眼）和机器臂（手）分离，相机相对于工业机器人的基座是固定的，机器臂的运动对相机没有影响, 这种方式的手眼标定成为 Eye-to-hand。

1、眼在手上的手眼标定

对于 Eye-in-hand 手眼标定方式，需要求解工业机器人的末端坐标系与相机坐标系之间的坐标转换关系。 Eye-in-hand 手眼标定的原理示意图如图 1所示。这其中有几个坐标系， 基础坐标系（用 base 表示） 是机器臂的基底坐标系，末端坐标系（用 end 表示） 是机器臂的末端坐标系， 相机坐标系（用 cam 表示） 是固定在机器臂上面的相机自身坐标系，标定物坐标系（用 cal 表示）是标定板所在的坐标系。任意移动两次机器臂，由于标定板和机器臂的基底是不动的，因此对于某个世界点，其在 base 坐标系和 cal 坐标系下的坐标值不变，在 end 坐标系和 cam 坐标系下的坐标值随着机器臂的运动而改变。根据这一关系，可以求解出end坐标系和 cam 坐标系之间的转换矩阵。具体求解过程如下。
对于手眼标定矩阵的求解，即求解出 end 坐标系和 cam 坐标系之间的转换矩阵，目前有许多方法，基本原理都是根据上述约束关系来求解的。 cal 坐标系下的某个点，根据已知的相机外参（转换矩阵）能够转换到 cam 坐标系下点 P1 ,再根据待求的手眼标定矩阵（转换矩阵 X ）能够转换到 end 坐标系下点 ，然后根据已知的机器人自身参数（转换矩阵）能够转换到 base 坐标系下点 。因此能够得到关系式如下：

移动机器臂，对于同一点，和的坐标值不变，只是和的坐标值改变了，上述关系式变为如下形式：

上式中和同样是第二次测量的已知参数。联立(1)和(2)式可以得到如下关系式：

对式(3)变换一下，可得：

上式可以看成方程形式，且矩阵和都是已知的。对手眼标定方程求解，即可得到手眼转换矩阵的值。

2、眼在手外的手眼标定

eye-to-hand的手眼标定示意图如下图2所示。相机固定在机器臂之外，相机和机器臂底座相对静止。其中，相机坐标系为，标定板坐标系为，机器臂末端坐标系为，机器臂底座坐标系为。涉及到几个坐标系的转换，即标定板坐标系到相机坐标系的转换关系，相机坐标系到机器臂底座坐标系的转换关系，机器臂底座坐标系到机器臂末端坐标系的转换关系，其中相机坐标系到机器臂底座坐标系的转换关系即为需要求解的手眼标定矩阵。