计算机视觉数据集介绍：KITTI数据集

KITTI数据集简介

KITTI数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，利用组装的设备齐全的采集车辆对实际交通场景进行数据采集获得的公开数据集。该数据集包含丰富多样的传感器数据（有双目相机、64线激光雷达、GPS/IMU组合导航定位系统，基本满足对图像、点云和定位数据的需求）、大量的标定真值（包括检测2D和3D包围框、跟踪轨迹tracklet）和官方提供的一些开发工具等。

数据采集

采集范围

数据采集自德国卡尔斯鲁厄，采集范围示意图如下：

采集平台

采集平台示意图如下：

采集平台参数：

The platform is VW Passat station wagon houses a PC with two six-core Intel XEON X5650 processors and a shock-absorbed RAID 5 hard disk storage with a capacity of 4 Terabytes. Our computer runs Ubuntu Linux (64 bit) and a real-time database to store the incoming data streams.

传感器清单：

• 2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
• 2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
• 4 × Edmund Optics lenses, 4mm, opening angle ∼ 90◦, vertical opening angle of region of interest (ROI) ∼ 35◦
• 1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ∼ 1.3 million points/second, field of view: 360◦ horizontal, 26.8◦ vertical, range: 120 m
• 1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1◦

注：Fig.3. 中坐标系的定义对后续数据的可视化与分析，以及标定矩阵的理解与使用至关重要。

数据组织

样本图像展示

这里主要介绍raw data的组织形式。Raw data采集于2011年9月26, 28, 29, 30和10月3日，共包含180G数据，分为Road, City, Residential和Person四个序列，样本图像如下：

由于汽车引擎盖和部分天空区域被截取掉，可以看到上述图像的宽度相对较小。

数据存放结构

对于上述每个序列，该数据集都提供了传感器原始数据、目标的3维bounding box、和标定文件。文件的目录结构如下：

其中，image_00至image03表示四个摄像头采集的图像序列，以8位png格式存储；oxts文件夹中存放的为GPS/IMU数据。每帧图像都存放了30个不同的GPS/IMU数据；velodyne_points文件夹存放的是激光雷达数据。date_drive_tracklects.zip存放的是Tracklects数据；date_calib.zip存放的是标定数据，需要注意，每天开始采集之前，采集者均对硬件进行了标定。

数据标签

对于视场中所有运动的目标，该数据集均提供了以Velodyne坐标为准的3维bounding box标签。标签类别包括Car、Van、Truck、Pedestrain、Person（sitting）、Cyclist、Tram和Misc（eg:, Trailers, Segways）。

通过数据集提供的开发工具，可以看到如下所示的数据标签：

开发工具

KITTI数据集官网提供了众多实用的开发工具，感兴趣读者可直接阅读其提供的readme文件。

BenchMark

KITTI数据集提供了针对多个CV任务的BenchMark，如三维目标检测、目标跟踪、SLAM等，详情见KITTI数据集官网。

专有名词介绍

• IMU, Inertial Measurement Unit, 惯性测量单元
• GPS, Global Positioning System, 全球定位系统
• PointGray, 点灰
• Megapixels, 百万像素
• Edmund Optics lenses, 爱特蒙特光学镜头
• global shutter, 全局快门
• opening angle, (快门)开口角
• Velodyne, 威力登（雷达品牌）
• field of view, 视场

相关基础知识

• Note that the color cameras lack in terms of resolution due
  to the Bayer pattern interpolation process and are less sensitive
  to light. This is the reason why we use two stereo camera
  rigs, one for grayscale and one for color [2].

参考文献

1. 无人驾驶之KITTI数据集介绍与应用——数据组织方式介绍
2. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite
3. Vision meets Robotics: The KITTI Dataset
4. www.cvlibs.net/datasets/kitti