KITTI数据集点云图像的投影

2020-03-22 约 1428 字预计阅读 3 分钟

本文要完成的工作是将KITTI数据集中的点云信息投影到图像中，以达到信息融合的目的.　使用KITTI中的经过时钟同步和校准后的数据文件 raw_data 来进行投影变换。其主要操作就是坐标系之间的变换。

kitti的数据采集平台，配置有四个摄像机和一个激光雷达，四个摄像机中有两个灰度摄像机，两个彩色摄像机

从图中可看出，关于相机坐标系(camera)的方向与雷达坐标系(velodyne)的方向规定

camera: x = right, y = down, z = forward

velodyne: x = forward, y = left, z = up

那么velodyne所采集到的点云数据中，各点的x轴坐标，即为所需的深度信息。

更多详细的简介网络上都能搜索到，这里只列举了与当前目的相关的必要信息。

raw_data对于每个序列都提供了同步且校准后的数据、标定数据。

同步且校准后的数据：

./imageXX 包含有各个摄像机采集到的图像序列
- ‘image_00’: left rectified grayscale image sequence
  - ‘image_01’: right rectified grayscale image sequence
  - ‘image_02’: left rectified color image sequence
  - ‘image_03’: right rectified color image sequence
./velodyne_points 包含有雷达扫描到的数据，点云形式，每个点以 (x,y,z,i) 格式存储，i为反射值
- 雷达采集数据时，是绕着竖直轴旋转扫描，只有当雷达旋转到与相机的朝向一致时会触发相机采集图像。不过在这里无需关注这一点，直接使用给出的同步且校准后的数据即可，它已将雷达数据与相机数据对齐，也就是可以认为同一文件名对应的图像数据与雷达点云数据属于同一个场景。

标定数据：

对于raw_data，kitti还提供了样例工具，方便读取各种数据文件并输出，参见官网raw_data下载页的development kit

这里只用到最后两个矩阵R_rect和P_rect

velo_to_cam，从雷达坐标系到0号相机坐标系的转换
- R: 3x3 旋转矩阵
- T: 3x1 平移矩阵
- delta_f 和delta_c 已被弃用

由此可以得出从雷达坐标系变换到xx号相机的图像坐标系的公式：

设X为雷达坐标系中的齐次坐标 X = [x y z 1]’，对应于xx号相机的图像坐标系的齐次坐标Y = [u v 1]’，则：

Y = P_rect_xx * R_rect_00 * (R|T)_velo_to_cam * X

官网提供的样例代码中 run_demoVelodyne.m 实现了将雷达点云投影到相机图像

大致说一下步骤：

从所给路径中读取标定文件，获取具体矩阵数值

目录