SFND 3D对象跟踪
欢迎来到相机课程的最终项目。 通过完成所有课程，您现在对关键点检测器，描述符和在连续图像之间进行匹配的方法有了深入的了解。 另外，您知道如何使用YOLO深度学习框架检测图像中的对象。 最后，您知道如何将摄像机图像中的区域与3D空间中的激光雷达点相关联。 让我们看一下程序原理图，看看我们已经完成了什么，还缺少什么。
在这个最终项目中，您将实现原理图中缺少的部分。 为此，您将完成四个主要任务：
首先，您将开发一种使用关键点对应关系随时间匹配3D对象的方法。
其次，您将基于激光雷达测量来计算TTC。
然后，您将使用摄像头进行相同的操作，这需要首先将关键点匹配与感兴趣的区域相关联，然后根据这些匹配来计算TTC。
最后，您将使用该框架进行各种测试。 您的目标是确定最适合TTC估计的检测器/描述符组合，并寻找可能导致相机或激光雷达传感器测量错误的问题。 在此毫微学位的
2021-10-26 14:49:26
129.73MB
1
数据融合matlab代码基于LRANSAC的激光雷达和相机校准器
这是论文“用于融合相机和LiDAR数据的像素和3-D点对齐方法”的实现
@article{xie2018pixels,
title={Pixels
and
3-D
Points
Alignment
Method
for
the
Fusion
of
Camera
and
LiDAR
Data},
author={Xie,
Shichao
and
Yang,
Diange
and
Jiang,
Kun
and
Zhong,
Yuanxin},
journal={IEEE
Transactions
on
Instrumentation
and
Measurement},
volume={68},
number={10},
pages={3661--3676},
year={2018},
publisher={IEEE}
}
本文的原始代码包含在/ref
，而我仍在尝试将代码移植到C
++中。
转换的大部分工作已经完成，但是，MATLAB中的相机校准工具箱仍然需要移植。
2021-09-28 10:01:39
131KB
1
lidar_imu_calib
概述
在基于3D激光雷达的slam开发中，我们经常使用imu为匹配算法（icp，ndt）提供先验，因此需要校准激光雷达和imu之间的变换。对于匹配算法，transfom中的姿态比变换中的位置更重要，并且通常将位置设置为0。因此，此回购专注于在激光雷达和imu之间的转换中校准姿态分量。
先决条件
将ndt_omp安装到系统目录
git clone https://github.com/koide3/ndt_omp.git
cd ndt_omp
mkdir build
cd build
cmake ..
make
sudo make install
步
使用rosbag工具记录imu和激光雷达数据
rosbag record /imu /lidar_points
配置启动文件
lidar_topic: lidar data topic name
imu_to
2021-09-16 20:50:00
10KB
1
3D对象追踪
项目描述
该项目的目的是使用来自KITTI Vision Benchmark Suite的摄像机和激光雷达数据序列来估计自动驾驶汽车的碰撞时间。 对于相机图像，我们使用深度学习（YOLO）检测对象，并根据关键点检测，描述和匹配的输入跟踪这些对象。 我们使用YOLO边界框作为参考，将摄像机图像中的区域与3D空间中的激光雷达点相关联。
本地运行的依赖项
cmake> = 2.8 所有操作系统：
make> = 4.1（Linux，Mac），3.81（Windows）
Linux：大多数Linux发行版默认都安装了make
Mac：
Windows：
OpenCV> = 4.1
必须使用-D OPENCV_ENABLE_NONFREE=ON cmake标志从源代码进行编译，以测试SIFT和SURF检测器。
OpenCV 4.1.0源代码可以在找到
gcc / g ++>
2021-08-19 11:51:12
149.47MB
1