DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
概览硬件软件云平台
此页面由 AI 自动翻译。查看英文原版
DepthAI 组件
DepthAI 教程
DepthAI 感知
ROS
神经网络
DepthAI API 参考

本页目录

  • 设备上的 SuperPoint 用于定位和 SLAM
  • RAE 设备上的 VIO 和 SLAM
  • 同步帧和 IMU 消息
  • 无人机设备上的 NN 定位

VIO 和 SLAM

OAK 相机也可用于定位（VIO）和 SLAM（同步定位与地图构建）。
  • RVC2：RVC2 上的计算（尤其是 CPU 性能）非常有限，因此对于 VIO/SLAM，您需要在主机上运行算法。
  • RVC3：由于其四核 ARM 处理器，您可以在相机本身上运行 VIO/SLAM 算法。请参阅 RAE 设备上的 VIO 和 SLAM。
支持 OAK 相机的几个 SLAM 和定位项目：

设备上的 SuperPoint 用于定位和 SLAM

一位客户与我们分享了一个解决方案，该方案在设备上（在基于 RVC2 的 OAK-D 上）运行 SuperPoint（Github 仓库，Arxiv 论文）特征提取神经网络，然后使用这些特征进行定位和 SLAM（在主机上）。

RAE 设备上的 VIO 和 SLAM

下面的演示展示了如何在 Spectacular AI SDK 上运行设备上的 VIO 和 SLAM。 视差匹配和特征提取 + 跟踪在 RVC3 上的加速块上完成。 然后将特征与视差结合，提供用于 VO 的跟踪 3D 点，Spectacular AI SDK 将其与 IMU 数据融合，以提供 机器人的精确本地化。

同步帧和 IMU 消息

对于 VIO/SLAM 解决方案，您需要将 IMU 消息与 曝光的中间时间同步。有关曝光时间和时间戳，请参阅 帧捕获图 了解详情。在此处查看 以获取 IMU/帧同步演示。一些更高级的算法会加权多个 IMU 消息（曝光之前/之后）并内插最终值。

无人机设备上的 NN 定位

一种新颖的 AI 方法，使用 OAK 相机进行空间定位。无人机运行设备上的神经网络推理，以提供无人机的定位。 论文在此，Github 仓库在此。