深度
深度
- 立体深度 (RVC2, RVC4) — 来自立体对的深度：
- 经典立体深度 — StereoDepth 节点
- 神经网络深度 (LENS) (RVC4) — NeuralDepth 节点
- 神经网络辅助立体 (RVC4) — Neural Assisted Stereo 节点
- 飞行时间 (ToF) — 在 配备 ToF 的设备 上进行主动测距。API：ToF 节点；概述在下面的部分继续。
- 点云： 生成彩色点云用于映射、检查或重建。
- 空间 AI： 将深度与检测/地标融合，以获取 XYZ 目标进行抓取或避障。
- 导航： 将深度与语义配对，以过滤室内/室外的危险并规划安全运动。
立体深度
| 方法 | 典型/理想用例 |
|---|---|
| 经典立体深度 | 高速机器人、精确距离测量、室外环境、纹理丰富的场景 |
| 神经网络深度 (LENS) | 人体或手部跟踪、低纹理或反射率具有挑战性的环境（例如，车库、仓库）、最高视觉质量的深度 |
| 神经网络辅助立体 | 通用深度、箱式抓取、物体尺寸测量、需要鲁棒性和高细节的场景 |
经典立体深度
RVC2
RVC4
主要特性
- 行业验证的基线：一种经过硬件加速的、广为人知且熟悉的经典立体算法半全局块匹配 (SGBM) 的变体
- 性能：由于直接硬件实现，可提供极高的吞吐量和低功耗。
- 分辨率：支持高达 1280 像素的水平分辨率，实现像素级精确的深度图。
- 算法：实现了一种针对底层硅架构优化的成本聚合和视差计算策略
| 优点 | 缺点 |
|---|---|
| 非常快 – 全分辨率下每帧约 30 毫秒 | 需要配置 – 不同的场景需要不同的模式 |
| 高度高效 – 计算使用量极少，无 DSP 负载，CPU 负载低 | 在纹理稀疏区域（立体匹配困难）表现不佳 |
| 高细节 – 可检测非常小的物体并保留全分辨率深度 | |
| 高度可配置 – 针对特定用例有许多调优参数 |
神经网络深度
主要特点
- 概念：LENS（Luxonis Edge Neural Stereo）模型，一种专有的 Luxonis 架构，利用了最先进的神经网络立体匹配技术。它完全在设备上运行，利用了部分板载 AI 计算能力。
- 机制：深度神经网络 (DNN)
- 输入：左侧校正图像和右侧校正图像
- 输出：视差图、置信度图、边缘检测图
- 分辨率：提供 5 种变体，从非常小的分辨率（快速）到全分辨率（慢速），以管理 DNN 推理固有的计算成本，这使用户能够为其用例选择最佳的权衡。
| 优点 | 缺点 |
|---|---|
| 最佳视觉质量 – 生成最具视觉吸引力的深度图 | 延迟较高 / FPS 较低 – 适用于较大的模型 |
| 出色的物体分割 – 清晰地将物体与背景分离 | 小物体细节丢失 – 使用较小的模型变体时，小物体可能会与背景融合 |
| 高填充率 – 生成密集深度图，缺失区域极少 | 过度填充 – 远处区域（例如天空）可能会被错误地填充深度 |
| 在可用方法中整体深度误差最低 | 计算量大 – 较大的模型会消耗大量的 AI 处理资源 |
| 可与无源立体设置配合使用 |
神经网络辅助立体
RVC4 (神经网络辅助立体)
主要特点
- 概念：来自较低分辨率神经网络立体输出的深度信息直接注入到立体算法的输入图像中，然后该算法继续进行特征匹配、成本聚合和视差细化步骤，处理全分辨率数据。
- 生成高分辨率、密集深度图，该图受益于硬件块的像素精度和神经网络的上下文精度。
| 优点 | 缺点 |
|---|---|
| 结合立体和神经网络的优势 – 高分辨率、低延迟的立体，并得到神经网络鲁棒性的增强 | 潜在的幻觉 – 结合神经网络先验和立体匹配可能会引入错误的深度估计 |
| 灵活且可调 – 可根据特定应用需求进行调整 | 视觉保真度低于 LENS – 深度图不如神经网络深度生成的视觉效果精细 |
| 比神经网络立体更好的小物体细节 | |
| 性能优于神经网络深度 – 更快，能够生成更高分辨率的深度图 | |
| 强大的边缘精度 – 物体边界接近神经网络深度的质量 | |
| 高效执行 – DSP 和 CPU 负载低 |
飞行时间 (ToF) 深度
RVC2 ToF
RVC4 ToF
深度自愈
无代码快速入门（应用商店）
OAK Viewer
OAK Viewer 是一个 GUI 应用程序，可让您通过实时可视化输出来轻松评估摄像头。您可以尝试：
在 Luxonis Hub 上打开它- 在 Luxonis Hub 上 OAK Viewer 或
- 在您的主机上 安装它。
指南和示例
需要帮助？
请前往 Discussion Forum 获取技术支持或提出您可能有的任何其他问题。