Robotics Vision Core 2 (RVC2)
Robotics Vision Core 2 (RVC2)
- 针对特定 SoC 进行微调的DepthAI 功能
- 一个高性能 SoC 及其所有支持电路（HS PCB 布局、电源输送网络、高效散热等）
RVC2 性能
- 处理能力4 TOPS（AI为1.4 TOPS）- RVC2 NN 性能
- 运行任何 AI 模型，包括自定义架构/构建的模型 - 模型需要转换。
- 编码：H.264、H.265、MJPEG - 4K/30FPS、1080P/60FPS
- 计算机视觉：通过 ImageManip 节点进行变形/去畸变、缩放、裁剪，边缘检测、特征跟踪。您还可以 运行自定义 CV 函数
- 对象跟踪：使用 ObjectTracker 节点进行 2D 和 3D 跟踪
- 设备端编程：在设备上运行自定义逻辑/任务（指南）
RVC2 NN 性能
| 模型名称 | 尺寸 | FPS | 延迟 [ms] |
|---|---|---|---|
| ResNet-50 | 224x224 | 26.5 | 56.5 |
| MobileOne S0 | 224x224 | 165.5 | 11.1 |
| Resnet18 | 224x225 | 94.8 | 19.7 |
| DeepLab V3 | 256 x 256 | 36.5 | 48.1 |
| DeepLab V3 | 513 x 513 | 6.3 | 253.1 |
| YOLOv6n R2 | 416x416 | 65.5 | 29.3 |
| YOLOv6n R2 | 640x640 | 29.3 | 66.4 |
| YOLOv6t R2 | 416x416 | 35.8 | 54.1 |
| YOLOv6t R2 | 640x640 | 14.2 | 133.6 |
| YOLOv6m R2 | 416x416 | 8.6 | 190.2 |
| YOLOv7t | 416x416 | 46.7 | 37.6 |
| YOLOv7t | 640x640 | 17.8 | 97.0 |
| YOLOv8n | 416x416 | 31.3 | 56.9 |
| YOLOv8n | 640x640 | 14.3 | 123.6 |
| YOLOv8s | 416x416 | 15.2 | 111.9 |
| YOLOv8m | 416x416 | 6.0 | 273.8 |
| YOLOv9t | 416x416 | 21.70 | 46.09 |
| YOLOv9t | 640x640 | 10.69 | 93.60 |
| YOLOv9s | 416x416 | 12.74 | 78.49 |
| YOLOv9m | 416x416 | 4.71 | 212.31 |
| YOLOv10n | 416x416 | 27.07 | 36.95 |
| YOLOv10n | 640x640 | 12.62 | 79.21 |
| YOLOv10s | 416x416 | 14.03 | 71.29 |
| YOLOv10m | 416x416 | 6.05 | 165.26 |
| YOLO11n | 416x416 | 28.08 | 35.61 |
| YOLO11n | 640x640 | 12.80 | 78.11 |
| YOLO11s | 416x416 | 12.17 | 82.14 |
| YOLO11m | 416x416 | 3.90 | 256.20 |
NN 性能估算
功耗
硬件模块和加速器
- 2 个 Leon CPU 核心：
- Leon CSS 处理：USB/以太网堆栈（由 XLink 框架管理）、IMU、3A 算法。减少 CSS CPU 消耗的一种方法是降低 3A 的速率，目前是通过降低相机 FPS 来实现。我们还在尝试跳过某些帧的 3A（例如，每 3 帧运行一次 3A）。在 POE 型号上，CSS CPU 消耗更高，因为它运行以太网堆栈。
- Leon MSS 处理其他所有事务；调度硬件 加速功能、使用 shave 等。
- ISP - 图像信号处理器，用于图像处理，如降噪、锐化等。整个 ISP 配置通过 ColorCamera 节点 和 MonoCamera 节点 通过 API 公开。
- 2 个 NCE（神经网络计算引擎）专为一系列操作/层而设计，但有些层未实现，这些层在 SHAVE 核心上实现。
- 16 个 SHAVE 核心 - 矢量处理器。用于执行某些 NN 操作/层，它们用途广泛，也可用于其他任务，如计算机视觉算法（重新格式化图像、执行某些 ISP 操作等）。
- 分辨率越高，消耗的 SHAVE 越多；1080P 使用 3 个 SHAVE，4K 使用 6 个 SHAVE。
- DepthAI 内部的资源管理器协调 SHAVE 的使用，并在给定管道配置请求过多资源时发出警告。
- 20 个 CMX 切片 - 这些是用于临时存储计算结果的快速 SRAM 内存块（每个 128kB）。它们用于 NN 模型、相机 ISP（1080P 及以下使用 3 个 CMX 切片）、图像处理等。请注意，有 4 个 CMX 切片是预分配的，因此只有 16 个可用。
- 立体声管道 - 用于立体匹配（Census 变换、成本匹配和成本聚合），由 StereoDepth 节点 使用。
- 视频编码器，支持 MJPEG、H264 和 H265 编解码器。由 VideoEncoder 节点 使用。
- 视觉模块：
- 边缘检测 - 由 EdgeDetector 节点 使用。
- 3 个 Warp 引擎 - 由 ImageManip 节点 / Warp 节点 使用，用于翘曲、立体校正、去畸变等。
- 角点检测（Harris/Shi-Thomasi） - 由 FeatureTracker 节点 使用。
- 运动估计器 - 由 FeatureTracker 节点 使用。
- Min/Max 计算器 - 由 FeatureTracker 节点 用于 NMS（用于 Harris 角点检测）。