Robotics Vision Core 2 (RVC2)
Robotics Vision Core 2 (简称 RVC2) 是我们的 RVC 系列的第二代产品。Series 2 OAK 设备以及我们最初的设备都构建在 RVC2 之上。RVC2 包含两个主要组件:- 针对特定 SoC 进行微调的DepthAI 功能
- 一个高性能 SoC 及其所有支持电路(HS PCB 布局、电源输送网络、高效散热等)
点击此处 查看包含 81 个测试结果的完整表格。| ResNet-50 | 224x224 | 26.5 | 56.5 |
| MobileOne S0 | 224x224 | 165.5 | 11.1 |
| Resnet18 | 224x225 | 94.8 | 19.7 |
| DeepLab V3 | 256 x 256 | 36.5 | 48.1 |
| DeepLab V3 | 513 x 513 | 6.3 | 253.1 |
| YOLOv6n R2 | 416x416 | 65.5 | 29.3 |
| YOLOv6n R2 | 640x640 | 29.3 | 66.4 |
| YOLOv6t R2 | 416x416 | 35.8 | 54.1 |
| YOLOv6t R2 | 640x640 | 14.2 | 133.6 |
| YOLOv6m R2 | 416x416 | 8.6 | 190.2 |
| YOLOv7t | 416x416 | 46.7 | 37.6 |
| YOLOv7t | 640x640 | 17.8 | 97.0 |
| YOLOv8n | 416x416 | 31.3 | 56.9 |
| YOLOv8n | 640x640 | 14.3 | 123.6 |
| YOLOv8s | 416x416 | 15.2 | 111.9 |
| YOLOv8m | 416x416 | 6.0 | 273.8 |
| YOLOv9t | 416x416 | 21.70 | 46.09 |
| YOLOv9t | 640x640 | 10.69 | 93.60 |
| YOLOv9s | 416x416 | 12.74 | 78.49 |
| YOLOv9m | 416x416 | 4.71 | 212.31 |
| YOLOv10n | 416x416 | 27.07 | 36.95 |
| YOLOv10n | 640x640 | 12.62 | 79.21 |
| YOLOv10s | 416x416 | 14.03 | 71.29 |
| YOLOv10m | 416x416 | 6.05 | 165.26 |
| YOLO11n | 416x416 | 28.08 | 35.61 |
| YOLO11n | 640x640 | 12.80 | 78.11 |
| YOLO11s | 416x416 | 12.17 | 82.14 |
| YOLO11m | 416x416 | 3.90 | 256.20 |
模型已编译为 8 个 shave,并使用了 2 个 NN 推理线程。延迟包括通过 USB3 从设备获取结果的时间。对每个模型运行了 5 次迭代,并计算了平均 FPS。您可以在下面的图表中估算模型的性能。它包含基于 FLOPs 和参数的 RVC2 上模型的 FPS 估算。
点击图片查看常见模型 FPS 的更详细评估。RVC2 本身的最高功耗约为 4.5W,主要由集成在 RVC2 内的 SoC Movidius Myriad X 消耗。SoC 集成了多个硬件加速器,DepthAI API 的设计旨在充分利用它们:- 2 个 Leon CPU 核心:
- Leon CSS 处理:USB/以太网堆栈(由 XLink 框架管理)、IMU、3A 算法。减少 CSS CPU 消耗的一种方法是降低 3A 的速率,目前是通过降低相机 FPS 来实现。我们还在尝试跳过某些帧的 3A(例如,每 3 帧运行一次 3A)。在 POE 型号上,CSS CPU 消耗更高,因为它运行以太网堆栈。
- Leon MSS 处理其他所有事务;调度硬件加速功能、使用 shave 等。
- ISP - 图像信号处理器,用于图像处理,如降噪、锐化等。整个 ISP 配置通过 ColorCamera 节点 和 MonoCamera 节点 通过 API 公开。
- 2 个 NCE(神经网络计算引擎)专为一系列操作/层而设计,但有些层未实现,这些层在 SHAVE 核心上实现。
- 16 个 SHAVE 核心 - 矢量处理器。用于执行某些 NN 操作/层,它们用途广泛,也可用于其他任务,如计算机视觉算法(重新格式化图像、执行某些 ISP 操作等)。
- 分辨率越高,消耗的 SHAVE 越多;1080P 使用 3 个 SHAVE,4K 使用 6 个 SHAVE。
- DepthAI 内部的资源管理器协调 SHAVE 的使用,并在给定管道配置请求过多资源时发出警告。
- 20 个 CMX 切片 - 这些是用于临时存储计算结果的快速 SRAM 内存块(每个 128kB)。它们用于 NN 模型、相机 ISP(1080P 及以下使用 3 个 CMX 切片)、图像处理等。请注意,有 4 个 CMX 切片是预分配的,因此只有 16 个可用。
- 立体声管道 - 用于立体匹配(Census 变换、成本匹配和成本聚合),由 StereoDepth 节点 使用。
- 视频编码器,支持 MJPEG、H264 和 H265 编解码器。由 VideoEncoder 节点 使用。
- 视觉模块:
您可以通过启用 调试信息 来检查 SHAVE 和 CMX。