Robotics Vision Core 3 (RVC3)

Robotics Vision Core 3（简称 RVC3）是我们 RVC 的第三代产品。它集成了三个主要组件：

针对特定 SoC 进行了优化的 DepthAI 功能
高性能 SoC 及其所有支持电路（HS PCB 布局、电源输送网络、高效散热等）
开箱即用的与 Luxonis Hub 的连接 - 我们的云平台，可实现感知栈的端到端集成。

基于 RVC3 的设备

以下是基于 RVC3 构建的设备列表：

RAE - 用于评估 DepthAI 和快速原型设计机器人应用的桌面机器人
OAK-FFC 6P - 一个模块化相机套件，非常适合原型设计

RVC3 的现状

首先也是最重要的一点，我们要明确 Luxonis 将 100% 继续支持 RVC3 架构，包括其正在使用的许多标准和客户特定的设备。 RVC3 相比 RVC2 解锁了许多改进的功能，并且我们将在未来几年内继续支持 RVC3，以帮助我们的客户实现这些功能。然而，RVC3 确实存在一些限制。它基于 Movidius Keembay，而 Intel 已将其优先级降低。主要限制在于 AI 性能。尽管具有更高的 TOPS，但它不支持某些神经网络层/操作，并且某些 NN 操作/层并未针对 AI 子系统进行优化。这与其前代产品（RVC2）不同。Intel 发布了基于 Myriad X 芯片的 Neural Compute Stick 2（NCS2），它被用作通用的 AI 计算硬件，并针对大多数 NN 操作进行了优化。这种差异导致某些模型在 RVC3 上表现非常好，而其他模型则不受支持或比 RVC2 慢得多。例如：

ResNet50（分类）FPS - RVC2：29，RVC3：114，增长了近 400%。相比之下，RVC4 的 ResNet50 FPS 为 934。
Yolov5N（目标检测）FPS - RVC2：40，RVC3：6，FPS 下降了约 85%。
Yolov6N（目标检测）FPS - RVC2：60，RVC3：47，仅下降了 20%。

除了 AI 限制外，由于硬件挑战，VPU（与 RVC2 架构类似）的时钟频率降低了约 20%，并且存在子像素模式的硬件勘误。尽管如此，RVC3 对于许多用例来说仍然是一个出色的芯片，因为它集成了四核 ARM，允许独立模式运行。 Yolov6N 也可以很好地运行，结合其他功能（如对象跟踪），可以解决许多业务问题。总而言之，随着久经考验的 RVC2 和即将推出的 RVC4（预计 2024 年第四季度），我们预计一些客户将更倾向于现在专注于利用 RVC2 或与我们即将推出的 RVC4 合作，而不是使用 RVC3。

RVC3 性能

3.0 TOPS 的 AI 性能，支持 INT8 量化支持
四核 ARM A53 @ 1.5GHz，运行 Yocto Linux，可作为主机计算机使用
成像: ISP，最多支持 6 个摄像头，500 MP/s HDR，3A
运行任何 AI 模型，包括自定义架构/构建的模型 - 模型需要转换。
云平台 - Luxonis Hub - 开箱即用的连接性
设备端支持 SLAM / VIO
编码: H.264, H.265, MJPEG - 4K/75FPS，解码: 4K/60FPS
计算机视觉: 通过 ImageManip 节点进行图像校正/去畸变、缩放、裁剪，边缘检测，特征跟踪。您还可以在设备上运行自定义 CV 函数

对象跟踪: 使用 ObjectTracker 节点进行 2D 和 3D 跟踪

RVC3 与 RVC2 对比

以下是与 RVC2 的主要区别：

集成了四核 ARM A53，运行 YOCTO Linux（详情）
增强的立体深度感知（详情）
支持 NN INT8 量化（详情）

我们还保留了向后兼容性，因此为基于 RVC2 的设备编写的管道在 Series 3 设备上仍然可以工作。

四核 ARM

将集成具有 Neon 技术和浮点扩展（Linux 5.3）的四核 ARM A53 1.5GHz 放入 VPU 中，类似于拥有 RVC2 + Raspberry Pi 3B+（四核 A53 1.4GHz），这可以使最终项目和产品更加紧凑。

自定义应用程序

用户将能够通过 Luxonis Hub 在 S3 设备的 ARM 处理器上执行自定义容器化应用程序。这些容器化应用程序还将能够与 GPIO 和通信接口（I2C、UART 等）进行交互，因此客户将能够例如从自定义传感器读取数据，或直接从 OAK-SoM MAX 与微处理器通信。它还可以使用上一版本（例如 OAK-D、OAK-D-Lite）的基于 RVC3 的设备；通过 USB 连接到您的计算机，然后启动应用程序。凭借板载计算能力，程序/应用程序将能够直接在设备上进行完整的模型解码，这将使 DepthAI 应用程序更加灵活并降低延迟。

SLAM / VIO

由于 Series 3 OAK 相机具有板载四核 ARM，因此可以直接在 OAK 相机上运行 VIO 或 SLAM 软件栈。设备支持稀疏 SLAM，对于密集 SLAM 可能需要额外的宿主机计算（待定）。

立体深度

Series 3 OAK 设备采用基于 CNN 的像素描述符计算，而上一代 OAK 系列使用的是 census 变换。

NN 量化

RVC3 支持 FP16 和 INT8 数据类型。OpenVINO 还提供了模型量化工具，因此转换模型与为 RVC2（仅支持 FP16）转换模型没有区别。INT8 量化可提高某些神经网络模型的推理性能。RVC3 集成了 20 个 DPU（数据处理单元），能够提供 5.12 TOPS（INT8）或 1.28 TFLOPS（FP16）的性能。

RVC3 规格

规格	值
标称 VPU 时钟	500 MHz
ResNet-50 性能	每秒 240 次推理
AI TOPS	3.0 TOPS
SHAVE 处理器	12
计算机视觉	CV/Warp 加速，速度为 1.0 GB/s。支持 6DOF 运动掩码
立体深度	720P 分辨率，180 FPS
视频编码	最高 4K 75FPS。H.264、H.265 和 JPEG 编解码器
视频解码	最高 4K 60FPS，最多 10 个 1080P/30FPS 通道。H.264、H.265 和 JPEG 编解码器
成像	ISP，最多 6 个摄像头，500 MP/s HDR，TNF，3A，ULL。支持 4K/60FPS
接口	多个 I2C、Quad-SPI、I2S、UART、PCIe Gen4 接口、USB 3.1/2、1GB 以太网、多个 GPIO
工作温度	-40°C 至 105°C（与 RVC2 相同）
RAM 支持	2x 32 位 DRAM，频率为 1600-2133 MHz

ResNet-50 性能的测量是在 INT8 量化下，使用（最大）原生优化和 50% 的权重稀疏度进行的。

原生媒体支持

GStreamer 框架
OpenCV（或 G-API）用于计算机视觉
Video Acceleration API / Intel Media SDK 用于编码和解码

用户也可以在他们的详细信息中使用上述库/框架。

RVC3 HDR 支持

RVC3 支持 HDR（高动态范围）模式，该模式允许捕获比标准模式具有更高动态范围的图像。支持的相机传感器：

IMX412 驱动程序（我们也将其用于 IMX577/IMX477），需要 12MP 分辨率和 4 个 MIPI 通道
IMX327 驱动程序（我们也将其用于 IMX462），需要 1080P 和 4 个 MIPI 通道

要启用 HDR，您可以指定：

Python

1colorCam1.initialControl.setMisc("camera-mode", "HDR-2DOL")
2# 或者，对于 3DOL：
3colorCam2.initialControl.setMisc("camera-mode", "HDR-3DOL")
4# 请注意，3DOL 仅适用于静态场景

DOL HDR 代表数字重叠 HDR。模式之间的比较如下所示：

功耗

RVC3 本身的最高功耗约为 8W，主要由集成在 RVC3 内的 SoC Movidius Keem Bay 消耗。

本页目录

Robotics Vision Core 3 (RVC3)View as Markdown