概览硬件软件云平台
此页面由 AI 自动翻译。查看英文原版
平台

本页目录

  • 计算机视觉引擎
  • 图像信号处理器
  • AI
  • AI 功耗
  • Jetson 对比
  • 功耗效率
  • 自定义应用
  • 功耗

Robotics Vision Core 4 (RVC4)

Robotics Vision Core 4（简称 RVC4）是我们 RVC 的第四代产品。主要规格：
  • 6 核 ARMv8 CPU，运行 Linux
  • AI：48 INT8，12 FP16 TOPS
  • GPU：4 FP16 TOPS
  • 计算机视觉：立体深度、帧变形引擎、光流、特征检测、描述符匹配、模板匹配
  • ISP：5 个摄像头流，HDR，EIS，3A
  • 编码：4K @ 240FPS 解码，H264 和 H265 的 4K @ 120FPS 编码。还支持 VP9、AV1 解码
要保持最新，请考虑订阅 RVC4 新闻通讯。

计算机视觉引擎

  • 立体深度：最大 800P @ 60FPS，默认 4 位子像素，64 视差搜索。8 位置信度图，空间一致性，遮挡和纹理掩码，±3 像素线校正容差
    • 最大立体分辨率为 1280x1280
  • 图像变形引擎：吞吐量 1080P @ 240FPS
  • 光流：半密集：1080P @ 60FPS，全密集：VGA @ 60 FPS
  • 特征检测：Harris 角点检测，1080P @ 60FPS
  • 描述符匹配：ORB 计算和内联匹配。描述符：256 位。最大 1080P，每 500 个描述符 1ms（计算 + 匹配）
  • 模板匹配：最大 1080P，500 个模板 1.2ms，每帧最多 1024 个块

图像信号处理器

RVC4 的图像信号处理器 (ISP) 具有以下功能：
  • 最多 3 个并发摄像头流（带 ISP 处理）
    • 3x 36MP @ 30FPS 或
    • 1x 36MP + 1x 72MP @ 30FPS 或
    • 1x 108MP @ 30FPS
  • 最多 2 个额外的原始输出流（无 ISP 处理）
  • 3A（自动曝光、自动白平衡、自动对焦）
  • 支持 18 bpp（每像素位数）
  • 硬件 HDR：交错式 HDR，数字重叠，无重叠
  • 图像稳定 (EIS)，良好的低光性能

AI

RVC4 NN 模型基准测试（峰值性能）：
模型名称大小FPS任务
YoloV5m640x640280对象检测
YoloV6n512x2882340对象检测
YoloV7-W6640x640162对象检测
ResNet-50224x224934分类
ViT-Tiny224x224650分类
BiSeNetv1-MBNV2512x228647语义分割
eWaSR512x384309语义分割

AI 功耗

RVC4 的 AI 系统设计为节能且可根据用户需求进行配置。AI 系统可以配置为在不同的功率级别（FPS 速度）下运行，这将影响 AI 系统的性能。 下表显示了不同 FPS 速度下的模型 FPS 和[功耗]：
模型名称低 FPS中 FPS高 FPS最大 FPS
BiSeNet-MBNV2 (512x288)80 [0.67 W]133 [1.04 W]391 [3.02 W]647 [5 W]
eWaSR ResNet18 (512x384)59 [0.79 W]106 [1.51 W]229 [3.55 W]309 [5.25 W]
MobileVit-xxs (224x224)104 [0.63 W]199 [1 W]277 [1.82 W]488 [3.27 W]
Repvgg_a2 (224x224)181 [1.07 W]327 [2.22 W]466 [3.75 W]1250 [10.4 W]
ResNet101 (224x224)115 [1.05 W]243 [2.4 W]339 [3.57 W]718 [8.62 W]
ResNet50-v2-7 (224x224)145 [0.96 W]260 [1.9 W]380 [2.83 W]934 [7.65 W]
ViT-Tiny patch16 (224x224)124 [0.7 W]228 [1.25 W]300 [1.88 W]615 [4.27 W]
Yolo6N (512x288)190 [0.7 W]307 [1.1 W]702 [3.8 W]2340 [7.5 W]
YoloV5M (640x640)48 [0.93 W]72 [1.75 W]212 [6.05 W]280 [8.4 W]
YoloV7-W6 (640x640)34 [1.05 W]60 [2.48 W]139 [7.45 W]162 [7.85 W]
功耗测量是在 10 秒推理运行期间对整个 RVC4 板进行的。因此，AI 功耗会略低一些，因为芯片的其余部分（主要是 CPU）也在消耗功率。

Jetson 对比

Nvidia 的 Jetson 系列目前是事实上的边缘 AI 平台。我们测试了 Jetson Orin Nano 8GB（标准版，非 Super 版）， 它具有 40 TOPS（GPU）和 6 核 ARM CPU。下面是 RVC4 与 Jetson Orin Nano 8GB 的 1:1 对比，两者都使用 INT8 精度和相同的图像形状：
模型名称RVC4 [FPS]Jetson Orin Nano 8GB [FPS]
InceptionV4, BS1691170
InceptionV4, BS32608358
ResNet50, BS11369502
ResNet50, BS3216441191
VGG19, BS1269183
VGG19, BS32560362
Super Resolution, BS136*202
SSD MobileNet V1, BS11910920
SSD MobileNet V1, BS3226882260
UNet Segmentation, BS1323142
YoloV3 Tiny, BS11342563
查看 Jetson 系列基准测试（底部），Nvidia 报告了 BS32 模型（批处理大小为 32，即一次推断 32 张图像）的 FPS。根据我们自己的测试，这些数字是现实的，但是，它们的 BS1 模型（批处理大小为 1，即单张图像）的性能比 BS32 模型差约 2 倍。如果您想要实时性能（延迟不超过 1 秒），则需要使用 BS1 模型。* 由于 SoC 是全新的，模型优化器仍在更新中，未来将添加更多层以在加速块上进行处理。对于超分辨率模型，有几层是在 CPU 上处理的。这就是 RVC4 性能较低的原因。

功耗效率

我们还测量了 RVC4 和 Jetson Orin Nano 8GB 的功耗。我们将两个设备都运行在最大性能模式下（即 RVC4 的最大 FPS），并测量了整个板的功耗。Orin Nano 的功耗波动很大，因此我们取了 10 秒内的平均功耗。我们始终使用批处理大小为 1 的模型（即单张图像）。
模型名称RVC4 [W]Jetson Orin Nano 8GB [W]
InceptionV49.112
ResNet5010.213
VGG199.511
YoloV3 Tiny9.910
YoloV5 M (416x416)9.311
结论： RVC4 的速度比 Jetson Orin Nano 8GB 快 1.9 倍，同时功耗效率也高 15%。

自定义应用

用户可以完全访问 RVC4 的强大功能：
  • 可通过 Luxonis Hub 开箱即用地轻松开发和部署自定义容器化应用
  • 使用 Halide 在加速硬件块之上开发和运行快速计算机视觉管道
  • 与 GPIO 和通信接口进行交互
  • 由于 RVC4 还可以选择作为主机计算机运行，因此可以将其连接到其他 基于 RVC2 的 OAK (PoE) 摄像头。

功耗

RVC4 本身的最大功耗峰值约为 25W，这主要由集成在 RVC4 内部的 SoC（高通 QCS8550）消耗。
  • 最大峰值：25W
  • 最大平均值：10-15W
  • 平均空闲：1.6W
  • 启动峰值：12W
  • 启动平均值：2.3W（约 15 秒）