NN 分辨率技术

当运行的神经网络（NN）与输入帧的宽高比（AR）不匹配时，会面临两个主要挑战：

输入帧 AR 不匹配 - 当您的 NN 模型期望的宽高比与传感器的宽高比不同时
NN 输出的可视化 - 当您想在更高分辨率下可视化 NN 输出时

输入帧 AR 不匹配

当您的NN 模型期望的宽高比（例如 1:1）与传感器的宽高比（例如 4:3）不匹配时，就会出现挑战，而我们希望在传感器的完整视场（FOV）上运行 NN 推理。假设我们有一个 MobileNet-SSD 模型，它期望 300x300 的输入帧（1:1 宽高比），并且我们想在传感器的完整 FOV 上运行推理，我们有几种选择：

裁剪 ISP 帧以匹配 1:1 的宽高比，从而丢失部分 FOV
将 ISP 帧拉伸以匹配 NN 的 1:1 宽高比
对 ISP 帧应用信箱模式以获得 1:1 宽高比的帧

所有这三种转换都可以使用 ImageManip 节点通过设置适当的 ResizeMode 来配置。

裁剪

优点：NN 准确度无下降。缺点：帧被裁剪，因此不是完整的 FOV。将完整 FOV（isp）帧裁剪为匹配 NN 宽高比可以获得最佳 NN 准确度，但这会降低 FOV。可以通过以下方式设置：

Python

1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.CENTER_CROP)

信箱模式

优点：保留完整的 FOV。缺点：较小的“帧”意味着可能丢失更多特征，从而降低 NN 准确度。信箱模式方法将在图像的上方和下方应用“黑条”到完整的 FOV（isp）帧，从而保留宽高比。使用此方法的缺点是，您的实际图像会变小，因此可能无法保留某些特征，这可能意味着 NN 准确度会下降。可以通过以下方式设置：

Python

1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.LETTERBOX)

拉伸

优点：保留完整的 FOV。缺点：由于帧被拉伸，NN 准确度可能会下降。拉伸是通过改变宽高比来完成的。这意味着宽高比将不会被保留，图像将被“拉伸”。这对于某些现成的 NN 模型可能存在问题，因此可能需要进行一些微调。可以通过以下方式配置：

Python

1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.STRETCH)

此处有使用示例

在高分辨率下显示检测结果

为了在 RVC2 上实时（约 30FPS）运行对象检测模型，通常会使用较低的输入帧进行推理（例如 300x300 或 416x416）。与其在如此小的帧上显示边界框，您还可以流式传输更高分辨率的帧（例如来自 ColorCamera 的 video 输出），并在这些高分辨率帧上显示边界框。有几种方法可以实现这一点，在本节中我们将对其进行探讨。

直通

仅使用小的推理帧。在这里，我们使用了 DetectionNetwork 输出的 passthrough 帧，以便边界框与帧同步。另一种选择是从 ColorCamera 流式传输 preview 帧，并在主机上同步（或根本不同步）。下面是带有检测结果的 300x300 帧。此处有演示代码。

裁剪高分辨率帧

解决低分辨率帧的一个简单方法是将高分辨率帧（例如来自 ColorCamera 的 video 输出）流式传输到主机，并在其上绘制边界框。为了使边界框与帧匹配，preview 和 video 的尺寸应具有相同的宽高比，即 1:1。在此示例中，我们将 4k 分辨率缩小到 720P，因此最大分辨率为 720x720，这正是我们使用的分辨率（camRgb.setVideoSize(720,720)）。我们也可以使用 1080P 分辨率并将 1080x1080 帧流式传输回主机。此处有演示代码。