配置立体深度
配置立体深度
立体视觉通过计算从略微不同位置拍摄的两张图像之间的视差来工作。立体视觉在很大程度上类似于我们的眼睛。我们的大脑（下意识地）根据左眼看到的与右眼看到的之间的差异来估算物体和场景的深度。在 OAK-D 相机上，情况完全相同；我们有左右相机（立体相机对），OAK 在设备上进行视差匹配以估算物体和场景的深度。视差是指立体对的左图像和右图像中两个对应点之间的距离。
从视差计算深度
depth_cm- 以厘米为单位的 深度fx_px- 以像素为单位的 焦距baseline_cm- 立体相机对的两个相机之间的距离disparity_px- 以像素为单位的视差
焦距
Python
1import depthai as dai
2
3# 从 ImgTransformations 获取内参（推荐）
4disparity = disparityQueue.get() # 或 depthQueue.get()
5intrinsics = disparity.getTransformation().getSourceIntrinsicMatrix()
6print('焦距（像素）：', intrinsics[0][0])Python
1import depthai as dai
2
3with dai.Device() as device:
4 calibData = device.readCalibration()
5 intrinsics = calibData.getCameraIntrinsics(dai.CameraBoardSocket.CAM_C)
6 print('右单目相机焦距（像素）：', intrinsics[0][0])intrinsics[0][0]）中：视差
基线距离和焦距如何影 响深度
更宽的视场角会导致更差的深度精度，即使在较近的距离（精度下降不那么明显）也是如此。
最小立体深度距离
- 将分辨率更改为 640x400，而不是标准的 1280x800。
- 启用扩展视差。
Python
1min_distance = focal_length_in_pixels * baseline / disparity_in_pixels = 882.5 * 7.5cm / 190 = 34.84cm可以同时应用这两个选项，这将使最小深度设置为标准设置的 1/4，但在如此短的距离下，最小深度受焦距限制，即 19.6 厘米，因为 OAK-D 单目相机的固定对焦距离为：19.6 厘米 - 无穷远。
将相机移近物体
最大立体深度距离
Python
1Dm = (baseline/2) * tan((90 - HFOV / HPixels)*pi/180)Python
1# 对于 OAK-D (7.5cm 基线)
2Dm = (7.5/2) * tan((90 - 71.9/1280)*pi/180) = 3825.03cm = 38.25 米
3
4# 对于 OAK-D-CM4 (9cm 基线)
5Dm = (9/2) * tan((90 - 71.9/1280)*pi/180) = 4590.04cm = 45.9 米StereoDepth 节点提供了几个配置文件预设，可用于快速为不同场景配置节点。每个预设都应用了一组特定的过滤器和参数，针对特定用例进行了优化。有关每个预设的 FPS 性能信息，请参阅 特定平台配置。RVC4 支持以下预设：有关过滤器的详细信息，请参阅 特定平台配置。ACCURACY 预设：大多数参数在所有 RVC4 预设中是一致的：
RVC4
可用预设
- ACCURACY：优先考虑深度精度而非填充率，以实现精确的深度测量
- DENSITY：优先考虑填充率和处理速度，以在更高的帧率下获得密集的深度图
预设特定差异
- 扩展视差：
True - 亚像素：
True（4 位，RVC4 固定） - 软件左右检查：
False - 中值滤波器：
MEDIAN_OFF - 空间滤波器：
enable=False - 斑点滤波器：
enable=True,speckleRange=200,differenceThreshold=2 - 时间滤波器：
enable=False - 抽取滤波器：
decimationFactor=1（禁用），decimationMode=NON_ZERO_MEAN - 自适应中值滤波器：
enable=True,confidenceThreshold=200 - 洞填充：
enable=True,highConfidenceThreshold=240,fillConfidenceThreshold=251,minValidDisparity=1 - 置信度阈值：
97 - 置信度指标：
- 遮挡置信度权重：
14 - 运动矢量置信度权重：
16 - 运动矢量置信度阈值：
1 - 平坦度置信度权重：
2 - 平坦度置信度阈值：
4 - 平坦度覆盖：
False
- 遮挡置信度权重：
- Census 变换：
noiseThresholdOffset=0,noiseThresholdScale=84 - 阈值滤波器：
minRange=0,maxRange=65535 - 亮度滤波器：
minBrightness=0,maxBrightness=256
- 扩展视差：
True - 亚像素：
True(4 位，RVC4 固定) - 软件左右检查：
True(阈值：4) - 中值滤波器：
KERNEL_5x5 - 空间滤波器：
enable=False - 斑点滤波器：
enable=True，speckleRange=200，differenceThreshold=2 - 时间滤波器：
enable=False - 抽取滤波器：
decimationFactor=1(禁用)，decimationMode=PIXEL_SKIPPING - 自适应中值滤波器：
enable=True，confidenceThreshold=200 - 填充空洞：
enable=False - 置信度阈值：
20 - 置信度指标：
- 遮挡置信度权重：
28 - 运动矢量置信度权重：
0 - 运动矢量置信度阈值：
1 - 平坦度置信度权重：
4 - 平坦度置信度阈值：
4 - 平坦度覆盖：
False
- 遮挡置信度权重：
- Census 变换：
noiseThresholdOffset=0，noiseThresholdScale=-40 - 阈值滤波器：
minRange=0，maxRange=65535 - 亮度滤波器：
minBrightness=-1，maxBrightness=256
通用参数
- 亚像素：4 位 (RVC4 固定)
- 扩展视差：
True - 空间滤波器：
enable=False - 斑点滤波器：
enable=True，speckleRange=200，differenceThreshold=2 - 时间滤波器：
enable=False - 抽取滤波器：
decimationFactor=1(禁用) - 自适应中值滤波器：
enable=True，confidenceThreshold=200 - 阈值滤波器：
minRange=0，maxRange=65535
我们注意到一些与立体深度质量相关的议题：由于立体匹配算法的工作方式，被动立体深度需要场景中具有良好的纹理，否则深度图会很嘈杂/无效。低视觉兴趣的表面（几乎没有纹理的空白表面），例如墙壁或地板。解决方案： 我们的 OAK Pro 版本 OAK 相机具有板载 IR 激光点投影仪， 它将数千个小点投射到场景中，这有助于立体匹配算法，因为它为场景提供了更多纹理。
场景纹理
立体深度置信度阈值
0..255。 此置信度分数是（如果，比如说，与 NN 置信度进行比较的话）倒置的 ：- 0 - 持有有效值的最大置信度
- 255 - 最小置信度，因此值不正确的可能性更大
Python
Python
1# 创建 StereoDepth 节点
2stereo_depth = pipeline.create(dai.node.StereoDepth)
3stereo_depth.initialConfig.setConfidenceThreshold(threshold)
4
5# 或者，也可以设置 Stereo 预设模式：
6# 优先填充率，将置信度阈值设置为 245
7stereo_depth.setDefaultProfilePreset(dai.node.StereoDepth.PresetMode.HIGH_DENSITY)
8# 优先准确性，将置信度阈值设置为 200
9stereo_depth.setDefaultProfilePreset(dai.node.StereoDepth.PresetMode.HIGH_ACCURACY)立体相机对噪声
立体后处理滤波器
如果管道抱怨着色器/内存分配问题，请尝试使用
setPostProcessingHardwareResources(n_shaves, n_cmx) --> stereoDepth.setPostProcessingHardwareResources(3, 3) 来增加后处理中使用的硬件资源。中值滤波器
斑点过滤器
时间过滤器
空间过滤器
亮度过滤器
直接光源（顶灯）- 深度像素无效
stereoDepth.setRectifyEdgeFillColor(int8) 进行更改。此黑色区域随后可以使用亮度过滤器进行无效化，如下所示：在校正“伪影”处使深度无效化
阈值过滤器
抽值过滤器
过滤顺序
Python
1config.postProcessing.filteringOrder = [
2 dai.RawStereoDepthConfig.PostProcessing.Filter.TEMPORAL,
3 dai.RawStereoDepthConfig.PostProcessing.Filter.SPECKLE,
4 dai.RawStereoDepthConfig.PostProcessing.Filter.SPATIAL,
5 dai.RawStereoDepthConfig.PostProcessing.Filter.MEDIAN,
6 dai.RawStereoDepthConfig.PostProcessing.Filter.DECIMATION
7]上一章我们关注了噪声，这不一定是深度不准确的唯一原因。有几种方法可以提高深度精度：首先让我们了解一下立体亚像素模式是什么以及它是如何工作的。 有关图像亚像素的解释，请参阅什么是亚像素？。在计算视差深度时，立体匹配算法为每个视差像素分配一个“置信度”分数，这意味着深度图像的每个像素包含 96 字节（用于置信度）。如果您对所有这些成本值感兴趣，可以使用 
可以通过将
立体亚像素模式
立体深度管线非常复杂（请参阅立体深度节点内部框图），为了更好地理解，我们在这里将其简化。它实际上不使用置信度（例如
stereoDepth.confidenceMap 输出），而是使用成本转储 ，这是用于计算置信度值的。stereoDepth.debugDispCostDump 输出，但请注意它是一个非常大的输出（例如，每帧 1280*800*96 => 98MB）。立体亚像素对分层的影响
| 亚像素小数位数 | 唯一值数量 |
|---|---|
| 3 | 754 |
| 4 | 1506 |
| 5 | 3010 |
stereoDepth.setSubpixelFractionalBits(int) 参数设置为 3、4 或 5 位来更改亚像素位数。要获得准确的短距离深度，您首先需要遵循提高深度精度的步骤。对于大多数普通视场角、OV9282 OAK-D* 相机，您希望物体/场景距离相机约 70 厘米，此时误差低于 2%（具有良好的场景纹理），即 ± 1.5 厘米误差。但如何获得更好的深度精度，例如厘米级立体深度精度？正如我们在 基线距离和焦距如何影响深度中学到的， 我们希望有更近的基线距离和/或更窄的视场镜头。因此，对于短距离深度感知，我们建议使用 OAK-D SR 或 OAK-D ToF， 因为它们具有 2 厘米的基线距离、800P 分辨率，非常适合高达 1 米的深度传感。回到 视差深度，最小深度感知 （MinZ）由以下公式定义，其中视差为 95 像素（视差搜索的最大像素数）：如果近距离物体的深度结果看起来很奇怪，这很可能是 因为它们低于 OAK 相机的 MinZ 距离。您可以通过以下任一方式获得更低的 OAK 相机 MinZ：最后两种选项可以同时启用，这将使最小深度设置为标准设置的 1/4，但在如此短的距离下，MinZ 可能受焦距限制。上面我们有一个 MinZ 的公式，通过降低分辨率，我们正在降低焦距（以像素为单位），所以让我们再次看一下公式：如您所见，通过将分辨率降低 2 倍，我们将 MinZ 也降低了 2 倍。请注意，由于像素数量减少，深度精度（以厘米为单位）也会降低。与 降低分辨率以减小 MinZ 非常相似， 扩展模式运行立体深度管道两次（因此消耗更多硬件资源）；一次使用传递给 StereoDepth 节点的帧的分辨率， 一次使用分辨率缩小 2 倍，然后合并两个输出视差图。视差压缩进行稀疏视差匹配：
由于深度是从视差计算出来的，而视差需要像素重叠，因此在左单目相机的左侧和右单目相机的右侧本质上存在一个垂直带，由于只有一个立体相机可以看到，因此无法计算深度。该带在下图中用 
如何获得更低的 MinZ
降低分辨率以减小 MinZ
立体扩展视差模式
立体压缩模式
- 前 48 个像素逐像素匹配，意味着在更远的距离没有缺点
- 接下来的 32 个像素每隔 2 个像素匹配一次，因此精度减半（在更近的距离）
- 最后 16 个像素每隔 4 个像素匹配一次，因此精度减为四分之一（在最近的距离）。因为精度在最近的距离本身就是最好的，所以这是一个不错的权衡。
压缩 - 对精度的影响（75mm 基线，800P，普通视场角）
Python
1stereo = pipeline.create(dai.node.StereoDepth)
2cfg = stereo.initialConfig.get()
3# Enable companding mode
4cfg.costMatching.enableCompanding = True
5stereo.initialConfig.set(cfg)视差偏移
- 由于视差与深度的反比关系，随着视差偏移的增加，MaxZ 的降低速度远快于 MinZ。因此，建议不要使用大于实际需要的视差偏移。
- 以这种方式减小 MinZ 的权衡是，距离 MaxZ 更远距离的物体将不可见。
- 由于上述原因，我们仅建议在已知 MaxZ 时使用视差偏移，例如将深度相机安装在桌子上，向下指向桌面表面。
- 输出的视差图未扩展，仅深度图。因此，如果视差偏移设置为 50，并且获得的视差值为 90，则实际视差为 140。
- (+) 速度更快，因为它不需要额外的计算，这意味着也没有额外的延迟
- (-) 降低了 MaxZ（显著），而扩展视差仅降低 MinZ。
method
depthai.StereoDepthConfig.setDisparityShift
近距离深度限制
B 标记。BL [cm]- 立体摄像机的基线。Dv [cm]- 两台摄像机都能看到物体的最小距离（因此可以计算深度）。B [pixels]- 无法计算深度的条带宽度。W [pixels]- 单目摄像机的像素宽度或水平像素数量，在其他公式中也称为HPixels。D [cm]- 从相机平面到物体的距离（请参阅图像 测量真实世界物体尺寸）。F [cm]- 在距离D处的图像宽度。
tan 函数，可以得到以下公式：F = 2 * D * tan(HFOV/2)Dv = (BL/2) * tan(90 - HFOV/2)
B，我们可以再次使用 tan 函数（与计算 F 相同），但这次我们还必须将其乘以 W 与 F 的比率，以便将单位转换为像素。这得到了以下公式：示例：如果我们使用 OAK-D，其 HFOV 为 72°，基线（BL）为 7.5 cm，并且使用了 640x400 (400P) 分辨率，因此 W = 640，并且一个物体距离为 D = 100 cm，我们可以按以下方式计算 B：Command Line
1Dv = 7.5 / 2 * tan(90 - 72/2) = 3.75 * tan(54°) = 5.16 cm
2B = 640 * 5.16 / 100 = 33 # pixels测量真实世界物体尺寸
143 之后）：Python
1distance = math.sqrt(detection.spatialCoordinates.x ** 2 + detection.spatialCoordinates.y ** 2 + detection.spatialCoordinates.z ** 2) # mm为了获得准确的长距离深度，我们应首先检查 提高深度精度 步骤，因为它们 尤其适用于长距离深度。对于长距离深度，我们还应考虑以下几点：
- 窄视场镜头
- 立体摄像机之间的宽基线距离
对于噪点点云，我们建议几种方法：抽取滤波器 对 点云尤其有用，您实际上不希望有 100 万个点（尽管听起来对营销很有吸引力），因为它处理的数据量太大。 抽取滤波器在此处很有帮助，在使用点云时应启用它。使用点云的抽取滤波器时，应启 用中值/平均模式抽取，因为它将提供额外的过滤 （与像素跳过模式相比）。它还可以使其他 立体后处理滤波器 更快，因为需要处理的数据更少。拐角周围通常存在无效/噪点像素，我们 注意到一些客户会预防性地使深度图像拐角周围的几个像素（例如 3 个）无效。我们还建议启用 亮度滤波器， 特别是由于校正“伪影”。除了设备端的 立体后处理滤波器 外， 我们还建议运行主机端点云过滤（例如使用 Open3D 或 PCL 库）。我们特别建议使用点云体素化和移除统计异常值技术， 此处有示例 用于这两种技术。
- （上面提到）从 修复深度噪点 章节开始，否则噪点会产生点云中的所有点
- （上面提到）继续进行 提高深度精度 章节 - 深度不准确在点云中很容易显现
- 启用立体子像素模式，特别是由于 立体子像素对分层的影响
- 点云的抽取滤波器 以实现更快的处理（FPS）和额外的过滤
- 使拐角周围的像素无效 应有助于减少深度帧拐角处的噪点
- 主机端点云过滤 以实现额外的过滤