Release Notes
DepthAI V3
- DepthAI
3.7.1 - DepthAI
3.6.1 - DepthAI
3.5.0 - DepthAI
3.4.0 - DepthAI
3.3.0 - DepthAI
3.2.1 - DepthAI
3.1.0 - DepthAI
3.0.0 - DepthAIv3
rc4 - DepthAIv3
rc3 - DepthAIv3
rc2 - DepthAIv3
beta.1 - DepthAIv3
alpha.15 - DepthAIv3
alpha.14 - DepthAIv3
alpha.13 - DepthAIv3
alpha.12 - DepthAIv3
alpha.11 - DepthAIv3
alpha.10 - DepthAIv3
alpha.9 - DepthAIv3
alpha.8
DepthAI 3.7.1
3.7.1Features:- [RVC4] New GPUStereo node
- [RVC4] Add the GPU backend to
ImageManip- Improves performance and lowers power usage compared to the CPU backend
- This will be the default backend on RVC4 starting with
v3.8.0
- Embedded Visualizer updated to 2.5.3:
- Improved pipeline debugging pane
- Add a
Transformableinterface to messages to allow easy remapping from one coordinate system to another- Exposed as a
transformedMessage = message.transformTo(dai.ImgTransformations) - Supported messages:
dai.ImgDetections,dai.SpatialImgDetections,dai.AprilTags,dai.Tracklets,dai.SegmentationMask
- Exposed as a
- Add telemetry to help us understand how the library is used so we can improve it
- To opt out set
DEPTHAI_TELEMETRY=0in the environment
- To opt out set
- Add support for 640x400 inputs to AutoCalibration, enabling more devices to be calibrated out of the box
- [RVC4] Add support for INT16 inputs in
NeuralNetworknode - [RVC4] Add sensor temperature metadata to
ImgFramewhen available - [RVC2] Add support for a new Samsung 63D ToF sensor
- [RVC2] Add support for CBA calibration reading and flashing
- [RVC4] Unify color temperature behavior between RVC2 and RVC4
- [RVC4] VPP and Neural assisted stereo can now run at 50 FPS @ 1280x800 improved from 27 FPS from before
- [RVC4] Unify RVC4 IMU output to match RVC2 to never duplicate packets
- Fix a rare issue on Windows where USB devices could fail to boot if discovery was running in another thread
- Improve stability of the
.getAnyAPI on theMessageQueue - [RVC2] Fix a regression with magnetometer and rotation vector orientation on BNO086
- [RVC4] Fix IMU timestamp drifting over time
Command Line
1python3 -m pip install depthai==3.7.1DepthAI 3.6.1
3.6.1Features- AutoCalibration is now turned on by default and can be turned off with
DEPTHAI_AUTOCALIBRATION=OFF - Add support for IMU calibration and unify outputs with each sensor now having a
RAWUNCALIBRATEDCALIBRATED- Important:
RAWused to be pre-rotated to the RDF coordinate system, but was now changed to always be captured directly from the IMU. To keep the previous behavior please switch to theUNCALIBRATEDoutput.
- Important:
- Add extrinsics tracking to ImgTransformations, along with utilities for remapping and projecting points between images
- Add YOLO26 support to DetectionParser
- Add support for the new NeuralDepth models
- Existing models with improved FPS
- LARGE (768x480) from 10 FPS to 22
- MEDIUM (576x360) from 26 FPS to 38
- SMALL (480x300) from 42 FPS to 56
- NANO (384x240) from 60 FPS to 85
- New models added:
- 1248x780 at 8.5 FPS
- 1056x660 at 12.5 FPS
- 960x600 at 14 FPS
- 864x540 at 18 FPS
- Existing models with improved FPS
- Add a new PointCloud node with support to select a custom coordinate system
- Improve Holistic record & replay support
- Record & replay also devices calibration
- Record & mock device capabilities (
device.getConnectedCameraFeatures(),device.getConnectedIMU()) - Auto sync the recordings for a more robust playback of the streams, when they need to be synced
- Recording script here, for replay, use
DEPTHAI_REPLAY={path to recording}without needing to change the script.
- Embedded Visualizer updated to 2.3.3:
- Improved pipeline debugging pane
- Small UI fixes
- Improved device connection stability
- Improve automatic Camera sensor config selection and FPS selection
- Fallback on cropped configs when a full resolution config cannot satisfy requirements of the requested outputs
- Automatically put cameras that cannot be FSynced with other cameras into free-running mode
- Correctly track intrinsics for the cropped sensor configs
- Note, on RVC4, LuxonisOS 1.31 or newer is required
- Improve ObjectTracker with optional association in 3D and add velocity property to
dai.Tracklet - [RVC4] Add support for PTP in Camera syncing on RVC4
- Add
LEFTandRIGHTalignment to StereoDepth and correctly respectRECTIFIED_LEFTandRECTIFIED_RIGHTon RVC4 - [RVC2] Add support for IMX380
- [RVC4] Use
SNPE 2.41.0.251128if available for NeuralNetwork engine - Automatically switch DetectionParser to run on host in RVC2 in case the model contains a segmentation mask
- Add support for
MessageDemuxto run on host
Command Line
1python3 -m pip install depthai==3.6.1DepthAI 3.5.0
3.5.0功能:- 添加 AutoCalibration 节点,可自动执行动态校准
- 合并
v2.32.0,并改进了 RVC2 在崩溃转储收集和设备状态检索方面的功能
- 在启用去畸变时,将旧版校准的跟踪去畸变系数设置为 0
- 添加
eventManager.waitForPendingUploads()以避免丢失队列中等待退出的快照和事件 - 扩展稳定性测试以包含
NeuralAssistedStereo、FeatureTracker和ObjectTracker
Command Line
1python3 -m pip install depthai==3.5.0DepthAI 3.4.0
3.4.0功能:- 添加对语义分割的支持
- 添加对将实例分割输入到 SpatialLocationCalculator 以改进 3D 检测的支持
- 添加对将关键点空间化到 3D 的支持
- [RVC4] 添加对USB 协议的支持
- 需要 LuxonisOS 1.27.1 或更高版本
- 可以通过环境变量
DEPTHAI_PROTOCOL=usb强制执行
- 向 Camera 节点添加
isp输出 - 添加 Gate 节点
- [RVC4] 添加对 IMX586 的高帧率 (HFR) 支持:
- 添加对XLink 数据包化的支持
- 可选地对通过 XLink 发送的消息进行数据包化,并限制每个连接的比特率
- 在高级场景中用于允许具有大消息的流在后台运行
- 用法 示例
- Visualizer 更新至 2.0.10
- 当设置
DEPTHAI_PIPELINE_DEBUGGING=ON时,支持实时管道可视化 - 显示
ImgDetections时可视化关键点 - 自动将检测和注释重新映射到目标流
- 当设置
- 向 DynamicCalibration 节点添加新的
CalibrationMetrics输出 - 添加对快照和事件回调的支持,以便在事件发送到 Hub 时收到通知 示例
- [RVC4] 添加对外部帧同步的支持
- [RVC2] 添加对在 Camera 节点中设置每个传感器的自定义传感器调谐的支持
- [RVC2] 添加对在 Camera 节点中设置传感器方向的支持
- 修复
dai::Pipeline复制分配给另一个变量时的所有权问题 - 修复
StereoDepth在未设置ImgTransformations的情况下的回放
- 弃用不带
pipeline.create创建节点 - 将 basalt 作为私有依赖项而非公共依赖项
- ImageAlign:
- 如果将畸变图像发送到
ImageAlign的alignTo,则发出警告 - 使用
ImgTransformations获取内参和畸变系数,而不是依赖启发式方法和全局校准
- 如果将畸变图像发送到
- [RVC4] 为 DeviceManager 添加对 RVC4 设备的支持
- [RVC2] 向
Script节点绑定中的ImgDetections添加新字段
Command Line
1python3 -m pip install depthai==3.4.0DepthAI 3.3.0
3.3.0功能- 添加 Pipeline Debugging 支持
- 更多详细信息请参阅 README
- 可以使用 depthai_pipeline_graph 可视化管道图
- C++ 示例 在此处 和 Python 示例 在此处
- 添加 NeuralAssistedStereo 节点(经典立体声 + 神经网络深度融合)
- 添加 VPP 节点和配置 API
- 公开 XLinkBridges
- 向
CalibrationHandler添加 Housing calibration 支持 - [RVC4] 添加 SystemLogger 节点并扩展 SystemInformation 指标
- [RVC4] 更新 RVC4 上的
StereoDepth预设,以改进质量/填充率权衡
- 修复 SSD 解析器回归问题,并在关键点/检测中添加
labelName支持 - 修复使用
Record节点以 H264 编码录制长视频时文件损坏的问题 - [RVC4] 关闭 Nagle 算法,以避免在 Windows 上出现延迟峰值
- [RVC4] 修复 StereoDepth 节点更改左右输入帧时的竞态条件
- [RVC4] 修复 RVC4 自定义板的相机映射
- [RVC2] 修复 MessageGroup 缓存一致性的边缘情况
- [RVC2] 移除 SpatialDetectionNetwork 在输入图像旋转时的误报警告
- 向
RemoteConnection添加二进制服务支持,并支持可配置的回调线程数 - 在
NeuralNetwork、DetectionNetwork和SpatialDetectionNetwork节点的 build 方法中添加 resize 模式 - 添加对
ImgFrame.setCvFrame()中更多帧类型的支持 - [RVC4] 添加手动白平衡支持
- [RVC4] 管道停止时关闭点投影仪
- [RVC4] 向 NeuralDepth 节点添加时间滤波器
在 Luxonis OS 1.14.1、1.18.3 和 1.23.1 上进行了集成测试安装:
Command Line
1python3 -m pip install depthai==3.3.0DepthAI 3.2.1
3.2.1功能- 扩展
DetectionParser和ImgDetections消息,支持 实例分割 和 关键点 解析 - 添加对新的 Snaps&Events API 的支持:
- [RVC4] 添加 NeuralDepth 节点,支持在设备上运行的神经网络深度
- [RVC4] DepthAI 运行时将前置 LED 切换为绿色
- [RVC2] 添加 IMX577 传感器的调优,消除了之前存在的蓝色色调
- 修复 MacOS 上 IPv4LL 发现的边缘情况
- [RVC4] 修复 RVC4 在 Camera 节点和 StereoDepth 启用扩展模式时发生的少量内存泄漏
- [RVC2] 修复 IMU 阻止设备重启的罕见问题
- [RVC2] 修补 ToF 校准,该校准导致帧中间读数值出现轻微颠簸
- [RVC4] 修复 IMX586 仅在 4000×3000 传感器配置 @30 FPS 下工作的回归问题
- 添加 C++ 此处 和 Python 此处 的 HDR 示例
- 向
RemoteConnection添加优先级实现,以优先处理元数据而非原始帧 - 在
RemoteConnection上公开一个名为libraryVersion的嵌入式 RPC,它返回 DepthAI 版本 - 嵌入式可视化工具从
0.12.33更新到1.5.40 - 停止将 NeuralNetwork 模型提取到临时目录以减少磁盘使用量
- [Python] 移除 MacOS 上
CVSliderCVWindow的重复符号警告,当库与cv2一起使用时 - [Python] 添加对 Python3.14 的支持并弃用 Python3.8
- [RVC4] 添加闪存和读取外壳校准的支持
- [RVC4] 重构 Camera 堆栈,提高启动和重启的稳定性
- 提高多日运行的稳定性
- 解决相机卡住且无法流式传输的罕见情况,需要重启设备
- [RVC4] 处理 LuxonisOS 1.21.0 中将出现的时戳更改
- [RVC4] 添加
device.getProcessMemoryUsage(),返回仅depthai-device进程的内存使用情况 - [RVC2] 为 Script 节点的 Python 绑定添加
setTransformation的绑定 - [RVC2] 允许 DynamicCalibration 在具有旧校准且禁用去畸变的设备上运行
- [RVC2] 自动确定池大小,允许 IMX582 上的高分辨率帧在无需显式更改的情况下运行
- [RVC2] 改进 IMX582 的 HDR 处理
- 将 FPS 限制为 10
Command Line
1python3 -m pip install depthai==3.2.1DepthAI 3.1.0
3.1.0新功能- 自动选择 Camera 节点中的池数量
- 提高 OAK1-Max 在高分辨率下的性能
- 在 RVC4 上的 AE 中实现最大曝光上限
- 需要 Luxonis OS v1.19.1
- 向
PointCloudData消息添加 setter
- 解决 MacOS 弱 vtable 问题,该问题导致新的
DynamicCalibration节点出现死锁 - 在发现 RVC2 USB 设备期间尽早开启看门狗,以避免设备软变砖,并处理设备进入该状态的情况,以便在下次启动时恢复它
- 修复了 Linux 容器内使用 RVC2 设备的问题,因为缺少 udev 支持
- 当请求
NV12类型时,修复了 RVC4 上色度平面的去畸变 - 在 RVC4 上的 SpatialDetectionNetwork 中使用正确的
ImgTransformations,以防深度未与 RGB 对齐 - RVC2 上 IMU 停止销毁的罕见情况下的稳定性修复
- 修复了 RVC2 上 BNO08x IMU 的时间戳溢出错误
- 使用更好的错误处理更新
zoo_helper二进制文件 - 通过更积极的内联,减少 Windows 上的符号数量
DynamicCalibration输入控件现在具有更短的 API,用于向节点发送命令- 向热成像帧添加了内参元数据
- 更新了使用
StereoDepth节点的示例,移除了显式的NV12类型请求以提高性能 - 通过更好的黑电平校正改进了 RVC2 上的 IMX678 支持,提高了亮度和色彩准确性
- [Python 绑定] 为 Python wheel 添加了显式的
numpy要求 - [Python 绑定] 添加了缺失的绑定,用于设置
StereoDepth节点上的滤波器顺序
Command Line
1python3 -m pip install depthai==3.1.0DepthAI 3.0.0
3.0.0DepthAI v3.0.0 版本发布我们自豪地宣布,DepthAI 库的新主要修订版已完成发布候选阶段,并正式发布为 v3.0.0!简化的 API: 我们简化并统一了 API,以降低入门门槛,使开发更加直观。设置摄像头流、运行神经网络和构建空间管道等核心任务现在只需更少的代码即可完成。我们移除了许多已弃用的函数,并简化了节点构造函数,为新用户和经验用户创建了一个更清晰、更一致、更易于使用的库。更新的节点: 我们重新审视了一些最基本的节点,使其功能更强大、更灵活。- Camera
- ImageManip
- RGBD:此节点可轻松处理同步和对齐的彩色和深度数据。它具有自动创建模式,可自动构建所需的输入管道,提供即用型 RGBD 消息或彩色点云。
- VSLAM:我们已将 SLAM 和 VIO 添加为主机节点,从而能够实现高级空间 AI 应用。这些目前在 Linux 和 macOS 上可用,处于早期预览阶段。
- DynamicCalibration:此节点执行立体摄像头的动态校准,使您即使在设备受到高热和机械应力的情况下也能获得准确的深度感知。
- 自动重连:如果设备连接不稳定并崩溃,库现在会自动尝试重新连接而不是退出,从而使您的应用程序更具弹性。
- 统一坐标系:我们已标准化所有坐标系。摄像头、IMU 和空间数据现在使用 RDF(右-下-前)约定,消除了融合来自多个传感器的数据时的一致性问题。
- 原生模型库支持:利用新的 Luxonis 模型库,该库可原生集成到 v3 中。加载和部署模型现在无缝进行,无需样板代码。
- 在不同帧之间重新映射点:我们极大地改善了开发人员的体验,当管道中一个图像(例如,在 NN 输入端)的检测需要重新映射到管道中的另一个图像时,通过内部跟踪应用于流的所有图像操作,可以实现这一点。请参阅 Python 和 C++ 示例。
- 在 RVC4 上的 Luxonis OS 的发布版本中,摄像头堆栈可能会陷入不良状态,导致摄像头无法重新启动流,需要重启设备。建议在解决此问题之前使用操作系统的
-debug版本。
- DynamicCalibration 节点
- 添加对新版 OAK-Thermal (R8) 的支持
- 为
ImageAlign添加主机实现,从而在部分在主机上运行的管道中实现更高的 FPS - 在 README.md 中添加 depthai-core-example 项目引用
- 为
ObjectTracker添加ImgTransformations跟踪
- 修复 RVC2 上设备部分校准时发生的崩溃
- 修复 OAK-D[-Pro]-Wides 上的 OV9728 传感器在小分辨率下出现的粉色流问题
- 修复回放回归问题,该问题导致第一组帧无效
- 修复 RVC2 上 IMU 旋转向量的旋转问题
- 修复 RVC4 Camera 在没有校准的情况下无法流式传输的问题
- 修复 RVC4 上 ImageAlign 的罕见启动错误,其中 DSP 未能加载所需模块
- 修复 RVC4 上 ImageManip 节点在调整到所需分辨率时失败的边缘情况
- 添加了一种在 RVC4 上的 Camera 节点上设置传感器类型(彩色/单色)的方法,使用
.setSensorType()- 允许快速切换和测试 OV9[2/7]82 传感器
- 改进 RVC2 上的 ToF 解码性能,以支持 30 FPS 解码
- 在没有校准的情况下为单个源流添加 ImgTransformations 跟踪
- 为
CalibrationHandler添加测试 - 将 Python 工具移至存储库的根目录
- 为 OAK4-S 添加测试标签,并在 CI 中为 OAK-S 进行测试运行
- 合并 Python wheel(每个架构的所有 Python 版本合并到一个 wheel 中),以减小 PyPi 上的尺寸
- 提高 Python 绑定对中断的响应能力
- 提高 ToF 节点和示例的性能;它们现在以 30 FPS 运行
Command Line
1python3 -m pip install depthai==3.0.0DepthAI 3.0.0rc4
3.0.0-rc4功能:- 在 RVC4 上添加了 ObjectTracker 节点,该节点也可以作为主机节点运行。
- 基于 OC-Sort 算法
- 与 RVC2 实现相比,性能有所提高
- 示例
- 在 RVC4 上添加了对 运行时校准更改 的支持
- 在 RVC4 上支持 Camera 节点中的未畸变输出
- 添加了 ToF 滤波
- 大大减少了噪声并提高了质量
- 默认在 ToF 节点上启用滤波
- 目前滤波在主机上运行
- 还可以使用新的 ImageFilter 节点独立使用滤波
- 示例
- 修复了在 RVC2 上使用小于 640x400 分辨率的 OV9728 时强制使用单声道传感器配置的问题
- 稳定了内部摄像头时钟和单调时钟同步
- 修复了 BasaltVIO 节点中的 Camera->IMU 外参设置
- 修复了 dai.Device 构造函数可能无限期挂起的问题(当设备在错误的时间断开连接时),通过在内部添加超时来解决
- 删除了 DetectionParser 上已弃用的 imageIn 输入,已由 ImgTransformations 替换
- 在文件系统只读时,跳过 Zoo 模型下载的文件锁定
- getCalibration 始终返回当前活动的校准,即使未通过 setCalibration 设置
- 将 OAK-ToF 上的 RGBD 自动创建逻辑更改为使用 ToF 深度而不是立体声。
- 添加了 ToF RGB 对齐 示例
- 为 NeuralNetwork 节点添加了一个方便的 getNNArchive getter
- 在 Luxonis OS 1.6.0-debug、1.14.1-debug 和 1.15.0-debug 上进行了集成测试
- 在 RVC4 上的 OS 发布版本中,摄像头堆栈可能会卡在不良状态,导致摄像头无法再次开始流式传输,需要重新启动
- 建议使用 OS 的 -debug 版本,直到此问题得到解决
Command Line
1python3 -m pip install depthai==3.0.0rc4DepthAI 3.0.0rc3
3.0.0-rc3功能:- 优化了 RVC2 上的 XLink 内存使用,允许使用更大的管道而不会耗尽内存
- 添加了对最新版 OAK-ToF (R4) 的支持
- 修复了 ToF 解码溢出的边缘情况
- 修复了 RVC4 上 Stereo 节点中 DSP 后处理的回归问题
- 解决了 RVC4 上的摄像头时间戳漂移问题
- 通过翻转矩阵乘法顺序修复了
CalibrationHandler.getCameraExtrinsics()的回归问题 - 修复了 RVC4 上 ImageManip 在
LOW_POWER模式下可能出现的竞争条件
- 在 RVC2 上的 Script 节点中添加了
RotatedRect的缺失绑定 - 在 RVC4 平台上切换到 EEPROM 的标准化访问
- 在整个代码库中将
dai::Path替换为std::filesystem::path - 默认添加了唯一的输入名称,使得多输入主机节点无需显式命名输入/输出即可工作
- 为 EdgeDetector 和 SystemLogger 添加了示例
- 为 Zoo 模型下载添加了文件系统锁,以支持多进程使用
- 在 Windows 上添加了并行 Debug 和 Release 构建的支持(以前受 vcpkg 限制)
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.14.1-debug 上进行了集成测试
- 在 RVC4 上的 OS 发布版本中,摄像头堆栈可能会卡在不良状态,导致摄像头无法再次开始流式传输,需要重新启动
- 建议使用 OS 的 -debug 版本,直到此问题得到解决
Command Line
1python3 -m pip install depthai==3.0.0rc3DepthAI 3.0.0rc2
3.0.0-rc2新功能:- 预先将 IMU 输出旋转到 RH 坐标系,从摄像头的角度来看,轴为:
- X 指向右
- Y 指向下
- Z 指向前(出玻璃)
- 更新了依赖项以支持最新的编译器和 CMake 4
- 将 setCalibration 和 getCalibration 函数移植到 RVC2 以支持动态校准
- 修复了 beta.1 版本在 RVC4 上引入的 ImageManip 节点回归问题
- 修复了 Camera resizer 的回归问题
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.11.0-debug 上进行了集成测试
- 在 RVC4 上的 OS 发布版本中,摄像头堆栈可能会卡在不良状态,导致摄像头无法再次开始流式传输,需要重新启动
- 建议使用 OS 的 -debug 版本,直到此问题得到解决
Command Line
1python3 -m pip install depthai==3.0.0rc2DepthAI 3.0.0b1
3.0.0-beta.1新功能:- 添加了 C++ 以匹配 Python 示例
- 添加了对库 C++ 集成的支持
- 为 RVC4 上的 ImageManip 添加了低功耗模式
- 降低了 OAK-D-Lite IMX214 的资源使用量,极大地改善了 Lite 在 v3 上的体验
- 为 RVC2 上的 Camera 节点添加了对非常小的输出的支持
- 为 RVC4 上的 Camera 节点添加了对所有缩放模式的支持(信箱、缩放、裁剪)
- 默认关闭 RVC4 上立体传感器的亮度降噪,以提高 Stereo 性能
- 为 ImgDetections 和 SpatialImgDetections 添加了一个新字段 name
- 嵌入式可视化工具已更新至 0.12.33
- 修复了 Windows 上可视化工具的嵌入式 FE 服务
- 显示管道图时,不将资源上传到可视化工具
- 移除了 [Spatial]DetectionNetwork 的 Yolo/Mobilenet 变体。
- ColorCamera 和 MonoCamera 已弃用
- ImageManipV2 已重命名为 ImageManip,旧的 ImageManip 已移除
- 移除了所有节点上 initialConfig 的弃用替代项
- [仅限 C++] - 适用节点上的 initialConfigs 现在由 std::shared_ptr 持有
- 空间节点现在以右手坐标系输出结果
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.11.0-debug 上进行了集成测试
- 在 RVC4 的 OS 发布版本上,相机堆栈可能会卡在不良状态,导致相机无法再次开始流式传输,需要重新启动
- 建议使用 OS 的 -debug 版本,直到此问题得到解决
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0b1DepthAI 3.0.0a15
3.0.0-alpha.15- 新功能
- 完全支持 RVC4 上非相机源的 MJPEG 和 H26x 编码器。
- 添加了 RGBD 节点,提供彩色点云输出和组合的 RGB-D 消息。
- 支持 autocreate 模式以自动对齐 RGB 和深度。
- 示例 ↗
- Holistic Record & Replay(早期访问)— 无需更改源代码即可将示例转换为录制/重放。
- 早期访问限制:设备功能模拟尚未实现;立体声或高级示例的重放必须在同一设备上运行。
- 示例 ↗
- 设备在设置模式下可发现,并提供指向 setup.luxonis.com 的指南。
- RVC4 上 IMX586 的 HDR 支持。
- 适用于 OAK4-S;需要即将发布的 Luxonis OS 更新 才能支持 OAK4-D / OAK4-Pro。
- 使用
camera.initialControl.setHdr(True)启用(运行时可配置)。
- RVC4 上立体深度算法(滤波器、LR-check、视差到深度转换)的 DSP 实现。
- NeuralNetwork 节点现在会将 ImgTransformations 复制到多输入模型中的附加输入,前提是只有一个输入定义了它们。
- 嵌入式可视化工具已更新至 v0.9.20。
- Bug 修复
- 防止在运行时向队列添加回调时出现的死锁边缘情况。
- 修复了 Windows 上
dai.ImgAnnotations转换错误。 - 解决了 Camera 节点中的未畸变边缘情况。
‑debug OS 镜像。集成测试于 Luxonis OS 1.2、1.4.1、1.5.0 和 1.6.0-debug,但我们建议使用最新版本(1.6-debug)。您可以使用此命令安装此 DepthAIv3 版本:Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a15DepthAI 3.0.0a14
- 新功能:
- Bug 修复:
- 修复了有时在启动管道时发生的
CameraSocker not found问题
- 修复了有时在启动管道时发生的
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a14DepthAI 3.0.0a13
- 新增:
- 初始的 FeatureTracker 节点 实现,支持 RVC4
- Warp 节点 现在支持 RVC4
- 为 StereoDepth 节点 RVC4 添加了新功能:
- 将过滤拆分到单独的线程以提高吞吐量
- 默认关闭软件 LR 检查和软件阈值处理
- 现在以 60FPS 运行 800P(启用 LR 检查后),55FPS 运行 LR 检查 + 扩展视差
- Bug 修复:
- ImageManip 节点 在 RVC4 上的 Windows 系统修复
- 修复了日志过多的问题
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a13DepthAI 3.0.0a12
- 新增:
- RVC4 上的手动对焦支持
- RVC4 上的初始 IMU 支持
- 为 RVC2 和 RVC4 添加了 BenchmarkIn 和 BenchmarkOut 节点
- 为 RVC2 上的 Camera 节点 添加了去畸变支持(RVC4 正在开发中)
- 改进了 RVC4 上多线程的 NeuralNetwork 实现。以前,多线程并未提供更好的性能,而 NN 节点现在在两个都使用相同数量线程运行时,性能与
snpe-throughput-run相当。
- Bug 修复:
- 当从 RVC4 上的 ImageManip 请求不支持的颜色转换时,更详细地报错
- 避免在 RVC4 上重复加载 NN 模型到内存(现在可以在 RVC4 上运行 1.7GB 的 NN 模型)
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a12DepthAI 3.0.0a11
- 新增:
- 支持 RVC2 和 RVC4 的崩溃转储收集
- v2.29.0 的新立体滤波器
- 为 RVC4 上的 Script 节点添加了
.io输入/输出映射,以匹配 RVC2 的旧版 API
- Bug 修复:
- 修复了
ImageManip:调整大小尺寸错误 1 的问题,修复了图像被复用的操作 - 修复了多个导致设备/管道销毁时死锁的 GIL 问题
- 修复了
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a11DepthAI 3.0.0a10
- Bug 修复:
- 修复 manylinux 轮子
- 为早期生产的、RGB 摄像头缺少外部参数且存在循环连接的 OAK4-Ds 打补丁进行校准
- 修复向单个队列添加多个回调的情况 集成在 Luxonis OS 0.25 上进行了测试,预计也能在 0.26 上工作。
DepthAI 3.0.0a9
Linux 上的 Bug
Linux 轮子仅在 Python3.12 上可用。如果您使用 Linux,请使用 Python3.12 或使用下一个版本中的更新轮子。
- 新增功能:
- RVC4 上的 ImageAlign 节点
- 向消息添加了一个可覆盖的 getVisualizationMessage 函数,以便能够为自定义解析器等绑定可视化信息。
- 改进了 CalibrationHandler 中的处理,现在可以检测循环外部参数。
- 更新 NNArchiveConfig 定义至最新,并尊重新的 daiType 字段(如果已设置)。
- 为所有平台添加了 Python3.13 轮子。
- 更新了嵌入式可视化工具
- Bug 修复:
- 修复 RVC4 上具有多输入 NN 的直通输出
- 修复 RVC2、RVC4 和 Host 上的 ImageManip 设置输出尺寸的问题
- 修复 RVC2 上 ImageManip 的运行时配置更改问题
- 其他:
- 添加了
dai.Point2f构造函数的缺失绑定,该构造函数具有显式的归一化标志 - 对于 RVC4,alpha.9 在 Luxonis OS 0.25 上进行了集 成测试,但预计也能在 0.26 和 1.0 上正常运行。
- 添加了
DepthAI 3.0.0a8
- 新增功能:
dai.RemoteConnection中添加了自定义 RPC- Lifted the limitation of the message size on the host->device bridge on RVC4 to virtually unlimited
- 轮子尺寸减小了约 50%
- 支持 RVC4 的精细 FPS(需要 OS 0.25)
- OV9282:3.0 - 60.0 FPS
- IMX586:2.0 - 30.0 FPS
- 支持 Luxonis OS 0.25 及更高版本
- Bug 修复:
- 修复了 RVC4 上使用
NNData的组合多输入支持
- 修复了 RVC4 上使用
- 其他:
- 移除了 Hunter,并用
vcpkg取代
- 移除了 Hunter,并用
DepthAI V2
- DepthAI 2.32.0
- DepthAI 2.31.1
- DepthAI 2.31.0
- DepthAI 2.30.0
- DepthAI 2.29.0
- DepthAI 2.28.0
- DepthAI 2.27.0
- DepthAI 2.26.0
DepthAI 2.32.0
- 添加
device.getState函数,用于在运行时返回设备的固件状态 - 向
setProcessor函数添加了用于选择 Sync 和 Demux 节点处理器的功能
- 在固件中扩展了崩溃转储数据,增加了导致崩溃的上下文信息
DepthAI 2.31.1
- 修复了
MessageGroup消息中一个难以复现的缓存一致性 bug - 移除了明亮场景下低曝光时间的 OV9[2/7]82 传感器的固定模式噪声
DepthAI 2.31.0
- 为 IMX577 传感器添加了调优,移除了先前存在的蓝色色偏
- 通过改进的黑电平校正,改善了 RVC2 上的 IMX678 支持,提高了亮度和色彩准确性 新设备支持
- 添加了对 OAK-Thermal (R8) 新版本以及 OAK-ToF (R4) 的支持
- 添加了对 OAK-D-S2-[Pro]-Wide OV9728 变体 (R8) 新版本以及 OAK-ToF (R4) 的支持 Bug 修复和稳定性
- 修复了 IMU 阻止设备重启的罕见问题
- 修复了 BNO08x IMU 上的时间戳溢出 bug
- 修复了
dai.Device构造函数在设备在错误时间丢失连接时可能无限期挂起的边缘情况,通过在内部添加超时机制 - 在发现 RVC2 USB 设 备时提前开启看门狗,以避免设备软变砖,并处理设备进入该状态的情况以在下次启动时恢复它
- 当设置
DEPTHAI_CRASHDUMP=0时,完全禁用崩溃转储提取 其他 - 添加了在
ObjectTracker节点中显式移除 tracklet 的支持 - 将看门狗的最大频率限制从 4.5 秒移除,改为无限(“无穷大”),通过在固件中添加软件看门狗
DepthAI 2.30
- 添加 OAK4/RVC4 发现功能,将发出警告提示用户应使用 DepthAI v3
- 添加了对新 VCM 的支持,可在新的 IMX378 CCM 上实现自动对焦 Bug 修复
- 修复了 ImageManip 中的边缘情况,以修复在边缘模式下运行的 geaxgx/depthai_hand_tracker
- 修复了发送超过 4 个消息时,从主机向设备发送 MessageGroup 时的边缘情况
- 修复了独立日志记录可能导致内存泄漏的 bug
DepthAI 2.29
- 通过新的
dai::Device.setCalibration()方法添加了在运行时更改设备上校准的能力,并通过dai::Device.getCalibration()进行检索。 - 新的
StereoDepth预设:DEFAULTFACEHIGH_DETAILROBOTICS
- 多摄像头改进(更多详情请参阅 https://github.com/luxonis/depthai-core/pull/972):
- 在选择低于原生分辨率时,公开更多降采样模式
- 在 IMX582/586 上选择 binning 时公开更多 binning 模式(
sum和avg) - IMX582/586 上的 HDR
- 绕过 3A 以更快地生效手动曝光/ISO 的选项
- 对新的索尼 4K Stravis 传感器:IMX678 和 IMX715 的初步支持
- 在多摄像头配置中设置主摄像头以驱动自动曝光和自动白平衡的选项
- 改进的 StereoDepth 过滤以及使用自定义过滤器顺序的选项
- 视差在过滤之前首先被缩放到 13 位,这使得过滤器更有效。
- 移除了设备销毁时发生的崩溃的误报
- 向
EncodedFrame添加了getWidth()和getHeight()API
DepthAI 2.28.0
- 将自动崩溃转储收集更改为始终开启,除非设置了
DEPTHAI_DISABLE_CRASHDUMP_COLLECTION。 - 添加了
DEPTHAI_ENABLE_ANALYTICS_COLLECTION环境变量 - 设置后,分析数据(仅限管道 schema)将发送到 Luxonis,用于进一步改进库。 - 默认对 ToF 的两个输出进行去畸变。
- 改进了 OAK-D-LR 上的 3A 同步。
- 添加了对 YoloV10 的支持。
- 修复了
Camera节点以正确分配去畸变资源。 - 修复了使用抽取滤波器和深度对齐时的
StereoDepth节点。 - 正确同步了 OAK-T 上的主机时间戳。
- 更新了 XLink 以支持 Windows 上的 clangd 和共享库。
- 移除了自定义断言以始终生成崩溃转储,以通过自动崩溃转储收集改善用户体验。
- 提高了设备端的看门狗优先级,以提高高负载下的稳定性。
DepthAI 2.27.0
- 当设置了
DEPTHAI_ENABLE_FEEDBACK_CRASHDUMP时,自动收集崩溃转储
- 修复了当深度来自
ImageAlign节点时PointCloud的生成问题 - 修复了 IMX214 (OAK Lite) 在使用更复杂的管道初始化时可能发生的崩溃
- 修复了在 AF 运行时,相机流在 1 秒后关闭时发生的罕见崩溃错误
- 添加对 numpy 2 的支持
DepthAI 2.26.0
- ImageAlign 节点
- 它可以将深度与设备上的任何其他传感器对齐 - 也适用于 ToF。
- 它可以将两个传感器与静态深度(默认为无穷大)对齐,这对于热成像-RGB 对齐很有用
- Cast 节点
- 将
NNData消息转换为ImgFrame - 当应用程序需要使用来自
NeuralNetwork节点的输出并将其馈送到仅接受ImgFrame的节点时很有用
- 将
- 完整的 ToF 支持
- 以 30 FPS 实时运行
- 测量范围为 20cm - 6m
- 在整个范围内误差 < 1%
- 支持空间节点中的 ToF
- 一个限制通过
XLink setXLinkRateLimit(int maxRateBytesPerSecond, int burstSize, int delayUs)的带宽的选项
- 改进了重启时的 PoE 稳定性 - 解决了有时需要设备断电循环的情况
- 通过提高 NoC 中摄像头的优先级,提高了重型管道的运行时稳定性
- 改进了 ImageManip 的稳定性
- 改进了 XLink 通信,使其能够检测内存损坏并避免它
- 修复了当校准数据不包含两个输入之间的直接链接时,立体校正不准确的错误
- 与 FFC 设备上的自定义设置相关
- 提高校正算法的数值稳定性
- 改善了宽视场传感器的立体质量
- 为存根添加文档字符串 - 文档现在默认在 vscode 中显示
- 修复了存根/自动完成以正确处理
dai.Device() as device - 修复了存根/自动完成以在
getCvFrame函数中返回正确的类型。