此页面由 AI 自动翻译。查看英文原版

DepthAI V3

适用于 OAK 和 OAK4 相机的 DepthAI v3 API 文档:安装、示例和 Python/C++ 参考。这是 DepthAI v3 的文档,它同时支持 OAK 和 OAK4 相机。如果您想使用 DepthAI v2(仅支持 RVC2 设备), 请切换到 Depthai V2 文档

Depthai V2 vs V3

查看 V2 和 V3 API 的主要区别。
V2 vs V3
入门图标

示例

有关实际的 DepthAI 用法,请探索 v3 OAK 示例 存储库。这些示例展示了完整的管道和应用程序模式,您可以将其用于自己的项目。
探索 DepthAI 示例
代码图标

安装

Linux / MacOS

1. 安装 DepthAI v3

Command Line
1git clone https://github.com/luxonis/depthai-core.git && cd depthai-core
2python3 -m venv venv
3source venv/bin/activate
4# 安装库和依赖项
5python3 examples/python/install_requirements.py
或者通过 pip 安装:
Command Line
1pip install depthai --force-reinstall

2. 运行示例

安装库后,您可以运行一个示例,例如 检测网络示例 显示所有摄像头
Command Line
1cd examples/python
2# 运行 YoloV6 检测示例
3python3 DetectionNetwork/detection_network.py
4# 显示所有摄像头流
5python3 Camera/camera_all.py

Windows

1. 安装 DepthAI v3

Command Line
1git clone https://github.com/luxonis/depthai-core.git
2cd depthai-core
3# 创建并激活虚拟环境
4python -m venv venv
5.\venv\Scripts\Activate.ps1 # 如果您使用的是 CMD,则为 .\venv\Scripts\Activate.bat
6# 安装依赖项
7python examples\python\install_requirements.py
或者通过 pip 安装:
Command Line
1pip install depthai --force-reinstall

2. 运行示例

安装库后,您可以运行一个示例,例如 检测网络示例 显示所有摄像头
Command Line
1cd examples\python
2# 运行 YoloV6 检测示例
3python DetectionNetwork\detection_network.py
4# 显示所有摄像头流
5python Camera\camera_all.py

正在使用 C++ 进行开发?

DepthAI v3 主要用 C++ 编写。构建说明可在 depthai-core 仓库中找到。
Github 页面

组件

DepthAI 组件

  • 节点 代表传感器、加速硬件或某些计算功能
  • 管道 由链接的节点组成,并部署到设备上,在设备上运行在加速硬件块上
  • 消息 用于节点之间的通信。它们包含数据和元数据
  • 设备 代表 Luxonis 的设备 - OAK 或 OAK4 相机。它处理连接和通信
  • 引导加载程序 处理启动 RVC2 设备时的逻辑,并使其可供连接
  • Luxonis OS 是适用于 RVC4 设备(OAK4)的自定义 Linux 发行版

部署 AI 模型

预训练模型

HubAI 模型库 包含许多可以部署到 OAK4 设备的预训练模型。 除了示例,我们还在 oak-examples 中提供了一些 NN 示例/应用程序。

自定义模型

您可以转换您的自定义模型,方式如下: -(推荐)在线通过 HubAI如果您正在使用 .dlc,可以通过编辑 NeuralNetwork 示例 并添加以下代码片段,将其部署到 OAK4:
Python
1nn = pipeline.create(dai.node.NeuralNetwork)
2nn.setModelPath('my_model.dlc')
3nn.setBackend("snpe") # 指定 SNPE NN 后端。这通常会在后台自动设置
4# 指定 SNPE (RVC4) 特定的设置,例如 DSP 运行时和 NN 性能配置文件
5nn.setBackendProperties({"runtime": "dsp", "performance_profile": "default"})
或者,如果您正在使用 archive.tar.xz,可以通过编辑该示例并添加以下代码片段来实现:
Python
1cam = pipeline.create(dai.node.Camera).build(socket)
2# 如果您的 nn 模型需要 640x640 输入尺寸 (BGR):
3cam_out = cam.requestOutput((640, 640), dai.ImgFrame.Type.BGR888p)
4
5nn_archive = dai.NNArchive('./my_nn_archive.tar.xz')
6nn = pipeline.create(dai.node.NeuralNetwork).build(cam_out, nn_archive)