DOSOD部署到RDK X5/S100上

用户664

用户5159

3月18日修改

1. 简介

✏️

说明

•
如果想直接部署，请直接跳转到 "4.板端部署"​

•
如果想自己动手，请参考每个步骤的"自己动手"​

•
如果想自己动手， 请注意环境为， 实验主机系统是Ubuntu20.04(以上都可以)， 主机上装有docker​

本篇文章主要是介绍如何将开放词汇模型Decoupled Open-Set Object Detector(简称dosod)部署到RDK X5上， 流程如下​

画板

什么是开放词汇检测？

开放词汇物体检测的目标是使机器能够识别并定位图像中未在训练集中出现的新类别的物体。如果想了解更多请阅读这篇文章。

什么DOSOD？

dosod是地瓜研发的开放词汇模型，用于支持机器人系统中的实时开放词汇目标检测任务。详细请参考GitHub, 欢迎大家star

什么是RDK X5?

RDK X5介绍请参考 https://developer.d-robotics.cc/rdkx5

2. 模型导出

模型导出主要是将pth文件转换成onnx文件，“2.1 下载已有”已将导出好的文件放到了GitHub，可以直接使用，如果想自己动手，请参考“2.2 自己动手” 导出onnx文件

2.1 下载已有

以下是导出好的模型，可以直接使用

DOSOD	Train set	Size	AP50(Zero-shot Inference on COCO)	PTH link	onnx link	bin(int16) link for X5	bin(int16+int8) link for X5	hbm(int16) for S100	hbm(int16) for S600
dosod-s	O365+GoldG	640	51.0	dosod_mlp3x_s.pth	dosod_mlp3x_s_rep.onnx	dosod_mlp3x_s_rep-int16.bin	dosod_mlp3x_s_rep-int8.bin	dosod_mlp3x_s_rep-int16.hbm	dosod_mlp3x_s_rep-int16.hbm
dosod-m	O365+GoldG	640	57.1	dosod_mlp3x_m.pth	dosod_mlp3x_m_rep.onnx	dosod_mlp3x_m_rep-int16.bin	dosod_mlp3x_m_rep-int8.bin	dosod_mlp3x_m_rep-int16.hbm	dosod_mlp3x_m_rep-int16.hbm
dosod-l	O365+GoldG	640	60.5	dosod_mlp3x_l.pth	dosod_mlp3x_l_rep.onnx	dosod_mlp3x_l_rep-int16.bin	dosod_mlp3x_l_rep-int8.bin	dosod_mlp3x_l_rep-int16.hbm	dosod_mlp3x_l_rep-int16.hbm

2.2 自己动手(可选）

💡

dosod的训练内容请参考GitHub，这篇文章主要介绍下从onnx导出、模型转换、如何运行在X5板子上

准备环境

🍞

为了快速导出，本文使用docker环境

加载镜像

CPU 版本（若不涉及模型训练，推荐使用CPU docker更便捷）

代码块

# 下载镜像​
wget http://archive.d-robotics.cc/downloads/dockers/DOSOD/dosod_cpu_v1.tar​
# 加载镜像​
docker load < dosod_cpu_v1.tar​

GPU版本

代码块

# 下载镜像​
wget http://archive.d-robotics.cc/downloads/dockers/DOSOD/dosod_gpu_v1.tar​
# 加载镜像​
docker load < dosod_gpu_v1.tar​

启动容器

🎉

•
如果主机上没有NVIDIAGPU， 只能启动CPU版本（推荐）​

•
如果主机上有NVIDIA GPU，请启动GPU版本，或CPU版本， 启动其中之一即可​

代码块

# 启动容器(CPU版本）​
docker run -itd \​
    --name dosod \​
    --shm-size 128G \​
    --privileged=true \​
    -w /root \​
    d_robotics/dosod_cpu:v1​
​
# 进入容器​
docker exec -it dosod bash​

DOSOD部署到RDK X5/S100上​

DOSOD部署到RDK X5/S100上