RDK S100 + SEM 部署全流程
输入“/”快速插入内容
RDK S100 + SEM 部署全流程
RDK S100 + SEM 部署全流程
飞书用户63399月28日修改
1.
模型训练导出
https://github.com/HorizonRobotics/RoboOrchardLab/blob/3c8897ddaa169a4d7e8ad9e9894671e686f25c84/projects/sem/robotwin/onnx_scripts/export_onnx.py
📌
注意如果在安装 robo_orchard_lab 时pip install .没有 -e参数，则源码修改后需要重新安装，因此建议加上-e参数，以确保修改的源码可以被同步
1.1
量化友好修改
📌
在开源仓库的RoboOrchardLab-master/projects/sem/robotwin/onnx_scripts/export_onnx.py 中需要做如下修改，以对量化友好
1.
具有物理含义的枚举型输入在不溢出的情况下维持 int8/int16 定点输入：joint_relative_pos 和 timestep
代码块
...
data["joint_relative_pos"] = data["joint_relative_pos"].to(torch.int8)
...
timestep = timestep.to(torch.int16)
...
2.
去除量化不友好的数值，对应修改两处，将float("-inf")改-15：
代码块
python3 onnx_scripts/export_onnx.py \
--config config_sem_robotwin.py \
--model /your/float_model_dir/ \
--output_path /your/onnx_model \
--num_joint 14 \
--validate
1.2
校准数据准备
在RoboOrchardLab-master/projects/sem/robotwin/onnx_scripts/export_onnx.py中添加代码如下，目的为导出 onnx 时 dump 模型部署的部分评测数据作为PTQ量化的校准数据，校准数据需经过前处理，样例代码如下：
代码块
def prepare_calib_data(dataset, data_processor, encoder, sample_dataset=True):
os.makedirs("calibration_data_dir", exist_ok=True)
for e_name in ENCODER_INPUT_NAMES:
os.makedirs(os.path.join("calibration_data_dir", e_name), exist_ok=True)
for d_name in DECODER_INPUT_NAMES:
os.makedirs(os.path.join("calibration_data_dir", d_name), exist_ok=True)
if sample_dataset:
new_dataset = []
# 均匀采样数据集，这里取100份数据作为校准数据（可调整）
num_samples = 100
indices = np.arange(0, len(dataset), len(dataset) // num_samples)[:num_samples]
for idx in indices:
new_dataset.append(dataset[idx])
dataset = new_dataset
for i in range(len(dataset)):
# 校准数据需经过前处理
data = data_processor(dataset[i])
# 对齐onnx导出时的输入信息
data["joint_relative_pos"] = data["joint_relative_pos"].to(torch.int8)
data['imgs'] = data['imgs'].squeeze(0)
data['depths'] = data['depths'].squeeze(0)
for e_name in ENCODER_INPUT_NAMES:
np.save(os.path.join("calibration_data_dir", e_name, f"{e_name}_{i}.npy"), data[e_name].cpu().numpy())
image_feature, robot_feature = encoder(*[data[key] for key in ENCODER_INPUT_NAMES])
data["image_feature"] = image_feature
data["robot_feature"] = robot_feature
data["timestep"] = torch.tensor([999], dtype=torch.int16)
for d_name in DECODER_INPUT_NAMES:
np.save(os.path.join("calibration_data_dir", d_name, f"{d_name}_{i}.npy"), data[d_name].cpu().numpy())
# 不采样的话默认取前200份数据作为校准数据
if not sample_dataset and i == 199:
break
logger.info("prepare calib data done")
def export_onnx(config, model, num_joint, output_path, validate=True):
# 原代码不变
prepare_calib_data(dataset, data_processor, encoder)