【外发】S600 Pi0/Pi0.5 量化指南
输入“/”快速插入内容
【外发】S600 Pi0/Pi0.5 量化指南
【外发】S600 Pi0/Pi0.5 量化指南
💡
本文档介绍从基于RoboTwin2仿真环境微调训练得来的jax模型到S600推理所需的量化模型的全流程实现方式
pytorch模型获取
模型训练基于RoboTwin2仿真环境，将openpi相关的训练代码嵌入到环境中，并引入token压缩逻辑，将每张图片的输出token从256压缩到144（pi0.5为136），可以按照我们给出的训练配置进行训练，实测hammer_beat_block任务成功率对齐未压缩版本
代码获取
代码块
git clone https://github.com/D-Robotics/RoboTwin.git
git checkout train
•
代码修改说明：主要修改如下
模型微调训练
环境搭建
•
•
openpi环境搭建
代码块
cd policy/pi0
uv sync
cp -r ./src/openpi/models_pytorch/transformers_replace/* .venv/lib/python3.11/site-packages/transformers/
•
•
训练命令（pi0和pi0.5通过不同的训练配置进行区分）：
以aloha双臂policy_config为例
#pi0
#bash finetune.sh ${train_config_name} ${model_name} ${gpu_use}
bash finetune.sh pi0_base_aloha_robotwin_full demo_clean 0,1,2,3
#pi0.5
#bash finetune.sh ${train_config_name} ${model_name} ${gpu_use}
bash finetune.sh pi05_base_aloha_robotwin_full demo_clean 0,1,2,3
•
训练产物(assets内的文件夹需要复制成demo_clean_repo，用于eval使用)
工具链环境搭建
在x86开发机上搭建模型量化转换的环境，用于S600支持的hbm模型的量化编译导出
开发机硬件配置参考
获取S600大模型开发包
•
下载地瓜提供的 D-Robotics_LLM_S600_{version}.tar.gz 安装包并正确解压
•
在环境搭建流程中，主要使用oellm_build提供的文件，该文件夹内容如下：
代码块
hbdk4_compiler-{version}-cp310-cp310-manylinux_2_17_x86_64.whl
hbdk4_runtime_aarch64_unknown_linux_gnu_nash-{version}-py3-none-any.whl
leap_llm-{version}-py310-none-any.whl
requirements.txt
data_for_calib.zip