LeRobot ACT Policy 全流程文档

用户5671

用户9685

用户205

用户1038

用户1833

1月27日修改

⭕

Contributers​
@马超    @黄树坤    @陈冠中    @吴超​

飞书文档 Feishu Document: LeRobot ACTPolicy 全流程文档（TBD）

其他VLA算法参考: RDT on Double RDK S100P 全流程文档

摘要

⭐

亮点

•
RDK设备上的e2e的机械臂案例，体验ACT Policy: 视觉空间到动作空间Attention的具身算法。​

•
完全可以调用上RDK的BPU的加速能力去端到端加速。​

•
Hugging Face社区活跃，LeRobot 项目热门，在国内外有一定影响力，并且像 YOLO 一样可以从数采、训练、工具链量化、BPU部署全流程交付。​

🗒️

•
数据采集​

支持遥操、数采、效果验证全流程开发

•
模型训练​

50组小样本数据完成ACT Policy训练

•
模型量化​

提供一键模型导出脚本，帮您准备好工具链所需要的所有onnx模型，校准数据集，yaml配置文件，bash编译脚本，即可挂载进工具链Docker编译，​

•
端侧边缘推理​

RDK S100P 作为主控算力平台，为 ACT Policy 算法推理提供了强劲性能：BPU 128TOPS算力爆发推理，46毫秒可以生成50组机械臂动作，大约1.5秒执行完毕，机械臂动作执行时，BPU进入静息状态，算力占用降到0%，为动态抓取等实时操控场景提供了极致的能效表现。​

*S100 (80 TOPs) 推理延迟约为 70 毫秒。

单臂SO100的效果对比

通过本文，您可以在RDK设备上实现LeRobot的ACT Policy算法，同时可以观察到在BPU加速算法后，每次生成动作的卡顿完全消失。​

以下视频无加速，无剪辑。

RDK S100: Run on CPU

50%

RDK S100: Run on BPU

50%

双臂SO100的效果对比

甚至我们还可以组装一个双臂的SO100工装，在RDK上使用LeRobot来挑战叠衣服！​

RDK S100: Run on CPU

50%

RDK S100: Run on BPU

50%

LeRobot ACT Policy 全流程文档​