主题
部署BeyondMimic框架实现更加复杂和多样化的机器人运动
1. 算力资源选取
显卡选择
进入官方平台gpufree,选择RTX 4090算力卡

镜像选择
可以在上面的镜像选择里面选择具身智能/Mini-Plus_Beyondmimic
可以按照镜像里面的教程去跑高擎mini版本的Beyondmimic,同样也可以去跑官方版本的Beyondmimic

进入容器实例
在网页右上角的控制台进入之后点击左边的容器实例看到自己的容器
(初次启动可能需要等待一些时间)
等待容器开机之后可以通过desktop进入到容器里面去
初次启动如果desktop进不去的,可以关注自己是否走了网络代理(VPN),关闭之后方可进入

2. 官方Beyondmimic的部署
官方Beyondmimic的仓库地址
https://github.com/HybridRobotics/whole\_body\_tracking
配置ssh密钥
为了能够快速克隆原本仓库的源代码,推荐大家可以给你自己的github配置上容器实例的ssh密钥,配置的步骤如下:
- 打开容器实例,设置容器的ssh-keygen
输入之后可以一路进行回车,然后就会在~/.ssh目录下生成两个文件id_rsa, id_rsa.pub(公钥)

- 查看生成的容器公钥
在终端会出现一串内容,然后复制终端的内容进入下一步
- 打开github找到添加ssh密钥的内容
打开的步骤都在下面几个图




最后把上一个步骤复制的密钥添加到此处即可,之后就可以git clone进行项目的克隆
克隆官方的代码到容器里面
在自己的根目录克隆代码仓库
从GCS拉取机器人的描述文件
安装相关的依赖
3. 官方Beyondmimic的训练操作过程
实际开发过程中,可以先打开内置好的vscode

Hugging Face下载相关数据集(csv)
https://huggingface.co/datasets/lvhaidong/LAFAN1\_Retargeting\_Dataset

可以在g1里面选取动作csv文件来进行后续训练的准备,我后续采取的训练文件是dance1_subject1.csv(可以按需采用)
得到的csv文件大家可以通过各种方式(scp,共享文件夹)把这个文件放到容器实例里面去(假设我放到的地方是在/root/dance1_suject1.csv/ )
csv文件转换成为npz文件
在命令之前,请看后面的一些代码的修改,保证运行成功
代码修改部分
原本仓库的模型等等存储放在wandb,所以我们想要在本地运行,绕开wandb需要修改一下相关的代码内容
在vscode里面打开/root/whole_body_tracking/scripts/csv_to_npz.py这个文件
可以ctrl + f搜索wandb,在这个文件的303行左右,注释掉一些wandb的代码,当然你想保存的地方你本身可以写成相对目录的形式,这里为了方便所以写成了绝对路径

运行相关的命令
本身运行这个命令就可以打开查看这个运动文件的动作

当所有帧播放完成之后就会在/tmp/出现一个motion.npz的文件
你可以为了后续训练方便,把这个文件移动一下放在根目录
这个文件后续就可以用来进行motion tracking的训练
运行训练函数
运行训练命令之前,同样先打开/root/whole_body_tracking/scripts/train.py/这个文件之后,修改一些相关的代码

你可以直接指定模型训练的npz文件的绝对路径,当然你也可以新建一个文件夹存相对路径输入参数去运行,为了快速跑通,先可以采用这个方式。之后再进行下面的命令进行这个npz文件的motion tracking的训练。
运行之后就可以看到训练的整个过程了

训练起来之后会多一个/root/whole_body_tracking/logs/rsl_rl/g1_flat这个文件夹存了每次训练的日志包括模型的权重pt(默认是500个iteration保存一次模型pt)

训练效果回放
运行这个文件之后会在对应的logs里面生成onnx模型权重,可以之后用于做sim2sim
查看训练曲线
然后打开一个浏览器输入http://localhost:6006(按照输出的提示来输入网址就可以看到)
