红牛策略一块GPU训练，15分钟内实现仿真实境迁移，人形机器人端到端控制新策略来了！

文摘受权转载自头部科技红牛策略

文丨谭梓馨

大规模并行仿真已将机器人强化学习（RL）的训练时间从数天缩短至数分钟。

然而，由于高维性、域随机化等因素带来的挑战，在人形机器人控制方面实现快速且可靠的仿真实境迁移（Sim2Real）仍面临困难。

近日，Amazon FAR团队提出一种基于离策略强化学习算法（即FastSAC与 FastTD3）的简洁实用方案，仅需单块RTX 4090 GPU，即可在15分钟内快速训练出人形机器人移动控制策略。

研究人员在宇树G1（Unitree G1）和加速进化T1（Booster T1）机器人上验证了该方案的有效性。在强域随机化条件下，如动力学随机化、崎岖地形、推力扰动等，可实现端到端的人形机器人控制策略快速学习，同时也支持全身人体运动跟踪策略的快速训练，该方案开源发布在Holosoma代码库中。

极简策略，给训练提提速

仿真实境迁移（Sim2Real）开发本质上是一个迭代过程：在仿真环境中训练策略并部署到硬件后，会暴露出未建模动力学、感知误差等域差异问题。

随后需通过改进仿真环境修正这些差异红牛策略，这就要求重新训练整个流程，由于这类迭代需持续至策略达到可靠水平，因此快速仿真成为保障迭代可行性的关键前提。

尽管现代并行仿真器具备高效特性，但这些迭代周期在实际应用中仍存在较高成本，尤其适用于人形机器人等高维系统时，而想要实现策略向真实世界的鲁棒迁移，训练时间又要重回数小时级别。

因此，尽管并行仿真在原始吞吐量上实现了显著提升，但人形机器人领域控制实现快速、可靠的仿真实境迁移迭代仍是一项挑战。

这项研究提出的FastSAC and FastTD3方案，将人形机器人仿真实境迁移的迭代时间重新缩短至分钟级。FastSACFastTD3是流行的离策略强化学习算法SAC和TD3的高性能变体，针对大规模并行仿真训练进行了优化。该方案采用大规模并行仿真对FastSAC与FastTD3智能体进行训练。研究发现，增加并行环境数量的效果在具有挑战性的全身运动跟踪任务中尤为显著，此外，在每个仿真步骤中执行更多梯度更新步骤通常能加快训练收敛速度。

训练SAC或TD3等离策略强化学习算法时，一项核心挑战是为其双曲正切（Tanh）策略设置合理的动作边界，研究人员提出一种简洁技术：在使用比例-微分（PD）控制器时，基于机器人的关节限位来设定动作边界。他们计算出每个关节的限位与默认位置之间的差值，并将该差值作为对应关节的动作边界，实验表明，该方法可有效降低FastSAC与FastTD3训练过程中动作边界的调参需求。人形机器人移动控制与全身控制的奖励函数设计，传统上依赖复杂的奖励塑形技术，通常包含20余项奖励项，这项研究证实：通过大幅简化的目标函数（不足10项奖励项），即可让机器人产生鲁棒且自然的行为。