原地旋风转Microduck RL的Spin高速自转任务实现原理【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rlMicroduck RL基于 mjlab 框架的强化学习训练环境中的Spin 高速自转任务教会一台四轮微缩鸭子机器人在原地完成旋风般的自转按下按钮后逆时针旋转、干净刹停全程保持站立。这个任务任务 IDMjlab-Spin-Flat-MicroDuck的实现非常精巧——它不靠人工设计动作轨迹而是用一条 4 秒周期的目标转速包线驱动学习。下面拆解它的四大核心设计。 一、物理基础高速自转的差速滚动原理Spin 任务运行在装有 4 个被动轮自由转动的轮子的 Microduck 上。被动轮无法直接打转原地高速自转只有一条干净的路径——差速滚动differential rolling左滑刀向后推、右滑刀向前推两个滑刀反向滚动不是打滑摩擦产生绕竖直轴z 轴的扭矩对逆时针旋转x 朝前、y 朝左、z 朝上ω_z 0左侧点的速度指向后方因此要求左轮速 0、右轮速 0即ω_右 − ω_左 0这种左右腿做相反动作的姿态被称为swizzle antisymétrique反称 swizzle与经典的镜像 swizzle 方向相反。这条物理事实是整个奖励体系的基石任务源码里明确写道——在 4 个被动轮上差速滚动是唯一确凿的物理机制见 microduck_spin_env_cfg.py 模块头注释。⏱️ 二、4 秒周期包线高速自转任务的速度目标怎么定任务不要求机器人摆出某个姿势而是跟踪一条随时间变化的目标转速曲线。一个 4 秒周期被切成 4 段相位 φ 由 spin_rate_by_phase 纯函数计算段相位 φ时长目标转速 ω*(φ) 启动[0, 0.125)0.5 s0 → 3 rad/s线性斜坡 稳态[0.125, 0.525)1.6 s保持 3 rad/s约 1 圈/秒 制动[0.525, 0.650)0.5 s3 → 0 rad/s线性斜坡 休息[0.650, 1.0)1.4 s0站定ω* (rad/s) 3.0 ┤ ████████████████████████ │ ██ ██ │ ██ ██ 0.0 ┤__██________________________________________ └──────┬──────┬─────────┬──────────┬─── φ0 0.125 0.525 0.650 1.0 启动0.5s 稳态1.6s 制动0.5s 休息1.4s三个值得记住的数字包线面积每周期转过的角度2.1 × SPIN_RATE_MAX当前目标 3 rad/s →6.3 rad ≈ 1 圈/周期。初始设计是 6 rad/s2 圈/周期但校准训练中发现机器人在 1.16 秒左右就会摔倒于是目标减半——这条演变记录在设计文档开头写得很清楚2026-08-04-spin-env-design.md一个 20 秒的 episode 5 个完整周期机器人在每次休息段站定然后再次起转——休息段同时训练了技巧的干净收尾归一化的包线spin_gate_by_phase ω*/rate_max充当塑形门休息段门值为 0所有动作引导项自动失效机器人自然回到中性站姿spin_gate_by_phase。包线常数集中在 mdp.py L5867-L5871单元测试用 10 万点数值积分验证每个周期恰好转过2.1 × SPIN_RATE_MAX弧度test_spin.py L38-L69——谁改了目标值而没想清楚转几圈测试就会响亮地报错。 三、奖励函数设计6 项新奖励 1 组稳定性奖励Spin 任务的全部奖励定义在 make_microduck_spin_env_cfg 中其中 6 个是为本任务新写的实现见 mdp.py L5946-L6130奖励权重作用spin_rate_track6.0主目标躯干 z 轴角速度IMU 视角跟踪目标 ω*(φ) 的高斯奖励spin_rate_l10.5L1 引导高斯项在远离目标时梯度饱和L1 提供恒定梯度兜底spin_stay_in_place−3.0惩罚躯干平移量‖v_xy‖²——原地自转、消灭入场残速是区分中心旋转和绕单个滑刀画圈的唯一信号spin_wheel_differential1.0奖励滚动式差速tanh 饱和饱和点 17.0 rad/s而不是打滑摩擦leg_antisymmetry1.0 → 0.25腿部剪刀姿态引导权重经课程学习递减spin_grounded0.5两片滑刀同时接地防止跳起来在空中旋转另有从 crouch 任务继承的一组稳定性奖励upright躯干直立 2.0、feet_flat滑刀放平 −2.0、self_collisions−1.0、body_ang_vel−0.05、action_rate_l2−1.0、neck_action_rate_l2−0.5、joint_torques_l2−1e-3、neck_joint_pos_l2−0.2且刻意排除 head_yaw。三个关键决策删除angular_momentum惩罚——它惩罚角动量的完整三维范数会直接对抗自转本身。而body_ang_vel只惩罚 x/y 方向的摆动mjlab 中明确不惩罚 z 角速度保留它正好抑制摇晃而不妨碍 spinmicroduck_spin_env_cfg.py L121-L135塑形项带门控且会衰减——spin_wheel_differential、leg_antisymmetry、spin_grounded都乘以gate(φ)只在启动 稳态段生效leg_antisymmetry权重还经课程从 1.0 递减到 0.25。先教正确的物理机制再让策略自己打磨动作细节泵频自由课程配置 L393-L443spin_stay_in_place在启动段只收 20% 的费用SPIN_LAUNCH_DRIFT_SCALE 0.2mdp.py L5986-L6023——因为启动瞬间机器人必须推地注入角动量、把最高 0.3 m/s 的入场速度转化为旋转此时全额计费会与起转目标自相矛盾而休息段则维持全额计费因为静止才是那里的真正标准。还有一个精巧的小细节neck_joint_pos_l2的关节匹配正则从.*(neck|head).*改为^(neck_pitch|head_pitch|head_roll)$L82-L84——头颈偏航 yaw 被放开了允许它充当惯性飞轮来助启动旋转。 四、观测、课程学习与 PPO 配置61 维统一观测actor 输入布局与 roller / ground_pick / crouch 任务逐位一致陀螺仪、投影重力、关节位置、关节速度、上一动作、13 维命令向量——这是导出的 ONNX 模型能直接塞进运行时按钮槽位的硬性条件观测配置 L306-L372。配置中特意把base_lin_vel从 actor 侧移除、只保留在 critic 侧wheel_vel同样只给 critic策略靠陀螺仪看见自己的 ω_z任务因此可观测而价值函数多拿一点信息优势。测试对每个观测组做了与 crouch 的逐位相等断言test_spin_cfg.py。对称性增强必须关闭ENABLE_SYMMETRY FalseL23-L24——左右对称增广会把向左的 spin镜像成向右的 spin直接摧毁单向旋转的学习。PPO 配置MicroduckSpinRlCfgactor/critic 均为 (512, 256, 128) ELU 网络、观测归一化、KL 自适应学习率 1e-3目标 KL 0.01、每环境 24 个时间步、最多 8000 次迭代。**域随机化sim2real**沿用已验证的配方质心偏移、质量/惯性 ±5%、关节摩擦BAM 模型、轮摩擦、IMU 姿态失准 6°、编码器偏置 ±0.015 rad以及每 3~6 秒施加一次 ±0.2 m/s 的随机推力事件配置 L227-L304。 五、训练验证与部署流程# 训练 4096 个并行环境、最多 8000 次迭代重点观察 Episode_Reward/spin_rate_track uv run train Mjlab-Spin-Flat-MicroDuck --env.scene.num-envs 4096 --agent.max_iterations 8000 # 纯函数测试无需启动模拟器包线边界、单调性、积分、门控 uv run --with pytest pytest tests/test_spin.py tests/test_spin_cfg.py -q # 回放最新 checkpoint / 导出 ONNX内嵌观测归一化器 uv run scripts/play_latest.py uv run scripts/export.py训练完成后ONNX 模型通过运行时的--ground-pick spin.onnx参数加载到按钮槽位周期 4.0 s 与训练默认值一致按下 A 键触发旋风转动作结束后自动交还 roller 行走策略部署命令详见 设计文档 L267-L286。小结Spin 任务的设计精髓可以浓缩为一句话用结果型目标跟踪目标转速 两个会淡出的机制引导项教机器人自己发现差速滚动这个唯一正确的物理机制。4 秒包线定义了做什么奖励门控定义了何时辅助、何时放手61 维统一观测保证了学完就能上真机。完整的规格与校准记录包括目标转速从 6 → 3 rad/s 的演变过程见 2026-08-04-spin-env-design.md。【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
原地旋风转：Microduck RL的Spin高速自转任务实现原理
原地旋风转Microduck RL的Spin高速自转任务实现原理【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rlMicroduck RL基于 mjlab 框架的强化学习训练环境中的Spin 高速自转任务教会一台四轮微缩鸭子机器人在原地完成旋风般的自转按下按钮后逆时针旋转、干净刹停全程保持站立。这个任务任务 IDMjlab-Spin-Flat-MicroDuck的实现非常精巧——它不靠人工设计动作轨迹而是用一条 4 秒周期的目标转速包线驱动学习。下面拆解它的四大核心设计。 一、物理基础高速自转的差速滚动原理Spin 任务运行在装有 4 个被动轮自由转动的轮子的 Microduck 上。被动轮无法直接打转原地高速自转只有一条干净的路径——差速滚动differential rolling左滑刀向后推、右滑刀向前推两个滑刀反向滚动不是打滑摩擦产生绕竖直轴z 轴的扭矩对逆时针旋转x 朝前、y 朝左、z 朝上ω_z 0左侧点的速度指向后方因此要求左轮速 0、右轮速 0即ω_右 − ω_左 0这种左右腿做相反动作的姿态被称为swizzle antisymétrique反称 swizzle与经典的镜像 swizzle 方向相反。这条物理事实是整个奖励体系的基石任务源码里明确写道——在 4 个被动轮上差速滚动是唯一确凿的物理机制见 microduck_spin_env_cfg.py 模块头注释。⏱️ 二、4 秒周期包线高速自转任务的速度目标怎么定任务不要求机器人摆出某个姿势而是跟踪一条随时间变化的目标转速曲线。一个 4 秒周期被切成 4 段相位 φ 由 spin_rate_by_phase 纯函数计算段相位 φ时长目标转速 ω*(φ) 启动[0, 0.125)0.5 s0 → 3 rad/s线性斜坡 稳态[0.125, 0.525)1.6 s保持 3 rad/s约 1 圈/秒 制动[0.525, 0.650)0.5 s3 → 0 rad/s线性斜坡 休息[0.650, 1.0)1.4 s0站定ω* (rad/s) 3.0 ┤ ████████████████████████ │ ██ ██ │ ██ ██ 0.0 ┤__██________________________________________ └──────┬──────┬─────────┬──────────┬─── φ0 0.125 0.525 0.650 1.0 启动0.5s 稳态1.6s 制动0.5s 休息1.4s三个值得记住的数字包线面积每周期转过的角度2.1 × SPIN_RATE_MAX当前目标 3 rad/s →6.3 rad ≈ 1 圈/周期。初始设计是 6 rad/s2 圈/周期但校准训练中发现机器人在 1.16 秒左右就会摔倒于是目标减半——这条演变记录在设计文档开头写得很清楚2026-08-04-spin-env-design.md一个 20 秒的 episode 5 个完整周期机器人在每次休息段站定然后再次起转——休息段同时训练了技巧的干净收尾归一化的包线spin_gate_by_phase ω*/rate_max充当塑形门休息段门值为 0所有动作引导项自动失效机器人自然回到中性站姿spin_gate_by_phase。包线常数集中在 mdp.py L5867-L5871单元测试用 10 万点数值积分验证每个周期恰好转过2.1 × SPIN_RATE_MAX弧度test_spin.py L38-L69——谁改了目标值而没想清楚转几圈测试就会响亮地报错。 三、奖励函数设计6 项新奖励 1 组稳定性奖励Spin 任务的全部奖励定义在 make_microduck_spin_env_cfg 中其中 6 个是为本任务新写的实现见 mdp.py L5946-L6130奖励权重作用spin_rate_track6.0主目标躯干 z 轴角速度IMU 视角跟踪目标 ω*(φ) 的高斯奖励spin_rate_l10.5L1 引导高斯项在远离目标时梯度饱和L1 提供恒定梯度兜底spin_stay_in_place−3.0惩罚躯干平移量‖v_xy‖²——原地自转、消灭入场残速是区分中心旋转和绕单个滑刀画圈的唯一信号spin_wheel_differential1.0奖励滚动式差速tanh 饱和饱和点 17.0 rad/s而不是打滑摩擦leg_antisymmetry1.0 → 0.25腿部剪刀姿态引导权重经课程学习递减spin_grounded0.5两片滑刀同时接地防止跳起来在空中旋转另有从 crouch 任务继承的一组稳定性奖励upright躯干直立 2.0、feet_flat滑刀放平 −2.0、self_collisions−1.0、body_ang_vel−0.05、action_rate_l2−1.0、neck_action_rate_l2−0.5、joint_torques_l2−1e-3、neck_joint_pos_l2−0.2且刻意排除 head_yaw。三个关键决策删除angular_momentum惩罚——它惩罚角动量的完整三维范数会直接对抗自转本身。而body_ang_vel只惩罚 x/y 方向的摆动mjlab 中明确不惩罚 z 角速度保留它正好抑制摇晃而不妨碍 spinmicroduck_spin_env_cfg.py L121-L135塑形项带门控且会衰减——spin_wheel_differential、leg_antisymmetry、spin_grounded都乘以gate(φ)只在启动 稳态段生效leg_antisymmetry权重还经课程从 1.0 递减到 0.25。先教正确的物理机制再让策略自己打磨动作细节泵频自由课程配置 L393-L443spin_stay_in_place在启动段只收 20% 的费用SPIN_LAUNCH_DRIFT_SCALE 0.2mdp.py L5986-L6023——因为启动瞬间机器人必须推地注入角动量、把最高 0.3 m/s 的入场速度转化为旋转此时全额计费会与起转目标自相矛盾而休息段则维持全额计费因为静止才是那里的真正标准。还有一个精巧的小细节neck_joint_pos_l2的关节匹配正则从.*(neck|head).*改为^(neck_pitch|head_pitch|head_roll)$L82-L84——头颈偏航 yaw 被放开了允许它充当惯性飞轮来助启动旋转。 四、观测、课程学习与 PPO 配置61 维统一观测actor 输入布局与 roller / ground_pick / crouch 任务逐位一致陀螺仪、投影重力、关节位置、关节速度、上一动作、13 维命令向量——这是导出的 ONNX 模型能直接塞进运行时按钮槽位的硬性条件观测配置 L306-L372。配置中特意把base_lin_vel从 actor 侧移除、只保留在 critic 侧wheel_vel同样只给 critic策略靠陀螺仪看见自己的 ω_z任务因此可观测而价值函数多拿一点信息优势。测试对每个观测组做了与 crouch 的逐位相等断言test_spin_cfg.py。对称性增强必须关闭ENABLE_SYMMETRY FalseL23-L24——左右对称增广会把向左的 spin镜像成向右的 spin直接摧毁单向旋转的学习。PPO 配置MicroduckSpinRlCfgactor/critic 均为 (512, 256, 128) ELU 网络、观测归一化、KL 自适应学习率 1e-3目标 KL 0.01、每环境 24 个时间步、最多 8000 次迭代。**域随机化sim2real**沿用已验证的配方质心偏移、质量/惯性 ±5%、关节摩擦BAM 模型、轮摩擦、IMU 姿态失准 6°、编码器偏置 ±0.015 rad以及每 3~6 秒施加一次 ±0.2 m/s 的随机推力事件配置 L227-L304。 五、训练验证与部署流程# 训练 4096 个并行环境、最多 8000 次迭代重点观察 Episode_Reward/spin_rate_track uv run train Mjlab-Spin-Flat-MicroDuck --env.scene.num-envs 4096 --agent.max_iterations 8000 # 纯函数测试无需启动模拟器包线边界、单调性、积分、门控 uv run --with pytest pytest tests/test_spin.py tests/test_spin_cfg.py -q # 回放最新 checkpoint / 导出 ONNX内嵌观测归一化器 uv run scripts/play_latest.py uv run scripts/export.py训练完成后ONNX 模型通过运行时的--ground-pick spin.onnx参数加载到按钮槽位周期 4.0 s 与训练默认值一致按下 A 键触发旋风转动作结束后自动交还 roller 行走策略部署命令详见 设计文档 L267-L286。小结Spin 任务的设计精髓可以浓缩为一句话用结果型目标跟踪目标转速 两个会淡出的机制引导项教机器人自己发现差速滚动这个唯一正确的物理机制。4 秒包线定义了做什么奖励门控定义了何时辅助、何时放手61 维统一观测保证了学完就能上真机。完整的规格与校准记录包括目标转速从 6 → 3 rad/s 的演变过程见 2026-08-04-spin-env-design.md。【免费下载链接】microduck_rlRL training environments for Microduck (mjlab)项目地址: https://gitcode.com/GitHub_Trending/mi/microduck_rl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
