1. 开局跑通这个baseline到底值不值当先纠正一个拼写标题里的SMRATS是手误正确写法是SMARTS。这个项目是NVIDIA出的多智能体强化学习仿真平台全称Scalable Multi-Agent RL Training School专门为车路协同、自动驾驶决策这类场景设计。而PPO是OpenAI提出的强化学习算法全称Proximal Policy Optimization。所谓跑baseline就是把这个算法放到SMARTS的仿真环境里先训练出一个能完成任务的智能体作为后续所有改进工作的起点。很多刚接触SMARTS的人会被它的文档劝退。官方仓库里的tutorials能跑通但从零开始配置环境、编译底层、写训练脚本、调通可视化中间能踩的坑足够写好几篇文章。这篇就是把我自己从啥都没有到PPO开始正常出reward曲线的完整过程记录下来包含每一个命令、每一处版本约束、每一段关键代码的解读。这篇教程适合三类人一是准备在SMARTS上做多智能体研究、需要先跑通一个baseline的研究生二是想了解强化学习在自动驾驶仿真里怎么落地的工程同学三是单纯想看看PPO在真实交通场景里能学到什么样行为的爱好者。如果你已经能跑通官方demo这篇可以跳过环境部分直接看PPO baseline的代码结构和调参经验。先说结论整个跑通过程我花了两个晚上真正卡人的不是算法本身而是环境编译、依赖版本、和训练脚本里几个隐性的配置项。把这些一次性给你讲清楚你顺利的话一个下午就能看到reward曲线往上走。2. 跑通SMARTS之前的环境硬骨头2.1 系统要求和版本选择SMARTS从2021年开始经历了好几次大版本迭代不同版本的接口差异非常大。我这次用的是0.5版本master分支在2023年中的稳定态对应的Python版本是3.8。这里有个很关键的点官方README建议的Python版本范围很宽但实际上用3.9或3.10编译某些依赖时会因为C扩展兼容性问题报错最稳妥的就是3.8。操作系统方面Ubuntu 20.04是我的主力环境WSL2也能跑但可视化部分在WSL2下需要额外处理X Server建议新手直接上原生Linux或者双系统。多智能体场景动辄几十辆车在跑Windows下即使能装也有性能损失。2.2 clone时最容易忽略的submodule很多人第一次clone SMARTS会直接git clone https://github.com/huawei-noah/SMARTS.git然后满怀期待去装依赖结果编译的时候发现缺一堆东西。原因在于SMARTS把大量核心组件放在submodule里比如它内置的路线编辑器RoadRunner和几个地图场景。正确的操作是git clone --recurse-submodules https://github.com/huawei-noah/SMARTS.git如果你已经用了第一种方式也没关系进到目录里补一条git submodule update --init --recursive这一步做完项目里smarts/road_runner这些目录才不是空的。2.3 SUMO的安装是一个隐藏大坑SMARTS底层交通流仿真依赖SUMOSimulation of Urban MObility。它的特殊之处在于不能简单pip install而是需要自己在环境变量里暴露SUMO_HOME让SMARTS能找到SUMO的二进制文件。最省力的办法是直接套用SMARTS官方给的脚本pip install -e . pip install -e ./sumo但这里有个细节容易被忽略SUMO版本和SMARTS的兼容性是强绑定的。SMARTS 0.5要求SUMO 1.8.x如果你直接装了最新版SUMO比如1.15跑起来大概率会在碰撞检测或者route生成阶段报奇怪的错。我的建议是在conda环境里单独建一个环境不要用系统Python去试。conda create -n smarts python3.8 -y conda activate smarts pip install torch torchvision2.4 编译验证你的环境到底通没通环境配置完别急着直接跑算法先验证一下SMARTS本身是否正常工作python -c from smarts.env.hiway_env import HiwayEnv; print(import ok)能import成功不代表渲染正常再启动一个最小demo跑一步看仿真器是否工作python examples/hello_world.py 21 | head -20这一步如果出现类似ImportError: libgdal.so.26的报错说明系统级依赖还缺补上sudo apt-get install libgdal-dev libspatialindex-dev环境硬骨头的核心就一句话系统依赖、Python包、SUMO版本、submodule四个缺一不可。很多人卡在环境上都是因为只做了pip install就以为万事大吉实际还差了系统库和SUMO配置这两步。3. baseline代码应该怎么看PPO和SMARTS接口的对应关系3.1 找到baseline代码的正确入口SMARTS官方仓库的examples/baselines目录下有一整套PPO实现。这个baseline不是独立于SMARTS运行的程序它直接调用SMARTS的Python API来和环境交互。花十分钟把目录结构看清楚后面所有工作都不慌examples/baselines/ ├── common/ │ ├── argparse_utils.py │ ├── evaluate.py │ ├── kinetic_obs_to_state.py │ ├── plotting.py │ ├── replay.py │ └── train.py ├── ppo/ │ ├── agent.py │ └── train_ppo.py ├── model/ │ └── a2c.py └── scenario_runner.pytrain_ppo.py是训练入口agent.py定义了PPO的actor-critic网络结构model/a2c.py是通用的actor-critic实现虽然文件名是a2c但PPO也复用了这套网络scenario_runner.py负责加载场景并创建环境实例。3.2 PPO算法在实际代码里的核心逻辑PPO的核心目标是最大化带clip约束的策略期望回报。常见教科书写法是[ L^{CLIP}(\theta) \mathbb{E}_t[\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon)\hat{A}_t)] ]在agent.py里的实现逻辑是先用当前策略跑出若干条轨迹计算GAE广义优势估计得到每个时间步的优势值再拿这些数据做若干轮minibatch更新。这和你自己从零写一个PPO没有本质区别但SMARTS的baseline做了几处配套处理值得注意。观察空间的处理是第一个容易忽略的点。SMARTS的默认观察不是一张图而是一个包含自车状态、邻居车辆信息的集合体具体由kinetic_obs_to_state.py负责转换成固定维度的向量。boilerplate代码里默认把观察转换成31维的状态向量如果你的场景改了比如车多了或者传感器范围变了转换维度要对齐模型输入层的size。动作空间在SMARTS里的设计是连续动作一般两个维度油门或刹车和转向角度。model/a2c.py的输出层会对动作分布做tanh压缩让输出落在合理范围内。配一张表看着更清楚这对应了你debug时需要检查的关键参数参数默认值含义learning_rate5e-5更新步长gamma0.99奖励折扣因子lam0.95GAE参数clip_epsilon0.2裁剪范围entropy_coef0.001熵正则化系数num_minibatches4每次更新划分的minibatch数total_timesteps10000000总训练步数3.3 为什么baseline够你用来起步不少同学爱自己从零写PPO然后发现训练半天不收敛怀疑算法实现有问题。实际上在SMARTS这种高维、非稳态的交通仿真环境里收敛本身就慢PPO baseline把大量工程细节已经处理好了比如reward归一化、时序nested observation的堆叠、以及自动保存checkpoint的逻辑。在新环境里先跑通baseline再逐步调自己的方案是效率最高的路径。4. 从零到一把PPO训练真正跑起来的完整流程4.1 准备一个场景SMARTS自带的示例场景中left_turns是最经典的单智能体左转场景模拟一辆车在无保护左转场景下和直行来车交互。进scenarios/left_turns看一眼里面有个build.py首次使用先构建场景地图cd scenarios/left_turns python build.py这会在场景目录下生成map.net.xml等SUMO格式文件SMARTS运行时才会读得到。4.2 启动训练的精确命令回到examples/baselines/ppo目录训练指令是python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000这里有个新手容易掉进去的坑--episodes不是跑多少步是跑多少回合。一个episode代表这辆车从起点开到终点或撞车的全过程。train_ppo.py内部会循环调用环境跑完一个episode收集一整段轨迹再做PPO更新。训练过程中你会看到类似日志Episode: 100, total reward: -45.23, entropy: 0.83, policy_loss: -0.012 Episode: 200, total reward: -21.77, entropy: 0.71, policy_loss: -0.008reward从负数慢慢往上涨就说明策略在变好。4.3 checkpoint会自动存但你最好知道它存哪默认每隔50个episode模型参数会存到model_save/目录下。跑完一段时间比如2000个episode你会在目录下看到多个.pt文件ls model_save/ # 1000.pt 1050.pt 1100.pt ...打开train_ppo.py可以看到torch.save(agent.actor_critic.state_dict(), freward_model_{episode}.pt)这样的逻辑。模型文件可以配合eval_ppo.py如果你有的话或common/evaluate.py做离线评估。4.4 训练中阶段性的智能体可视化只看reward曲线不够直观SMARTS自带了可视化工具python -m smarts.sstudio --scenario ../../scenarios/left_turns python examples/visualize.py --episodes 10 --scenario ../../scenarios/left_turns或者更直接一点用common/replay.py加载已经训练好的模型python replay.py --scenario ../../scenarios/left_turns --model_path model_save/2000.pt可视化面板里能看到车辆在十字路口的行为。这一步是验证训练质量最直觉的方式看车会不会傻傻地停在路口不动或者是否会突然加速导致碰撞。4.5 最容易被忽略的pipeline启动细节SMARTS主程序在启动时会先启动一个进程管理服务负责拉起SUMO和碰撞检测引擎。如果训练到一半进程崩了大概率是这个服务对应的线程挂了。处理方式是重启训练前先看有没有残留进程pkill -f sumo pkill -f smarts ps aux | grep python把残留清干净再重新启动否则端口被占用会报address already in use。5. 我踩过的坑这些报错你大概率也会遇到5.1AttributeError: module smarts has no attribute …这个大类报错最让人崩溃原因通常是版本不一致。SMARTS在训练脚本里会调用from smarts.core.agent_interface import AgentInterface from smarts.core.controllers import ActionSpaceType如果你的install不是从源码完整装完比如只pip install了某个发布包这些新模块根本不存在的可能性很大。解决办法不是改代码而是回到第一步确保你执行过pip install -e .并且当前shell工作目录在SMARTS/根目录下让Python能够定位到源码里的smarts包。5.2 训练时提示missing or invalid map_config场景构建缺失是典型的submodule没拉全导致的。去scenarios/left_turns底下看有没有map.net.xml文件有就检查map_spec配置和实际文件名是否一致。没有就回来跑一遍python build.py遇到权限问题就加--headless参数或者给临时目录开放读写权限chmod -R 755 ~/SMARTS5.3 PPO训练一直不收敛loss不下降这个不算bug但比bug更恼人。我自己试过的有效调整顺序是先把entropy_coef从0.001调大到0.01增加探索减少num_minibatches从4到2让每次更新更稳定把clip_epsilon从0.2降到0.1限制更新幅度如果还是不行看reward设计SMARTS默认的reward是碰撞惩罚加距离奖励对高维动作空间来说信号比较稀疏考虑在train_ppo.py里自定义reward函数具体方法后面单独说。5.4 WSL2下可视化黑屏/无法打开窗口这个问题我在WSL2环境见过不少次。SMARTS自带可视化依赖openGL窗口WSL2默认不启动图形界面。最简单的处理是用来训练、不开可视化如果一定要看用Windows侧的X Server转发。具体步骤不展开了但记住一个原则训练和可视化分开训练时开--headless可视化单独跑能省下大量无关报错。5.5 排查链路参考我把排查过程的思路整理成一个通用链路供你对着查现象优先排查项可能的根因import时报错pip list里有没有SMARTS没装或版本不符SUMO相关异常echo $SUMO_HOME是否输出路径环境变量未生效episode跑不完场景目录下有没有map文件submodule没拉全模型加载失败保存路径下有没有对应episode权重训练被中断或路径不一致GPU显存溢出nvidia-smi看占用batchsize或obs堆叠过大6. 训练结果怎么看reward曲线、模型行为和调参心得6.1 从reward曲线判断收敛状态SMARTS的left_turns场景里reward为每一个时间步1的前进奖励加上碰撞惩罚通常是-100。一开始模型不知道刹车和转向怎么配合reward基本在-50到-10之间震荡。随着训练推进你会看到总奖励逐渐向正数爬升。判断是否收敛不能只看当前reward要看曲线平滑度。开一个tensorboard或者直接把common/plotting.py里的绘图函数跑起来它能边训练边输出滑动平均曲线。当曲线在某个值附近波动且熵值降到一个稳定低值时基本可以认定策略已经收敛到一个局部最优。6.2 模型行为的落地评估数值之外要多看几集可视化。一个好的左转策略不是最快通过路口而是既不会和直行车相撞也不会在无车时犹豫不前。实际跑下来常见的失败模式有永远停在路口等待说明策略学到不求有功但求无过reward设计里缺少对过线的正向激励突然加速引发碰撞说明状态估计里缺失了对来车速度的判断走了一条奇怪的绕行路线可能是场景里route定义和reward存在不匹配检查地图有没有捷径。6.3 如果从头调我的参数起点建议给你一个我实际用下来更稳的参数组合比官方默认更加保守一点learning_rate: 3e-5 gamma: 0.99 lam: 0.97 clip_epsilon: 0.15 entropy_coef: 0.005 num_minibatches: 2注意调整后训练时间会比官方默认长但reward的方差会小不少不容易出现来回震荡的潮汐式学习。6.4 给后续工作留一个深水区跑通baseline只是第一步。如果你要做多智能体版本left_turns这个场景并不合适——它是单智能体场景。多智能体建议换到sumo/intersections或多agent版本的left_turns_multi在配置里明确定义每个agent的AgentInterface。另外SMARTS对reward的定义在每个场景的reward_function里这部分的自定义权限非常高。后续做模仿学习、逆强化学习或者分层强化学习的时候多半要重写这块建议从baseline跑通后就养成阅读场景配置的习惯。7. 收尾前再分享几个提升效率的小技巧7.1 用tmux保活训练训练动辄几小时SSH一断进程就没了。我习惯在登录后先打开tmuxtmux new -s train python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000然后CtrlB再按D脱离会话安心去吃饭。7.2 用环境变量控制隐藏参数SMARTS支持不少环境变量比如export SMARTS_HEADLESS1这个在服务器上最好加上能省去尝试启动图形界面的时间。7.3 保存训练日志以便复盘训练的时候也把输出重定向到文件nohup python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000 train.log 21 这样即使忘了tmux日志也都在拿到tail -f train.log就能看到训练进度。回到最初的问题SMARTS加PPO这个baseline跑通的价值不在那几行代码而在于你亲手把强化学习的数据采集、网络更新、评估闭环在这个真实级仿真器里完整过了几遍。整个pipeline上的每一个环节后面做任何多智能体相关工作的工程细节都能在baseline运行过程中找到对应位置。一个下午的折腾换来的是一套能自由改配置、换算法、接入新场景的熟悉度这笔账怎么算都值。下一步你可以试着换一个更复杂的交叉路口场景或者把训练出的模型接到Python环境里看实时行为那才是真正让benchmark变research的起点。
基于SMARTS与PPO的多智能体强化学习baseline跑通全指南
1. 开局跑通这个baseline到底值不值当先纠正一个拼写标题里的SMRATS是手误正确写法是SMARTS。这个项目是NVIDIA出的多智能体强化学习仿真平台全称Scalable Multi-Agent RL Training School专门为车路协同、自动驾驶决策这类场景设计。而PPO是OpenAI提出的强化学习算法全称Proximal Policy Optimization。所谓跑baseline就是把这个算法放到SMARTS的仿真环境里先训练出一个能完成任务的智能体作为后续所有改进工作的起点。很多刚接触SMARTS的人会被它的文档劝退。官方仓库里的tutorials能跑通但从零开始配置环境、编译底层、写训练脚本、调通可视化中间能踩的坑足够写好几篇文章。这篇就是把我自己从啥都没有到PPO开始正常出reward曲线的完整过程记录下来包含每一个命令、每一处版本约束、每一段关键代码的解读。这篇教程适合三类人一是准备在SMARTS上做多智能体研究、需要先跑通一个baseline的研究生二是想了解强化学习在自动驾驶仿真里怎么落地的工程同学三是单纯想看看PPO在真实交通场景里能学到什么样行为的爱好者。如果你已经能跑通官方demo这篇可以跳过环境部分直接看PPO baseline的代码结构和调参经验。先说结论整个跑通过程我花了两个晚上真正卡人的不是算法本身而是环境编译、依赖版本、和训练脚本里几个隐性的配置项。把这些一次性给你讲清楚你顺利的话一个下午就能看到reward曲线往上走。2. 跑通SMARTS之前的环境硬骨头2.1 系统要求和版本选择SMARTS从2021年开始经历了好几次大版本迭代不同版本的接口差异非常大。我这次用的是0.5版本master分支在2023年中的稳定态对应的Python版本是3.8。这里有个很关键的点官方README建议的Python版本范围很宽但实际上用3.9或3.10编译某些依赖时会因为C扩展兼容性问题报错最稳妥的就是3.8。操作系统方面Ubuntu 20.04是我的主力环境WSL2也能跑但可视化部分在WSL2下需要额外处理X Server建议新手直接上原生Linux或者双系统。多智能体场景动辄几十辆车在跑Windows下即使能装也有性能损失。2.2 clone时最容易忽略的submodule很多人第一次clone SMARTS会直接git clone https://github.com/huawei-noah/SMARTS.git然后满怀期待去装依赖结果编译的时候发现缺一堆东西。原因在于SMARTS把大量核心组件放在submodule里比如它内置的路线编辑器RoadRunner和几个地图场景。正确的操作是git clone --recurse-submodules https://github.com/huawei-noah/SMARTS.git如果你已经用了第一种方式也没关系进到目录里补一条git submodule update --init --recursive这一步做完项目里smarts/road_runner这些目录才不是空的。2.3 SUMO的安装是一个隐藏大坑SMARTS底层交通流仿真依赖SUMOSimulation of Urban MObility。它的特殊之处在于不能简单pip install而是需要自己在环境变量里暴露SUMO_HOME让SMARTS能找到SUMO的二进制文件。最省力的办法是直接套用SMARTS官方给的脚本pip install -e . pip install -e ./sumo但这里有个细节容易被忽略SUMO版本和SMARTS的兼容性是强绑定的。SMARTS 0.5要求SUMO 1.8.x如果你直接装了最新版SUMO比如1.15跑起来大概率会在碰撞检测或者route生成阶段报奇怪的错。我的建议是在conda环境里单独建一个环境不要用系统Python去试。conda create -n smarts python3.8 -y conda activate smarts pip install torch torchvision2.4 编译验证你的环境到底通没通环境配置完别急着直接跑算法先验证一下SMARTS本身是否正常工作python -c from smarts.env.hiway_env import HiwayEnv; print(import ok)能import成功不代表渲染正常再启动一个最小demo跑一步看仿真器是否工作python examples/hello_world.py 21 | head -20这一步如果出现类似ImportError: libgdal.so.26的报错说明系统级依赖还缺补上sudo apt-get install libgdal-dev libspatialindex-dev环境硬骨头的核心就一句话系统依赖、Python包、SUMO版本、submodule四个缺一不可。很多人卡在环境上都是因为只做了pip install就以为万事大吉实际还差了系统库和SUMO配置这两步。3. baseline代码应该怎么看PPO和SMARTS接口的对应关系3.1 找到baseline代码的正确入口SMARTS官方仓库的examples/baselines目录下有一整套PPO实现。这个baseline不是独立于SMARTS运行的程序它直接调用SMARTS的Python API来和环境交互。花十分钟把目录结构看清楚后面所有工作都不慌examples/baselines/ ├── common/ │ ├── argparse_utils.py │ ├── evaluate.py │ ├── kinetic_obs_to_state.py │ ├── plotting.py │ ├── replay.py │ └── train.py ├── ppo/ │ ├── agent.py │ └── train_ppo.py ├── model/ │ └── a2c.py └── scenario_runner.pytrain_ppo.py是训练入口agent.py定义了PPO的actor-critic网络结构model/a2c.py是通用的actor-critic实现虽然文件名是a2c但PPO也复用了这套网络scenario_runner.py负责加载场景并创建环境实例。3.2 PPO算法在实际代码里的核心逻辑PPO的核心目标是最大化带clip约束的策略期望回报。常见教科书写法是[ L^{CLIP}(\theta) \mathbb{E}_t[\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon)\hat{A}_t)] ]在agent.py里的实现逻辑是先用当前策略跑出若干条轨迹计算GAE广义优势估计得到每个时间步的优势值再拿这些数据做若干轮minibatch更新。这和你自己从零写一个PPO没有本质区别但SMARTS的baseline做了几处配套处理值得注意。观察空间的处理是第一个容易忽略的点。SMARTS的默认观察不是一张图而是一个包含自车状态、邻居车辆信息的集合体具体由kinetic_obs_to_state.py负责转换成固定维度的向量。boilerplate代码里默认把观察转换成31维的状态向量如果你的场景改了比如车多了或者传感器范围变了转换维度要对齐模型输入层的size。动作空间在SMARTS里的设计是连续动作一般两个维度油门或刹车和转向角度。model/a2c.py的输出层会对动作分布做tanh压缩让输出落在合理范围内。配一张表看着更清楚这对应了你debug时需要检查的关键参数参数默认值含义learning_rate5e-5更新步长gamma0.99奖励折扣因子lam0.95GAE参数clip_epsilon0.2裁剪范围entropy_coef0.001熵正则化系数num_minibatches4每次更新划分的minibatch数total_timesteps10000000总训练步数3.3 为什么baseline够你用来起步不少同学爱自己从零写PPO然后发现训练半天不收敛怀疑算法实现有问题。实际上在SMARTS这种高维、非稳态的交通仿真环境里收敛本身就慢PPO baseline把大量工程细节已经处理好了比如reward归一化、时序nested observation的堆叠、以及自动保存checkpoint的逻辑。在新环境里先跑通baseline再逐步调自己的方案是效率最高的路径。4. 从零到一把PPO训练真正跑起来的完整流程4.1 准备一个场景SMARTS自带的示例场景中left_turns是最经典的单智能体左转场景模拟一辆车在无保护左转场景下和直行来车交互。进scenarios/left_turns看一眼里面有个build.py首次使用先构建场景地图cd scenarios/left_turns python build.py这会在场景目录下生成map.net.xml等SUMO格式文件SMARTS运行时才会读得到。4.2 启动训练的精确命令回到examples/baselines/ppo目录训练指令是python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000这里有个新手容易掉进去的坑--episodes不是跑多少步是跑多少回合。一个episode代表这辆车从起点开到终点或撞车的全过程。train_ppo.py内部会循环调用环境跑完一个episode收集一整段轨迹再做PPO更新。训练过程中你会看到类似日志Episode: 100, total reward: -45.23, entropy: 0.83, policy_loss: -0.012 Episode: 200, total reward: -21.77, entropy: 0.71, policy_loss: -0.008reward从负数慢慢往上涨就说明策略在变好。4.3 checkpoint会自动存但你最好知道它存哪默认每隔50个episode模型参数会存到model_save/目录下。跑完一段时间比如2000个episode你会在目录下看到多个.pt文件ls model_save/ # 1000.pt 1050.pt 1100.pt ...打开train_ppo.py可以看到torch.save(agent.actor_critic.state_dict(), freward_model_{episode}.pt)这样的逻辑。模型文件可以配合eval_ppo.py如果你有的话或common/evaluate.py做离线评估。4.4 训练中阶段性的智能体可视化只看reward曲线不够直观SMARTS自带了可视化工具python -m smarts.sstudio --scenario ../../scenarios/left_turns python examples/visualize.py --episodes 10 --scenario ../../scenarios/left_turns或者更直接一点用common/replay.py加载已经训练好的模型python replay.py --scenario ../../scenarios/left_turns --model_path model_save/2000.pt可视化面板里能看到车辆在十字路口的行为。这一步是验证训练质量最直觉的方式看车会不会傻傻地停在路口不动或者是否会突然加速导致碰撞。4.5 最容易被忽略的pipeline启动细节SMARTS主程序在启动时会先启动一个进程管理服务负责拉起SUMO和碰撞检测引擎。如果训练到一半进程崩了大概率是这个服务对应的线程挂了。处理方式是重启训练前先看有没有残留进程pkill -f sumo pkill -f smarts ps aux | grep python把残留清干净再重新启动否则端口被占用会报address already in use。5. 我踩过的坑这些报错你大概率也会遇到5.1AttributeError: module smarts has no attribute …这个大类报错最让人崩溃原因通常是版本不一致。SMARTS在训练脚本里会调用from smarts.core.agent_interface import AgentInterface from smarts.core.controllers import ActionSpaceType如果你的install不是从源码完整装完比如只pip install了某个发布包这些新模块根本不存在的可能性很大。解决办法不是改代码而是回到第一步确保你执行过pip install -e .并且当前shell工作目录在SMARTS/根目录下让Python能够定位到源码里的smarts包。5.2 训练时提示missing or invalid map_config场景构建缺失是典型的submodule没拉全导致的。去scenarios/left_turns底下看有没有map.net.xml文件有就检查map_spec配置和实际文件名是否一致。没有就回来跑一遍python build.py遇到权限问题就加--headless参数或者给临时目录开放读写权限chmod -R 755 ~/SMARTS5.3 PPO训练一直不收敛loss不下降这个不算bug但比bug更恼人。我自己试过的有效调整顺序是先把entropy_coef从0.001调大到0.01增加探索减少num_minibatches从4到2让每次更新更稳定把clip_epsilon从0.2降到0.1限制更新幅度如果还是不行看reward设计SMARTS默认的reward是碰撞惩罚加距离奖励对高维动作空间来说信号比较稀疏考虑在train_ppo.py里自定义reward函数具体方法后面单独说。5.4 WSL2下可视化黑屏/无法打开窗口这个问题我在WSL2环境见过不少次。SMARTS自带可视化依赖openGL窗口WSL2默认不启动图形界面。最简单的处理是用来训练、不开可视化如果一定要看用Windows侧的X Server转发。具体步骤不展开了但记住一个原则训练和可视化分开训练时开--headless可视化单独跑能省下大量无关报错。5.5 排查链路参考我把排查过程的思路整理成一个通用链路供你对着查现象优先排查项可能的根因import时报错pip list里有没有SMARTS没装或版本不符SUMO相关异常echo $SUMO_HOME是否输出路径环境变量未生效episode跑不完场景目录下有没有map文件submodule没拉全模型加载失败保存路径下有没有对应episode权重训练被中断或路径不一致GPU显存溢出nvidia-smi看占用batchsize或obs堆叠过大6. 训练结果怎么看reward曲线、模型行为和调参心得6.1 从reward曲线判断收敛状态SMARTS的left_turns场景里reward为每一个时间步1的前进奖励加上碰撞惩罚通常是-100。一开始模型不知道刹车和转向怎么配合reward基本在-50到-10之间震荡。随着训练推进你会看到总奖励逐渐向正数爬升。判断是否收敛不能只看当前reward要看曲线平滑度。开一个tensorboard或者直接把common/plotting.py里的绘图函数跑起来它能边训练边输出滑动平均曲线。当曲线在某个值附近波动且熵值降到一个稳定低值时基本可以认定策略已经收敛到一个局部最优。6.2 模型行为的落地评估数值之外要多看几集可视化。一个好的左转策略不是最快通过路口而是既不会和直行车相撞也不会在无车时犹豫不前。实际跑下来常见的失败模式有永远停在路口等待说明策略学到不求有功但求无过reward设计里缺少对过线的正向激励突然加速引发碰撞说明状态估计里缺失了对来车速度的判断走了一条奇怪的绕行路线可能是场景里route定义和reward存在不匹配检查地图有没有捷径。6.3 如果从头调我的参数起点建议给你一个我实际用下来更稳的参数组合比官方默认更加保守一点learning_rate: 3e-5 gamma: 0.99 lam: 0.97 clip_epsilon: 0.15 entropy_coef: 0.005 num_minibatches: 2注意调整后训练时间会比官方默认长但reward的方差会小不少不容易出现来回震荡的潮汐式学习。6.4 给后续工作留一个深水区跑通baseline只是第一步。如果你要做多智能体版本left_turns这个场景并不合适——它是单智能体场景。多智能体建议换到sumo/intersections或多agent版本的left_turns_multi在配置里明确定义每个agent的AgentInterface。另外SMARTS对reward的定义在每个场景的reward_function里这部分的自定义权限非常高。后续做模仿学习、逆强化学习或者分层强化学习的时候多半要重写这块建议从baseline跑通后就养成阅读场景配置的习惯。7. 收尾前再分享几个提升效率的小技巧7.1 用tmux保活训练训练动辄几小时SSH一断进程就没了。我习惯在登录后先打开tmuxtmux new -s train python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000然后CtrlB再按D脱离会话安心去吃饭。7.2 用环境变量控制隐藏参数SMARTS支持不少环境变量比如export SMARTS_HEADLESS1这个在服务器上最好加上能省去尝试启动图形界面的时间。7.3 保存训练日志以便复盘训练的时候也把输出重定向到文件nohup python train_ppo.py --scenario ../../scenarios/left_turns --episodes 20000 train.log 21 这样即使忘了tmux日志也都在拿到tail -f train.log就能看到训练进度。回到最初的问题SMARTS加PPO这个baseline跑通的价值不在那几行代码而在于你亲手把强化学习的数据采集、网络更新、评估闭环在这个真实级仿真器里完整过了几遍。整个pipeline上的每一个环节后面做任何多智能体相关工作的工程细节都能在baseline运行过程中找到对应位置。一个下午的折腾换来的是一套能自由改配置、换算法、接入新场景的熟悉度这笔账怎么算都值。下一步你可以试着换一个更复杂的交叉路口场景或者把训练出的模型接到Python环境里看实时行为那才是真正让benchmark变research的起点。
