MoE 训练为什么一降路由温度就开始前期更稳却后期专家固化：从 Router Temperature 到 Entropy Floor 的工程实战

🌡️ 温度一降，loss 很顺，专家却慢慢冻住

很多团队做 MoE 训练时，最先想动的旋钮就是router temperature。📌 温度一降，路由更尖、单步抖动更小，前期loss也更顺。问题是，前 5% 训练步顺，不代表后面更稳。后面最常见的，不是训练崩掉，而是头部专家越来越忙，尾部专家越来越闲，长尾任务和稀有领域样本先退化。

更麻烦的是，这类问题容易被平均指标遮住。⚠️ 总体loss、吞吐和显存都可能正常；先掉的往往是冷门语言、复杂工具调用和稀疏问答。等团队发现模型开始反复依赖那几个老专家时，路由偏置往往已被动量和容量限制一起放大，很难靠补训救回。

🧩 真正被关掉的，不是抖动，而是探索空间

MoE 路由的本质不是简单分流，而是在训练早期保留试错空间。✅ 温度降得太快，softmax会过早把流量锁进少数高分专家，短期像在降噪，长期却会冻结分工。头部专家拿到更多梯度，分数继续抬高；尾部专家样本更少，后面即使回调温度，模型也不愿重新探索。

不少团队把希望压在aux loss或z-loss上，以为继续推均衡损失就能把专家拉开。🔍 但当温度已把候选空间压窄时，均衡项通常只是在有限通道里挪流量，不是在恢复探索。负载更整齐，不代表新专家真学到新模式。

🛠️ 更稳的做法，是退火温度但保留一层 Entropy Floor

更可靠的方案，是把温度当成调度器而不是常量。💡 前段用较高温度保留试错，中段再缓慢退火，但给每层路由留一条entropy floor；平均熵跌破阈值就停降，必要时小幅回弹。目标不是绝对均匀，而是保住尾部专家的曝光。

defrouter_temperature(step,warmup_steps,base_temp,min_temp,entropy,floor):ifstep<warmup_steps:temp=base_tempelse:decay=min((step-warmup_steps)/4000,1.0)temp=base_temp-decay*(base_temp-min_temp)# 熵低于阈值时停止继续尖锐化，避免专家过早固化ifentropy<floor:temp=max(temp,min_temp+0.15)returntemp

实践里更值得盯的，不是谁最忙，而是活性是否持续收缩。📊 可以同时记录每层路由熵、专家负载p95/p50、尾部 20% 专家样本占比，再和领域切片准确率一起看。一组 32 专家实验里，快速降温方案的总体loss只好看了0.03，但尾部专家样本占比从18%掉到7%，技术问答切片准确率反而回落2.6个点。

📉 发布门槛别只看平均 loss，要看专家活性有没有塌

MoE 训练危险的地方，在于看起来没有坏。🚨 如果发布门槛只看平均loss、困惑度和吞吐，快速降温方案很容易过线，因为它确实会让训练更安静。但只要把路由熵和专家活性拉进同一面板，待上线版本会立刻露出问题。对训练平台来说，尾部专家仍在学习才该放行。

一个实用门槛是：路由熵比基线连续低20%以上，同时专家负载p95/p50超过3.0，而长尾切片准确率没有回升，就不该继续放行。📌 这会牺牲一点曲线美观，却能挡住后期专家固化。更贵的不是多训几小时，而是把失去探索能力的版本推上线。

🔭 接下来拉开差距的，不是谁堆更多专家

接下来 3 到 6 个月，MoE 训练会拉开差距的，不是谁把专家数堆得更大，而是谁先把路由调度、活性监控和切片回归连成闭环。📈 当router temperature不再是静态超参，而是能被熵、负载分布和长尾指标共同约束的控制量，团队才算把 MoE 从能跑带到能稳学。

笔者认为，很多 MoE 退化不是容量不够，而是训练过程过早相信那几个最会答的专家。🤝 如果现在还只把路由温度当成让曲线更顺的按钮，这条线很可能已在牺牲后段泛化。