RL训练新发现：仅优化Transformer中间层可大幅降低算力成本-尧图网络科技

这类研究最值得关注的不是它提出了什么新算法，而是直接挑战了RL训练必须全参数更新的行业默认认知。如果你正在跑强化学习后训练，或者准备在数学推理、代码生成、Agent任务上做模型优化，这项发现可能帮你省掉一大半算力开销。

核心结论很简单：在多个模型、任务和RL算法上，只训练Transformer中间某一层（比如36层中的第16层），效果就能匹配甚至超过训练全部参数。这不是参数压缩技巧，而是对RL收益来源的重新测量。

下面按实际落地顺序拆解这个发现到底意味着什么，以及你怎么在自己的环境里验证和应用。

1. 先理解它挑战的是什么默认假设

RL后训练（RL post-training）现在几乎是做大模型推理优化的标配步骤。不管是DeepSeek-R1带火的RLVR路线，还是GRPO、PPO在数学、代码、Agent任务上的应用，行业默认流程都是：加载预训练模型，用RL算法在全参数上做微调。

这个默认假设背后有个隐含前提：RL带来的性能提升均匀分布在网络每一层，所有参数都需要参与适应。

但2026年7月arXiv上的这篇论文用极简实验设计捅破了这个假设。研究者每次只训练一个Transformer层，冻结其他所有层（包括嵌入层和LM头），然后看这一层独自能贡献多少RL收益。

他们定义了一个“层贡献度”指标：单层训练恢复的收益占全参数训练总收益的比例。如果某层贡献度达到1.00，意味着只练这一层就能复现全参数训练的效果。

在Qwen3-8B-Base（36层）的数学推理任务上：

全参数GRPO训练准确率66.5%
只训练第16层，准确率67.1%，贡献度1.07（反超全参数）
只训练第15层，准确率66.5%，贡献度1.00（持平全参数）
只训练第0层，准确率反而降到62.1%，贡献度-0.51（拖后腿）

这个模式在7个模型、3种RL算法、多个任务域上高度一致。不是边缘案例，而是系统性发现。

1.1 为什么行业这么多年没发现这个现象

最主要的原因是测量盲区。大家习惯看整体reward曲线和benchmark分数，默认提升来自所有层协作。没人专门搭一个单层独立测试框架，因为没人怀疑过“全参数更新最好”这个前提。

另一个原因是工程惯性。从BERT/GPT时代确立全参数微调范式后，整个工具链和优化流程都围绕这个假设构建。改变意味着重写训练循环、调整监控指标，还可能引入不确定性。

但算力成本会说话。如果只更新中间层就能达到相同甚至更好效果，那全参数训练中大部分计算可能都是浪费。

1.2 这个发现对实际项目意味着什么

对你来说，最直接的价值是提供了一个降低RL训练成本的新思路。不需要改模型结构，不需要换RL算法，只需要调整训练策略：

如果你在做实验验证，可以先用单层训练快速测试RL信号是否有效
如果你在跑生产任务，可以优先更新高贡献层，而不是平均更新所有参数
如果你在调试模型，层贡献度可以成为一个新的诊断工具，帮你定位RL学习到底发生在哪里

但要注意，这不等同于“永远只练一层”。论文发现不同任务的最佳层位置有差异，Agent任务就需要更分散的层参与。核心启发是：RL收益分布高度不均匀，你需要测量而不是假设。

2. 怎么在你自己的环境里验证层贡献度

如果你想复现这个发现，或者在自己模型上测试层贡献度，下面是一个可操作的验证流程。

2.1 准备基础环境

你需要一个已经预训练好的Transformer模型（比如Qwen、LLaMA、ChatGLM等），以及一个能跑RL后训练的任务框架（数学推理如GSM8K、代码生成如HumanEval、Agent决策如WebShop等）。

关键依赖：

PyTorch或同类深度学习框架
RL训练库（支持GRPO/PPO等算法）
模型权重和tokenizer
任务评估脚本

我建议先用小模型（1B-7B参数）测试，因为单层实验需要多次训练跑分，大模型成本太高。

2.2 搭建单层训练框架

标准全参数训练时，优化器通常这样初始化：

optimizer = AdamW(model.parameters(), lr=5e-6)

要测试单层贡献，你需要改为只更新目标层的参数。以36层Transformer为例，假设你想测试第16层：

# 冻结所有参数 for param in model.parameters(): param.requires_grad = False # 只解冻第16层（注意层编号从0开始） target_layer = model.transformer.h[15] # 第16层对应索引15 for param in target_layer.parameters(): param.requires_grad = True # 优化器只包含可训练参数 optimizer = AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=5e-6)

这样在RL训练过程中，只有第16层的参数会更新，其他层保持冻结。

2.3 定义层贡献度指标

论文中的层贡献度计算公式为：

层贡献度 = (单层训练准确率 - 预训练基线准确率) / (全参数训练准确率 - 预训练基线准确率)

你需要先跑三个实验：

预训练基线：不做RL训练，直接评估模型在任务上的初始准确率
全参数训练：标准RL训练，所有参数可更新
单层训练：每次只训练一个特定层，其他层冻结

然后对每个层计算贡献度。如果某层贡献度接近1.00，说明这一层独自就能复现全参数训练的收益。

2.4 执行验证流程

我建议按这个顺序跑实验：

先确认全参数训练能work：用标准流程跑一次RL训练，确保reward有提升，评估指标有改善。如果全参数都训不好，单层实验没有意义。
从中间层开始试：基于论文发现，第12-20层（在36层模型中）通常贡献度最高。你可以先试第15、16层，看单层训练是否能达到全参数效果的60%以上。
系统扫描所有层：如果时间允许，对每个层都跑一次单层训练，绘制层贡献度曲线。这会帮你确认在你的模型和任务上，收益分布是否也是中间凸起、两头塌陷。
尝试层感知训练：找到高贡献层后，可以试只训练这些层（论文中的Only B10策略），或者给它们分配更高学习率。

重要提醒：单层实验需要跑L次（L是层数），每次都要完整RL训练和评估。确保你有足够的计算预算，或者先用小样本快速验证趋势。

3. 理解为什么中间层成为RL收益核心

这个发现不是偶然，而是由Transformer架构特性和RL训练目标共同决定的。

3.1 Transformer层的功能分化

大量前期研究已经表明，预训练Transformer不同层承担不同功能：

底层（0-5层）：主要处理语法、词序、表层特征
中间层（约1/3到2/3处）：负责语义整合、逻辑推理、关系建模
高层（最后几层）：将高维表示映射到输出空间，做分类或生成决策

RL后训练的目标不是让模型学会更好的语法（底层负责），也不是优化输出映射（高层负责），而是教模型什么样的推理路径能获得更高奖励。这本质上是高层语义推理能力的优化，正好落在中间层的主场。

3.2 RL信号的作用机制

RL训练时，奖励信号通过反向传播穿透整个网络，但不同层对信号的响应程度不同。

中间层的注意力头通常学习到的是任务相关的逻辑模式（比如数学推理中的解题步骤、代码生成中的API调用顺序）。当RL信号指示某种模式能获得高奖励时，这些层的参数更新直接对应推理能力的改进。

而底层和高层的参数变化更多是配合性调整。这就是为什么单独训练第0层反而可能损害性能——它本来就不负责推理，强行更新只会干扰已经学好的语法表征。

3.3 从层贡献曲线看任务差异

论文发现不同任务的层贡献分布有细微差别：

数学推理：收益高度集中，单一中间层就能覆盖大部分收益
代码生成：模式类似数学，但最佳层位置可能偏移1-2层
Agent决策：收益相对分散，可能需要多个层参与

这符合直觉：数学题通常有标准解题路径，代码生成有固定模式，而Agent任务需要综合多种技能（理解指令、规划步骤、执行动作），这些技能可能分布在不同层中。

当你应用这个发现时，要先分析你的任务类型。如果是高度结构化的任务（数学、代码），可以大胆尝试单层或少数层训练；如果是复杂决策任务，可能需要保留更多层的可训练性。

4. 层感知训练策略的实际落地思路

论文提出了一个简单的layer-aware training策略，在几乎所有测试设定上都优于标准全参数训练。下面是怎么把它应用到你的项目中。

4.1 选择性训练策略

只训练贡献度高的层，冻结其他层。具体步骤：

先通过单层实验测量各层贡献度
选择贡献度最高的K个层（论文中K=10效果很好）
只解冻这些层进行RL训练

PyTorch实现示例：

# 假设high_contrib_layers是贡献度最高的层索引列表 high_contrib_layers = [12, 13, 14, 15, 16, 17, 18, 19, 20] # 示例 # 冻结所有层 for param in model.parameters(): param.requires_grad = False # 只解冻高贡献层 for layer_idx in high_contrib_layers: layer = model.transformer.h[layer_idx] for param in layer.parameters(): param.requires_grad = True

这种策略的计算成本大约是全参数训练的K/L（L是总层数），在36层模型中只练10层，能省约72%的前向反向计算。

4.2 差异化学习率策略

不给不同层分配相同的学习率，而是根据贡献度设置阶梯学习率：

高贡献层：较高学习率（如5e-6）
中等贡献层：中等学习率（如1e-6）
低贡献层：较低学习率（如1e-7）或直接冻结

PyTorch实现：

# 定义不同层组的学习率 optimizer_grouped_parameters = [ {"params": model.transformer.h[12:20].parameters(), "lr": 5e-6}, # 高贡献层 {"params": model.transformer.h[8:12].parameters(), "lr": 1e-6}, # 中贡献层 {"params": model.transformer.h[20:28].parameters(), "lr": 1e-6}, # 中贡献层 # 底层和高层可以冻结或给极低学习率 ] optimizer = AdamW(optimizer_grouped_parameters)

这种策略保留了全参数更新的灵活性，但让优化资源向关键层倾斜。