2025年10月AI领域传出一条让不少从业者停下刷手机的消息OpenAI研究副总裁、负责后训练post-training方向的核心人物 Barret Zoph离开 OpenAI加入 Google DeepMind出任研究副总裁。这条消息表面上只是“高管跳槽”但如果把它放到大模型竞争的技术坐标系里看它更像一个转折信号过去三年行业比拼的是“谁的预训练做得更大”而接下来决定模型体验的战场正在向后训练、对齐和推理效率转移。Zoph 恰恰是在这个战场上最重要的技术人员之一。本文不打算只复述新闻而是想聊清楚三件事Barret Zoph 到底做过什么为什么他的离开值得关注以及这件事对正在做大模型应用和后训练的开发者意味着什么。如果你关心大模型的技术栈变化或者单纯想理解“为什么 ChatGPT 和早期 GPT-3 用起来完全不同”这篇文章应该能给你一个更完整的视角。先给出一个明确判断Zoph 从 OpenAI 到 Google DeepMind不只是个人职业选择更是“模型后训练能力”在大模型竞争中被重新估价的结果。谁掌握了高质量的对齐与后训练工程谁就掌握了模型用户体验的定价权。1. 谁是 Barret Zoph一位“模型塑造者”的两次转身Barret Zoph 在大模型领域有很高的知名度但他的名字并不是靠“参与训练某个大参数模型”出圈而是因为他长期负责一个更靠近产品体验的环节让模型学会“正确地回应人”。在加入 OpenAI 之前Zoph 是 Google Brain 的研究人员主要研究方向是 AutoML 和神经架构搜索Neural Architecture Search, NAS。他在这一时期的代表性工作是与 Quoc Le 等人共同提出的 NASNet——一篇关于自动搜索图像识别网络架构的论文。NAS 的核心思想是与其让人工专家手工设计 ResNet、Inception 这类网络结构不如用算法去搜索一个更优的结构再把搜索结果迁移到大规模任务上。加入 OpenAI 之后Zoph 的研究重心发生了明显转移。他不再研究“模型结构如何设计”而是研究“模型行为如何塑造”。他领导的 post-training 团队负责在预训练基础模型之上进行监督微调、人类反馈对齐、强化学习等工作。简单说预训练决定模型“知道多少”后训练决定模型“会不会好好说话、会不会按指令做事”。这两段经历叠加在一起构成了一个很特别的组合既懂模型架构的自动化搜索又懂模型行为的对齐工程。在“规模竞赛”的年代这种能力未必显眼但到了“体验竞赛”的年代它恰恰是稀缺的。1.1 第一次转身Google Brain 时代的 AutoML 与 NASNetNAS 解决的问题本质上是一个“元学习”问题不直接学习任务本身而是学习“用什么结构去学任务”。当年的典型做法是用一个循环神经网络控制器在搜索空间中不断生成候选网络结构然后在子任务上训练并评估这些结构再用评估结果更新控制器。搜索空间包括卷积层数量、卷积核尺寸、通道数、残差连接方式等。这个思路听起来很诱人但实际落地成本很高。每评估一个候选结构就要训练一个子网络即使采用代理任务和一整套加速策略依然需要大量算力。NASNet 的另一个贡献是提出“可迁移架构搜索”在小规模数据集上搜索得到单元结构再把这个单元结构堆叠到大网络上从而降低搜索代价。用现在的话说NAS 是“用算力换人工经验”的早期尝试。它虽然没有像预训练大模型那样彻底改变行业但其中的自动化思想和今天用强化学习自动优化模型策略的思路是一致的。可以用一个简化的随机搜索示例来理解这个思想# 文件路径nas_demo.py # 说明极简示意用随机搜索演示“搜索架构-评估-选优”的基本流程 import random def evaluate_architecture(arch: dict) - float: # 实际工程中这里会用真实数据集训练一个小模型并返回验证集指标。 # 此处用随机数代替训练结果仅演示流程结构。 return random.random() def random_search(num_trials: int 20): best_arch None best_score 0.0 for _ in range(num_trials): arch { conv_layers: random.randint(1, 5), filters: random.choice([32, 64, 128]), kernel_size: random.choice([3, 5, 7]), dropout: random.choice([0.0, 0.3, 0.5]), } score evaluate_architecture(arch) if score best_score: best_score score best_arch arch return best_arch, best_score if __name__ __main__: arch, score random_search(30) print(fbest arch: {arch}, score: {score:.4f})这个示例当然不是完整的 NAS 实现但它能帮助理解 Zoph 早期工作的核心问题模型结构不是唯一的变量结构本身也可以被优化。这个“把优化过程建模成另一个学习问题”的思维习惯后来很自然地延伸到了模型行为优化上。1.2 第二次转身OpenAI 时代的后训练与 RLHFZoph 在 OpenAI 期间负责的后训练团队是大模型产品体验的关键一环。这里要先把“后训练”这个概念讲清楚因为在很多讨论里它与“微调”“对齐”“RLHF”经常被混用。后训练是一个宽泛的概念指在预训练完成之后为了提升模型在特定任务、特定使用方式上的表现而发生的一切训练过程。它通常包含三个阶段监督微调SFT用人工撰写或模型生成的“指令-回答”数据对模型进行有监督训练让模型学会按指令格式回应。奖励建模Reward Modeling收集人类对多个答案的偏好排序训练一个奖励模型用来预测“哪一个回答更符合人类偏好”。强化学习优化典型为 PPO用强化学习算法调整模型策略使其生成能获得更高奖励分数、同时又不过度偏离原模型的回答。这套流程就是 RLHFReinforcement Learning from Human Feedback的经典范本。它在 InstructGPT 和 ChatGPT 的迭代中得到了充分验证GPT-3 本身已经有了很强的文本生成能力但如果直接把两个人扔到对话里模型会因为“不像助手”而显得不可用。RLHF 解决的不是“知识不足”而是“行为不对齐”让模型学会承认不知道、学会拒绝不当请求、学会把话说清楚。这个阶段的特殊性在于它的核心工程难点已经不只是算力而是数据、人工标注、奖励设计和策略稳定性。Zoph 长期负责的正是这一类问题。这也是为什么业内普遍认为他的离开对 OpenAI 的影响不在“下一代预训练模型有多大”而在于“下一代模型能不能继续维持高水平的人类对齐体验”。2. 大模型后训练为什么它从幕后走到台前如果把大模型比作一个刚毕业的高材生预训练相当于他啃完了海量教材知识面很广后训练则相当于岗前培训教他如何在具体岗位上回答问题、遵守规则、控制语气。没有岗前培训高材生可能满腹经纶却答非所问。过去几年业界一度把精力集中在扩大参数量、增加训练数据、堆高算力上。后训练虽然一直在做但在很多人眼里只是“锦上添花”。直到两个关键变化出现后训练才真正站到了舞台中央。第一个变化是模型能力的“边际递减”。当参数规模从十亿级走到千亿级、万亿级单纯靠增大预训练规模带来的收益开始放缓。与此同时用户对模型的评价越来越取决于“是不是好用”而不是“知识量有多大”。好用与否恰恰由后训练决定。第二个变化是推理模型的兴起。以 OpenAI 的 o1 系列为代表的推理模型不再只是“生成下一个 token”而是在推理阶段花更多计算量去思考、验证、回溯。这类模型的训练方式从依赖人类偏好标注的 RLHF转向了依赖规则化验证的 RLVRReinforcement Learning with Verifiable Rewards。后训练的技术内涵再一次被拓宽。2.1 预训练与后训练的边界很多初学者会把“微调”等同于“后训练”。实际上后训练是一个更大的集合微调只是其中的一部分。可以先用一张表对比预训练与后训练的差异维度预训练后训练核心目标学习语言规律和世界知识塑造行为、对齐人类意图训练数据海量无标注文本万亿级 token高质量指令、偏好、验证信号百万到亿级样本算力消耗数万卡月成本极高数百到数千卡周成本相对可控主流技术Next Token PredictionSFT、奖励建模、RLHF、RLVR关键评估困惑度、通用基准人工偏好、任务成功率、安全性、指令遵循率从这个维度看后训练的入门门槛更低、迭代更快也更容易被产品和业务场景直接验证。对于绝大多数算法团队而言真正能介入的正是后训练环节而不是重头训练一个大模型。2.2 RLHF 的核心流程RLHF 在实现层面有很多变体但核心流程可以概括为四步准备指令数据集先做 SFT得到具备基础指令遵循能力的模型。让模型对同一批提示生成多个候选回答再由人工或自动方法给出偏好排序。用这些偏好数据训练奖励模型让它学会“预测人类更喜欢哪个回答”。用强化学习算法典型为 PPO优化策略模型目标是最大化奖励模型分数同时通过 KL 散度约束避免模型彻底偏离原始能力。这里面每一步都有工程陷阱。奖励模型的偏好数据如果存在偏差模型会把偏差放大强化学习阶段如果 KL 系数设置不当模型可能出现奖励黑客行为——生成“看起来让奖励模型满意但实际不可用”的内容。这些细节正是后训练团队的核心价值所在。2.3 从 RLHF 到 RLVR推理模型的第二个转折RLHF 依赖人类偏好标注优点是通用性强缺点是标注成本高、噪声大。对于数学、代码这类有确定答案的任务人类标注反而显得低效与其让人判断两个答案哪个更好不如直接用程序判断答案对错。RLVR 的思路就是提供“可验证奖励”正确答案由规则、程序或确定性的验证器给出模型每生成一条推理链就计算它在验证器上的得分再把这个得分作为强化学习的奖励信号。这样一来奖励不再是主观的人类偏好而是客观的任务正确率。o1 系列模型展示的“长思考”能力本质上与这类强化学习方式高度相关。模型的训练目标不再是“快速给出答案”而是“在推理过程中找到正确路径”。这对后训练的基础设施提出了新要求需要能并行验证大量推理轨迹的算力系统需要能设计高质量验证器的工程团队还需要处理训练过程中模型推理能力波动的问题。3. Barret Zoph 加入 Google DeepMind 意味着什么从个人履历看Zoph 加入 Google DeepMind 是一次“回归”他早期就在 Google Brain 工作对谷歌的研究文化和工程体系并不陌生。但站在行业角度这件事的意义要更复杂一些。3.1 人才流动背后的技术路线信号一位长期负责 OpenAI 后训练方向的核心研究者选择加入 Google DeepMind至少释放了几个信号。第一个信号Google DeepMind 正在加强后训练和对齐方向的力量。Gemini 系列模型在预训练和多模态能力上已经很强但模型产品的最终体验同样依赖后训练。引入 Zoph 这类有完整 ChatGPT/GPT-4 后训练经验的人可以视为 DeepMind 补齐“产品级对齐能力”的重要动作。第二个信号OpenAI 的后训练团队正在经历一轮人员结构调整。一个高价值团队的核心人物离开通常会带走宝贵的工程直觉和团队组织经验。虽然 OpenAI 的后训练团队规模很大、分工成熟但核心人物的变动依然会在短期内影响技术方向的连续性。第三个信号大模型的竞争已经从“论文指标竞赛”进入“工程与体验竞赛”。以前大家关注谁发了更炫的论文、谁把参数刷得更高现在大家更关注谁能稳定地把一个模型调成“用户愿意天天用”的产品。后训练与对齐正在成为这类竞争的主战场。3.2 OpenAI 与 Google DeepMind 的研究重心对照把两家实验室的近期研究方向放在一起对比可以更清楚地看到这次人事变动的坐标公司实验室近期技术重心代表性模型OpenAIOpenAI后训练对齐、推理模型、多模态理解GPT-4 系列、o1 系列GoogleGoogle DeepMind多模态、推理、Agent、Gemini 产品矩阵Gemini 系列这里有一个容易被忽略的细节Zoph 对“后训练”的理解正好覆盖了当前最前沿的两个方向——一类是面向对话体验的 RLHF一类是面向推理模型的 RLVR。如果他能在 DeepMind 把这些方法论与 Gemini 已有的多模态和 Agent 能力整合起来对 Google 的意义将不仅是一个“高管入职”而是一整套后训练工程体系的引入。3.3 需要避免的过度解读也要泼一点冷水一个人的流动不能直接推导出“OpenAI 要完”“Google 要赢了”这种结论。前沿实验室的能力从来不是系于单个人身上而是由团队、数据、算力、组织流程共同构成。Zoph 离开后OpenAI 还有庞大的后训练团队和成熟的训练流程其技术积累不会立刻消失。Google DeepMind 也不缺人才Zoph 带来的更多是经验与方向而不是一口能吃掉的“独门秘方”。更合理的解读是大模型人才市场正在进入一种“双向流动”的常态。过去几年大量人才从 Google Brain 流向 OpenAI现在部分人才开始以更成熟的经验回流 Google。这种流动本身说明两个实验室都还在同一个前线竞争而胜负远未分晓。4. 对开发者的直接启示后训练能力将变成基础工程能力如果只看新闻你可能觉得这件事离自己很远。但 Zoph 的职业路径其实是一条很好的认知路线图从模型结构优化到模型行为优化再到可验证推理优化。这条路也是越来越多算法工程师正在走的路。4.1 技术栈重心正在迁移三年前一个算法工程师如果不懂预训练很难说自己在做“大模型”。但今天大多数业务团队的切入点已经不是预训练而是后训练用开源模型做 SFT用 RLHF 或偏好优化调整风格用 RLVR 提升数学、代码类任务的表现。这意味着即使你不加入 OpenAI 或 Google DeepMind也需要掌握后训练的基本工具链。目前社区使用较多的包括 Transformers、TRL、LLaMA-Factory、DeepSpeed 等。下面用一个最小示例演示如何用 TRL 对开源模型做 SFT。# 安装依赖版本以实际环境为准 pip install transformers datasets trl accelerate# 文件路径sft_example.py # 说明用 TRL 对开源模型做指令微调的最小示例 from datasets import load_dataset from transformers import AutoTokenizer from trl import SFTConfig, SFTTrainer model_name Qwen/Qwen2.5-1.5B-Instruct # 实际使用时请替换为你自己的指令数据集 dataset load_dataset(your_org/your_instruction_dataset, splittrain) tokenizer AutoTokenizer.from_pretrained(model_name) config SFTConfig( output_dir./sft_output, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate2e-5, max_seq_length1024, num_train_epochs3, logging_steps10, save_steps500, report_tonone, ) trainer SFTTrainer( modelmodel_name, argsconfig, train_datasetdataset, tokenizertokenizer, ) trainer.train()这段代码的核心逻辑并不复杂把指令数据集交给 SFTTrainer在基础模型上进行有监督微调。真正决定效果的不是代码而是数据质量。常见的问题是指令覆盖不足、回答风格不一致、训练轮次过多导致过拟合。建议先在小规模验证集上确认效果再决定是否扩大训练。4.2 用 RLVR 思路构建可验证奖励如果你想进一步贴近 Zoph 负责过的推理模型方向可以从 RLVR 入手。RLVR 的关键在于把“主观打分”换成“客观验证”。下面是一个简化示例演示如何用规则判断模型生成的数学题答案是否正确# 文件路径rlvr_reward_demo.py # 说明规则化验证奖励的极简示意 import re def extract_final_answer(text: str) - str: # 假设模型输出格式为 答案是: xxx match re.search(r答案是[:]\s*(.*), text) return match.group(1).strip() if match else text.strip() def verifiable_reward(generated_text: str, ground_truth: str) - float: answer extract_final_answer(generated_text) return 1.0 if answer ground_truth.strip() else 0.0 if __name__ __main__: gen 先计算 358答案是: 8 gt 8 print(freward {verifiable_reward(gen, gt)})在真实项目中验证器可能是单元测试、数学公式比对、数据库查询结果比对等。奖励函数不再依赖人工而是依赖“任务本身的对错”。这种方式特别适合数学、代码、SQL 生成等有客观答案的任务。4.3 偏好数据格式从 RLHF 到偏好优化如果你要训练奖励模型或使用 DPO 这类偏好优化方法需要准备“好回答/坏回答”的成对数据。常见的 JSON Lines 格式如下{prompt: 用一句话解释什么是大模型后训练, chosen: 后训练是在大规模预训练之后通过监督微调、人类反馈强化学习等方式调整模型行为的过程。, rejected: 后训练就是模型训练完以后再训练一下让它更好用。}每一行是一条偏好样本chosen 是更符合人类偏好的回答rejected 是相对较差的回答。数据构造时要注意chosen 和 rejected 应该是“同一问题下的不同质量回答”而不是两个完全不同的问题。5. 常见误判与思考框架围绕“Barret Zoph 加入 Google DeepMind”这件事社交媒体上出现了不少讨论其中有几个误判值得专门拆解。5.1 误判一强人决定一切把公司技术命运系在某一位科学家身上是媒体最容易犯的错误。大模型研发是系统工程预训练、后训练、评测、推理部署、数据工程每个环节都有大量专业人员。Zoph 的加入会让 Google DeepMind 的后训练方向更清晰但不会立刻改变两家公司的长期竞争格局。更准确的表述是他的离开对 OpenAI 是“损失一个重要经验源”而不是“抽掉地基”。5.2 误判二后训练只是“顺手的微调”这是初学者最常见的误区。很多人以为后训练就是拿开源模型在业务数据上跑一遍 SFT跑完就上线。实际上后训练的质量取决于数据设计、奖励信号、评测闭环和错误分析难度不在“训练”本身而在“如何判断训练方向是否正确”。Zoph 这类研究者的价值恰恰在于积累了大量“什么信号能带来什么行为变化”的经验。5.3 误判三模型能力等于预训练参数模型好不好用预训练能力只是基础。同样的底座模型经过不同的后训练用户体验可能完全不同。这一点在开源社区里非常明显同一个 Llama 或 Qwen 底座有人微调后能稳定完成任务有人微调后反而变得更差。差距往往不在底座而在后训练的数据和流程。5.4 正确的思考框架与其关注“谁去了哪家公司”不如关注三个技术问题推理模型的 RLVR 是否会成为后训练的标准范式多模态、Agent 场景中的奖励信号如何设计后训练的自动化程度能否继续提升降低人力标注成本Zoph 的选择只是这些问题的注脚之一。真正值得持续跟踪的是后训练技术本身的演进速度。6. 给个人与团队的实践路线建议如果你被这件事触动想在职业或团队能力上做一些调整可以按下面几条路线走。6.1 个人学习路线第一步先把 SFT 跑通。用开源模型、公开指令数据集完成一次从数据准备到模型部署的完整闭环。第二步研究偏好优化。从 DPO 入手相比完整 PPO 更简单适合理解“偏好信号如何影响模型行为”。第三步尝试 RLVR。选一个数学或代码任务设计规则化验证器跑通强化学习流程。每一步都写实验笔记记录数据变化对效果的影响这会帮助你建立“后训练直觉”。6.2 团队建设建议数据优先先建设指令数据、偏好数据的标注与质量审核流程再考虑训练技巧。评测闭环每次微调都要有固定评测集至少包含指令遵循、安全性、任务准确率三个维度。小步快跑用 1.5B 或 7B 级别的小模型验证数据和训练流程再切换到大模型。关注基线任何后训练改动都要与不调整的基线模型对比避免“自我感动式优化”。6.3 关注指标与验证方式后训练的效果不能只看 loss。建议同时关注人类偏好指标如对生成回答的点赞、采纳率。任务成功率如数学题正确率、代码通过单元测试比例。安全与拒绝能力如不当请求的拒绝率。风格一致性如输出长度、语气、格式是否符合预期。这些指标往往比单一的 benchmark 分数更能反映生产环境中的真实价值。7. 总结与后续关注方向Barret Zoph 从 OpenAI 加入 Google DeepMind表面是一场人事变动实际上是“后训练能力正在成为大模型竞争核心变量”的又一次印证。他的技术轨迹——从 Google Brain 的 AutoML/NAS到 OpenAI 的 RLHF 后训练再到面向推理模型的强化学习——恰恰是近年来大模型技术重心迁移的缩影。对开发者来说这件事的最大价值不是“该站队哪家公司”而是提醒你后训练已经从前沿实验变成了基础工程能力。无论你在做对话产品、代码助手还是 Agent 应用理解 SFT、RLHF、DPO、RLVR都将成为基本功。后续值得持续关注的方向有三个一是 Google DeepMind 是否会把 Zoph 的后训练方法论整合进 Gemini 的推理与 Agent 能力二是 OpenAI 的后训练团队会如何调整方向是否出现新的技术路线三是后训练工具链能否持续降低门槛让更多中小团队真正用起来。建议把本文收藏备用当你下次在开源模型上做指令微调或者在某个模型版本上看到“行为变差了但 benchmark 涨了”的怪现象时可以回来重新读一遍“后训练决定体验”这部分很多困惑会迎刃而解。