论文复现工坊 No.20第三周大模型对齐与评测论文复现全景方法论复盘在第三周Week 3的“论文复现工坊”专栏中我们聚焦于当今大语言模型LLM从能力评测基准体系Evaluation Benchmarks到人类偏好对齐技术Preference Alignment这一学术界与工业界最前沿的交汇阵地。通过坚持“纯 Python/PyTorch 张量白盒从零手写、杜绝黑盒黑箱依赖”的严谨极客路线我们系统性复现了这一领域最具代表性的 6 项顶级里程碑工作。为了构建系统性的技术大地图本文对第三周的论文复现成果与方法论进行全景提炼串联与深度复盘。1. 大模型评测与对齐技术的代际演进大地图[第三周核心论文复现全景图谱] │ ┌───────────────────────────┴───────────────────────────┐ ▼ ▼ 【第一主线: 确定性评测基准实现】 【第二主线: 偏好对齐算法技术演进】 ├── 1. MMLU (No.14) ├── 1. DPO (No.17) │ -- 条件对数似然打分与 5-Shot 知识激活 │ -- 隐式奖励闭式解颠覆传统 PPO 强化学习 ├── 2. GSM8K (No.15) ├── 2. ORPO (No.18) │ -- 8-Shot CoT 思维链引导与正则符号等价判题 │ -- 优势比 (Odds Ratio) 惩罚实现单阶段 SFT └── 3. HumanEval (No.16) └── 3. SimPO (No.19) -- 超几何无偏 Passk 估计与多进程沙箱隔离 -- 长度归一化 目标边际 gamma终结长度作弊2. 第三周复现核心算法数学机理与代码要点速查论文复现编号与技术核心数学模型 / 关键损失公式攻克的学术与工程死穴关键实现避坑要点MMLU 评测 (No.14)$\arg\max_c \log P(c \mid \text{Prompt})$消除采样温度随机性实现绝对客观打分处理 Tokenizer 中 A与A的空格 ID 差异GSM8K 评测 (No.15)$\text{CoT} \rightarrow \text{Regex}(\text{Number})$评估多步代数推理长文本中鲁棒提取标量必须使用贪婪解码T0严防多解格式遗漏HumanEval (No.16)$\text{Pass}k 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}$解决代码生成测试中的采样方差与小样本偏差multiprocessing隔离沙箱 3.0s 超时强杀防死循环DPO 偏好对齐 (No.17)$\mathcal{L}{\text{DPO}} -\log \sigma(\beta \Delta \log \pi / \pi{\text{ref}})$绕过独立奖励模型与 PPO 采样显存节省 60%冻结 Reference 模型$\beta$ 调节控制在 0.05~0.2ORPO 单阶段 (No.18)$\mathcal{L}{\text{SFT}} \lambda \mathcal{L}{\text{OR}}$消除 SFT 与对齐两阶段割裂无需 Reference 模型显式通过 Attention Mask 过滤无效 Padding TokenSimPO 无参考 (No.19)$-\log \sigma(\frac{\beta}{y_w}\log \pi_w - \frac{\beta}{3. 偏好对齐技术的三代演进逻辑与启示回顾从 RLHF 到 SimPO 的技术脉络演进[第 1 代: PPO-RLHF] (4 个模型常驻显存策略极易坍塌工程复杂度极大) │ ▼ (Rafailov et al., 2023 - 数学代数推导破局) [第 2 代: DPO] (只需 Policy Reference 两个模型闭式交叉熵对齐但存在长度膨胀漏洞) │ ▼ (2024~2026 前沿演进 - 追求更轻量、更本质) [第 3 代: ORPO / SimPO] (彻底抛弃 Reference 模型单模型轻量前向显式长度归一化约束)这一演进历程给我们的核心启示是最优雅、最强大的工程突破往往是通过严谨的数学形式化推导将原本笨重臃肿的系统级流程如强化学习回路不断精简、化繁为简为单一层面的优雅优化目标4. 严谨派工程师的复现自律规范坚持纯张量白盒实现在复现任何论文时第一遍必须直接基于 PyTorch 纯张量和矩阵乘法手写 Loss 与前向逻辑只有在彻底吃透了数学公式的每一个下标与对数变换后才去集成第三方封装库严格的基线数据对齐Sanity Check复现代码写完后必须在公开的微型子集上跑出与原论文 Table 1 完全一致的 Loss 收敛轨迹绝不把任何未经检验的代码推入生产环境。