当前位置：首页 > news >正文

给大模型做“微创手术”：只动 1.59% 的脑回路，数学却更清醒了

news 2026/6/17 10:10:08

在大语言模型（LLM）的世界里，最令人抓狂的失败往往不是“不会”，而是“明明会，却走神”。一道小学应用题，模型能把人数算对、减法写对，却在关键一步突然把“有 6 个男生缺席”读成“没说男生缺席”，然后一本正经地给出错误答案——仿佛一个聪明的学生在考场上被窗外的鸟叫拐跑了注意力。

论文《Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates》（Prakash 等，2025）要做的事情，听起来像科幻外科：不对整台模型做大规模“再训练”，而是先找出它推理时“第一次跑偏”的那个词，再定位出是哪些注意力头和 MLP 神经元在“把它往正确路上推”，最后只更新这极小一撮组件（最低只占 0.17%，最高也就 1.59%），就能让数学推理准确率提升最高 +11.4%，而且对 MMLU、TriviaQA、TruthfulQA 等通用能力影响很小。

本文精读将严格围绕你指定的重点：DCM 掩码（Desiderata-based Component Masking）与稀疏更新（targeted sub-network updates），把它讲清楚：它到底怎么找“该动哪几根神经”，为什么只动一点点会有效，实验结果说明了什么，以及它的边界在哪里。