【长文本压测】大海捞针测试（Needle in a Haystack）：评估模型长上下文记忆力

你的模型真的能“记住”100万token里的一句话吗？一张图看懂NIAH测试的真相、缺陷与新解法

引言：当模型“宣称”100万token，你信吗？

2026年的AI圈，如果你还没听说过“大海捞针测试”，那你可能已经落后了整整一个身位。

就在刚刚过去的几个月里，Anthropic发布了Claude Opus 4.6，直接将Opus级别的上下文窗口扩展至1M token；智谱AI推出GLM-5，以744B总参数量支撑200K token的超长上下文；百度文心大模型5.1版本也宣布支持200K输入窗口与128K最大输出。各个厂商亮出的上下文数字一个比一个惊人，仿佛谁窗口小谁就输了。

但问题来了：一个模型宣称支持100万token的上下文，就真的意味着它能在100万token中精准找到你想要的那句话吗？

答案显然是否定的。

这正是本文要深入探讨的核心命题——大海捞针测试（Needle-in-a-Haystack Test，简称NIAH）。这项测试通过在海量无关文本（“干草堆”）中插入特定事实（“针”），系统性地评估模型从冗长上下文中检索关键信息的能力。它不是厂商营销PPT里那个好看的“最大上下文长度”数字，而是真正检验模型长上下文“硬实力”的试金石。

本文将围绕NIAH测试的定义、演进、主流模型评测结果、架构优化方案、部署实践以及安全风险