P.S. 目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。

前言

干了22年程序员，我发现一个规律：越是看起来"微不足道"的commit，越能让你半夜三点从床上弹起来。

llama.cpp 最近有个叫 b9754 的提交，名字起得跟快递单号似的。但你别小看它，这玩意儿专治一种让人抓狂的病——Agent 工具调用时好时坏，跟抽风一样。

你说气人不气人？你跟模型说"帮我查一下北京天气"，它十次有八次乖乖听话，剩下两次突然给你表演一个"我生成的 XML 我自己都不认识"。

这就好比你养了一只猫，平时你叫它"过来"，它理都不理你。但有一天你刚拆开一包零食，它突然从十米外瞬移到你面前，还顺带打翻了你的水杯。模型也是这个德行，该听话的时候不一定听话，不该乱写的时候偏偏给你整活。

一、这bug有多气人？

我打个比方啊。

你请了个保姆，让她去菜市场买菜。大多数时候她回来报账清清楚楚：“买了西红柿三个，鸡蛋两斤。”

但偶尔有那么一两次，她跟你说：“买了西红柿三个西红柿三个鸡蛋两斤。”

你当场就懵了。什么玩意儿？XML 标签还能复读的？

这就是 llama.cpp 在 Agent 场景下的真实遭遇。模型生成工具调用参数的时候，有时候会莫名其妙地多吐一个结束标签，跟打嗝似的停不下来。

人眼一看就知道多写了，但解析器不行啊。它跟个强迫症似的，看到第一个结束标签就说"参数结束了"，后面跟着的那个孤零零的标签直接把它整不会了。

解析失败。工具调用挂掉。Agent 当场去世。

段子时间：我同事 debug 这个 bug 的时候，怀疑过人生、怀疑过模型、怀疑过显卡驱动，甚至怀疑过办公室风水。最后发现是 parser 和 generator 在"边界"问题上吵架，吵了三天三夜没吵出一个统一意见。他现在已经不信科学了，改信玄学了。

更离谱的是，这 bug 它不固定发作。有时候你跑一百次都没事，有时候你刚想在老板面前秀一把，它突然就给你来个当场社死。

偶发 bug 比稳定 bug 可怕一万倍。稳定 bug 你至少知道它在哪，偶发 bug 就像你家里那个总在你睡觉时响的烟雾报警器，你永远不知道它什么时候响，但你永远活在恐惧中。

二、问题的根源：俩部门没对齐

这事儿说白了，就是公司两个部门没对齐。

一个叫 GBNF，管生成。它负责告诉模型：“接下来你只能生成这些 token，别的不能碰。”

另一个叫 PEG，管解析。模型输出完了，它上去验收：“让我看看这堆 token 能不能翻译成工具调用。”

理论上，这俩应该穿一条裤子。生成器允许的东西，解析器必须能认；解析器不认的东西，生成器就不该让模型碰。

但现实呢？

GBNF 说：“参数值可以随便写，写到结束符之前都行。”

模型一听，行，那我写参数值的时候顺手把结束符也给写进去了，反正你也没说不行啊？写完我再补一个正式的结束标签，双倍保险！

PEG 解析器拿到一看，第一个结束标签就触发停止了，后面还跟着一个？这啥啊？垃圾邮件？

于是它把文件一摔：“这活我没法干！”

段子时间：这就好比你跟女朋友说"晚上随便吃"，她理解为"火锅烧烤炸鸡奶茶全都要"，你理解为"吃点清淡的粥"。最后她撑得走不动路，你气得说不出话。边界没对齐，后果很严重。我已经因为这个被拉黑三次了，别问我怎么知道的。

说白了，GBNF 和 PEG 对"边界"的理解不一样。一个觉得"差不多就行"，一个觉得"必须精确到毫米"。这俩搭伙干活，不出事才怪。

我打个比方，GBNF 是个装修师傅，PEG 是个验收员。师傅说"墙差不多直了"，验收员拿水平仪一量，差了五度，当场把单子撕了。师傅很委屈："我干了二十年都是这么干的！"验收员更委屈：“你干的跟我量的不是一回事啊！”

三、ac parser 登场：专治各种不服

b9754 的解法很直接：在 common/peg 里塞了一个 ac parser。

ac 是啥？Aho-Corasick，一种自动机算法。听着高大上，其实你可以把它理解成一个"边界扫描仪"。

它的工作方式是这样的：

以前生成器看到结束符的前缀，比如 </par，它脑子不清醒，可能允许模型把这些字符当成参数值的一部分给吞了。

现在有了 ac parser，它就像个严厉的班主任，死死盯着生成过程：

“停！你已经进入 delimiter 的领地了，再往前一步就是违规！”

“你想把这个前缀当参数值写？不行，这会导致后面再出现一个完整 delimiter，解析器会疯的。”

“回退，重写，按规矩来。”

说白了，ac parser 就是让生成阶段的语法约束更严格，从源头上掐死那些"看起来合法、实际上作死"的生成路径。

段子时间：我22年AI经验总结出一个真理：所有"偶发"的 bug，本质上都是"必然"的。只是它还没找到机会在你老板演示的时候发作而已。我上次汇报，PPT 翻到第三页，模型突然开始输出乱码，我面不改色地说"这是为了展示系统的容错能力"。老板信了，还夸我考虑周全。

这个 ac parser 的原理，你可以想象成一个自动门。以前的门是感应的，你靠近它就开，不管你手里拿的是门卡还是板砖。现在的门装了人脸识别，只有真正的主人来了才开，其他人一律拦在外面。

模型想浑水摸鱼？没门。ac parser 一眼就能看穿：“你这个小样，想假装自己是参数值混进来？回去重写！”

四、这玩意儿到底影响谁？

如果你只是拿 llama.cpp 在本地聊聊天，问它"李白是哪个朝代的"，这个修复对你基本无感。

但如果你是下面这几类人，那可得注意了：

第一类，用 llama-server 搭 API 服务的。你的用户可能正在调用工具查天气、读文件、算数据，一次解析失败就是一次客诉。

第二类，搞本地 Agent 的。你的 Agent 可能正在控制智能家居、操作数据库、跑自动化脚本，工具调用挂了等于整个工作流断了。

第三类，做私有化部署的。企业客户可不像普通用户那么好说话，他们要求的是"100% 稳定"，不是"大多数时候还行"。

所以别看 b9754 只是一个 parser 层面的 patch，它修的是 Agent Runtime 的地基。

地基不稳，上面盖再漂亮的楼都是危房。

段子时间：我上次跟客户说"我们的工具调用成功率是 95%"，客户问我"那剩下 5% 发生在什么时候？“我说"发生在您给老板演示的时候”。客户当场决定升级版本。你看，技术问题最终都能转化为销售机会，这就是22年经验的精髓。

很多人只关心三个指标：吞吐量、首 token 延迟、显存占用。这三个当然重要，但 Agent 场景还有第四个指标：结构化输出可靠性。

普通聊天里，模型多输出一个标签、少一个括号，用户可能还能看懂。但 Agent 工具调用不一样，工具调用失败意味着文件读不了、API 调不通、数据库查不了、机器人原地打转。

用户看到的是"模型怎么又坏了"，但根因可能不是模型能力，而是 Runtime 的结构化输出链路不稳定。这就好比你车开不动了，你骂发动机，其实是因为轮胎没气。

五、升级建议

如果你在用 llama.cpp 做工具调用相关的事，我的建议就一句话：升。

不用犹豫，不用观望，不用等"稳定版"。这种修边界一致性的 commit，越早合进去越早安心。

升级之后重点关注这几个场景：

多参数工具调用，尤其是参数值比较长、带换行、带特殊字符的那种。

streaming 模式下的工具调用，边生成边解析，对边界一致性要求更高。

自定义 chat template 的场景，确保你的模板和新的 parser 不打架。

回归测试的时候，记得故意喂一些"参数值里带 delimiter 前缀"的刁钻 case，看看生成器还能不能稳住。

段子时间：我有一次升级完没测，直接上线，结果用户的工具调用全挂了。我紧急回滚，假装什么都没发生。用户问我"刚才是不是出问题了"，我说"那是我们在做 A/B 测试，测试你们对系统故障的容忍度"。用户居然给我打了个好评，说我们很严谨。

最后说两句

llama.cpp 早就不是那个"本地跑个 LLaMA 玩玩"的小项目了。它正在变成一个完整的边缘侧 LLM Runtime，从模型加载到推理，从 grammar 约束到工具调用，从 streaming 到结构化输出，一条龙服务。

在这个链条里，parser 和 grammar 是最底层的基础设施。它们不出事的时候你根本感觉不到存在，一旦出事，上面所有的 Agent 应用都得跟着陪葬。

b9754 这个提交，就像给大楼的地基补了一根钢筋。表面上看不出来，但真遇到地震的时候，你就知道这根钢筋有多重要了。

22年经验告诉我：伟大的工程，不是那些把 benchmark 刷上天的 commit，而是那些让系统"不出错"的 commit。

毕竟，用户不会因为你推理快了 5% 而感谢你，但一定会因为你工具调用挂了而骂你。

这就好比你不会因为你家电梯快了 0.5 秒而感谢物业，但电梯要是把你困在里头半小时，你能把物业电话打爆。

P.S. 目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。