Prompt 改坏了怎么查:把模板、样本和解析器一起版本化

Prompt 改坏了怎么查:把模板、样本和解析器一起版本化

Prompt 改坏了怎么查:把模板、样本和解析器一起版本化

Prompt 实验失败时,别只保存那段文本。模型版本、采样参数、输入样本和解析器只要变了一项,结果就不能直接归因给 Prompt。

建一份回归包

样本覆盖正常请求、歧义输入、格式攻击、超长上下文和拒答。每条样本保存期望结构与人工判断规则,不要求输出逐字相同。模板、工具 Schema 和后处理代码使用同一发布版本。

比较候选与基线时,记录结构通过、事实引用、工具选择和成本。模型评分可以做筛选,关键样本仍需人工复核。

失败时怎么收口

先停止扩大候选流量,保留请求标识和版本,不记录原始敏感内容。回放同一输入,确认问题来自模板、模型还是解析。一次失败实验真正能留下的,是能重复触发的样本和明确回退条件。