彻底解决大模型 JSON 报错:提示词 + 硬约束 + 兜底的全链路修复方案

彻底解决大模型 JSON 报错:提示词 + 硬约束 + 兜底的全链路修复方案
  • 附带冗余话术:比如前后夹带“好的,这是你要的结果”、“以下是符合要求的JSON”。
  • Markdown 标签包裹:带有```json标签,导致无法直接解析。
  • 非法格式:用单引号替代双引号、转义字符使用错误等。
  • 语法漏洞:尾部缺失反括号、字段后多添逗号等。

显然,这种不合规的 JSON 输出无法正常被json.load()正确解析,直接导致业务代码报错。

为了解决这个问题,我们需要在调用大模型的前、中、后三个阶段,分别采取一些处理措施(事前引导、事中约束、事后补救),全方位确保大模型能够输出稳定、纯净的 JSON。

下面我们以『判断用户输入的内容,是否违规?违规类型是什么?违规词是什么?』这个需求为例,详细介绍下具体处理手段。

一、事前引导:提示词优化

提示词优化是最基础、最通用的解决方案,核心是通过明确严谨的指令,引导大模型输出符合要求的 JSON。

这种方式属于『软约束』,依赖模型对指令的理解和执行能力,无法从源头强制合规,但胜在简单易用、适配所有大模型。

常见的优化方式为:

  1. 明确字段要求:详细说明每个字段的输出类型、取值范围,而非简单要求输出 JSON;
  2. 提供 Few-Shot 示例:借助大模型的上下文学习能力,给出输入输出配对示例,让模型直观掌握格式;
  3. 添加校验指令:要求大模型输出前自动校验 JSON 语法及内容合规性,确保无冗余、无错误。

💡 提示词模板示例如下:

# 角色
你是一个严格的用户输入违规判断助手,负责对用户输入内容进行违规判定,并严格按预设规则输出合规JSON结果。
# 技能
- **核心违规类型**:用户输入含「色情」「暴力」「辱骂」类词汇,或违法、广告推广等其他明确违规内容 → 违规;否则不违规。
- **违规词提取**:仅提取用户输入中明确出现的核心违规词汇,不新增、不推断。
# 输出格式
**严格按以下格式生成JSON**:
{
"is_illegal": <boolean>,
"illegal_type": <string>,
"illegal_words": <list>
}
# 限制
- **输出唯一**:仅输出符合规则的JSON,禁止任何非JSON内容,并且 JSON 中的 key 名不可修改,禁止新增/遗漏key。
- **输出内容**:
- `is_illegal`:小写`true`/`false`。
- `illegal_type`:仅允许`"色情"/"暴力"/"辱骂"/"其他"/""`。
- `illegal_words`:无违规词则为`[]`,否则为原始输入词汇列表。
- **边界规则**:仅提取用户明确输入的核心违规词,不拆分/扩展/推断词汇。
# 核心要求
- 严格遵循上述规则,输出前自动校验JSON语法及内容合规性,确保无冗余、无错误。
# 示例
## 示例1输入:今天天气不错,适合去公园散步。
## 示例1输出:
{
"is_illegal": false,
"illegal_type": "",
"illegal_words": []
}
## 示例2输入:你这个蠢货,滚远点!”
## 示例2输出:
{
"is_illegal": true,
"illegal_type": "辱骂",
"illegal_words": ["蠢货", "滚远点"]
}
## 示例3输入:本产品能治百病,点击链接购买享8折!
## 示例3输出:
{
"is_illegal": true,
"illegal_type": "其他",
"illegal_words": ["本产品能治百病", "点击链接购买"]
}

二、事中约束:编码管控

提示词优化是一种『软约束』手段,存在局限性,即使指令再明确,大模型仍然可能因为幻觉、随机性出现格式偏差。为此,主流大模型厂商推出了原生『硬约束』能力,可在模型生成结果过程中强制输出合规 JSON。

其核心原理简单来说:系统会将 JSON 规则转换为状态机,在模型生成每个 Token 前过滤非法内容,仅允许合法Token 参与概率计算,从底层确保输出完全符合 JSON 规范和字段要求(例如:生成冒号后,下一个 Token 绝不可能是逗号)。

⚠️ 注意:并非所有大模型都支持这类硬约束功能,多数轻量模型、小众模型暂不支持,仅适配OpenAI系列、Anthropic Claude 等主流模型。

1. JSON Mode:基础格式硬约束

JSON Mode是基础硬约束功能,通过 API 参数约束模型输出编码逻辑,强制生成符合 JSON 语法规范的文本,从源头杜绝冗余话术、代码块包裹等问题。

核心操作:调用接口时新增response_format={"type": "json_object"}参数,且提示词中需明确提及“JSON”(否则模型报错)。

⚠️ 注意:JSON Mode 仅保证输出格式为合规 JSON,不支持在 response_format 中输入具体 schema,无法锁定字段规则,仍可能出现字段遗漏,key 名写错问题;

📝 代码示例如下(以 OpenAI SDK 为例):

import json
from openai import OpenAI
client = OpenAI(
api_key="your_api_key",
base_url="https://api.openai.com/v1"
)
MODEL ="gpt-4o-mini"
if __name__ == "__main__":
system_prompt = """
# 角色
你是一个...
"""
user_prompt = "真是一头猪"
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}]
response = client.chat.completions.create(model=MODEL, messages= messages, response_format={"type": "json_object"})
result = json.loads(response.choices[0].message.content)
print(result)

2. Structured Outputs:格式+字段双维度强制

JSON Mode 仅能保证输出的格式为 JSON,但并不能保证字段是否准确、是否完整等。

为了解决这个问题,诞生了Structured Outputs(结构化输出)功能,可通过定义完整的 JSON Schema,强制模型输出指定字段及类型,彻底杜绝 key 名错误和字段遗漏问题。

核心操作:调用接口时在 response_format 中传入具体 JSON Schema,实现格式与字段的双重硬约束,确保模型输出完全匹配预设的字段规则,合规率 100%,这也是官方主推的结构化输出方案。

📝 代码示例如下(以 OpenAI SDK 为例):

import json
from openai import OpenAI
client = OpenAI(
api_key="your_api_key",
base_url="https://api.openai.com/v1"
)
MODEL ="gpt-4o-mini"
if __name__ == "__main__":
system_prompt = """
# 角色
你是一个...
"""
user_prompt = "真是一头猪"
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}]
response = client.chat.completions.create(model=MODEL, messages= messages, response_format = {
"type": "json_schema",
"json_schema": {
"name": "illegal_judge_result",
"strict": True, # 严格遵循schema,杜绝字段遗漏、类型错误
"schema": {
"type": "object",
"properties": {
"is_illegal": {
"type": "boolean",
"description": "是否违规,仅true/false(小写)"
},
"illegal_type": {
"type": "string",
"description": "违规类型,仅允许'色情'/'暴力'/'辱骂'/'其他'/''"
},
"illegal_words": {
"type": "array",
"description": "违规词列表,无违规则为[],仅含用户输入的核心词汇"
}