最近在开发基于大模型的智能应用时，经常遇到一个头疼的问题：明明在提示词里千叮万嘱“请输出JSON格式”，但模型返回的文本里，JSON结构要么缺胳膊少腿，要么被包裹在无关的说明文字里，甚至直接返回一段自然语言描述。这种不稳定的输出，让下游的代码解析（json.loads()）频频报错，严重影响了Agent的可靠性和自动化流程的健壮性。

本文将系统性地拆解大模型（以GPT、Claude、文心一言等主流模型为例）输出JSON不稳定的根源，并提供一套从提示词工程、API调用参数到后处理校验的完整解决方案。无论你是正在构建AI Agent的开发者，还是准备相关面试的求职者，都能从中获得可直接复用的实战经验。

1. 为什么大模型输出JSON格式会不稳定？

在深入解决方案之前，我们必须先理解问题的本质。大模型本质上是基于概率生成文本的，它并不“理解”JSON是一种需要严格遵循语法的数据结构。不稳定输出的根源主要来自以下几个方面：

1.1 模型训练的偏差

大语言模型（LLM）的训练数据中包含了海量的自然语言文本，但严格符合JSON语法的文本占比相对较少。模型更擅长模仿自然语言的流畅性和多样性，而非编程语言或数据格式的精确性。因此，即使被要求输出JSON，它也可能倾向于在前后添加解释性文字，或者使用更“自然”但不符合语法的表达方式。

1.2 提示词（Prompt）的模糊性

这是最常见的问题。开发者给出的指令可能不够清晰、具体或有歧义。

• 指令不明确：仅说“输出JSON”，模型可能不知道以什么键（key）来组织数据。
• 缺乏结构定义：没有明确指定JSON的schema（模式），模型需要自己“猜”结构，导致每次输出可能不一致。
• 思维链干扰：如果提示词中鼓励模型“逐步思考”，它可能会将思考过程一并输出，污染了最终的JSON结果。

1.3 生成参数（API Parameters）的影响

调用模型API时，参数设置对输出的确定性和格式有巨大影响。

• 温度（Temperature）：此参数控制输出的随机性。温度值越高（如0.8），输出越有创意、越多样化，但格式也更可能出错；温度值越低（如0.1或0），输出越确定、越可预测，有利于固定格式。
• Top-p（核采样）：与温度类似，影响输出的多样性。高值会增加不稳定性。
• 停止序列（Stop Sequences）：如果未正确设置，模型可能会在生成JSON后继续“滔滔不绝”，产生多余内容。

1.4 上下文（Context）的干扰

在多轮对话中，之前的对话历史可能会影响模型对当前指令的理解。例如，如果上文在讨论代码，模型可能误以为当前也需要输出带注释的代码片段，而非纯净的JSON。

理解了这些原因，我们就可以有针对性地设计一套稳定的输出方案。

2. 环境与工具准备

在开始实战前，请确保你已准备好以下环境。本文示例将主要使用OpenAI GPT系列模型的API，但其原理和方法通用。

1. Python环境：推荐使用Python 3.8及以上版本。
2. 必要的Python库：通过pip安装。

   pip install openai requests json5

   • openai: 官方SDK，用于调用GPT API。
   • requests: 通用HTTP库，备用。
   • json5: 一个更宽松的JSON解析器，能处理一些JSON的“边缘情况”（如尾随逗号、注释），在后处理中非常有用。
3. API密钥：确保你拥有有效的OpenAI API密钥，并已设置环境变量OPENAI_API_KEY。

   export OPENAI_API_KEY='your-api-key-here' # 或者在代码中设置 import os os.environ[“OPENAI_API_KEY”] = ‘your-api-key-here’

4. 一个简单的测试脚本框架：我们将基于此框架进行后续所有实验。

   import openai import json # 初始化客户端（适用于openai>=1.0.0） client = openai.OpenAI(api_key=os.environ.get(“OPENAI_API_KEY”)) def ask_gpt(prompt, model=“gpt-3.5-turbo”, temperature=0.1): “””一个简单的提问函数””” try: response = client.chat.completions.create( model=model, messages=[{“role”: “user”, “content”: prompt}], temperature=temperature, # 后续我们会逐步添加其他参数 ) return response.choices[0].message.content except Exception as e: return f“API调用错误: {e}” # 测试函数 if __name__ == “__main__”: test_prompt = “中国的首都是哪里？请用JSON格式回答，包含’city’和’country’两个键。” result = ask_gpt(test_prompt) print(“模型原始回复：”) print(result) print(“\n尝试解析JSON：”) try: parsed = json.loads(result) print(“解析成功：”, parsed) except json.JSONDecodeError as e: print(f“解析失败！错误信息：{e}”)

3. 核心方案一：优化提示词工程（Prompt Engineering）

这是成本最低且最有效的一步。目标是给模型一个清晰、无歧义、强约束的指令。

3.1 提供明确的JSON Schema示例

直接在提示词中给出你期望的JSON结构示例。这是最强大的方法之一。

错误示例（模糊）：

prompt = “列出三个水果及其颜色。”

优秀示例（明确）：

prompt = “”” 请严格按照以下JSON格式列出三个水果及其颜色： { “fruits”: [ {“name”: “水果名1”, “color”: “颜色1”}, {“name”: “水果名2”, “color”: “颜色2”}, {“name”: “水果名3”, “color”: “颜色3”} ] } 请只输出JSON，不要有任何其他解释、标记或文字。 “””

关键点：

• 结构示范：提供了一个完整的、可模仿的模板。
• 严格指令：“严格按以下JSON格式”、“只输出JSON，不要有任何其他解释”。这些指令极大地减少了模型的“自由发挥”空间。

3.2 使用系统消息（System Message）进行角色设定

在Chat Completion API中，你可以使用system角色来设定模型的整体行为准则，这比在用户消息中重复指令更有效。

def ask_gpt_with_system(user_prompt, system_prompt=“你是一个精准的数据输出助手，总是以完美、纯净的JSON格式回应。”): response = client.chat.completions.create( model=“gpt-3.5-turbo”, messages=[ {“role”: “system”, “content”: system_prompt}, # 系统指令 {“role”: “user”, “content”: user_prompt} # 用户问题 ], temperature=0.1, ) return response.choices[0].message.content # 使用 system_msg = “你是一个API接口，必须始终返回有效的JSON对象，无需任何额外文本。” user_msg = “提供北京、上海、广州的人口数据（单位：万），键名为’city’和’population’。” result = ask_gpt_with_system(user_msg, system_msg)

3.3 利用函数调用（Function Calling）或JSON模式（JSON Mode）

这是OpenAI API提供的“官方外挂”，能从根本上约束输出格式。

• 函数调用（Function Calling）：虽然名为“函数调用”，但其核心是让模型输出一个符合预定参数的JSON对象。你需要先定义好“函数”（即你期望的JSON Schema）。

  response = client.chat.completions.create( model=“gpt-3.5-turbo”, messages=[{“role”: “user”, “content”: “今天北京的天气怎么样？”}], tools=[{ # 注意：新版API使用 `tools` 参数 “type”: “function”, “function”: { “name”: “get_weather_data”, “description”: “获取天气数据”, “parameters”: { “type”: “object”, “properties”: { “location”: {“type”: “string”, “description”: “城市名”}, “temperature”: {“type”: “integer”, “description”: “温度，摄氏度”}, “condition”: {“type”: “string”, “description”: “天气状况，如’晴朗‘、’多云‘”}, “unit”: {“type”: “string”, “enum”: [“celsius”, “fahrenheit”], “description”: “温度单位”} }, “required”: [“location”, “temperature”, “condition”, “unit”], “additionalProperties”: False # 禁止输出未定义的键 } } }], tool_choice={“type”: “function”, “function”: {“name”: “get_weather_data”}}, # 强制使用该函数 ) # 解析结果 if response.choices[0].message.tool_calls: json_str = response.choices[0].message.tool_calls[0].function.arguments weather_data = json.loads(json_str) print(weather_data) # 这将是一个完美的JSON字典

  优势：输出格式100%符合预定Schema，极度稳定。注意：这需要模型支持函数调用功能（如gpt-3.5-turbo-1106及以后版本，gpt-4系列）。

• JSON模式（JSON Mode）：这是更简单的特性。在API调用时设置response_format={“type”: “json_object”}，可以强制模型输出合法的JSON。

  response = client.chat.completions.create( model=“gpt-3.5-turbo-1106”, # 注意：需要特定版本支持 messages=[ {“role”: “system”, “content”: “你只输出JSON。”}, {“role”: “user”, “content”: “列出两个行星，包含名称和直径。”} ], response_format={“type”: “json_object”}, # 关键参数 temperature=0, ) result = response.choices[0].message.content # result 将是一个合法的JSON字符串

  优势：使用简单，无需定义复杂Schema。局限：只能保证输出是合法JSON，但内部结构（有哪些键）仍需靠提示词来约束。

4. 核心方案二：调整API生成参数

通过参数限制模型的“想象力”，使其输出更确定。

• 降低温度（Temperature）：这是最重要的参数。对于需要稳定格式输出的场景，建议设置为0或接近0的值（如0.1）。

  response = client.chat.completions.create( model=“gpt-3.5-turbo”, messages=messages, temperature=0, # 确定性最高 # ... 其他参数 )

• 设置停止序列（Stop Sequences）：如果你发现模型总在JSON后添加如\n\n或”}后的额外文字，可以设置停止序列。例如，如果你期望的JSON以}结束，可以设置stop=[“\n\n”]来防止它继续生成新段落。但需谨慎使用，以免截断未完成的JSON。
• 限制最大令牌数（Max Tokens）：设置一个合理的上限，防止模型生成过于冗长的内容，增加JSON被“带偏”的风险。可以根据你期望的JSON长度来估算。

5. 核心方案三：健壮的后处理与校验

无论前两步做得多好，在生产环境中都必须假设模型的输出可能“不完美”。一个健壮的后处理流程是安全网。

5.1 使用json5库进行宽松解析

json5是JSON的超集，可以解析一些非严格但常见的JSON写法，如注释、尾随逗号、单引号等。

import json5 def robust_json_parse(text): “””尝试多种方式解析可能的JSON字符串””” # 方法1：尝试标准JSON解析 try: return json.loads(text), “standard_json” except json.JSONDecodeError: pass # 方法2：尝试用json5解析（更宽松） try: return json5.loads(text), “json5” except json5.JSONDecodeError: pass # 方法3：尝试从文本中提取JSON块（使用简单正则） import re # 匹配从 ‘{‘ 开始到 ‘}’ 结束的块，考虑嵌套 json_pattern = r‘(\{(?:[^{}]|(?R))*\})’ matches = re.finditer(json_pattern, text, re.DOTALL) for match in matches: potential_json = match.group(1) try: return json.loads(potential_json), “extracted_from_text” except json.JSONDecodeError: continue # 所有方法都失败 raise ValueError(f“无法从文本中解析出有效的JSON。原始文本：{text[:200]}…”) # 使用示例 raw_output = “好的，这是您要的数据：\n{\n \“fruits\”: [\n {\“name\”: \“apple\”, \“color\”: \“red\”},\n {\“name\”: \“banana\”, \“color\”: \“yellow\”},\n ] // 这里有个尾随逗号，标准json会报错\n}\n希望这对您有帮助！” try: data, method = robust_json_parse(raw_output) print(f“解析成功！方法：{method}, 数据：{data}”) except ValueError as e: print(e)

5.2 设计一个完整的解析管道

将上述策略组合起来，形成一个可靠的解析函数。

def get_structured_data_from_llm(prompt, schema_hint=None, model=“gpt-3.5-turbo”): “”” 从LLM获取结构化数据的完整管道。 1. 构建强化提示词。 2. 以低温度调用API。 3. 多重尝试解析返回结果。 “”” # 1. 构建最终提示词 if schema_hint: final_prompt = f“”” 请严格按照以下JSON格式回应： {json.dumps(schema_hint, indent=2, ensure_ascii=False)} 问题：{prompt} 请只输出JSON对象，不要有任何其他文字。 “”” else: final_prompt = f“”” 请以JSON格式回应以下问题。 确保输出是一个有效的JSON对象。 问题：{prompt} 只输出JSON，不要有其他内容。 “”” # 2. 调用API（使用低温度，如果模型支持则使用JSON Mode） api_kwargs = { “model”: model, “messages”: [{“role”: “user”, “content”: final_prompt}], “temperature”: 0.1, “max_tokens”: 1000, } # 如果模型支持JSON Mode，则添加（需根据模型判断） if model in [“gpt-3.5-turbo-1106”, “gpt-4-1106-preview”, “gpt-4-turbo-preview”]: api_kwargs[“response_format”] = {“type”: “json_object”} response = client.chat.completions.create(**api_kwargs) raw_text = response.choices[0].message.content # 3. 尝试解析 try: data, _ = robust_json_parse(raw_text) return {“success”: True, “data”: data, “raw_text”: raw_text} except ValueError as e: # 解析失败，可以在这里加入重试逻辑或更复杂的清洗 return {“success”: False, “error”: str(e), “raw_text”: raw_text} # 实战调用 result = get_structured_data_from_llm( prompt=“列出特斯拉和比亚迪2023年的电动车销量估算”, schema_hint={ “companies”: [ {“name”: “公司名”, “sales_estimate”: “销量估算（单位：万辆）”} ] } ) if result[“success”]: print(“获取数据成功：”, result[“data”]) else: print(“解析失败，原始输出：”, result[“raw_text”]) print(“错误：”, result[“error”])

6. 常见问题与排查清单

在实际应用中，你可能会遇到以下典型问题。这里提供一个快速排查清单。

7. 最佳实践与工程建议

将大模型集成到生产系统时，除了解决格式问题，还需考虑以下工程化实践：

1. 设置重试与降级机制：网络请求和模型服务可能不稳定。解析失败时，不应直接让整个流程崩溃。应实现指数退避重试，并在多次失败后，降级为返回错误信息或调用备用数据源。

   import time def get_llm_response_with_retry(prompt, max_retries=3): for attempt in range(max_retries): try: return get_structured_data_from_llm(prompt) except (openai.APIError, json.JSONDecodeError, ValueError) as e: if attempt == max_retries - 1: raise wait_time = 2 ** attempt print(f”第{attempt+1}次尝试失败，{wait_time}秒后重试…错误：{e}”) time.sleep(wait_time)

2. 输入验证与清理：对发送给模型的提示词进行清理，移除可能破坏JSON结构的特殊字符（如未转义的双引号）。对用户输入进行校验和限制。

3. 输出验证与Schema强校验：即使解析出JSON，也要验证其结构是否符合预期。可以使用jsonschema库进行严格的Schema校验。

   import jsonschema from jsonschema import validate schema = { “type”: “object”, “properties”: { “fruits”: { “type”: “array”, “items”: { “type”: “object”, “properties”: { “name”: {“type”: “string”}, “color”: {“type”: “string”} }, “required”: [“name”, “color”] } } }, “required”: [“fruits”] } # 假设 data 是从模型解析得到的字典 try: validate(instance=data, schema=schema) print(“数据Schema校验通过！”) except jsonschema.exceptions.ValidationError as e: print(f”数据不符合预期Schema: {e}”)

4. 日志与监控：记录每次API调用的提示词、原始响应、解析结果和耗时。这有助于在出现问题时进行复盘，并监控模型的输出质量是否有漂移。

5. 成本与延迟优化：JSON Mode和函数调用可能增加少量令牌消耗。对于简单结构，优化提示词可能就够了；对于复杂、稳定的结构，使用函数调用虽然前期定义麻烦，但能换来极高的解析成功率和稳定性，从长远看降低了错误处理成本。

6. 为面试准备：如果面试中被问到“如何保证大模型输出JSON的稳定性？”，你可以从三个层面系统回答：提示词层（明确指令、提供示例、使用System Message）、API参数层（降低温度、使用JSON Mode或函数调用）、后处理层（健壮解析、Schema校验、重试机制）。并结合具体场景（如构建Agent的决策输出、从非结构化文本抽取信息）来举例说明。

通过以上从理论到实践的全方位拆解，我们建立了一套确保大模型稳定输出JSON格式的防御体系。核心思想是：前端通过清晰的指令和约束引导模型，后端通过健壮的代码处理任何意外。在实际开发中，根据你对稳定性和灵活性的需求，选择适合你场景的技术组合。对于要求极高的生产环境，强烈推荐使用函数调用（Function Calling）功能，它能提供最强的格式保证。