问题: 如何强制大模型输出合法且严格的JSON格式

👇 点击展开/折叠 面试背诵模板（建议先背这个） 强制大模型输出合法且严格的 JSON 格式，核心方法包括：① 在系统或用户指令中明确要求“只输出有效的 JSON，不要包含任何解释或额外文本”；② 使用结构化提示，在指令中附带 JSON Schema 定义字段类型、必填项和格式约束；③ 提供完整的输出示例（少样本），示范期望的 JSON 结构；④ 设置温度参数为 0（或极低值）以降低随机性；⑤ 在工程层面，对模型输出进行后处理（如正则提取或第三方库校验），并在解析失败时自动重试或修正。高级方式可使用 OpenAI 的 JSON 模式（`response_format={"type": "json_object"}`）或通过函数调用（Function Calling）约束输出结构。
---

五层强制约束体系（从软到硬）

层级 方法 可靠性 说明
1. 指令约束 提示词中明确“输出纯 JSON，不要其他文字” 低～中 依赖模型遵循指令，复杂模型（GPT-4）通常有效，小模型可能忽略
2. 示例约束 提供 1-2 个完整的输入输出 JSON 示例 中 少样本学习能显著降低格式错误率
3. Schema 约束 在提示中附上 JSON Schema（或字段说明） 中～高 明确字段名、类型、枚举值、必填项，减少字段缺失或类型错误
4. 解码层约束 使用 JSON 模式（如 OpenAI 的 response_format）或结构化输出 API 高 部分模型提供原生 JSON 模式，自动校验并拒绝非 JSON 输出
5. 后处理校验 对模型输出用 json.loads() 解析，失败则重试或修复 工程兜底 可配合正则清理（如提取 json ... 代码块），但应作为最后防线

典型提示词结构（生产级）

1
2
3
4
5
6
7
8
9
10
11
你是一个数据提取助手。请从用户输入中提取关键信息，并以严格的 JSON 格式返回。只输出 JSON，不要包含任何解释、前缀或后缀。
输出格式必须符合以下 Schema：
{
  "name": "string (必填)",
  "age": "integer (必填, 大于0)",
  "email": "string (可选, 若存在需符合邮箱格式)",
  "tags": "array of strings (可选)"
}
示例输出：
{"name": "张三", "age": 25, "tags": ["工程师", "Python"]}
用户输入：...

常见陷阱与应对

  • 模型输出 Markdown 代码块（如 json ... ）：后处理中用正则提取代码块内容。
  • 字段缺失或类型错误：在 Schema 中明确“必填”，并设置低温度（0）减少随机字段丢失。
  • 输出截断：若 JSON 过长可能被截断，需结合 max_tokens 调大，并校验是否以 } 结尾。
  • JSON 包含注释或不合法转义：严格约束提示“禁止注释，字符串内双引号需转义”。

工具支持速览

平台/库 支持方式
OpenAI API response_format={"type": "json_object"}（GPT-4-turbo 及以上）
函数调用 使用 Function Calling，模型会返回结构化的 arguments 参数
Anthropic Claude 支持 XML 标签约束，可配合 tools API 结构化输出
本地推理库 如 Guidance、LMQL、Outlines 可约束生成 Token 路径，强制符合 JSON 语法