问题: 大模型幻觉问题在应用层开发中的系统治理方案

👇 点击展开/折叠 面试背诵模板（建议先背这个） 大模型幻觉的系统治理需构建“预防-检测-纠偏”三层闭环体系。预防层通过检索增强生成（RAG）注入事实上下文、约束解码策略（低温度+Top-P）、提示词强制引用原文，从源头降低幻觉概率。检测层实施事实一致性校验（SelfCheckGPT）、不确定性量化（输出概率熵）、外部知识交叉验证（搜索/数据库比对）。纠偏层采用多轮自我修正（Chain-of-Verification）、人工反馈闭环（RLHF）、生成后验证（将答案拆分声明逐条核查）。最终需建立可观测性体系，持续监控幻觉率指标，建立自动化回归测试集，每次模型或提示词变更后验证幻觉率不反弹。
---

一、预防层（事前防御）

① 检索增强生成（RAG）强制事实锚定

  • 将模型生成基于外部检索事实，要求“仅基于以下上下文回答，若找不到答案则直接说不知道”。
  • 检索片段必须附带来源（文档名、页码、行号），便于后续溯源核查。

② 提示词工程约束

  • 明确要求“引用原文支持结论”、“分步推理展示依据”（思维链），压缩模型臆测空间。
  • 禁用“推测”、“可能”、“也许”等模糊词汇，强制输出确定性陈述。
  • 对已知高风险领域（如医疗、法律），系统提示词需内置“禁止诊断/建议”的硬性边界。

③ 解码参数优化

  • 温度 T 设定在 0.00.3，Top-P 设定在 0.50.8，降低随机性。
  • 启用重复惩罚（Frequency/Presence Penalty），避免重复性幻觉累积。

④ 事实性微调（Factuality Fine-tuning）

  • 在微调阶段引入抗幻觉数据集（如Self-Instruct生成的校验数据），用强化学习（RLHF）对幻觉样本施加惩罚，使模型偏好基于事实的生成。

二、检测层（事中识别）

① 事实一致性校验

  • 将生成答案拆解为独立声明（Claim），逐条与检索上下文或外部知识库（如搜索引擎、数据库）比对。开源方案：SelfCheckGPT、FactScore。

② 不确定性量化（Confidence Scoring）

  • 分析模型输出token的Softmax概率分布，若平均熵高（分布平坦），则表明模型对该段内容信心不足，潜在幻觉风险高。
  • 可对同一问题多次采样（如5次），若答案间矛盾显著（Self-Consistency低），则触发告警。

③ 外部知识交叉验证（Tool Calling）

  • 对关键事实（数字、人名、日期）自动调用搜索引擎或知识图谱API二次确认，若检索结果与生成不符，则标记为疑似幻觉。

④ 可观测性日志

  • 记录每次生成的输入、输出、检索上下文、置信度分数、溯源证据，为事后分析提供数据支持。

三、纠偏层（事后修正）

① 多轮自我修正（Chain-of-Verification）

  • 首轮生成答案后，用独立Prompt要求模型“请检查上述回答中的事实陈述，逐一验证是否与原文一致，不一致处予以修正”。典型策略是生成→验证→修正三部曲。

② 人工反馈闭环

  • 对低置信度或高风险场景的输出，强制加入人工审核闸口，审核结果作为反馈数据回流用于后续微调或规则更新。

③ 二次生成兜底

  • 若检测层发现幻觉概率高于阈值（如置信度<0.6），则触发二次生成：调整检索策略（扩大召回）或降级回答（明确告知用户“当前无法可靠回答”），而非编造内容。

④ 声明式输出（Disclaimers）

  • 对无法100%确认的内容，强制附加免责声明（如“根据现有资料推测，建议进一步核实”），降低误导风险。

四、系统性治理架构

阶段 核心手段 实施要点
预防 RAG + 提示工程 + 解码约束 + 事实微调 构建可靠的检索库；提示词强制引用；参数低随机性；微调抗幻觉
检测 事实一致性校验 + 不确定性量化 + 外部验证 拆分声明逐条核查；计算概率熵；调用工具交叉验证
纠偏 自我修正 + 人工审核 + 二次生成 生成-验证-修正循环；高风险强制人工；低置信度降级回答

五、持续评估体系（可观测性）

  • 建立幻觉率基准：在固定测试集（含正常、边界、对抗样本）上定期测评幻觉率，每次改动（提示词、模型、检索策略）后必须重测，避免性能回退。
  • 线上监控：部署A/B测试，对比新版本与线上版本的幻觉率差异；设置告警阈值（如幻觉率日增超过5%则触发工单）。
  • 用户反馈闭环：收集用户纠错数据，定期纳入测试集和微调数据集，形成“发现-修正-验证”的持续迭代循环。