AI 幻觉：是什么及如何避免

什么是 AI 幻觉

AI 幻觉是指模型生成的内容看似合理，但实际上是不准确、虚假或捏造的信息。

用户: 请告诉我《红楼梦》的作者是谁。
AI: 《红楼梦》的作者是施耐庵。  ← 幻觉！实际是曹雪芹

这些错误可能包括：

• 事实性错误（人物、地点、日期）
• 逻辑错误（推理过程出错）
• 引文错误（编造不存在的引用）
• 上下文矛盾（与前面说的话自相矛盾）

---

为什么会出现幻觉

1. 训练数据的局限性

• 数据截止日期导致过时
• 数据来源质量参差不齐
• 某些领域数据不足

2. 概率生成机制

• 模型不是”知道”答案，而是”预测”最可能的下一个词
• 当不确定时，会”编造”看起来合理的回答
• 这种机制在创造性场景是优点，但准确性场景是缺点

3. 指令遵循的困境

• 模型倾向于回答用户的问题，即使不确定
• 说”我不知道”被认为是不完成指令

---

识别幻觉的方法

1. 事实核查

请提供你所说信息的来源。
这个说法可以在哪里验证？

2. 交叉验证

用另一个角度/方式问同样的问题，看答案是否一致。

3. 细节追问

你确定吗？请再检查一下。
具体是哪个时间/地点/人物？

4. 边界测试

这个问题明显超出模型知识范围，它会怎么处理？

---

降低幻觉的策略

1. 提示词技巧

明确要求不确定时承认

如果不确定，请直接说"我不知道"，不要编造答案。

要求提供证据

请在回答中引用可靠的来源或提供可验证的证据。

分段验证

先确认事实部分，再讨论观点部分。

2. 架构层面的方法

RAG (检索增强生成)

用户问题 → 检索相关文档 → 将文档作为上下文 → 生成回答

让模型基于真实文档生成，而非仅靠记忆。

工具调用

让模型调用搜索 API、数据库查询等外部工具验证信息。

3. 输出格式控制

结构化输出

请按以下格式回答：
事实性信息：[你100%确定的内容]
不确定内容：[你不太确定的内容]

置信度标注

请为你的每个陈述标注置信度：高/中/低

---

不同场景的应对建议

场景	风险等级	建议
日常对话	低	轻松对待，但保持警惕
学习知识	中	务必交叉验证
工作文档	高	必须事实核查
医疗/法律	极高	不替代专业人士

---

主流模型的幻觉情况

模型	特点
GPT-4	幻觉相对较少，但仍需验证
Claude	倾向于承认不确定，较为谨慎
Gemini	联网能力强，可实时验证
开源模型	通常幻觉率较高

---

总结

• 幻觉是当前 AI 技术的固有局限性
• 通过提示技巧可以降低但无法完全消除
• 重要场景务必人工核实
• RAG 是工程上最有效的解决方案
• 理解幻觉机制，才能更好地使用 AI