幻觉

幻觉指的是模型输出了流畅、具体、但事实上错误的内容——编造的论文标题、不存在的 API、张冠李戴的人名。它的危险之处不是错，而是错得很自信。

为什么会发生

训练目标决定了这一点：模型被优化去预测「下一个最可能的 token」，而不是「最真实的陈述」。在它没见过足够数据的地方，语言模型会沿着最通畅的表达继续生成，于是细节被合理编造出来填补空缺。

换句话说，它没有「我不知道」这个默认选项，除非你显式给它。

哪些场景更容易出现

• 要求具体数字、日期、引用来源；
• 冷门人物、小众库、内部文档；
• 长链条推理中某一步错了，后面全盘顺着错下去；
• 用户提问里已经暗示了答案（迎合性幻觉）。

怎么降低

1. 给材料：把可信文档放进上下文，让它基于材料回答（RAG）。
2. 允许拒答：明确写「材料中没有就回答不知道」，比默认鼓励作答有效得多。
3. 要求引用：让它标注每句结论出自哪一段，便于核查。
4. 外部校验：代码跑测试、数字用工具算、事实用搜索验证——不要用模型验证模型自己的事实。
5. 结构化输出 + 校验：JSON schema、枚举值、正则，能在解析层拦掉一部分编造。

一个判断原则

凡是「错了会有代价」的输出，都要有一条模型之外的验证路径。幻觉不可能被彻底消除，只能被工程手段围住。