尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
AI模型系列(1) | 大模型幻觉到底是什么?
大模型幻觉不是模型坏了而是它在优化一个与使用者不同的目标把句子续得流畅而不是只在有证据时才开口。所以问它一条没学过的事实它不会沉默而会用语言模式补出一个语气笃定的答案——答错和答对是同一个动作。这件事值得重新讲一遍是因为幻觉的形态在变。早期错误一眼可辨如今更流畅、更具体还带上看似合理的引用人工分辨成本明显上升。论文与官方文档的措辞都克制幻觉可以被压低但没有哪种公开方法声称能清零。本文相关概念速查1幻觉生成流畅合理却与事实或给定证据不符的内容2事实性幻觉与客观事实不符需外部知识判错3忠实性幻觉与所给上下文或证据不符对照输入即可发现4接地把生成内容绑定到可核验的外部证据5语义熵多次采样后按意思聚类用答案分布的离散程度衡量不确定性6受控解码用外部信号约束生成过程。一、它是什么一个优化错了目标的续写器把幻觉想成一场开卷考试考生擅长把答案写得像标准答案而不是知道标准答案。真实机制是模型为下一个词逐个打分挑概率较高的一支往下走知识压缩在这套概率里没有独立的“事实校验”模块。缺一条知识时“编”就是它最省力的动作。所以“模型不知道自己不知道”是被简化的说法。更准确地说模型对“这句话该不该说”没有独立信号自信与正确性只是统计上相关。研究者按出处把失败分成两组一组与客观事实不符需外部知识判错另一组与给定上下文或证据不符对照输入就能发现。图1三层成因链示意图二、三类主流缓解手段第一类是检索接地回答前先取外部证据放进上下文让模型“看着材料说”。适合知识更新快或需出处的场景代价是多一次检索且检索质量本身就是新的失败面。第二类是不确定性检测与分流同一问题多次采样把意思相同的答案归成一类看分布有多散——散说明它在猜。它的产出是“要不要继续答”的闸门而不是真假判断。第三类在训练与解码侧用偏好反馈让模型在证据不足时降低语气或拒答用提示明确“只依据给定材料”并允许回答不知道再用受控解码把生成拉向事实性更高的分支。代价是拒答率与可用性此消彼长。三、三条硬边界其一检索接地不等于事实正确。证据摆在面前模型仍可能忽略它、张冠李戴或把过期内容当成现况检索本身也会召回错的片段。结果是错误从“凭空编”升级成“有出处地编”外观更可信被察觉的难度反而更高。其二高不确定不等于错高确定也不等于对。不确定性估计与正确性只是相关语义熵那类方法只覆盖“任意且错误”的一个子集对训练语料本身就错的系统性错误无能为力作者也声明它不保证事实性。其三对齐会与训练目标互相拉扯。偏好训练奖励“读起来有帮助”可能压低模型拒答的意愿把拒答率调高又牺牲可用性——问十句被推回六句系统等于不可用。公开报道的评测还提到压缩蒸馏后的模型可能出现忠实性幻觉上升。图2不确定性拦截流程图四、交集与影响把期望放对位置选型看三件事而不是看榜单名次错误后果是否可逆有没有可核验的外部证据同一问题多问几次是否稳定。常见错配是把“换更大参数或换推理模型”当成解法——公开评测显示这类模型整体幻觉率更低但并未消除风险真正由场景决定。五、全文总结收敛成三问错误会不会被下游当成事实继续用答案能不能对上一条可核验的外部证据同一问题多问几次答案是否稳定三问都危险就让检索与人工复核先过一遍只有第二问为是可交给自动校验三问都安全才轮到直接输出。一句话概括治理大模型幻觉买的不是更准的答案而是把“模型有多确定”从看不见的内部状态变成能触发检索、降级或拒答的可拦截信号。它改变的是错误的暴露方式不是把错误删掉。六、未来展望三个方向值得盯一是治理位置前移从只检答案转向覆盖数据、训练、推理的过程诊断二是评测口径升级从“答案对不对”转向“为什么错、干预后是否稳定”三是把拒答与降级表达做成默认交互。七、技术 FAQ1. 幻觉和“模型不知道”是一回事吗不完全是。模型可能有知识却选错也可能在知识缺失时用语言模式补出合理答案。前者更像推理问题后者才是典型编造。2. 上了检索增强生成就没幻觉了吗不会。检索只把证据放进上下文模型仍可能忽略证据或引用错片段检索本身也可能召回错内容。它只降低编造比例不清零。3. 把采样温度调到 0 能减少幻觉吗只能减少随机波动让答案更稳定不能提高真实性——稳定地答错仍然是错。要压幻觉得从证据和不确定性入手而非只调采样参数。4. 不确定性检测能覆盖所有幻觉吗不能。它针对“任意且错误”那一类对模型稳定犯错的系统性错误无效也不保证事实性。它还筛出高风险问题并分流而非给出真假判决。5. 幻觉治理的成本主要花在哪主要花在额外采样与判定调用上多次生成、语义聚类、交叉核验都增加算力与延迟。实践中按风险分层只对高风险链路开完整流程。——————————本文仅代表作者个人行业观察不构成任何商业建议。参考与延伸阅读[1] Detecting hallucinations in large language models using semantic entropyFarquhar S., Kossen J., Kuhn L., Gal Y.Nature 630, 625–630 (2024), doi:10.1038/s41586-024-07421-0[2] On Faithfulness and Factuality in Abstractive SummarizationMaynez J., Narayan S., Bohnet B., McDonald R.ACL 2020内在幻觉 / 外在幻觉分类的来源[3] Survey of Hallucination in Natural Language GenerationJi Z. 等ACM Computing Surveys, 2023[4] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open QuestionsHuang L. 等arXiv:2311.05232事实性 / 忠实性分类框架
RELATED

相关推荐

Claude Code 委派编排实战:agentic-awesome-skills 的 claude-delegate 技能全解析

Claude Code 委派编排实战:agentic-awesome-skills 的 claude-delegate 技能全解析

AI 技能AI 插件 【免费下载链接】agentic-awesome-skills AAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and planning, backed by 2,445 agentic skills. Includes CLI, local MCP, catalog, …

📅 2026/9/24 13:39:56
红海云视角:人效指标嵌入决策流与看板推送的选型实战指南

红海云视角:人效指标嵌入决策流与看板推送的选型实战指南

当前,中央及地方国有企业在数字化转型的浪潮中已经普遍完成了人力资源数据的基础建设,人力成本分析工具、组织效能看板、编制管理系统等数字化工具基本就位,数据可视化的程度显著提升。然而,在多家大型央国企的调研实践中&#xf…

📅 2026/9/24 13:39:56
Flet 平台异常体系详解:FletUnimplementedPlatformException 的定位、抛出现场与处理实践

Flet 平台异常体系详解:FletUnimplementedPlatformException 的定位、抛出现场与处理实践

前端跨平台桌面应用移动开发 【免费下载链接】flet Build realtime web, mobile and desktop apps in Python only. No frontend experience required. 项目地址: https://gitcode.com/gh_mirrors/fl/flet 点击查看 免费下载 导读 在 Flet 中开发跨平台应用时&…

📅 2026/9/24 13:39:56
MORE NEWS

更多资讯

📰

Orleans 持久化流拉取架构详解:Pulling Agent、队列均衡与投递语义

后端微服务 【免费下载链接】orleans Cloud Native application framework for .NET 项目地址: https://gitcode.com/gh_mirrors/or/orleans 点击查看 免费下载 本篇文章系统讲解 Orleans 中"持久化流提供程序(Persistent Stream Provider&#xf…

📰

4步把智慧教育平台电子课本PDF存到本地:tchMaterial-parser使用指南

4步把智慧教育平台电子课本PDF存到本地:tchMaterial-parser使用指南 【免费下载链接】tchMaterial-parser 国家中小学智慧教育平台 电子课本下载工具,帮助您从智慧教育平台中获取电子课本的 PDF 文件网址并进行下载,让您更方便地获取课本内容…

📰

从预览页到课本PDF:tchMaterial-parser 批量下载国家中小学智慧教育平台电子课本

从预览页到课本PDF:tchMaterial-parser 批量下载国家中小学智慧教育平台电子课本 【免费下载链接】tchMaterial-parser 国家中小学智慧教育平台 电子课本下载工具,帮助您从智慧教育平台中获取电子课本的 PDF 文件网址并进行下载,让您更方便地…

📰

palera1n 越狱工具完整指南:适用设备、操作步骤与故障恢复

palera1n 越狱工具完整指南:适用设备、操作步骤与故障恢复 【免费下载链接】palera1n Jailbreak for A8 through A11, T2 devices, on iOS/iPadOS/tvOS 15.0, bridgeOS 5.0 and higher. 项目地址: https://gitcode.com/GitHub_Trending/pa/palera1n palera1n…

📰

在 AI 应用中构建 Stack Trace 错误展示组件:ai-elements StackTrace 组件实战指南

后端前端CRM人工智能AI Agent 【免费下载链接】crm Comp AI CRM is an open source, CRM designed for AI agents. Agentic-first CRM. 项目地址: https://gitcode.com/gh_mirrors/crm48/crm 点击查看 免费下载 本篇文章聚焦 Comp AI CRM 仓库中 .agents/skills/ai…

📰

微信聊天记录导出完整指南:5步永久保存全部对话,免费开源工具WeChatMsg

微信聊天记录导出完整指南:5步永久保存全部对话,免费开源工具WeChatMsg 【免费下载链接】WeChatMsg 提取微信聊天记录,将其导出成HTML、Word、CSV文档永久保存,对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.c…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬