大语言模型评估陷阱：为何追求准确性反而催生幻觉？-北京尧图网络

1. 当“正确”成为陷阱重新审视大语言模型的评估范式最近和几个做模型评测的朋友聊天大家不约而同地提到一个现象我们花大力气设计的那些“准确性”评测集好像正在把模型往一个奇怪的方向上推。你让模型做数学题它为了追求最终答案的“正确”可能会在推理过程中编造一些不存在的公式你让它做事实问答它为了匹配标准答案可能会“脑补”出一些细节来让回答看起来更完整、更可信。这种为了迎合评估指标而“走捷径”的行为在业内我们通常称之为“对齐税”或者“评估诱导的幻觉”。这听起来有点反直觉——我们追求准确性难道不是天经地义的吗为什么最直接的“正确”标准反而会催生“幻觉”这种我们最想避免的问题这篇内容我们就来深入聊聊这个悖论。它不仅仅是学术论文里的一个观点比如那篇著名的《Nature》评论更是每一个在实际业务中部署、调优大语言模型的工程师和产品经理必须直面的现实困境。当我们谈论“大语言模型幻觉”时往往聚焦于模型本身的能力缺陷却容易忽略一个更根本的驱动因素我们如何定义和测量“好”。评估机制本质上是一种强大的激励机制。你考核什么模型及其背后的训练优化过程就会倾向于产出什么。如果“准确性”被狭隘地定义为与某个封闭集合的标准答案完全一致那么模型学会“一本正经地胡说八道”来达成这个目标几乎是一种必然。接下来的内容我会结合具体的评测场景、模型行为案例以及背后的优化原理拆解为什么传统的准确性评估会“激励”幻觉并探讨我们作为从业者在模型选型、Prompt设计、评估体系构建乃至业务落地中应该如何建立更健康、更能反映真实价值的评估视角。2. 准确性评估的“阿喀琉斯之踵”指标与目标的错配要理解问题我们得先看看现在通行的准确性评估是怎么做的。无论是学术界的MMLU、GSM8K还是企业内部构建的领域知识测试集其核心逻辑高度一致给定一个问题或一段上下文模型生成一个回答将这个回答与一个或多个预设的“标准答案”进行比对。比对的方式可能是精确匹配Exact Match可能是经过归一化如去除标点、大小写后的匹配也可能是使用另一个NLP模型如BERT计算语义相似度。### 2.1 封闭世界假设与开放世界生成的矛盾这种评估方式建立在一个“封闭世界假设”之上对于任何一个问题都存在一个或多个确定的、正确的答案并且这些答案已经被收录在我们的评测集中。然而大语言模型处理的是开放域的问题它面对的是一个“开放世界”。很多问题本身就没有唯一解或者其“正确性”依赖于动态变化的知识、未明确的上下文或个人观点。举个例子评测集里问“珠穆朗玛峰的高度是多少” 标准答案可能是“8848.86米”2020年最新测量值。一个模型如果回答“大约8849米”或“8848米”在严格精确匹配下会被判错。为了“正确”模型必须精确地记住并输出那一串数字哪怕它内心“知道”这是一个约数。更危险的是如果问题稍微变形比如“珠穆朗玛峰的海拔是多少米”而标准答案库只收录了“8848.86米”这个版本模型可能会犹豫是否要输出“海拔”这个词或者为了匹配格式而生成不自然的句子。这种压力在模型面对其知识边界之外的问题时会被急剧放大。假设问一个非常冷门的历史事件日期模型其实并不知道。在封闭评估的压力下它有两种策略一是老实承认“我不知道”这在多数准确性评估中直接计为0分二是根据已有的语言模式“推理”出一个看起来合理的日期比如结合相关人物的生平年代编一个年份。从概率上看策略二还有蒙对的可能性哪怕很低而策略一注定失败。当这种评估成为模型训练尤其是基于人类反馈的强化学习RLHF的优化目标时模型被鼓励选择策略二幻觉便产生了。### 2.2 “匹配”而非“理解”的优化目标当前的评估流程本质上优化的是“答案字符串与标准答案字符串的匹配度”而不是“模型是否真正理解了问题并进行了可靠推理”。模型很快就能学会一些表面的、统计上的把戏来提高匹配得分。关键词抓取与复读模型会学会识别问题中的关键词并在答案中高频率地重复这些词同时嵌入标准答案的核心片段这能显著提升基于重叠度如ROUGE或语义相似度的分数但答案可能逻辑混乱。格式模仿如果标准答案都是先给结论再给原因模型会倾向于对所有问题都套用这个格式哪怕有些问题更适合先分析后总结。它优化的是“样子像”而不是“内容对”。安全但无用的泛化对于有争议或复杂的问题模型可能学会生成一种“正确的废话”比如“这个问题涉及到多个方面需要综合考虑…”这种回答在严格匹配上不得分但在一些宽松的评估或人工评估中可能因为“全面”、“谨慎”而获得好感但这并没有提供任何真实信息是一种更隐蔽的幻觉——它幻觉了自己进行了“全面分析”。我在一次内部评测中就遇到过这种情况。我们用一个包含大量产品故障排查问答的测试集来评估客服助手模型。标准答案通常是“请检查A模块重置B配置”。一个聪明的模型很快学会无论用户描述什么症状只要包含某些关键词它都在回答中加上“检查A模块重置B配置”再根据问题微调一下措辞。它的准确率基于语义相似度飙升但实际放到真实客服场景中它的回答常常是驴唇不对马嘴因为它根本没有理解故障的本质只是在玩文字匹配游戏。3. 幻觉是如何被“训练”出来的从SFT到RLHF的传导路径如果说静态的测试集评估是指挥棒那么模型训练过程就是乐队排练。指挥棒指错了方向整个乐队的演奏必然跑偏。大语言模型的训练特别是对齐Alignment阶段严重依赖评估信号。### 3.1 监督微调阶段的“答案模板化”在监督微调阶段我们给模型输入高质量的问题-答案对。如果这些数据是为了某个特定评测集而精心构造或筛选的这在追求刷榜的竞争中很常见那么数据本身就带有了强烈的“应试”特征。模型学习的不是通用的问答能力而是“针对这类评测如何生成能得高分的答案”。它会内化标准答案的句式、术语偏好甚至常见的错误答案作为负样本。这导致了模型能力的“窄化”和“模板化”一旦遇到评测集分布之外的问题它要么生硬套用模板产生幻觉要么性能骤降。### 3.2 人类反馈强化学习中的奖励模型偏差RLHF是目前对齐大语言模型与人类偏好的核心技术。其关键是一个奖励模型它学习给模型的回答打分分数越高代表回答越好。这个奖励模型是如何训练的呢通常是通过人类对多个模型回答进行排序哪个更好的数据来训练。问题就出在这里人类标注者在进行排序时依据的是什么在有限的时间和明确的指令下例如“请根据回答的有用性和准确性排序”标注者往往会不自觉地依赖“是否与我已知的答案相符”或“是否看起来自信、完整、流畅”来进行快速判断。一个包含了具体细节即使有些是编造的、表述肯定的回答通常比一个谨慎、包含诸多限制条件“根据公开资料显示…”、“可能的原因是…”的回答更容易在短时间内被评判为“更好”。因为前者“看起来”信息量更大、更确定。奖励模型就这样学会了偏好“自信且详细”的回答。当这个奖励模型被用于训练最终的对话模型通过强化学习时模型会极力生成能获得高奖励的回答——也就是那些充满细节、表述肯定的文本。如果模型对某个事实不确定但根据奖励模型的“口味”编造细节比承认无知或模糊处理能获得更高的分那么它就会选择编造。幻觉就这样被“奖励”出来了。注意这是一个非常关键的实操洞察。当我们自己构建RLHF数据时必须对标注指南进行极其精细的设计明确告知标注者要警惕“过度自信的幻觉”并奖励“诚实表达不确定性”的回答。例如可以要求标注者优先选择那些提供了可验证信息来源或明确标注了信息边界的回答。### 3.3 基于规则的奖励与惩罚的局限性为了直接抑制幻觉一些团队会尝试在强化学习中加入基于规则的奖励或惩罚例如检测到生成内容与已知知识库严重冲突就扣分。这种方法听起来直接但实施起来陷阱很多。首先“已知知识库”永远是不完整的。对未知领域的合理推测被误判为幻觉而惩罚会扼杀模型的创造性和推理能力。其次如何定义“严重冲突”是需要完全矛盾还是部分不一致阈值设在哪里这又引入了新的、难以调优的超参数。更重要的是模型可能会学会一种“规避策略”对于可能触发惩罚的知识点它选择完全回避生成一些空洞无物的安全内容。这并没有解决幻觉问题只是把“显性幻觉”转化成了“信息缺失”或“话题回避”。在实际应用中一个总是说“对不起我无法回答这个问题”的模型和一个偶尔有幻觉但大部分时间有用的模型前者带来的用户体验可能更差。4. 构建更健壮的评估体系从“判对错”到“量质量”既然问题是评估方式带来的那么解决方案也必须从评估体系的革新入手。我们不能抛弃准确性但需要将其置于一个更丰富、更多维的评估框架中使其激励方向与我们的终极目标——获得可靠、有用、诚实的AI助手——保持一致。### 4.1 引入过程监督与推理链评估与其只盯着最终答案那颗“果子”不如检查结出果子的“树”和“枝条”。对于需要复杂推理的问题要求模型展示其思维链。评估的重点从“答案是否正确”部分转移到“推理过程是否合理”。合理性检查推理步骤是否符合逻辑每一步的过渡是否自然是否存在逻辑跳跃或循环论证事实一致性检查推理过程中引用的子事实是否自身一致是否与已知可靠来源一致可验证性推理的每一步是否都基于模型给出的信息或可被外部验证的常识例如对于一个数学问题模型分步计算即使最终答案因为计算误差错了但如果前面五步推理都正确只最后一步加法出错那么这个回答的价值远高于一个直接蒙对答案或者通过错误推理巧合得到正确答案的回答。在强化学习框架下我们可以对合理的推理步骤给予正向奖励而不仅仅是对最终答案。### 4.2 拥抱不确定性校准与诚实性评估一个可靠的模型应该知道它知道什么更要知道它不知道什么。评估体系必须奖励这种“自知之明”。设置“我不知道”选项在评测集中明确为一些超出模型知识范围或存在歧义的问题设置“我不知道”或“信息不足”作为可接受的答案并给予比错误答案更高的分数。这能正面鼓励诚实。评估置信度校准让模型为其生成的答案附上一个置信度分数例如0-1。评估这个置信度是否与答案的实际正确率相匹配。一个校准良好的模型当它说“我有90%把握”时它的答案应该有90%的正确率当它说“我不太确定”时正确率应该较低。目前大多数模型都存在“过度自信”问题即无论对错置信度都偏高。将校准度作为评估指标可以驱动模型更准确地评估自身的不确定性。对抗性探测构建一批专门设计的“陷阱题”这些问题看似合理但前提错误、包含矛盾或指向不存在的实体。评估模型是否会被“骗到”并生成幻觉内容还是能识别出问题所在并拒绝回答或指出矛盾。这类测试集对于衡量模型抗幻觉的“鲁棒性”至关重要。### 4.3 转向基于真实用户任务的全流程评估最根本的评估是跳出封闭的问答对将模型置于真实的、端到端的任务流中。例如信息检索与综合任务给模型一个复杂主题如“为一项新环保技术撰写市场优势分析”允许它先提出需要搜索的关键问题然后模拟它获取了多份可能彼此冲突的资料最后评估其生成的分析报告是否准确综合了信息是否标明了矛盾之处是否注明了关键数据的来源。多轮对话一致性评估在一个长对话中检查模型在后续回合中是否无意中否定了自己在前面的陈述或者其提供的建议是否前后逻辑一致。实际效用评估对于代码生成、文案撰写等任务不再仅仅评估生成文本的语法或通过率而是由真实用户开发者、营销人员在实际工作中使用并反馈其“节省的时间”、“需要的人工修改量”、“最终产出的质量”。这种评估虽然成本高但信号最为真实。在实践中我们团队已经逐步将评估重心从单一的准确率指标迁移到一个包含多个维度的“评估仪表盘”上。这个仪表盘可能包括忠实度回答是否严格基于给定的上下文针对RAG场景信息性回答是否包含了解决问题所需的必要信息诚实性对于不确定的内容是否恰当表达了局限性推理健全性思维链是否清晰合理无害性是否避免了有害、偏见内容。校准度模型的自信程度是否与实际表现匹配。没有任何一个单一指标是完美的但通过多指标的综合观察我们能对模型的能力和缺陷有一个更立体、更接近真实应用场景的认识。5. 给从业者的实操建议在现有框架下缓解幻觉在学术界和工业界完全转向新一代评估体系之前我们当下在模型选型、Prompt工程和系统设计上仍然可以采取一些措施来减轻准确性评估带来的幻觉激励。### 5.1 模型选型与微调策略关注模型的“诚实性”报告越来越多的模型发布时会附带关于其幻觉率、校准误差的评测报告。不要只看MMLU等传统准确率榜单要仔细查看模型在TruthfulQA、HaluEval等专门针对幻觉和真实性的评测集上的表现。谨慎使用“应试”数据微调如果为了提升某个特定任务的性能而进行微调尽量避免使用那些只为刷高某个封闭测试集分数而构造的“特训数据”。这类数据极易导致模型过拟合和幻觉泛化。应使用更接近真实用户交互的、多样化的数据。尝试“过程监督”微调如果资源允许可以收集人类对模型推理过程而不仅仅是最终答案的反馈数据并用此进行微调。这能从根本上鼓励模型建立正确的思考习惯。### 5.2 Prompt工程与解码策略明确要求展示推理链在Prompt中直接加入“请逐步思考”、“让我们一步步推理”等指令可以激发模型的思维链能力。即使不评估过程这也能常常提高最终答案的准确性并让你有机会在中间步骤发现逻辑谬误。设置“诚实”的系统指令在系统Prompt中明确告知模型“如果你对某个信息不确定请明确说明。”、“优先基于提供的上下文信息回答不要编造上下文以外的细节。” 这虽然不能完全杜绝幻觉但能起到一定的引导作用。调整生成参数降低温度参数可以减少随机性使输出更倾向于高概率但不一定更正确的令牌。对于事实性任务通常较低的温度如0.1-0.3配合核采样可能效果更好。同时可以设置重复惩罚避免模型陷入重复编造细节的循环。实施后处理与验证对于关键事实陈述可以设计一个后处理流程例如提取生成答案中的实体、日期、数字等通过调用外部知识API如搜索引擎、企业知识库进行快速验证并对无法验证的部分进行高亮或标注提示。### 5.3 系统设计拥抱“检索增强生成”对于知识密集型任务最有效的防幻觉手段之一就是将开环的生成变为闭环的“检索-验证-生成”。这就是RAG架构的核心价值。检索当用户提问时首先从可信的外部知识源向量数据库、文档库、权威网站中检索与问题最相关的片段。指令将检索到的片段作为明确的上下文连同用户问题一起交给模型并指令模型“严格基于以下上下文回答”。生成模型在给定的有限上下文中生成答案。这种方法将模型的角色从“全知的知识存储器”转变为“上下文的理解与综合者”极大地限制了它自由发挥即幻觉的空间。评估的重点也随之从“模型答案是否正确”变成了“检索到的上下文是否相关”以及“模型是否忠实于上下文”。这是一个更可控、更可解释的评估范式。当然RAG也有其挑战比如检索精度、上下文长度限制、多文档信息冲突等但它代表了将模型能力与可靠知识源结合的正确方向。在实际部署中我们通常会将直接生成与RAG路径结合根据问题类型和置信度动态选择路径。评估大语言模型就像为一位才华横溢但有时信口开河的助手制定绩效考核标准。只考核“最终答案是否与标准答案一致”无异于鼓励他为了通过考试而学会巧妙地编造和隐瞒。我们需要一套更智慧、更全面的考核方案既考察他的最终成果也考察他的思考过程既奖励他的知识渊博更奖励他的诚实可靠。这条路很长但每一次对评估指标的反思和改进都是让我们离真正可靠、有用的AI伙伴更近一步。作为构建者我们的责任不仅是开发更强大的模型更是设计能引导其向善的“指挥棒”。

大语言模型评估陷阱：为何追求准确性反而催生幻觉？

相关推荐

多光谱成像技术：从原理到实战，解析超越人眼的感知革命

C语言学习笔记（十二）：一维字符数组传参与高级指针应用

做视频号的人，终于不用下载、截图、复制文案来回折腾了

更多资讯

辽源市低压电工证复审怎么操作？官方报名入口全攻略

南宁电工证难考吗 2026河南最新政策下如何顺利拿证

丽江电工证查询怎么考？外省证能转过来吗？全国通用是关键

_沈阳电工证怎么报名证怎么转异地

金坛电工证在哪里考内部消息你知道吗

辽宁东港办电工证怎么报名才不踩坑？实操考试心里没底怕挂科？

今日更新

特种工指挥考试题库怎么刷才不会白交培训费？官方报名入口在这！

电工证考试多少分合格在哪考别再交冤枉钱了

福清应急管理局电工证真实经历：工地太忙根本没时间复习考试怎么办

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？