大模型基础项目 DePaC 方法解读：用上下文感知负训练与信息校准聚合消除 RAG 幻觉-北京尧图网络

文档教程大模型【免费下载链接】Foundations-of-LLMsA book for Learning the Foundations of LLMs项目地址https://gitcode.com/GitHub_Trending/fo/Foundations-of-LLMs点击查看免费下载本文基于浙江大学《大模型基础》Foundations-of-LLMs开源仓库中「Arxiv 一周进展报告」专题文档整理而成解读北京大学、微软、西安交通大学等团队提出的DePaCDehallucinating Parallel Context Extension方法。DePaC 通过上下文感知负训练信息校准聚合两大机制显著降低检索增强生成RAG模型的事实幻觉提升生成响应的准确性与可靠性。阅读完本文你将理解并行上下文扩展PCE的聚合原理、幻觉产生的根源以及如何在解码时同时考虑拒绝回答与信息增量来选出最可信的上下文窗口。一、研究背景RAG 为什么会一本正经地胡说八道检索增强生成Retrieval-Augmented Generation, RAG通过为大型语言模型LLMs注入外部文档缓解模型参数化知识陈旧、缺失的问题。本仓库的教材体系对此有系统论述参见《大模型基础》教材/《大模型基础》分章节内容/第6章检索增强生成.pdf 与《大模型基础》教材/大模型基础完整版.pdf其核心脉络覆盖检索增强生成简介—架构—知识检索—生成增强—实践与应用大模型经典论文列表/readme.md 中检索增强生成一节则收录了 RAG、REPLUG、Atlas、RETRO、Self-RAG 等经典工作可作为理解本方法的背景阅读。尽管 RAG 已是知识密集型任务的主流范式其准确性与可靠性仍受**幻觉hallucination**问题制约。DePaC 论文将其归为两类典型表现事实遗漏幻觉fact omission hallucination检索到的文档明明包含关键信息但模型在生成时漏读或漏写回答不完整甚至给出错误事实编造幻觉fabrication上下文与问题并不相关时模型依然强行作答生成缺乏依据的内容。1.1 既有方法的局限围绕 RAG 幻觉前人工作大致沿三条路线展开DePaC 的作者指出它们都无法从根本上解决信息遗漏问题路线代表做法局限增强检索器性能改进召回排序、引入重排序只改善检索到什么不解决生成时如何利用迭代式 RAG多轮检索-生成交替、自我反思流程复杂、成本高信息遗漏仍可能沿迭代链累积提示工程指令式约束请严格基于上下文回答对模型行为是软约束无法从机制上杜绝幻觉1.2 技术动机DePaC 的技术动机可概括为两条负训练Negative Training显式地训练主干模型判断给定文档能否回答问题。若不能模型应学会拒绝回答而不是硬编答案——从训练层面注入拒答能力信息增量感知不再只盯着最终输出分布的不确定性而是测量每个上下文窗口相对于上下文无关基线提供的信息增量据此优先选择包含有用信息的窗口——从解码层面校准聚合权重。二、技术基础并行上下文扩展PCEDePaC 建立在**并行上下文扩展Parallel Context Extension, PCE**之上。PCE 的核心思想是将来自多个上下文窗口的信息聚合到一个统一的表示空间中避免单纯把文档拼接进超长上下文而带来的长度爆炸与注意力稀释。给定一个问题 $Q$ 和一系列相关文档 ${d_1, d_2, \dots, d_i}$PCE 首先计算每个上下文窗口对应的输出分布$$ p_{i,j} p_\theta(\cdot \mid d_j \oplus Q \oplus A_{1:i-1}) $$其中 $d_j \oplus Q \oplus A_{1:i-1}$ 表示将第 $j$ 个文档、问题 $Q$ 与已生成的前缀 $A_{1:i-1}$ 拼接作为输入$p_\theta$ 为以 $\theta$ 为参数的主干模型。随后这些分布经某个聚合函数合并为单一分布$$ P_i \text{AGG}(p_{i,1}, p_{i,2}, \dots) $$DePaC 选用的基线聚合函数是最低不确定性聚合函数Minimum-Uncertainty Aggregation在每个解码步从各窗口分布中挑出熵最低最笃定的那一个$$ p_i \arg\min_{p_{i,j}} H(p_{i,j}), \qquad H(p_{i,j}) -p_{i,j} (\log p_{i,j})^T $$直觉哪个窗口对当前 token 的预测最确定就采信哪个窗口。但正如论文指出的仅仅看最终分布的不确定性会被事实遗漏幻觉严重干扰——模型可能对一段自我发挥的分布表现得非常自信这种低不确定性恰恰是幻觉的信号而非可信的迹象。因此需要引入信息校准。三、核心机制一上下文感知负训练Context-aware Negative Training目标让主干模型学会该不该回答。DePaC 在训练阶段为模型构造正、负两类样本正样本问题可以被所给文档充分回答的样例模型学习基于文档生成答案负样本上下文与问题不相关、或文档信息不足的样例模型学习输出拒答信号如无法根据所给信息回答而不是强行生成。通过这种显式的负训练模型在解码时具备了一个关键的前置开关如果问题与检索到的文档不匹配模型应当拒绝回答而非产生幻觉。这从训练层面直接回应了编造幻觉问题。从实现角度看负训练并不需要为每个下游任务重新收集数据而是依托通用的上下文-问题-答案三元组构造属于可规模化复用的训练策略。四、核心机制二信息校准聚合Information-Calibrated Aggregation目标让聚合过程看见每个窗口真正贡献了多少信息。低不确定性聚合容易落入过度自信陷阱因此 DePaC 额外引入上下文无关基线分布$p_{i,c}$即在不提供任何检索文档或仅提供空上下文时模型仅依据问题 $Q$ 与已生成前缀 $A_{1:i-1}$ 的输出分布。它刻画的是模型靠自身参数化知识能说到什么程度。对每个窗口 $j$用KL 散度度量其分布相对基线的信息增量$$ \Delta(p_{i,j}, p_{i,c}) D_{KL}(p_{i,j} \parallel p_{i,c}) $$若 $\Delta$ 较大说明该文档确实带来了模型原本不知道的新信息值得采信若 $\Delta$ 接近零说明该窗口与模型固有输出几乎一致贡献有限对于相关性极差的窗口其分布往往与基线显著背离且方向错误信息校准同样会将其惩罚。由此聚合不再盲目选择熵最低的窗口而是选择既确定、又真正携带检索增量的窗口从而缓解事实遗漏幻觉。五、统一目标把两者代入最低不确定性聚合将上下文感知负训练的拒答信号与信息校准的 KL 增量代入最低不确定性聚合DePaC 得到统一的窗口选择目标$$ p_i \arg\min_{p_{i,j}} ; C(p_{i,j}, p_{i,c}) - \gamma \cdot \mathbb{I}!\left(\arg\max_k p_{i,j}^{k} t_d\right) $$其中校准后的不确定性定义为$$ C(p_{i,j}, p_{i,c}) H(p_{i,j}) - \beta \cdot \Delta(p_{i,j}, p_{i,c}) $$逐项解读记号含义作用$H(p_{i,j})$窗口 $j$ 输出分布的熵惩罚不确定的窗口偏好低熵候选$\Delta(p_{i,j}, p_{i,c})$与上下文无关基线的 KL 信息增量奖励携带真实检索信息的窗口对抗过度自信$\beta$信息增量权重平衡低熵与信息增量的系数$\gamma \cdot \mathbb{I}(\arg\max_k p_{i,j}^k t_d)$负训练信号的指示项$t_d$ 为拒答标记当窗口分布的最可能 token 恰为拒答标记时给予额外奖励强化拒答优于编造$\arg\min$在所有窗口分布中选校准不确定性最低者完成单步解码的窗口选择效果闭环负训练让模型拥有拒答选项信息校准让聚合避开自信的幻觉统一目标函数在每一步解码中同时权衡两者——这正是 DePaC 命名为Dehallucinating Parallel Context Extension的原因。六、实验结果概览DePaC 在多种 RAG 任务上报告了显著性能提升以论文图表为证原始数据详见 arXiv 论文Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation编号 2412.14905信息检索任务在相关文档召回与排序类评测上表现优于既有基线基于文档的问题回答任务DocQA在 Natural Questions 等文档问答场景中答案准确率与完整性显著提升说明并行上下文信息被更有效地利用。实验结果表明信息校准聚合能够有效利用并行上下文信息生成更准确的回答上下文感知负训练则显著降低无关上下文下的编造率。七、与本仓库知识体系的衔接本方法可放入本仓库建立的 RAG 技术坐标系中阅读仓库同期周报恰好覆盖了 RAG 幻觉治理的三条互补路线零额外推理开销提升RAG性能——PEARArxiv 一周进展报告大模型方向/20241004-20241010/零额外推理开销提升RAG性能.md从注意力机制内部定位上下文抑制头并重加权在推理零开销前提下提升上下文感知RetroLLM检索生成大融合鹰眼精准定位答案Arxiv 一周进展报告大模型方向/20241213-20241219/RetroLLM检索生成大融合鹰眼精准定位答案.md从解码空间约束入手把检索整合进自回归解码用 FM-Index 动态定位细粒度证据DePaC本文从**训练负样本拒答与聚合信息校准**两端入手解决 PCE 聚合中的幻觉问题。三者视角互补PEAR 改注意力头、RetroLLM 改解码空间、DePaC 改训练与聚合目标。再往前追溯可参考同期周报 RARE 登场大模型推理的智慧导航仪Arxiv 一周进展报告大模型方向/20241206-20241212/RARE 登场大模型推理的智慧导航仪精准穿越知识迷宫.md用检索增强事实性评分器评估推理路径以及 TableRAG让大模型轻松驾驭大规模表格数据Arxiv 一周进展报告大模型方向/20241004-20241010/TableRAG让大模型轻松驾驭大规模表格数据.md面向表格场景的检索增强扩展形成对 RAG 幻觉问题的完整技术视图。八、小结与可复用的实践要点DePaC 的核心贡献可归纳为三点训练侧上下文感知负训练让模型拥有拒答能力从源头遏制编造幻觉解码侧信息校准聚合用 KL 散度测量各窗口相对基线的信息增量对抗自信幻觉统一目标以校准不确定性最小化拒答信号奖励替代单纯的最低不确定性聚合平衡确定性与信息量。对希望在自建 RAG 系统中引入类似机制的工程师可依序参考以下仓库资源掌握 RAG 全链路原理《大模型基础》教材/《大模型基础》分章节内容/第6章检索增强生成.pdf含简介、架构、知识检索、生成增强、实践与应用追踪经典与前沿工作大模型经典论文列表/readme.md 中检索增强生成一节RAG、REPLUG、Atlas、RETRO、Self-RAG 等浏览同期技术路线对比本仓库 Arxiv 一周进展报告大模型方向目录下的多篇 RAG 专题解读。一句话总结当模型读不进去时喂再多文档也无济于事——DePaC 用负训练教会模型诚实地说不知道用信息校准教会聚合只相信真正有用的文档两者合力让 RAG 的回答更准、更稳、更有据可依。赞分享文档教程大模型【免费下载链接】Foundations-of-LLMsA book for Learning the Foundations of LLMs项目地址https://gitcode.com/GitHub_Trending/fo/Foundations-of-LLMs点击查看免费下载相关推荐DINOv3预训练权重下载与使用教程快速上手视觉基础模型DINOv3预训练权重下载与使用教程快速上手视觉基础模型 DINOv3是Meta AI推出的新一代视觉基础模型家族无需微调即可在各种视觉任务中超越专业模型的人工智能计算机视觉基础模型深度学习预训练模型评测trackerslist 上手指南78 个公共 Tracker 让 BT 下载加速trackerslist 上手指南78 个公共 Tracker 让 BT 下载加速 trackerslist 每天自动检测并维护一份包含 78 个公共 Trammdetection 视觉大模型训练显存优化实战基于 FSDP 与 DeepSpeed 在消费级显卡上训练 DINO-5Scale Swin-Lmmdetection 视觉大模型训练显存优化实战基于 FSDP 与 DeepSpeed 在消费级显卡上训练 DINO 5Scale Swin L 导读本文人工智能计算机视觉深度学习模型评测上一篇OpenDesign 中的 Airbnb 设计系统落地指南从 Rausch 珊瑚粉到 Airbnb Cereal 的完整设计语言解析下一篇VeighNa ChartWizard 实时K线图表模块从加载启动到源码级原理的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

大模型基础项目 DePaC 方法解读：用上下文感知负训练与信息校准聚合消除 RAG 幻觉

相关推荐

MySQLMonitor 实战指南：404StarLink 收录的 MySQL 实时监控黑盒测试辅助工具

Hermes v0.10.0工具网关全解：架构拆解与实战配置

VC++6.0 MFC从入门到实战：消息映射、控件与避坑指南

更多资讯

基于YOLOv8的电动车头盔检测系统：ONNX推理与GUI集成实战

图神经网络不确定性量化：双重谱随机展开方法

寻找重复数：从排序到Floyd判圈算法的思维跃迁

交直流混合微网优化调度：拉丁超立方抽样与场景缩减的Matlab实现

2026 AI智能产品开发：从模型竞赛到交付为王

OpenClaw + Claude Code + React AI工作流实战部署指南

今日更新

企业AI转型实战指南：从场景选择到落地避坑的完整路线图

OpenRig：本地大模型服务编排的轻量级运行时框架

夸克网盘1TB免费扩容领取全攻略：新老用户实操流程与避坑指南

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？