尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
腾讯:拆解大模型裁判的主观性
📖标题:JudgeProfile: Understanding and Steering Subjectivity in LLM Judges🌐来源:arXiv, 2609.36705v1🛎️文章简介🔸研究问题:为什么大模型在评判两个都没有客观错误的回答时,会表现出主观偏好差异?这种差异究竟是因为它们“看”得不一样,还是因为“重视”的点不一样?🔸主要贡献:论文提出了JudgeProfile框架,将评估过程拆解为“感知”和“优先级”,发现模型间存在隐藏的感知共识,并通过简单的权重重校准就能有效提升评估一致性,效果优于微调和提示词工程。📝重点思路🔸构建JudgeProfile框架:将大模型的评估行为分解为两个阶段。第一阶段是“感知”,即模型如何比较两个回答在清晰度、正确性、细节等87个具体属性上的差异;第二阶段是“优先级”,即模型如何权衡这些属性对最终胜负的影响。🔸创建SubjectiveSet数据集:收集了来自17个公开数据源的50,013对回答,使用21个大模型作为裁判,进行了高达1.8亿次的属性级推理调用,以大规模量化分析主观性来源。🔸分离感知与优先级进行建模:首先让模型独立判断每个属性的优劣,然后利用逻辑回归模型,根据模型的整体选择反推其对各个属性的权重(即优先级)。这使得研究者可以区分是模型没看清属性,还是模型虽然看清了但更看重其他方面。🔸实施权重重校准策略:在不改变大模型本身及其属性判断结果的前提下,仅通过学习一组新的属性权重,来调整模型的最终决策,使其符合特定的参考标准或人类偏好。🔎分析总结🔸发现“隐藏共识”:即使不同模型对哪个回答更好存在分歧,它们在具体属性(如谁更详细、谁更准确)的判断上却有高达85.9%的一致性。这说明模型间的分歧主要不是源于感知错误,而是源于价值观或优先级的不同。🔸优先级差异是主观性的核心:即便基于相同的属性判断结果,不同模型拟合
RELATED

相关推荐

深入理解AI Agent(1.1)---现代Agent=LLM+工具+上下文

深入理解AI Agent(1.1)---现代Agent=LLM+工具+上下文

本文从 "Agent 不是孤立的,它在和 Environment(文件、数据库、网页、API、用户)交互" 这句话展开。首先理清两个概念和一个过程:概念 1:什么是 Agent;概念 2:什么是环境;过…

📅 2026/10/18 6:22:19
CES 2026深度观察:AI融合如何重构智能硬件与产业边界

CES 2026深度观察:AI融合如何重构智能硬件与产业边界

1. CES 2026的核心风向:智能单品退场,智联生态登场1.1 展台主角不再是“设备”,而是“场景”2026年的CES,给我的第一印象不是哪个展台更大、哪块屏幕更炫,而是几乎所有产品都在围绕同一个关键词做文章:AI深…

📅 2026/10/18 6:17:18
大模型私有化部署生产环境全链路指南:从显存估算到推理优化与运维避坑

大模型私有化部署生产环境全链路指南:从显存估算到推理优化与运维避坑

大模型私有化部署到生产环境,单看这句话,很多人第一反应是:把开源权重下载下来,用一个推理框架起个服务,不就完了吗?我在实际推动这类项目时,体验完全不是这样。权重下载只是最简单的第一步&…

📅 2026/10/18 6:17:18
MORE NEWS

更多资讯

📰

从容器到Kubernetes:一张读懂云原生技术全景的地图

简介:一份梳理云原生技术演进脉络的电子课件,适合刚接触容器、微服务与Kubernetes的开发者、运维人员及架构师快速建立整体认知。内容从CNCF官方定义切入,系统介绍容器、服务网格、微服务、不可变基础设施和声明式API等核心技术,并…

📰

OpenClaw实战:从聊天机器人到AI Agent的关键跃迁

先问大家一个问题:你上次让聊天机器人"帮我把这份PDF里的数据整理成Excel",它是不是只回了一句"我可以帮你,请提供文件",然后就没了下文?我自己的体验是,过去绝大多数对话式AI都停在&q…

📰

Python爬虫实战:定时抓取技术博客排行榜,还原博主影响力演变轨迹

去年整理书签的时候,我翻到一个自己收藏了很久的技术博客榜单页面,顺手对比了一下三年前印象里的“头部博主”名单,发现变化比想象中大得多:有人从榜尾一路冲进前十,也有人在榜单上彻底消失。排名这个东西,…

📰

Vuex与antv/g6协同:在线流程图编辑器状态同步实践

简介:基于Vue与antv/g6实现的流程图在线绘制演示Demo,面向需要集成可视化流程编辑功能的前端开发者。资源抽离了流程图创建、节点链接、节点删除、菜单操作、重新渲染与本地存储等核心交互,重点演示框架层面的实现思路,供有类似需…

📰

初中道德与法治课件教案全集(7-9年级上下册):含PPT、PDF、教案与知识点,约1.93GB

资源概述 这套初中道德与法治课件教案资源覆盖了七年级、八年级、九年级的上下册全部内容,整体文件规模约1.93GB,是较为完整的初中道法教学配套材料合集。资源按照年级和学期两级目录进行组织,进入每个年级目录后,再按单元和课时…

📰

Hermes Agent入门:用配置化任务编排替代cron脚本

前阵子我负责的一个小项目里,服务器上挂着一堆定时任务、消息推送脚本和文件同步逻辑,每天手工维护特别折腾。后来朋友推荐我用 Hermes Agent 来接管这些活,我花了一个晚上装好、配好,然后在生产环境跑了两周,确实省了…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬