评测全景：维度与方法-北京尧图网络

一、评测的工程界维度评测不只有一个维度。工程界从四个维度刻画评测，每个维度上都需要做出选择。维度 1：粒度 – 端到端 vs 组件级端到端评测（end-to-end）: 输入 - [整个应用] - 输出评最终输出质量适合: 验证整体效果组件级评测（component-level）: 输入 - [节点1] - [节点2] - [节点3] - 输出评每个节点的输入输出适合: 定位问题节点DeepEval 明确区分端到端评测和组件级评测（span 级），Langfuse 支持对 trace 中任意节点打分。粒度选择取决于：验证整体效果用端到端，定位问题用组件级。维度 2：时机 – 离线 vs 在线离线评测（offline）: 开发期，用预定义测试集 "发布前能不能用？" 在线评测（online）: 生产期，对真实流量打分 "线上有没有出问题？"Langfuse、Phoenix、DeepEval 均支持在线评测–对生产 trace 实时打分，发现静默失败。在线评测已有实践工具，仍在发展中。详见⑤ 评测工程化。维度 3：判分来源 – LLM / 代码 / 人工 / 用户反馈LLM-as-judge: 用 LLM 评判输出质量（无真值时的默认选择）代码评测: 用规则/断言判分（有真值时，便宜可靠）人工标注: 人工审核打分（金标准，不可规模化）用户反馈: 收集真实用户评价（真实但稀疏）Langfuse 把评测方法分为：LLM-as-a-judge、code evaluators、user feedback、manual labeling、custom pipelines。这是工程界对判分来源的共识分类。维度 4：目的 – 回归 / 监控 / 实验 / 告警回归测试: 防止改 A 破坏 B 质量监控: 持续评估输出质量 A/B 实验: 对比版本差异异常告警: 检测突发质量下降四个维度正交：一次完整的评测需要在每个维度上做出选择。例如"对天气查询工作流做离线 + 端到端 + 代码评测 + 回归测试"是一组完整选择。二、评测方法：学界分类学界对评测方法有不同的分类视角。综述论文（Chang et al., “A Survey on Evaluation of Large Language Models”, arXiv:2307.03109, ACM TIST 2023）将评测方法分为 6 类：方法说明代表自动评测用计算指标定量评估Exact Match、F1、ROUGELLM-as-judge用 LLM 评判另一个 LLM 的输出G-Eval、PandaLM人工评测人工评估主观质量评分规则、专家评估

评测全景：维度与方法

相关推荐

多Agent工作流落地成败关键：统一数据底座建设指南

SpringBoot 优雅关闭与降级——生产环境必备

【单片机毕业设计】基于 51 单片机的室内多参数环境监测与智能排风控制系统设计，基于 STM32 的温湿度甲醛烟雾检测声光报警系统开发（017802）

更多资讯

2026企业AI办公工具选型指南：建立适配业务的评估框架

2026年进销存智能化趋势：企业选型需要把握哪些核心方向？

2026企业AI办公工具选型指南：企业数字化落地判断框架

2026企业AI办公工具选型指南：企业数字化负责人决策参考

PPT Master 咨询决策风格（consulting-decision）规范解读：答案优先、证据驱动的决策演示方法

STM32F103移植DengFOC：MT6701磁编码器与PID整定

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？