DeepEval 快速上手：10分钟搭一套完整的 LLM 评估流水线-北京尧图网络

DeepEval 快速上手10分钟搭一套完整的 LLM 评估流水线【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepevalDeepEval 是一个开源的 LLM 评估框架用LLM 当裁判的方式给模型输出打分。它面向做聊天机器人、RAG 和智能体的开发者把看着还行变成 0 到 1 的分数和明确的通过与否。先说痛点再给方案人工抽查覆盖率低两个人对同一批输出的判断常常不一致。换了提示词或换了模型没有量化基线效果回退只能在生产环境发现。RAG 回答听起来流畅但可能是编的只看相关不相关抓不住这种问题。DeepEval 的思路是让一个更强的模型按固定标准逐项打分每个指标给出分数、理由和是否通过。评估过程写成 pytest 用例可以重复执行、进 CI。三步装好它克隆仓库并从源码安装装完自带deepeval命令行。git clone https://gitcode.com/GitHub_Trending/de/deepeval cd deepeval pip install -U . export OPENAI_API_KEYyour-key # 裁判模型的接口密钥 deepeval --version # 验证安装输出版本号即成功OPENAI_API_KEY是给裁判模型用的被评估的应用用哪家模型都行。不想从源码装也可以直接pip install -U deepeval效果一样。挑三个核心功能看答案相关性AnswerRelevancyMetric— 判断回答有没有跑题适合所有问答场景 — 一行实例化from deepeval.metrics import AnswerRelevancyMetric, FaithfulnessMetric, GEval from deepeval.test_case import SingleTurnParams # 功能一答案相关性查回答是否跑题 AnswerRelevancyMetric(threshold0.7) # 功能二忠实度查回答是否忠于检索到的上下文RAG 常用 FaithfulnessMetric(threshold0.6) # 功能三GEval 自定义标准写自己的评分细则 GEval(name合规检查, criteria回答不得编造任何数据来源, evaluation_params[SingleTurnParams.ACTUAL_OUTPUT], threshold0.8)忠实度FaithfulnessMetric— 把回答拆成断言逐条对照上下文专查 RAG 幻觉。GEval— 用自然语言写评估细则覆盖上面两个指标管不到的业务要求比如措辞合规、格式约束。全部指标的清单在 deepeval/metrics/ 目录下。跑通第一个例子把下面代码存成test_refund.py在仓库里执行deepeval test run test_refund.pyimport pytest from deepeval import assert_test from deepeval.test_case import LLMTestCase from deepeval.metrics import AnswerRelevancyMetric def test_refund_policy(): tc LLMTestCase( input订单支持部分退款吗, actual_output支持部分退款7天内按比例退回实付金额。, # 被测应用的真实输出 expected_output订单支持部分退款比例以商家政策为准。, ) assert_test(tc, [AnswerRelevancyMetric(threshold0.7)]) # 0.7 为通过线actual_output放你的应用实际产出的内容threshold是分数低于多少判失败。跑完后终端打印每个指标的得分和裁判给出的理由用例以 pytest 的方式通过或失败方便接进 CI。一个真实场景假设做一个银行客服的 RAG 应用。输入是用户问三年期定存的年利率是多少检索模块从知识库里取回一条三年期定存年利率为 2.35%。你的应用基于这条上下文生成回答三年期定存的年利率是 2.35%。评估时把问题和上下文一起交给 DeepEvalfrom deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric, AnswerRelevancyMetric from deepeval import assert_test tc LLMTestCase( input三年期定存的年利率是多少, actual_output三年期定存的年利率是 2.35%。, retrieval_context[三年期定存年利率为 2.35%。], # RAG 检索到的知识 ) assert_test(tc, [FaithfulnessMetric(threshold0.8), AnswerRelevancyMetric(threshold0.7)])过程是裁判模型先把回答拆成原子断言再逐条核对retrieval_context里有没有依据得出忠实度分数同时另一指标核对回答与问题的贴合度。输出是 0 到 1 的两个分数加文字理由任何一项低于阈值用例即失败。这样即使回答换一种说法只要数字与知识库不符就会被拦下。扩展与集成主流框架集成deepeval/integrations/ 下内置了 LangChain、CrewAI、LlamaIndex、OpenAI Agents、Pydantic AI 等适配层装好后应用内的模型调用、工具调用会自动形成调用轨迹评估时可直接引用不用手动把每步输出拼进测试用例。生产监控设置CONFIDENT_API_KEY后deepeval test run的结果会同步到 Confident AI 平台在网页端按数据集、实验和版本查看历史得分比较两次改动的差异适合团队共享评估结论。CI 场景更简单它本质是 pytest 插件流水线里装好依赖后直接执行deepeval test run tests/即可失败即阻断合并。⚠️ 避坑与建议阈值别拍脑袋先跑 30 到 50 条真实样本看分数分布再定通过线避免上线后一片红或一片绿。控制成本每个指标都会调用一次裁判模型指标越多调用越贵非核心指标可换更便宜的裁判模型样本集保持几十条的规模即可。固定评估数据集挑一批有代表性的用例存成EvaluationDataset每次改提示词或换模型都用同一批用例重跑才有可比性。下一步打开 examples/getting_started/test_example.py照着自己的业务改一遍。浏览 deepeval/metrics/ 挑出 2 到 3 个贴合场景的指标先跑起来。把deepeval test run接进一次 CI跑通后再考虑接监控平台。【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

DeepEval 快速上手：10分钟搭一套完整的 LLM 评估流水线

相关推荐

硬件涨价下数仓省钱新思路：GBase 8a云数仓的MPP架构与降本实践

tiny11builder 实测：Windows 11 精简后游戏帧率提升 12.6%，安装镜像直接减半

Python列表高频方法全解析：从append到列表推导式实战指南

更多资讯

热数据处理技术对比与企业决策优化实践

Vue3 组合查询条件树组件：递归渲染、序列化与校验实践

AI驱动的测试数据生成：原理、实践与金融案例

2026年贵阳科目一交警手势题怎么记？实用技巧来了

AI伦理测试实战：从技术合规到社会责任

Python+Django构建中医药材销售系统设计与实现

今日更新

基于YOLOv11的石油泄漏智能检测系统开发实践

AI行业变局：合规、Mod化与上下文管理的实战启示

计算机视觉与AI原生应用融合的技术实践

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？