DeepEval 快速上手：10分钟搭一套完整的 LLM 评估流水线-北京尧图网络

DeepEval 快速上手10分钟搭一套完整的 LLM 评估流水线【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepevalDeepEval 是一个开源的 LLM 评估框架用LLM 当裁判的方式给模型输出打分。它面向做聊天机器人、RAG 和智能体的开发者把看着还行变成 0 到 1 的分数和明确的通过与否。先说痛点再给方案人工抽查覆盖率低两个人对同一批输出的判断常常不一致。换了提示词或换了模型没有量化基线效果回退只能在生产环境发现。RAG 回答听起来流畅但可能是编的只看相关不相关抓不住这种问题。DeepEval 的思路是让一个更强的模型按固定标准逐项打分每个指标给出分数、理由和是否通过。评估过程写成 pytest 用例可以重复执行、进 CI。三步装好它克隆仓库并从源码安装装完自带deepeval命令行。git clone https://gitcode.com/GitHub_Trending/de/deepeval cd deepeval pip install -U . export OPENAI_API_KEYyour-key # 裁判模型的接口密钥 deepeval --version # 验证安装输出版本号即成功OPENAI_API_KEY是给裁判模型用的被评估的应用用哪家模型都行。不想从源码装也可以直接pip install -U deepeval效果一样。挑三个核心功能看答案相关性AnswerRelevancyMetric— 判断回答有没有跑题适合所有问答场景 — 一行实例化from deepeval.metrics import AnswerRelevancyMetric, FaithfulnessMetric, GEval from deepeval.test_case import SingleTurnParams # 功能一答案相关性查回答是否跑题 AnswerRelevancyMetric(threshold0.7) # 功能二忠实度查回答是否忠于检索到的上下文RAG 常用 FaithfulnessMetric(threshold0.6) # 功能三GEval 自定义标准写自己的评分细则 GEval(name合规检查, criteria回答不得编造任何数据来源, evaluation_params[SingleTurnParams.ACTUAL_OUTPUT], threshold0.8)忠实度FaithfulnessMetric— 把回答拆成断言逐条对照上下文专查 RAG 幻觉。GEval— 用自然语言写评估细则覆盖上面两个指标管不到的业务要求比如措辞合规、格式约束。全部指标的清单在 deepeval/metrics/ 目录下。跑通第一个例子把下面代码存成test_refund.py在仓库里执行deepeval test run test_refund.pyimport pytest from deepeval import assert_test from deepeval.test_case import LLMTestCase from deepeval.metrics import AnswerRelevancyMetric def test_refund_policy(): tc LLMTestCase( input订单支持部分退款吗, actual_output支持部分退款7天内按比例退回实付金额。, # 被测应用的真实输出 expected_output订单支持部分退款比例以商家政策为准。, ) assert_test(tc, [AnswerRelevancyMetric(threshold0.7)]) # 0.7 为通过线actual_output放你的应用实际产出的内容threshold是分数低于多少判失败。跑完后终端打印每个指标的得分和裁判给出的理由用例以 pytest 的方式通过或失败方便接进 CI。一个真实场景假设做一个银行客服的 RAG 应用。输入是用户问三年期定存的年利率是多少检索模块从知识库里取回一条三年期定存年利率为 2.35%。你的应用基于这条上下文生成回答三年期定存的年利率是 2.35%。评估时把问题和上下文一起交给 DeepEvalfrom deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric, AnswerRelevancyMetric from deepeval import assert_test tc LLMTestCase( input三年期定存的年利率是多少, actual_output三年期定存的年利率是 2.35%。, retrieval_context[三年期定存年利率为 2.35%。], # RAG 检索到的知识 ) assert_test(tc, [FaithfulnessMetric(threshold0.8), AnswerRelevancyMetric(threshold0.7)])过程是裁判模型先把回答拆成原子断言再逐条核对retrieval_context里有没有依据得出忠实度分数同时另一指标核对回答与问题的贴合度。输出是 0 到 1 的两个分数加文字理由任何一项低于阈值用例即失败。这样即使回答换一种说法只要数字与知识库不符就会被拦下。扩展与集成主流框架集成deepeval/integrations/ 下内置了 LangChain、CrewAI、LlamaIndex、OpenAI Agents、Pydantic AI 等适配层装好后应用内的模型调用、工具调用会自动形成调用轨迹评估时可直接引用不用手动把每步输出拼进测试用例。生产监控设置CONFIDENT_API_KEY后deepeval test run的结果会同步到 Confident AI 平台在网页端按数据集、实验和版本查看历史得分比较两次改动的差异适合团队共享评估结论。CI 场景更简单它本质是 pytest 插件流水线里装好依赖后直接执行deepeval test run tests/即可失败即阻断合并。⚠️ 避坑与建议阈值别拍脑袋先跑 30 到 50 条真实样本看分数分布再定通过线避免上线后一片红或一片绿。控制成本每个指标都会调用一次裁判模型指标越多调用越贵非核心指标可换更便宜的裁判模型样本集保持几十条的规模即可。固定评估数据集挑一批有代表性的用例存成EvaluationDataset每次改提示词或换模型都用同一批用例重跑才有可比性。下一步打开 examples/getting_started/test_example.py照着自己的业务改一遍。浏览 deepeval/metrics/ 挑出 2 到 3 个贴合场景的指标先跑起来。把deepeval test run接进一次 CI跑通后再考虑接监控平台。【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

DeepEval 快速上手：10分钟搭一套完整的 LLM 评估流水线

相关推荐

硬件涨价下数仓省钱新思路：GBase 8a云数仓的MPP架构与降本实践

tiny11builder 实测：Windows 11 精简后游戏帧率提升 12.6%，安装镜像直接减半

Python列表高频方法全解析：从append到列表推导式实战指南

更多资讯

VC++实战：基于POP3的邮件监视系统与仿360界面实现

基于蛇优化算法的三维SD-MTSP求解与MATLAB实现

C++模板双向链表实战：手写STL list

ShareX 免费截屏指南：一次按键出图，打码、长截图、自动上传都省时间

STM32Cube_FW_F1 V1.8.0固件包详解：下载安装与工程配置指南

OpenCore Legacy Patcher 手把手:3 步在老 Mac 上装最新 macOS

今日更新

在S3C2410上移植Nucleus RTOS：启动、驱动与实时性调优实战

2026年Turnitin降重降AI二合一红黑榜：能过和别碰

2026期刊投稿AI写作工具实测：6款打分谁更值得用

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？