5分钟上手Evidently数据质量检测：缺失值、重复值、异常值一份报告全查出-北京尧图网络

5分钟上手Evidently数据质量检测缺失值、重复值、异常值一份报告全查出【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently模型精度一夜掉了8个点你首先怀疑数据但表里四五十列不知道先看哪一列。Evidently 是一个面向 ML/LLM 系统的开源评估与监控框架把一张数据表交给它几十秒内输出一份 HTML 报告标出哪些列有缺失、哪些行在重复、哪些值超出合理范围并直接给出 pass/fail 结论。3分钟装好并跑出一份质量报告先克隆仓库安装最小依赖git clone https://gitcode.com/GitHub_Trending/ev/evidently cd evidently pip install -r requirements.min.txt接着4行代码生成第一份报告。假设手头是用户表先看重复行和 age 列的缺失from evidently import Report from evidently.metrics import DuplicatedRowCount, MissingValueCount report Report([DuplicatedRowCount(), MissingValueCount(columnage)]) report.run(current_datadf).save_html(quality.html)浏览器打开 quality.html每个指标一行数值、状态、失败原因一目了然。下面按要排查什么来挑指标。先找数据里的坑缺失、重复、异常三类怎么查缺失值两个粒度可选。单列用MissingValueCount(columnage)同时返回缺失个数和缺失比例该列只要有一个空值就判 fail整表用DatasetMissingValueCount汇总总缺失再配EmptyRowsCount、EmptyColumnsCount数整行为空/整列为空——后者通常意味着上游管道把某列写坏了光看缺失率发现不了。实现在 src/evidently/metrics/column_statistics.py 和 src/evidently/metrics/dataset_statistics.py。给个参照一个数值列哪怕只有 1% 缺失如果填充策略是补 0列均值直接下移约 1%这类漂移肉眼看分布图根本察觉不到。重复行、重复列一眼找出来DuplicatedRowCount数完全相同的行非 0 即 failDuplicatedColumnsCount数完全相同的列。更隐蔽的是另外两个AlmostDuplicatedColumnsCount按 epsilon 容差找几乎一样的列抓的是引入共线性的冗余特征AlmostConstantColumnsCount找出 95% 取值相同的列抓的是已经停更、形同死数据的字段。异常值与超范围值怎么检先看分布对指定列输出MinValue、MeanValue、MaxValue、MedianValue、StdValue、QuantileValue(quantile0.99)每个指标自带一张分布图离群点在直方图尾部很明显。如果知道列的合理区间直接用OutRangeValueCount(columnage, left0, right120)返回超范围值的个数和占比InRangeValueCount是它的反向计数。想检测整列分布变了而不只是个别值过大用ValueDrift并传入 reference 数据drift score 由 PSI、Wasserstein 距离等统计检验自动判定是否越界。报告怎么看HTML 报告与 Grafana 仪表板save_html生成的报告按卡片排列每张卡是当前值参考值测试状态红色代表越界。重点不是单次数字而是 current 与 reference 的差异——缺失类指标的默认测试是与参考集持平±10%今天缺 2000 行昨天缺 50 行就会判 fail逼你盯相对变化而不是绝对值。想持续监控而不是跑一次仓库自带现成示例examples/grafana/grafana_data_drift_dashboard/ 用 docker-compose 起 PostgreSQL Grafana脚本每 10 秒采一批数据、把指标写入库仪表板展示趋势。看盘时盯两点曲线拐点是否和发布、换数据源的时间对得上current 与 reference 的差距是否逐日扩大。进阶自己写检测规则入口是 src/evidently/legacy/metrics/custom_metric.py 里的CustomValueMetric传入一个接收输入数据、返回 float 的函数它就以数字卡片形式出现在报告里。比如金额为负的记录占比一行就能写return (df[amount] 0).mean()。两个容易踩的坑部分指标没有 reference 跑不出结果。ValueDrift缺 reference 直接抛异常其他指标带 reference 的默认测试会被静默跳过你会误以为这次怎么没有失败项。列类型是从数据推断的。同一列这批全是数字推成 numeric、下批混进字符串就变 text可用指标集合随之变化把列类型固定在数据定义里跨批次行为才一致。收尾适用场景两类新表进训练前做一次全量体检线上指标漂移时拿 current 对比 reference 快速定位是哪列变了。想深入的话翻一遍 src/evidently/metrics/ 看每个指标的计算方式和默认阈值再配合 Grafana 示例搭成持续运行的监控即可。【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

5分钟上手Evidently数据质量检测：缺失值、重复值、异常值一份报告全查出

相关推荐

spaceship-prompt 通用工具函数完全指南：Zsh 提示符 Section 开发者的 API 手册

Apollo Client SchemaLink 全解析：在本地 GraphQL Schema 上执行查询，实现 SSR 与数据 Mocking

2025年技术团队必备：开源AI网关统一管理多模型调用实战

更多资讯

用PyTorch从零实现HAN：彻底看穿注意力机制

AutoCut 批量剪辑视频完整指南：把 100 个视频变成一次脚本运行

LIO-SAM跑通KITTI全流程：数据转换、编译避坑到EVO轨迹评估

BoxMOT 多目标追踪上手指南：从安装到追踪器选型

4步跑通LeRobot：从录制数据到真机部署机器人策略

Ray Tune 同步配置（SyncConfig）完全指南：实验状态、Checkpoint 与 Artifact 的持久化同步

今日更新

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？