dingo 数据质量评估：给 LLM 训练数据做体检-北京尧图网络

dingo 数据质量评估给 LLM 训练数据做体检【免费下载链接】dingoDingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool项目地址: https://gitcode.com/gh_mirrors/dingo5/dingo语料里混着重复文档、乱码、身份证号模型效果就被这些脏数据悄悄拖垮人工抽检几万条文本既慢又不稳定。dingo 是一款面向文本与多媒体数据集的数据质量评估工具把规则检测与 LLM 评估组合成自动化流水线覆盖预训练、微调和评估三类数据。它能做什么文本、图像、音频都能检图片侧还覆盖文图相关性、重复图、标注框重叠等检查预训练语料、SFT 微调数据、RAG 评估数据走同一套配置框架CLI 与 SDK 双入口命令行跑批量任务SDK 嵌进自有数据平台数据源支持本地文件、Hugging Face、SQL、S3流式读取大表不用先落地它怎么工作协作关系可以拆成三步先用输入参数声明数据从哪来、要跑哪些评估器然后执行器Executor按本地或 Spark 两种模式逐条读取数据源最后每条数据分发给插件化的评估器——Rules、LLM-as-a-judge、VLM-as-a-judge、Agent 四类并行处理结果汇成质量问题报告。插件机制的价值在扩展新增一个检测项不用改主流程按评估器接口实现后注册即可内置的 30 规则和 LLM 提示词也能按业务需要增删。七个质量维度逐个看完整性正文是否截断缺失如未正常结尾的文本被RuleColonEnd拦下有效性乱码与格式残留如反爬乱字命中RuleAbnormalChar流畅性语法与阅读节奏如连续字符粘连命中RuleWordStuck相关性开头混入无关来源信息如RuleHeadWord系列按语言逐一过滤安全性敏感信息泄漏如身份证号出现在语料里会被RuleIDCard自动拦下相似性重复内容如整段复制的文档命中RuleDocRepeat可理解性可读性差如全大写单词占比过高命中RuleCapitalWords需要更细的语义判断时再叠加TEXT_QUALITY_V2、QUALITY_BAD_EFFECTIVENESS等 LLM 评估提示词即可。四类典型用法本地文本文件刚把一批网页转成 txt想先看脏数据占比。执行dingo eval --input local_plaintext.json就能出报告适合爬虫同学的日更语料巡检。Hugging Face 数据集做预训练文本数据集质量检测时在配置里把 source 设为 hugging_face、指定数据集与字段即可不用先下载到本地。JSON / JSONL 文件SFT 对话、评测集这类结构化数据用 jsonl 源接入还能按字段分别挂规则isbn 字段跑 ISBN 校验title 字段跑文本质量检查。接入 LLM 做自定义 prompt 评估规则只抓得住格式层面的问题对“是否有效、是否通顺”这类语义判断做 LLM 数据质量评估时可配置LLMTextQualityV4/V5并指向自有模型接口。谁适合用、什么时候别用正在清洗预训练或 SFT 语料、训练前想批量筛掉脏数据的算法与数据工程师是它的核心用户只想抽查一两条样本、问题又集中在单一字段时自己写脚本更快不必引入完整流水线LLM 评估按调用计费、速度受模型接口限制更适合对规则筛剩的样本做二次精判而非全量跑dingo 的思路是把数据质量检测工具做成可插拔的流水线规则负责快LLM 负责深数据源和执行器负责规模。完整指标清单见 docs/metrics.md各场景指南集中在 docs/。【免费下载链接】dingoDingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool项目地址: https://gitcode.com/gh_mirrors/dingo5/dingo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

dingo 数据质量评估：给 LLM 训练数据做体检

相关推荐

ok-ww完整指南：每晚省下25分钟日常的鸣潮自动化脚本

高斯过程完全指南：PRML项目带你秒懂非参数贝叶斯方法

ngx-scrollbar平滑滚动函数详解：scrollTo与scrollToElement精准定位技巧

更多资讯

微信社群机器人开发指南：从协议解析到企业微信实战

金融AI安全治理：从成本中心到增长引擎的转型

互联网医院解决方案：在线问诊系统与AI智慧分诊开发

蒙特卡洛方法实战CartPole：从回报设计到策略改进的完整落地

微信社群机器人开发指南：从技术选型到合规实践

多模态大模型中的System 2认知架构与工程实践

今日更新

基于YOLOv11的石油泄漏智能检测系统开发实践

AI行业变局：合规、Mod化与上下文管理的实战启示

计算机视觉与AI原生应用融合的技术实践

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？