MBPP的full与sanitized怎么选：两大代码生成基准版本深度对比-北京尧图网络

数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载MBPPMostly Basic Python Problems是评估 Python 代码生成能力的经典基准数据集内置full与sanitized两个版本。本文带你快速看懂两者的差异并给出明确的选型建议帮你一步选对 MBPP 代码生成基准版本一、MBPP 是什么为什么它很受欢迎MBPP 由 Google Research 于 2021 年随论文Program Synthesis with Large Language Models发布包含约1000 道面向初学者的 Python 编程题涵盖编程基础与标准库常用功能。每道题都包含三要素要素说明任务描述自然语言描述要实现的函数行为参考代码一个可用的 Python 解决方案自动化测试3 条assert测试用例可直接验证生成代码数据集采用CC-BY-4.0许可证体积小下载不到 250KB、门槛低是入门代码生成评测的首选基准之一。完整的 Dataset Card 见 README.md。二、full 与 sanitized 一眼看懂区别两个版本各自都有train/test/validation/prompt四个 split但样本量和字段明显不同数据来自 README.md 的 dataset_info对比维度full完整版sanitized精校版总样本数974427train374120test500257validation9043promptfew-shot 用107是否默认配置✅ 默认default: true需显式指定任务描述字段text原始众包描述prompt二轮人工重写测试字段test_setup_codechallenge_test_listtest_imports无挑战测试额外字段—source_file可溯源一句话概括sanitized 是 full 的子集——官方先完成了 full再从中挑出一部分题目进行第二轮人工校验重写了任务描述目的是解决部分题目描述不够清晰、不足以无歧义地解题的问题见 README.md 的 Known Limitations。三、字段细节对比两个版本长什么样full 版本的字段见 README.mdtask_id/text/code/test_list题目编号、任务描述、参考解、测试列表test_setup_code运行测试前需要的前置代码如导入challenge_test_list更棘手的附加测试用于进一步探测解的健壮性sanitized 版本的字段见 README.mdsource_file/task_id/prompt/code/test_imports/test_list没有challenge_test_list测试导入统一放在test_imports中举个例子full 中 task_id1 的题目是求给定代价矩阵中从 (0,0) 到 (m,n) 的最小代价路径而 sanitized 中 task_id2 的题目描述为找出两个列表的公共元素——后者这类描述更清晰、无歧义示例数据见 README.md。四、获取与加载两种上手方式方式一通过 Hugging Face Datasets 加载推荐加载 fullload_dataset(mbpp)—— full 是默认配置不传配置名即可加载 sanitizedload_dataset(mbpp, sanitized)方式二克隆本地仓库git clone https://gitcode.com/hf_mirrors/google-research-datasets/mbpp仓库内每个版本各 4 个 split 文件例如 full/train-00000-of-00001.parquet、full/test-00000-of-00001.parquet、sanitized/test-00000-of-00001.parquet 与 sanitized/validation-00000-of-00001.parquet按split-00000-of-00001.parquet的规则命名。⚠️ 安全提示官方明确建议在沙箱/安全环境中执行被测模型生成的 Python 代码因为生成代码可能包含有害操作见 README.md。五、选型指南full 还是 sanitized你的场景建议选择理由复现原论文 / 对标经典结果full原论文即基于 full结果可直接对比希望评测指标更有说服力sanitized描述经过人工重写题目无歧义分数更可信样本越多越好full974 条是 sanitized 的 2 倍多需要附加挑战测试full仅 full 带challenge_test_list做 few-shot 提示实验看需求两者都有promptsplit10 / 7 条需要数据溯源sanitized独有的source_file字段可定位来源经验法则日常快速实验、追求评测严谨性 → 选sanitized做研究复现、样本量优先 → 选full。六、常见问题FAQQ1load_dataset(mbpp)默认加载的是哪个版本Afull。它是数据集的默认配置default: true。Q2为什么 sanitized 样本只有 427 条Asanitized 不是重新出题而是对 full 中一个子集做了第二轮人工校验与描述改写因此只保留了能通过严格校验的题目。Q3两个版本能混用吗A不建议在同一次评测中混用。sanitized 是 full 的子集混合会引入重复样本影响结果可比性。总结full974 题、默认配置、含挑战测试适合复现论文与大规模评测sanitized427 题、描述精校、可溯源适合追求严谨可靠的日常评测记住一句话追求严谨选 sanitized追求规模与复现选 full✅赞分享数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载相关推荐ClawProBench 基准配置怎么选core、intelligence、coverage、native、full 五种 Profile 完全对比ClawProBench 基准配置怎么选core、intelligence、coverage、native、full 五种 Profile 完全对比 Claw80%精度提升GroundingDINO两大版本深度测评v0.1.0-alpha与v0.1.0-alpha2怎么选80%精度提升GroundingDINO两大版本深度测评v0.1.0 alpha与v0.1.0 alpha2怎么选版本对比核心结论 | 版本 | 骨干网人工智能计算机视觉深度学习多模态基础模型Q4还是Q8trellis2-gguf两档量化实测对比精度、显存与生成速度怎么选Q4还是Q8trellis2 gguf两档量化实测对比精度、显存与生成速度怎么选如果你在用 trellis2 gguf 部署图生3Dimage to 3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

MBPP的full与sanitized怎么选：两大代码生成基准版本深度对比

相关推荐

1秒对21秒：MiniCPM-OCR-1.0-gguf GPU与CPU性能实测及显存优化完整攻略

音乐制作中的8个AI工具实战指南

tsrs Node API完全参考：同步与异步API构建你自己的TypeScript工具链

更多资讯

自研Blender绑定工具OpenRig：从骨骼到控制器的完整方案

教育论文数据分析的AI解决方案与效率提升

OpenShell 完全指南：桌面增强与计算环境两条路线解析

智能问卷系统核心技术解析与应用实践

Xiuno Light轻鸿v3.3主题：安装避坑与CSS变量定制指南

艾宾浩斯记忆算法的二进制落地：.dat文件驱动的查词复习系统

今日更新

AI智能体开发实战：从技术原理到商业落地

OpenShell 完全定制指南：从安装到深度配置，打造高效 Windows 开始菜单

Superpowers技能体系全解析：从Skills引入到安装的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？