尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
用AI写的草稿训练模型踩红线吗?humanizer-data 的模型条款与AI写作侧合规指南
【免费下载链接】humanizer-data项目地址https://ai.gitcode.com/hf_mirrors/jialinyyzz/humanizer-data点击查看免费下载humanizer-data是 12B AI改写模型humanizer的官方训练数据集它把英文/中文的 AI 草稿改写成像人写的文字同时保留每一个事实。数据集按训练阶段分成rewrite_sft、dpo、rl_prompts、eval_drafts四个 config每行数据都带有license许可证和tier许可层级字段。本文回答新手最关心的问题当草稿本身由 Claude、GPT、GLM 等大模型写出时拿它训练自己的模型会不会踩红线使用前应该核对哪些东西 先看懂四个 config 对应四步训练整个数据集只收录真正用于 v2 训练的行每个训练阶段一个 config详见 README.mdConfig训练阶段行数rewrite_sftSFTAI 草稿 → 人类原文28,560dpoDPO草稿 选中/拒绝的改写各一份4,124rl_promptsRL 三轮只有草稿奖励来自 LLM 评审5,299eval_drafts不参与训练仅用于评测311对应的数据文件SFT 数据rewrite_sft/redistributable.jsonl、rewrite_sft/noncommercial.jsonl、rewrite_sft/reference_only.jsonlDPO 数据dpo/redistributable.jsonlRL 提示数据rl_prompts/redistributable.jsonl评测草稿eval_drafts/test.jsonl⚖️ 三个 split 就是三档许可证先选对再用数据集最重要的设计是splits are licenses——split 名即许可证档位redistributable可再分发公有领域或开放授权的人类文本美国政府报告、CC BY、ODC-BY、Apache-2.0外加没有人类原文、由 AI 按场景提示词写出的草稿。全文可用是安全区但其中 AI 生成的行仍需注意模型条款下文详解。noncommercial非商用CC BY-NC-SA 的人类文本PERSUADE 2.0、wikiHow、OpenStax。全文可用但非商用 相同方式共享。如果你的产品要商业化这一档要格外小心。reference_only仅参考来源许可证不允许转传文本所以这些行不含正文只有来源数据集、记录 ID/URL以及训练时所用文本的 SHA-256 和长度草稿也被隐去它离原文太近。如需自行重建官方提供了脚本 scripts/rebuild_reference_only.pypip install datasets requests pyarrow huggingface_hub python scripts/rebuild_reference_only.py --config rewrite_sft --out rebuilt_sft.jsonl⚠️ 重建拿到的是上游完整记录训练用的往往只是整理过的摘录两边文本可能有细微差异且必须继续遵守各来源的许可证。 核心问题AI 草稿训练模型会踩哪些红线这是本数据集最需要合规意识的部分。draft字段草稿侧由多个大模型生成具体模型记录在draft_model列中DPO 侧的改写来自 humanizer 早期检查点由 GLM-5.3 或 GPT-5.6 Luna 担任评审。主要风险点在于各家平台的模型条款提供方草稿生成模型条款要点AnthropicClaude Opus / Claude Sonnet输出不得用于训练竞争性模型OpenAIGPT-5.6 Luna输出不得用于训练竞争性模型智谱GLM-5.3中国大陆平台输出完全不得用于训练其他模型—Muse Spark 等逐条以license列为准README 中的原话是You are responsible for complying with them——合规责任在使用者。也就是说数据集把每行的许可证如实标出但用与不用、怎么合规由你自己判断。✅ 新手合规自查清单4 步看tier列定大方向A 可再分发B 非商用C 仅参考看license列定细节redistributable中 AI 草稿行的许可证写的是AI-generated draft; see model terms使用前请再核对对应模型平台的最新条款想彻底避开模型条款风险只使用纯人类文本行做研究或只用reference_only的元数据做统计分析区分用途noncommercial档用于商业产品前务必确认你的场景符合非商用 相同方式共享约束。 数据从哪来主要来源一览人类文本覆盖了报告、邮件、书评、论坛等多类语料代表性来源如下完整 40 来源清单见 README.md 的 Sources 表格来源许可证档位CRS 国会研究报告公有领域美联邦政府作品A · redistributableeLife 同行评审CC BY 4.0A · redistributableNTSB 航空事故叙事公有领域A · redistributableApache 基金会董事会纪要Apache-2.0A · redistributableProject Gutenberg公有领域A · redistributablePERSUADE 2.0 / wikiHow / OpenStaxCC BY-NC-SAB · noncommercialPubMed 摘要、python-dev 邮件、知乎回答、Enron 邮件、HN 评论等版权未授予转传C · reference_only隐私说明所有文本字段在发布前都经过扫描——提及项目作者的行已全量删除含邮箱、电话或证件号的行已从带正文的两个 split 中移除。部分开放授权来源如美国政府报告、Apache 纪要中出现的公众人物姓名与原文一致。 快速开始3 行代码加载数据集from datasets import load_dataset sft load_dataset(jialinyyzz/humanizer-data, rewrite_sft, splitredistributable) print(sft[0][draft][:300], \n---\n, sft[0][original][:300])in rewrite_sft和dpo中split字段为train或validation——validation 行仅用于测量 loss 挑选检查点不需要重复训练。 eval_drafts只用于评测的 311 条草稿eval_drafts/test.jsonl 里的 311 条草稿全部由模型从零撰写GLM-5.3 107 条、GPT-5.6 Luna 104 条、Claude Sonnet 100 条用来复现模型卡中的评测效果不参与任何训练。如果你想做效果对比这是现成的测试集。⚠️ 局限与提醒多数人类文本是 reference-only重建依赖上游来源持续在线重建结果可能与训练时略有出入评审者是 LLM偏严时会误标无害改写也可能漏掉一些错误全程未使用任何 AI 检测器SFT 侧文体偏正式摘要、报告、邮件。 如何引用misc{humanizer2026data, title {humanizer-data: training data for the humanizer rewriting model (v2)}, author {Stephen Yu}, year {2026} }同时请引用你实际使用的上游数据集——这正是这份数据集逐行标许可证设计想鼓励的做法。赞分享【免费下载链接】humanizer-data项目地址https://ai.gitcode.com/hf_mirrors/jialinyyzz/humanizer-data点击查看免费下载相关推荐构建本地AI文稿人性化流水线用humanizer-12b-OptiQ-4bit批量改写草稿构建本地AI文稿人性化流水线用humanizer 12b OptiQ 4bit批量改写草稿 humanizer 12b OptiQ 4bit 是一个专为 Aphumanizer-data 项目全解析揭秘 12B 去AI味改写模型背后的 SFTDPORL 训练数据全景humanizer data 项目全解析揭秘 12B 去AI味改写模型背后的 SFTDPORL 训练数据全景 humanizer data 是 humanhumanizer-data 快速上手:5分钟加载4万条去AI味改写训练数据的新手指南humanizer data 快速上手:5分钟加载4万条去AI味改写训练数据的新手指南 humanizer data 是一套专为「去 AI 味」改写模型hum创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

拆解Hy-Memory-30B-A3B架构:128专家MoE、3B激活参数与256K长上下文完整解析

拆解Hy-Memory-30B-A3B架构:128专家MoE、3B激活参数与256K长上下文完整解析

【免费下载链接】Hy-Memory-30B-A3B 项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy-Memory-30B-A3B 点击查看 免费下载 Hy-Memory-30B-A3B 是腾讯混元推出的紧凑型长期记忆写入模型(约 3B 激活参数),用于在 Mem0、MemOS、…

📅 2026/10/18 23:54:54
GPS北斗授时与NTP同步时钟设备:原理、部署与排障实践

GPS北斗授时与NTP同步时钟设备:原理、部署与排障实践

做了这么多年时间同步项目,最头疼的不是设备选型,而是跟用户解释“为什么一台小小的授时盒子能影响整个业务系统的正确性”。GPS北斗卫星授时系统,说白了就是一套把卫星原子钟的时间通过NTP协议分发到局域网内所有服务器的机制;而…

📅 2026/10/18 23:54:54
Hugging Face:AI开源协作的生态杠杆与模型管理实践

Hugging Face:AI开源协作的生态杠杆与模型管理实践

以前大家在 GitHub 上共享代码,现在越来越多的 AI 项目把权重、数据、训练配置和可交互 Demo 一并放到了 Hugging Face 上。我在某次复现一个开源模型时第一次真切感受到它“AI 界的 GitHub”的定位:只需要几行代码,模型权重、分词器配置和模…

📅 2026/10/18 23:54:54
MORE NEWS

更多资讯

📰

Spring Boot+Vue3多模型AI聊天系统架构设计

简介:这是一份面向计算机专业本科生与Java/前端开发者毕业设计与AI应用实践的完整项目源码,聚焦于构建支持多模型接入的现代化AI聊天系统。资源以Spring Boot 3.2 Vue 3双端架构实现,集成DeepSeek、SiliconFlow、Gemini三大主流AI模型API&am…

📰

C#工业视觉实战:OpenCvSharp+YOLOv4实时检测与ONNX GPU加速

简介:本资源是一套基于C#与OpenCvSharp实现YOLOv4目标检测的完整工程,面向具备基础C#和计算机视觉知识的开发者,解决视频流与USB摄像头实时检测落地难的问题。项目已封装为可直接运行的Windows桌面应用,支持CPU/GPU双模式推理&…

📰

Agent对话迁移协议:语义保真驱动的跨系统互通革命

1. 这不是“跨平台登录”,而是Agent生态的底层通信协议革命“太狠了!全网 Agent 对话终于能互相搬家了”——这句话刚刷出来时,我正调试一个客户定制的客服Agent系统,手边还开着三个不同厂商的开发文档。第一反应不是兴奋&#xf…

📰

Spring AI Alibaba 架构拆解:从 Spring AI 到生产级大模型应用

1. 从一次技术选型的纠结说起去年底我在做一个企业级智能问答系统的技术预研,需求很明确:后端是 Spring Boot 体系,要接入大模型能力,同时未来可能切换不同的模型供应商,还要支持 RAG、工具调用、多轮对话这些常见能力…

📰

随机森林预测电池RUL:小样本高噪声下的可解释性方案

简介:本资源是一套基于Python随机森林算法的锂离子电池剩余寿命(RUL)预测完整实践方案,面向机器学习入门者与电池健康管理方向的课程设计、毕设及工程实训学习者。项目涵盖数据驱动建模全流程:从Excel中批量提取CS2系列…

📰

基于SpringBoot的学习路径智能推荐系统毕设源码(源码+lw+部署文档+讲解等)

博主介绍:✌ 专注于VUE,小程序,安卓,Java,python,物联网专业,有18年开发经验,长年从事毕业指导,项目实战✌选取一个适合的毕业设计题目很重要。✌关注✌私信我✌具体的问题,我会尽力帮助你。一、…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬