尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
sumeval快速上手教程:3分钟从安装到出分,只需3行代码算出ROUGE/BLEU得分
sumeval快速上手教程3分钟从安装到出分只需3行代码算出ROUGE/BLEU得分【免费下载链接】sumevalWell tested Multi-language evaluation framework for text summarization.项目地址: https://gitcode.com/gh_mirrors/su/sumevalsumeval 是一个纯 Python 编写、经过充分测试的多语言文本摘要评估框架3 行代码即可算出 ROUGE-1/2/L/BE 与 BLEU 得分还内置命令行工具无需写代码一键出分。本教程带你 3 分钟完成从安装到第一次出分的全过程。为什么选择 sumeval 做文本摘要评估做摘要模型、翻译、机器生成文本时总需要一个客观指标来衡量生成的摘要和参考摘要到底有多像。sumeval 正好解决这件事核心卖点✅分数可信ROUGE 分数与原版 Perl 脚本ROUGE-1.5.5.pl对齐测试过BLEU 由 SacréBLEU 计算与 WMT 官方脚本 mteval-v13a.pl 结果一致多语言支持内置英文、中文、日文其他语言可通过语言类轻松扩展纯 Python 实现pip一条命令装好无 C 扩展烦恼安装 sumeval1 条 pip 命令搞定确保 Python 版本为 3.6 及以上然后执行pip install sumeval安装完成后会自动注册sumeval命令命令行入口定义在sumeval/cli/sum_eval.py。核心依赖plac和sacrebleu会一并装好基础功能零配置可用。3 行代码算出 ROUGE 得分创建一段 Python 脚本完整示例见仓库根目录的demo.pyfrom sumeval.metrics.rouge import RougeCalculator rouge RougeCalculator(stopwordsTrue, langen) score rouge.rouge_1(I went to Mars., I went to Mars.)RougeCalculator提供 4 种计算方式按需调用方法含义适用场景rouge_n(n1/2)ROUGE-N 词重叠最常用的快速指标rouge_lROUGE-L 最长公共子序列衡量语序一致性rouge_beROUGE-BE 依存句法更贴近语义需额外依赖其中stopwordsTrue表示过滤停用词lang指定语言en/zh/ja。3 行代码算出 BLEU 得分BLEU 适合翻译、摘要等与参考文本对比的场景from sumeval.metrics.bleu import BLEUCalculator bleu BLEUCalculator() score bleu.bleu(I am waiting on the beach, He is walking on the beach)评估日文时只需把参数改成BLEUCalculator(langja)。实现代码位于sumeval/metrics/bleu.py。不写代码出分sumeval 命令行工具只想快速验证一两句话直接敲命令r-nlb表示一次算出 ROUGE-N、L、BEsumeval r-nlb Im living New York its my home town so awesome My home town is awesome输出为标准 JSON包含参数回显、逐条scores和平均averages本例 ROUGE-1 ≈ 0.75、ROUGE-2 ≈ 0.67。常用技巧第一个参数是生成的摘要后面 1~N 个参数是参考摘要加-f可改为从文件逐行读取摘要文件 若干参考文件适合批量评估-la指定语言-in保留停用词-st开启词干化完整参数用sumeval -h查看中文 / 日文评估依赖速查表 不同语言使用各自的切词工具按需安装即可场景额外依赖英文 ROUGE / BLEU无开箱即用英文 ROUGE-BEspaCy中文langzhjiebaROUGE-BE 需再加pyhanlp日文langjajanome或MeCabROUGE-BE 需再加GiNZA各语言的停用词、词干表等静态数据都放在sumeval/metrics/lang/data/目录下如zh/stop_words.txt切词逻辑统一由sumeval/metrics/lang/中的语言类管理。分数准不准看测试就知道sumeval 自带完整的测试用例tests/目录用两套独立实现交叉验证ROUGE 分数对比原版 Perl 脚本 pythonrougeBLEU 对比 SacréBLEU。测试数据如 tests/data/ROUGE-test.json 均附期望值改动实现后可随时回归这对做科研评估的读者来说是一个重要保障。快速参考常用文件路径路径说明sumeval/metrics/rouge.pyROUGE 计算器核心实现sumeval/metrics/bleu.pyBLEU 计算器核心实现sumeval/metrics/lang/英/中/日切词与语言处理sumeval/cli/sum_eval.py命令行入口demo.py可直接运行的完整示例requirements-test.txt运行测试所需依赖装好、跑通、出分——现在就可以把 sumeval 接进你的摘要评估流程了 【免费下载链接】sumevalWell tested Multi-language evaluation framework for text summarization.项目地址: https://gitcode.com/gh_mirrors/su/sumeval创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

完整指南:KeqingNiuza 原神祈愿记录分析与五星保底预测的实战拆解

完整指南:KeqingNiuza 原神祈愿记录分析与五星保底预测的实战拆解

完整指南:KeqingNiuza 原神祈愿记录分析与五星保底预测的实战拆解 【免费下载链接】KeqingNiuza 刻记牛杂店 项目地址: https://gitcode.com/gh_mirrors/ke/KeqingNiuza 刚抽完五星,却发现游戏只保留 6 个月的祈愿记录,前几次五星到底…

📅 2026/11/8 8:34:32
如何用Simple 2D处理键盘输入?S2D_OnKey事件监听与S2D_KeyIs按键判断实战指南

如何用Simple 2D处理键盘输入?S2D_OnKey事件监听与S2D_KeyIs按键判断实战指南

如何用Simple 2D处理键盘输入?S2D_OnKey事件监听与S2D_KeyIs按键判断实战指南 【免费下载链接】simple2d :video_game: Simple, open-source 2D graphics for everyone 项目地址: https://gitcode.com/gh_mirrors/si/simple2d Simple 2D(simple2d…

📅 2026/11/9 18:33:36
智能体进化评估新范式:从静态指标到动态能力成长

智能体进化评估新范式:从静态指标到动态能力成长

1. 项目概述:重新审视智能体进化评估的深层逻辑最近和几个做AI智能体(Agent)的朋友聊天,大家普遍有个感觉:我们花在“调教”和“进化”智能体上的时间越来越多,但怎么判断一个智能体是真的“进化”了&#…

📅 2026/11/7 11:19:02
MORE NEWS

更多资讯

📰

吴忠低压电工证多少钱?学历不高也能考,真能改变收入

吴忠低压电工证多少钱?学历不高也能考,真能改变收入 你是不是也担心自己学历不高,报不了低压电工证?其实不然,我认识不少初中毕业的电工,现在拿着低压电工证,收入比以前翻了几倍。今天咱们就来聊聊【吴忠低压电工证】,多少钱能考下来,怎么报,怎么考…

📰

怎样取出电工证怎么考

电工证怎么考?南阳从业者避坑指南,含金量真不是吹的 怕考不过白交培训费?南阳有位老电工跟我讲,他当初为了考证,连着找了三家机构,结果最后只考过一家,浪费了大几千,现在还心有余悸。很多人问“怎样取出电工证”,其实不难,关键是你得知道怎么避开那…

📰

宁明电工证培训机构地址多久拿证?电工证是就业敲门砖

宁明电工证培训机构地址多久拿证?电工证是就业敲门砖 你是不是正在找电工相关的工作,但手里还没拿到电工证?别急, 宁明电工证培训机构地址 早就成了求职者关注的焦点,而 多久拿证…

📰

电工证复审的文件怎么准备?上岗必备材料全解析

电工证复审的文件怎么准备?上岗必备材料全解析 之前考的证在外省能不能转过来?这是很多在郑州金水区从事房建工程的电工朋友最关心的问题。特别是那些在外地考取电工证,现在回到郑州工作的人,担心自己的证件是否还能用,能不能顺利复审。其实,只要…

📰

低压电工证进配电室考前押题怎么搞定?工地太忙根本没时间复习考试

低压电工证进配电室考前押题怎么搞定?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,你是不是也经常这样想?每天被各种工序和任务压得喘不过气,想着抽空看看低压电工证进配电室的相关资料,结果一拖再拖,等到要考试了才发现连基础内容都没搞懂…

📰

日本换电工证在哪里换 全流程办理指南 全国通用怎么办理

日本换电工证在哪里换 全流程办理指南 全国通用怎么办理 之前考的证在外省能不能转过来?这个问题很多在外地工作的朋友都问过,特别是像我们在洛阳涧西区的中小施工企业负责人,经常因为项目跨省作业,遇到证书使用受限的麻烦。好消息是,我国的特种作业操…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬