尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
26个数据集、91%的F1:GLiFormer Large v1基准评测数据全解读
人工智能NLP大模型【免费下载链接】gliformer-large-v1项目地址https://ai.gitcode.com/hf_mirrors/knowledgator/gliformer-large-v1点击查看免费下载GLiFormer Large v1是一个 5.756 亿参数的开源多任务信息抽取模型一个 DeBERTa 编码器同时承担命名实体识别NER、文本分类、关系抽取、结构化记录抽取和文本嵌入五类任务。本文带你逐表解读它的官方基准评测数据——模型在 26 个 NER 数据集131,156 条样本、13 个分类数据集79,828 条样本、4 个关系抽取基准以及 500 条结构化抽取样本上完成验证其中结构化抽取的 JSON F1 达到91.10%。完整数据来自本仓库 README.md可直接对照原文核对。一个编码器扛下五大任务 与一个模型只干一件事的传统做法不同GLiFormer Large v1 的思路是让多个任务头共享同一个 DeBERTa 编码器推理时再动态指定任务标签和抽取模式命名实体识别推理时传入实体类型列表即可抽取如person / organization / location文本分类支持单标签也支持命名分组同时输出情感、主题等多组标签联合关系抽取实体与关系一起预测输出头-关系-尾三元组结构化抽取直接把文本变成 Python 字典支持 Pydantic 多级嵌套模式文本嵌入输出 1024 维语义向量可用于相似度计算。这个架构细节可以从模型配置文件 gliner_config.json 里印证backbone_type为deberta_2dmodel_variant为layout内置布局感知的位置编码——意味着它除了纯文本还设计为能处理 PDF 文档版式输入本仓库公布的评测结果聚焦文本任务。安装使用只需一行命令pip install gliformer -U然后调用GLiFormer.from_pretrained(knowledgator/gliformer-large-v1)加载GPU/CPU 均可推理。基准数据总览4 类任务先看记分规则不同任务使用不同的评测指标解读数据前需要先看懂记分规则任务评测规模指标平均分NER26 个数据集 / 131,156 条样本数据集平均严格实体 F150.91CrossNER 跨领域5 个领域 / 2,505 条样本领域平均严格实体 F164.35文本分类13 个数据集 / 79,828 条样本数据集平均 macro-F175.03多级结构化抽取500 条样本无顺序、边界容错的 JSON F191.10三个关键概念一次说清严格实体 F1strict F1实体的边界和类型都完全匹配才算对是 NER 领域最严格的口径数据集平均分每个数据集权重相同小数据集和大数据集同等计入平均避免大数据集拉高均分JSON F1先对齐记录再比较扁平化的 JSON 值路径不要求记录顺序一致也允许评测器做有限的边界修复——它不是严格的字符串比对。NER 基准26 个数据集完整成绩 NER 是本次评测体量最大的部分26 个数据集横跨经典基准CoNLL-2003、Ontonotes、生物医学GENIA_NER、bc5cdr、法律HarveyNER、社交媒体TweetNER7等方向按 F1 从高到低排列数据集样本数精确率召回率F1WikiNeural11,59773.9387.5380.16CrossNER_politics65070.4672.5271.48CrossNER_science54371.6368.6970.13MultiNERD10,00054.9691.9168.79CrossNER_music46567.4866.1766.82bc5cdr4,79761.9272.0566.60CoNLL 20033,45358.9672.8265.16CrossNER_literature41663.1160.1061.57Broad Tweet Corpus2,00055.5570.9962.33CrossNER_AI43151.6951.8351.76mit-movie2,44263.1052.9857.60WikiANN en10,00054.8557.7456.26ncbi94047.6364.0554.63GENIA_NER1,85448.4257.2352.46bc2gm5,00045.4651.5348.30PolyglotNER10,00035.5270.8547.31FindVehicle20,77742.1151.2146.21TweetNER757643.4648.6245.90ACE 200481251.6729.0037.15mit-restaurant1,52038.8830.2534.03Ontonotes8,26228.2042.1833.80ACE 20051,06044.8822.4229.90AnatEM3,83026.1831.7428.70FabNER2,06427.1718.4721.99HarveyNER1,3039.9522.5413.81从这张表中能读出三条规律最好成绩在通用领域WikiNeural 以 80.16 的 F1 一骑绝尘精确率、召回率双双在线跨领域迁移是强项CrossNER 五个领域政治、科学、音乐、文学、AI平均 F1 达 64.35明显高于 26 数据集总平均 50.91说明模型对训练中较少见到的领域有较好的泛化能力垂直领域是短板法律领域的 HarveyNER 仅 13.81虚构文本的 FabNER 21.99——标签细粒度、实体分布与训练分布差异大的场景成绩会明显下滑。另外多数数据集呈现高召回、较低精确率的模式如 MultiNERD 召回 91.91、精确率 54.96实际使用时可通过调高threshold换取更高的精确率。文本分类13 个数据集macro-F1 平均 75.03分类任务覆盖情感分析、垃圾邮件识别、主题分类等常见场景按 macro-F1 排序数据集样本数准确率Macro-F1SetFit/enron_spam2,00097.9597.95mteb/financial_phrasebank1,12997.2596.77SetFit/sst21,82192.9792.97stanfordnlp/imdb25,00093.9493.93SetFit/CR37691.2290.45cornell-movie-review-data/rotten_tomatoes1,06686.6886.68SetFit/ag_news7,60082.0781.53PolyAI/banking773,08070.9770.55AmazonScience/massive2,97471.3269.98SetFit/20_newsgroups7,53257.9457.18dair-ai/emotion2,00054.7548.07MoritzLaurer/cap_sotu23,04051.7449.00SetFit/sst52,21044.3440.33规律非常清晰类别越少成绩越好——二元情感enron_spam 97.95、sst2 92.97接近饱和而类别多、粒度细的任务明显吃力sst5 五档情感 40.33、emotion 八类情绪 48.07、cap_sotu 55 类主题 49.00。两个补充细节20 Newsgroups 的预测覆盖率 97.15%其余数据集均为 100%单标签任务的 Micro-F1 与准确率相等。联合关系抽取零样本 CoNLL04 最能打 关系抽取部分使用模型自己预测的实体而非标准答案实体进行联合抽取分数会因实体错误传导而偏低这是评估该任务时的必要背景数据集标准关系数精确率召回率Micro-F1Macro-F1CoNLL04 zero-shot67738.4733.5335.8335.32FewRel50021.8626.8024.0821.40DocRED6,00329.908.1312.783.64CrossRE1,92622.768.7212.6111.72两点解读零样本设置最有参考价值CoNLL04 zero-shot 要求模型抽取训练中未见过的关系类型F1 35.83 是四项中最高若再加上端点实体类型校验typed F1得分为 34.73%DocRED 与 CrossRE 召回率偏低8% 左右且官方明确提示base 与 large 两个版本是在不同规模的子集上评测的关系分数不能视为同题比较。结构化抽取91% F1 从哪来 这是本模型最亮眼的数字500 条多级结构化抽取样本无顺序、边界容错的 JSON F1 91.10。按标准答案 JSON 的嵌套深度分桶看标准 JSON 深度JSON F13 层89.944 层95.115 层91.696 层及以上92.80几个值得注意的点嵌套越深并不掉分4 层以上各桶稳定在 91~95 区间说明多级记录组装能力比较扎实官方论文已把该评测的样本规模修正为 500早期注释中的 300 是过时的分桶计数模型支持 Pydantic 嵌套模式并可用validate_outputTrue校验输出——但官方提醒校验只保证结构符合 schema不保证事实正确模型仍可能把记录挂到错误的父节点下。如何复现这份评测数据评测入口脚本位于 GLiFormer 框架仓库的gliformer_eval模块框架为独立仓库不在本模型仓库内。以 NER 评测为例python gliformer_eval/eval_ner.py \ --model knowledgator/gliformer-large-v1 \ --data data/NER \ --datasets CrossNER_AI CrossNER_literature \ --output eval_results/nner.json每个数据集目录需包含labels.json与test.json其他任务入口eval_classification.py、eval_relex.py、eval_structuring.py参数说明可用--help查看完整复现需要对齐原始数据子集、schema 标签、阈值与解码配置。局限性与使用建议 ⚠️官方 README.md 中明确列出了使用边界选型前务必了解已发布结果只覆盖英文任务其他语言、文档版式输入、嵌入类基准的质量尚无数据支撑标签写法、schema 措辞、领域、输入长度和阈值都会影响预测结果抽取可能漏信息、选错边界或把记录挂到错误的父级固定的记录锚点数量与 span 宽度限制了抽取容量该检查点没有视觉、音频或开放关系头——纯文本与联合关系场景可用开放关系抽取open relation不可用。适合场景从英文文本中抽取带标签的实体、候选类别、关系与结构化记录以及生成文本相似度向量。模型仓库文件速查 文件说明pytorch_model.bin模型权重5.756 亿参数gliner_config.json架构与任务头配置DeBERTa 编码器、NER/分类/关系/结构化各头参数tokenizer.json、tokenizer_config.json分词器词表大小 128,008trainer_state.json训练日志共 3,000 步loss 从 0.276 降至 0.138README.md完整基准评测表与用法示例一句话总结GLiFormer Large v1 用 5.756 亿参数换来了一个模型五类任务的便利性——结构化抽取 91.10% 的 JSON F1 是它的最强项跨领域 NER 64.35 的领域均分表现稳健如果你做的是英文文本的多任务信息抽取这套基准数据可以作为选型评估的直接参考。赞分享人工智能NLP大模型【免费下载链接】gliformer-large-v1项目地址https://ai.gitcode.com/hf_mirrors/knowledgator/gliformer-large-v1点击查看免费下载相关推荐bge-m3-zeroshot-v2.0 比 bart-large-mnli 强多少28个数据集 F1 macro 基准深度解读bge m3 zeroshot v2.0 比 bart large mnli 强多少28个数据集 F1 macro 基准深度解读 本文用 F1 macro 指人工智能大模型NLP5 分钟管好 Windows 右键菜单ContextMenuManager 禁用、改名、加命令全流程5 分钟管好 Windows 右键菜单ContextMenuManager 禁用、改名、加命令全流程 右键一个文件弹出十几个菜单项一半从没用过还有几个是桌面应用Chisle 基准测试全解读26 组实测数据包括它输掉的那一局Chisle 基准测试全解读26 组实测数据包括它输掉的那一局 Chisle 是一个零依赖的开源 AI 编程代理 token 压缩插件从「简洁表达、YAG上一篇Sona牛马检测器深度体验开局前如何查看队友胜率、KDA与战力评分下一篇easy-agent完整指南免费开源的终端AI编码代理如何读代码、改文件、跑命令创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

BiliBiliToolPro 部署教程:从本地一键命令到零维护云函数,5 种方式完整指南

BiliBiliToolPro 部署教程:从本地一键命令到零维护云函数,5 种方式完整指南

BiliBiliToolPro 部署教程:从本地一键命令到零维护云函数,5 种方式完整指南 【免费下载链接】BiliBiliToolPro B 站(bilibili)自动任务工具,支持docker、青龙、k8s等多种部署方式。全面拥抱AI。敏感肌也能用。 项目地…

📅 2026/11/3 19:11:01
Whisky:免费在Mac运行Windows程序的完整指南

Whisky:免费在Mac运行Windows程序的完整指南

Whisky:免费在Mac运行Windows程序的完整指南 【免费下载链接】Whisky A modern Wine wrapper for macOS built with SwiftUI 项目地址: https://gitcode.com/gh_mirrors/wh/Whisky Whisky 是一个用 SwiftUI 写的 macOS 原生 Wine 封装器,让你不碰…

📅 2026/11/3 19:11:01
《经典机器学习实战》第 1 课:导论——是什么、简史、负责任 AI 与标准流程

《经典机器学习实战》第 1 课:导论——是什么、简史、负责任 AI 与标准流程

本文收录于专栏 《经典机器学习实战》 摘要:从规则引擎的破产到机器学习的定义,一趟走完 AI 七十年简史、负责任 AI 六原则与七步标准流程。你将看到 13 维特征让手写规则彻底失效而逻辑回归拿到 98.1%,以及一个整体准确率 85% 的模型如何对少…

📅 2026/11/3 19:06:01
MORE NEWS

更多资讯

📰

Redis在Linux下的高效部署与性能调优指南

1. Redis简介与Linux环境准备Redis作为当下最流行的开源内存数据库,凭借其超高的读写性能和丰富的数据结构支持,已经成为互联网应用中缓存、会话存储、消息队列等场景的首选方案。根据DB-Engines最新排名,Redis在键值存储领域连续多年稳居第一…

📰

中文版MPU-6000/6050寄存器映射与初始化避坑指南

简介:这份中文版MPU-6000/MPU-6050寄存器手册面向嵌入式系统、机器人及智能穿戴领域的研发工程师,聚焦IMU硬件底层配置与驱动开发中的寄存器理解难题。资源包为1个PDF文件,约1.14MB,内容围绕InvenSense两款六轴传感器的寄存器映射…

📰

Web自动化测试中联动下拉框的实战解决方案

1. 下拉选择框联动场景解析在Web自动化测试中,多级联动下拉选择框是最让测试工程师头疼的交互组件之一。这种控件常见于省市区选择、产品分类筛选等场景,特点是前一级选项会动态决定后一级的选项内容。最近在电商后台管理系统测试时,我就遇到…

📰

AI数字人口播视频生成工具:模块化智能体设计与实操指南

1. 项目概述:这不是“换脸”或“配音”,而是一套可配置、可迭代的数字人内容生产流水线“AI数字人口播视频生成工具:罗根智能体全解析”——这个标题里,“罗根智能体”不是某个具体产品名,而是我给一类高完成度、强可控…

📰

Windows平台部署OpenClaw消息聚合工具全指南

1. 项目背景与核心价值OpenClaw作为一款新兴的多平台消息聚合工具,正在技术社区引发广泛关注。它最吸引人的特性在于能够将不同IM平台(如微信、Telegram)的消息统一接入AI助手(如DeepSeek),实现智能化的消息…

📰

智能系统设计的八大核心要素与优化策略

1. 人机环境系统智能的多维要素解析 在智能系统设计与实现过程中,时间、空间、物质、能量、信息、运动、自主和它主这八大要素构成了系统运行的基础框架。这些要素相互关联、彼此制约,共同决定了系统的智能水平和运行效率。理解这些要素的相互作用机制&a…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬