markit凭什么快13.9倍？5万页“丑陋PDF“三方基准测试全记录-北京尧图网络

【免费下载链接】markit️ Convert anything to markdown. Mark it.项目地址https://gitcode.com/gh_mirrors/marki/markit点击查看免费下载markit 是一个把任何东西转成 Markdown的文档转换工具PDF、Word、PPT、网页、音频统统能转。最近项目方做了一次三方基准测试markit 对比 liteparse 和 anydoc用 5 万多页丑陋 PDF 真刀真枪地比质量、比速度。这篇文章带你完整复盘这套测试语料怎么来的、规则怎么定的、数据怎么读的以及 markit 凭什么快了 13.9 倍。先说结论三方成绩单一览指标markit 0.6.0liteparse 2.12.0anydoc 0.1.9olmOCR-bench 官方质量分45.0%38.8%31.2%丑陋PDF文本找回率155个锚点100.0%83.2%91.0%5万页转换总耗时23.2s55.4s322.2s一句话总结质量分最高、文本找回率 100%、速度还快 13.9 倍——这是同机、同规则、同语料下的端到端结果。参赛选手三个非OCRPDF转Markdown工具三个工具都是非 OCR 路线直接读取 PDF 里已经存在的文字层不跑光学字符识别、不调用任何 AI 模型。测试中三方的 OCR 全部关闭确保比的是解析引擎本身的硬实力markit 0.6.0Rust 原生引擎同时提供 CLI 和 Node SDKrust/ 目录是引擎本体rust/src/converters/pdf/ 是自研 PDF 解析模块liteparse 2.12.0llamaindex/liteparseLlamaIndex 出品的 Rust 解析器是 markit 的直接竞品anydoc 0.1.9firecrawl/anydocFirecrawl 出品的 Rust 转换工具。公平性规则写得很死见 benchmark/README.md三方都不许提取图片markit 加--no-images、liteparse 加--image-mode off每个文档1 次热身 3 次测量取中位数每份文档还要轮换出场顺序防止先后手偏差。语料揭秘5万页丑陋PDF到底是什么shitty-pdf-bench 语料是 markit 团队自制的benchmark/shitty-pdf-bench.json 用直链 URL 字节大小页数 SHA-256 哈希锁定了 40 份公开 PDF总计 602.5 MB、50,884 页。这些文件全是疑难杂症半导体芯片手册如 816 页的 ECMAScript 2024 规范、784 页的 ESP32 技术参考手册密集注册表、寄存器表格、金融大表旋转的矢量图表、双向文字RTL文档、中日韩文本老扫描件、带标签 PDF、格式损坏文件外加一个加密文件作为必然失败对照组。质量评分采用盲测锚点155 个七词片段从源 PDF 固定页面分位5%/25%/50%/75%/95%采样而来生成器只读源文件、从不读任何转换器的输出从机制上杜绝照着赢家调题。此外还有 38 条人工编写的结构化断言表格行数、关键内容存在性检查等由 benchmark/score_shitty_pdf_bench.py 自动打分。速度深潜13.9 倍是怎么算出来的在 39 份三方都能成功转换的文档上各工具单文档中位耗时和总耗时如下工具转换成功率单文档中位数总耗时换算吞吐markit39/40118.3 ms23.2s2,195 页/秒liteparse39/40736.4 ms55.4s919 页/秒anydoc37/40939.4 ms322.2s158 页/秒markit 比 liteparse 快2.4 倍、比 anydoc 快13.9 倍并且在所有 37 份三方都转得出来的文档里都是最快的。快在哪关键在架构markit 是纯 Rust 单进程实现内置自己的 PDF 解析器对象表、内容流、CMap、CCITT 图像一应俱全见 rust/src/converters/pdf/own_pdf/不需要外部依赖冷启动和执行路径都极短而对比工具要么依赖额外的运行时链路要么在处理复杂文件时性能急剧下降anydoc 的曲线在后半段几乎垂直——页数越多越慢。顺带一提图片提取在这套以文字为主的语料中只占 markit 运行时间的 8%但遇到图片密集论文如 83 张图的 GPT-3 论文会占到 97%。文本抽取结果与是否提取图片完全一致所以质量结论不受此项影响。质量不是全赢诚实的类目分官方 olmOCR-bench1,403 页、8,413 项确定性检查的分类得分更能说明问题类目markitliteparseanydoc页眉页脚76.156.150.8超长小字号文本36.223.817.2arXiv 数学公式22.40.00.0多栏排版61.266.041.6表格50.951.843.6markit 在页眉页脚、微小文字和数学公式上大幅领先但多栏阅读顺序和表格上 liteparse 仍略胜一筹——项目方如实写进了 rust/BENCHMARKS.md并把它列为下一步优化重点。旧扫描件因关闭 OCR三方得分都被压在低位这是非 OCR 路线的公共天花板。如何复现自己动手跑一遍整套测试是开源可复现的全部工具都在 benchmark/ 目录安装工具链./benchmark/setup-tools.sh安装固定版本的 liteparse / anydoc下载并校验语料python3 benchmark/setup_shitty_pdf_bench.py再用 benchmark/verify_corpus.py 核对 SHA-256生成盲测锚点并运行python3 benchmark/bench.py shitty-pdf-bench核心调度逻辑在 benchmark/bench.py打分python3 benchmark/score_shitty_pdf_bench.py benchmark/results/shitty-pdf-bench。所有版本、数据集 revision、检查器 commit 都已在 rust/BENCHMARKS.md 中钉死你复现时引用同一 commit 才能对齐数字。新手上手 markit三步开始使用npm install -g shift-labs/markit markit report.pdf -o report.md # 转换成文件 markit data.xlsx -q # 原始 Markdown 直出适合管道 markit report.pdf --json # 结构化输出方便 Agent 调用markit 还支持 ZIP 递归转换、标准输入、图片提取到目录等用法完整列表见 README.md。总结这套测试为什么值得看对使用者如果你要批量把 PDF 变成干净的 Markdown喂给 RAG、做归档、给 AI Agent 当上下文markit 目前在非 OCR 路线里质量分最高、速度最快、对烂文件最扛造。对评测方法哈希锁定语料、盲测锚点、轮换顺序、保留失败不剔除、拒绝把三套测试合成一个综合分——这套公平规则benchmark/README.md 中 7 条本身就是可抄作业的开源评测范本。数字会随版本变化结论请以你复现时的 commit 为准——这正是 markit 团队反复强调的一句话。赞分享【免费下载链接】markit️ Convert anything to markdown. Mark it.项目地址https://gitcode.com/gh_mirrors/marki/markit点击查看免费下载相关推荐Pinocchio性能基准测试为什么它比传统算法快10倍Pinocchio性能基准测试为什么它比传统算法快10倍在机器人学和动力学计算领域性能一直是开发者最关心的问题。今天我们要介绍的是Pinocchio机器人物理引擎Loro性能基准测试为什么这个CRDT库比主流方案快10倍Loro性能基准测试为什么这个CRDT库比主流方案快10倍 Loro是一个革命性的高性能CRDT框架专为本地优先应用设计。它通过创新的冲突无感知数据合并技后端FastRoute基准测试揭秘为什么它比传统PHP路由快10倍FastRoute基准测试揭秘为什么它比传统PHP路由快10倍 FastRoute是PHP领域最受欢迎的快速请求路由库它通过精心设计的算法和优化策略在处理后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

markit凭什么快13.9倍？5万页“丑陋PDF“三方基准测试全记录

相关推荐

Unibest：基于Vite和Vue3重构uni-app开发体验的现代化工程方案

Pandas读写Excel实战指南：openpyxl配置、多级表头处理与样式控制

Tesseract OCR中文识别实战：安装、语言包配置与Python集成

更多资讯

2026年FDE银行信贷审批 + 反洗钱智能体生产级落地方案：把settings改到TaoToken

Python网络舆情分析系统实战：从数据采集到情感可视化全链路

手把手编写儿童手机远程监控App之MQTT嘟宝绑定流程：TaoToken统一Key接入与联调验证

Python酒店评论情感分析：从TF-IDF到BERT的完整源码实战

从ANN.rar到可用预测模型：神经网络预测工程完整实操指南

从培训到赋能：AI落地项目的真实拆解与操作框架

今日更新

Susi AI API实战指南：susi_alexa_skill如何用Node.js调用chat.json获取智能回答

换新电脑了？KeyStats 恢复码数据找回完全指南，端到端加密统计一键重建

重建二叉树：由前序与中序遍历序列还原二叉树的原理与 Java 实现（YCBlogs 剑指 Offer 精讲）

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？