尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
为什么Unlimited-OCR-2能一次解析整本书?揭秘SR-SWA无限视野技术原理
人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载Unlimited-OCR-2是百度开源的超长文档 OCR 模型它的核心卖点是SR-SWASparse Reference Sliding Window Attention稀疏参考滑动窗口注意力技术——让模型在一次请求里完成整本书的无限视野解析同时显存占用和单步解码延迟几乎不随文档变长而增长。这篇文章用通俗语言讲清楚SR-SWA 是怎么做到的、为什么显存不会爆、以及你如何快速上手体验。 它解决了什么难题超长文档解析的三座大山传统 OCR 与视觉语言模型解析文档时页数越多越吃力注意力开销平方增长注意力机制中每个 token 都要与前面的 token 交互复杂度是 O(n²)。一本几百页的书直接让计算量爆炸KV cache 吃爆显存已生成内容的 Key/Value 必须全部保存在显存里占用随文档长度线性上涨长文档轻松让 80GB 卡 OOM切分处理丢上下文常见做法是按页切分、逐页解析再拼接但跨页表格、公式引用很容易在边界处被拦腰截断。Unlimited-OCR-2 的目标就是把这三座山一次推平整份文档一次解析计算与显存却保持近似恒定。 SR-SWA 核心原理把超长序列压成固定大小的工作参考集用一句话说清 SR-SWA将超长序列中的文本-视觉注意力交互压缩到一个固定大小的工作参考集例如 512 个 token上从而给计算复杂度加上一个天花板。它的名字可以拆成三部分每一部分都对应代码里真实存在的模块组件作用代码位置Sparse稀疏不读全部 token只读路由器挑出的少数重要参考块dash_attention.pyDASH 可微路由器Reference参考把各页视觉 token 组织成可跨页引用的参考单元用 2D 位置页号、页内位置区分config.json 中page2d配置Sliding Window滑动窗口用环形缓冲保留最近的窗口循环覆写缓存不再随文档变长_sparse_base_impl.py三者合起来的效果是无论是 10 页还是 1000 页模型每一步解码都只看固定大小的局部窗口 固定数量的远程参考块单步计算量基本不变——这就是无限视野Unlimited-Horizon的真正来源。稀疏路由模型怎么知道该读哪一块从几万 token 中只读最重要的块本质上是个检索问题。Unlimited-OCR-2 用DASH 路由器Differentiable and Adaptive Sparse Hierarchical attention见 dash_attention.py解决它流程分四步分块把整个序列按 32 个 token 切成块config.json 中sparse_block_size: 32打分用一套轻量低维索引投影为每个块算出与当前 query 的相关度得分成本极低可微选择用1.5-entmax分布选出最重要的 top-k 个块。与硬 top-k 不同entmax 端到端可微——梯度可以直接从最终的文字生成损失流回路由器不需要两阶段 KL 蒸馏的繁琐训练流程偏置融合路由器对每个块的置信度以对数偏置注入注意力得分一次同时决定选哪些块、每个块占多大权重。推理时每个注意力层的每个 query 大约只读取 16 个块config.json 中sparse_topk_blocks: 1616 × 32 512 个 token 的远程参考——这正是官方描述里512 工作参考的数字来源。环形缓冲显存恒定是怎么做到的滑动窗口部分由环形缓冲ring buffer实现见SlidingWindowLlamaAttention及其解码路径KV 缓存只需预留前缀 一个窗口的容量进入稳态后新生成的 token原地覆写最旧的槽位写指针循环前进。效果非常直观文档想多长就多长缓存显存却始终只占一小段窗口的大小。这正是 SR-SWA 宣称每步解码延迟和显存占用近乎恒定的硬件层保障。2D 位置编码记住第几页、第几行超长序列如果只用一维位置编号模型很容易分不清第 3 页的公式和第 33 页的公式。Unlimited-OCR-2 为此采用page2d 双轴旋转位置编码config.json 中sparse_rope_mode: page2d实现在 _sparse_base_impl.pytoken 轴页内偏移负责页内的先后顺序page 轴页号page_mod: 2负责页与页之间的层级区分。两轴各司其职模型天然理解这段话在文档的哪一页这是上百页文档解析不出错的关键细节之一。 效果实测两类基准双双达到 SOTA得益于 SR-SWAUnlimited-OCR-2 在两类难度梯度上均取得最先进水平SOTAMPDocBench数十页级通用长文档解析竞技场MarathonDocBench上百页级随模型同步发布的马拉松基准专测极限超长解析能力。官方 README 中还演示了一次请求解析整本《哈利·波特》的完整回放——输出流贯穿全书、跨页连贯这正是无限视野最直观的证明。 快速上手体验 Unlimited-OCR-2 的三种方式方式一Transformers 快速验证新手首选pip install torch2.13.0 torchvision pillow transformers4.52.1 \ huggingface-hub0.36.0 tokenizers0.21.4 addict2.4.0 einops0.8.2 easydict1.13多页文档用infer_multi一次解析入口见 modeling_unlimitedocr.py按页序传入图片模型自动构建多页提示词每页输出一个PAGE块model_name baidu/Unlimited-OCR-2 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, torch_dtypetorch.bfloat16).eval().cuda() pages [fyour_doc/page_{i}.jpg for i in range(1, 8)] text, num_tokens model.infer_multi(tokenizer, image_filespages, output_pathoutput/multi, save_resultsTrue)方式二SGLang 服务化部署生产推荐仓库内置定制版 SGLang wheelwheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl。核心步骤详见 README.mduv pip install wheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl \ pymupdf1.27.2.2 fastokens0.3.2 python -m sglang.launch_server --model-path baidu/Unlimited-OCR-2 --port 10000超长文档最关键的几个环境变量SGLANG_UOCR_EANABLE_DOC_LIMIT1开启页窗口调度超长文档按窗口逐段推进并复用上一个窗口的 KV 尾部避免重复计算SGLANG_UOCR_DOC_BASE_PAGE_WINDOW10每个窗口的页数。窗口越小峰值显存越低但过小会削弱跨页元素合并能力SGLANG_UOCR_MAX_PAGE_TOKENS20000单页输出上限防止异常长页拖垮全局预算。方式三按场景选择编码模式模式适用场景行为特点base全局视图多页文档每页编码为一个整体视图保留跨页上下文gundam动态切块单页高分辨率动态切成小块再解析细节还原更精细通过推理入口的crop_mode参数或 API 请求中的images_config: {crop_mode: true/false}即可切换。❓ 常见问题Q1512 个参考 token凭什么够用因为远程参考是局部窗口的补充窗口负责眼前内容稀疏参考只需跨页取回真正相关的少数图像块表格、公式、页眉。DASH 路由器正是通过端到端训练学会这种抓重点的能力。Q2需要什么硬件官方验证环境为NVIDIA A800-80GB Python 3.10SGLang 部署时建议--mem-fraction-static 0.7为并发请求预留显存余量。Q3模型整体长什么样底座是一个 12 层 MoE 语言模型64 个路由专家 2 个共享专家见 configuration_deepseek_v2.py视觉端由 SAM ViT-B CLIP-L 双编码器加 MLP 投影器组成见 deepencoder.pySR-SWA 则是 Unlimited-OCR-2 在上一代基础上实现从长视野到无限视野的关键升级。 参考资料项目说明与完整推理指南README.md技术报告Unlimited-OCR-2.pdf稀疏注意力配置块大小、top-k、page2d RoPE 等config.jsonDASH 可微稀疏路由器dash_attention.py滑窗/环形缓冲注意力实现_sparse_base_impl.py推理入口infer/infer_multimodeling_unlimitedocr.pyTriton 稀疏 gather 加速内核sparse_gather_triton.py、sparse_gather_e2e_triton.py赞分享人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载相关推荐Unlimited-OCR-2-6bit为什么霸榜文档OCRUnlimited-OCR-2系列评测与榜单解读Unlimited OCR 2 6bit为什么霸榜文档OCRUnlimited OCR 2系列评测与榜单解读 Unlimited OCR 2 6bit 是百度人工智能多模态计算机视觉OCR模型量化本地部署为什么 Mono-InternVL-2B-S1-2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘为什么 Mono InternVL 2B S1 2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘 Mono InternVL 2B S1 2 是一款为什么Unlimited-OCR-2-6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理为什么Unlimited OCR 2 6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理 Unlimited OCR 2 6bit 是百度 Unlimi人工智能多模态计算机视觉OCR模型量化本地部署上一篇免费开源可商用nanobanana-trending-prompts的CC BY 4.0许可、贡献流程与Discord社区指南下一篇【吐血整理】Parallels Desktop 19 for Mac 永久升级密钥 免费创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

SR-SWA无限视野解析原理:Unlimited-OCR-2如何让千页文档显存保持恒定

SR-SWA无限视野解析原理:Unlimited-OCR-2如何让千页文档显存保持恒定

人工智能计算机视觉OCR多模态大模型 【免费下载链接】Unlimited-OCR-2 项目地址: https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2 点击查看 免费下载 Unlimited-OCR-2 是百度开源的长文档 OCR 模型,它用一套名为 SR-SWA(Sparse R…

📅 2026/11/3 10:41:57
转引与二次引用:标注层级的三条判据,一条引文该落到哪一层

转引与二次引用:标注层级的三条判据,一条引文该落到哪一层

引一条自己没读过的文献,注脚里署原作者,还是署那本转手引用的著作?开题、预答辩、期刊审稿意见里这个问题被反复追问,回答却常停在「注明转引即可」。下面把标注拆成三个层级,给出三条可逐条套用的判据,再…

📅 2026/11/3 10:41:57
把一段文案变成数字人讲解视频:我开源了一个完整的数字人内容管理平台

把一段文案变成数字人讲解视频:我开源了一个完整的数字人内容管理平台

科普讲解、展厅宣讲、课程口播——这类内容最耗时间的不是创意,而是「写稿 录制 剪辑」的重复劳动。这个项目把这条链路做成了一个可运行的系统:写稿、审核、选形象、生成视频、沉淀问答,全在一个平台里完成。这是做什么的?简单…

📅 2026/11/3 10:36:50
MORE NEWS

更多资讯

📰

智能路面监测系统架构与关键技术解析

1. 路面状况监测系统概述在交通基础设施管理中,路面状况监测系统正逐渐成为道路养护部门的"数字眼睛"。这套系统通过分布在关键路段的监测站点,实时采集路面温度、湿度、积水深度、结冰状态等关键参数,为冬季除雪、雨季防汛等养护决…

📰

WeKnora 实战:知识图谱增强 RAG 的部署、调参与跨库问答

最近在折腾私有化知识库,圈子里讨论最多的除了 RAGFlow 和 Dify,就是腾讯微信团队开源的 WeKnora。我大概花了一个周末把它部署到一台低配服务器上,又把平时积累的一批技术文档喂了进去,实际测了一圈跨知识库问答。今天这篇就完整…

📰

AI赋能教育研究:从数据到叙事的智能工具

1. 项目概述:当教育研究遇上AI数据叙事 去年帮一位教育学教授处理调研数据时,我亲眼目睹了学术圈的数据困境——他们团队耗时三个月收集的2.7万份问卷,最终在论文里只浓缩成三张干巴巴的统计表格。这促使我开发了"书匠策AI"&#x…

📰

MAX13487E自动方向控制省隔离通道设计避坑

简介:这份 MAX13487EESA 数据手册面向从事 RS-485/RS-422 半双工通信设计的硬件工程师与嵌入式开发者,用于快速查阅 MAX13487E/MAX13488E 收发器的电气规格、引脚定义和典型应用电路。资源包内含 1 个 PDF 文件,约 271KB,为原厂英…

📰

x86-64与ARM函数调用寄存器规则详解

1. 函数调用寄存器规则概述 在编程语言底层实现中,函数调用寄存器规则是编译器设计和汇编优化的核心机制之一。这个规则定义了在函数调用过程中,哪些寄存器用于参数传递、哪些用于返回值存储、哪些需要由调用者或被调用者保存。理解这些规则对于编写高性…

📰

开发大字号文字处理工具MaxText的技术实践

1. 项目背景与核心需求最近在整理电脑上的文档时,突然意识到一个有趣的现象:市面上绝大多数文字处理软件的默认字号设置都偏小。作为一个经常需要长时间阅读和编辑文档的用户,我发现自己总是需要手动调整字号到20pt甚至更大才能获得舒适的阅读…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬