UNIREC-0.1B：轻量多模态文档解析模型的架构与部署实战-北京尧图网络

我们今年在推进的多模态文档解析模型 UNIREC-0.1B最难回答的问题不是怎么把准确率再提两个点而是为什么要把规模死死卡在 0.1B。起因很简单内部积压了几年的 PDF、扫描合同、图片表格全都要结构化通用大模型方案试过一轮效果确实好但每天几万页的解析量按 token 算账成本直接劝退。UNIREC 这个名字拆开看是 Unified Recognition主打统一识别目标是用一亿出头的参数量把版面分析、文字识别、表格结构还原和基础公式识别四件事合并到一个模型里做完。这篇文章把架构取舍、数据配方、训练链路、实测数据和部署踩坑整个摊开讲适合正在做文档结构化、RAG 数据入库或者电子档案项目的朋友参考。1. 为什么是 0.1B被成本逼出来的轻量路线1.1 每天几万页的解析压力按 token 算账根本活不下去事情从一个很俗的项目开始某档案电子化合作方要求我们把积压的几百万页存量文档转成结构化数据而且业务还在每天新增几千页。所谓结构化不是单纯把文字抠出来而是每页要有版面信息——标题在哪、段落顺序是什么、哪块是表格、单元格怎么合并、公式要不要转成 LaTeX——全都要落到数据库里供检索系统和后续业务调用。我一开始走的是通用大模型 API 路线。效果确实好复杂版面也能七七八八地理解但算账那天我愣住了。假设一页平均折成 1500 个输入 token加上输出每天 5 万页就是将接近 1 亿 token。我按实际询过价的行情中位数计算单页成本大约两分到五分钱一天就是一两千块一个月下来几万元起步。这个数字对一个大模型的创新项目可能不算什么对一个要常态化跑两三年的数据治理项目来说就是一笔没法忽略的刚性支出。更麻烦的是延迟和合规。走公网 API 处理合同、票据这类内容客户那边直接摇头要求全程在内网私有化。于是问题变成了能不能有一个私有部署成本极低、单页解析延迟可控、效果在核心任务上够用的模型。0.1B 这个规模就是被这两个约束硬生生逼出来的。1.2 0.1B 到底意味着什么算力、显存与私有化的账0.1B 说得更直白一点就是参数量约 1.1 亿视觉和语言两个模块加在一起。这个规模在今天的 AI 应用里属于小得有点边缘的档位但放在文档解析这个垂直任务上恰恰踩在性价比曲线的甜点上。规模参数量INT8 量化后显存CPU 单页延迟私有化成本适合任务0.1B约 1.1 亿0.4–0.6 GB1.5–3 秒很低版面、OCR、表格、公式1B约 12 亿1.5–2 GB10 秒以上中等轻度理解解析7B约 70 亿6–8 GB基本不可用高通用问答、复杂推理我后来想明白一个道理文档解析这个场景里80% 的任务是可靠地读出来而不是聪明地想出来。读懂版面和表格结构本质上是一个模式识别加序列化的问题不需要太强的推理能力但需要非常稳定的低层感知能力。这个性质决定了 0.1B 完全有可能胜任。至于为什么不选 1B 中间档我的判断是1B 在 CPU 上依然是勉强能跑的尴尬状态显存需求也上了一个台阶而能力相比 0.1B 的提升在我们实际评测里并没有拉开质的差距。与其卡在不上不下的位置不如把 0.1B 做到极致量化后不到 1GB 显存普通工作站、甚至未来推送到一体机上跑都毫无压力。把模型当成一块专用芯片来看逻辑就通了——不要多功能只要一个功能做到可靠。2. UNIREC-0.1B 的架构骨架视觉编码器接小号解码器2.1 参数分配1.1 亿参数怎么分给视觉和语言第一版设计我犯过一个典型错误把参数都堆给语言模型视觉编码器用了一个现成的预训练权重就冻结不管了。结果训练到中期发现模型对干净印刷体识别很好一旦换字体、换排版就明显退化。根因是冻结的视觉特征与文档图像域的分布不匹配。后来调整了参数分配和训练策略才稳定下来。最终的结构很朴素轻量视觉编码器压缩投影层小号 Transformer 解码器。视觉编码器用视觉 Transformer 一类的结构patch size 16输入分辨率 1280×1280。这个分辨率对 A4 页面来说相当于每毫米不到 2 个像素够识别小五号字但又不至于让序列过长。图像切块之后大约 6400 个 patch token通过压缩投影层降采样到 1024 个视觉 token再送进语言解码器。模块参数量说明视觉编码器约 23M前 90% 训练周期冻结后期解冻最后两层压缩投影层约 4M6400 patch token 降为 1024 visual token语言解码器约 78M12 层 Transformer 解码器序列长度 4096合计约 1.05 亿即 0.1B2.2 输入端设计图像 token 化与指令前缀我选的是 decoder-only 的统一 token 序列方案没有用传统的 cross-attention 编解码结构。原因很实际文档解析任务里图像和文本天然可以展平成一个序列不需要复杂的注意力桥接decoder-only 结构在推理和后续扩展上也更简单同一个预训练底座可以做 OCR也可以做版面问答。每一页输入被拼成一段特殊的 token 序列[IMG]开头中间是 1024 个视觉 token[/IMG]收尾后面接用户的指令文本比如请把图片内容转成 Markdown保留表格与行内公式。训练目标就是预测指令后面的所有输出 token。这个设计的好处是没有任何模态对齐的额外损失坏处是视觉 token 占了序列长度的一大部分所以 1024 这个压缩数是反复试出来的压到 512 会丢版面细节压到 2048 则训练成本和显存压力都上来。有一个细节容易被忽略宽表格页面。A4 竖版没问题但财务报表经常是横向的长表。我们直接把输入分辨率改成宽度最高 1792、高度自适应等比缩放而不是硬压成正方形。另外训练数据里混了 90 度、180 度旋转的变体否则竖版票据一进系统就翻车这是上线后才补的课。2.3 输出端设计Markdown、表格与公式的统一序列化输出格式决定了后处理的复杂度和业务接入的顺畅度。UNIREC-0.1B 的输出以 Markdown 为主表格用竖线分隔公式用 LaTeX 包裹版面块之间有明确的空行和层级标记。之所以这么做是因为 Markdown 对人类可读、对下游解析也简单一套正则可以拆出文本块、表格和公式。模型还支持一个WITH_BOX的特殊模式要求输出每一行文本时带上坐标格式类似[{page},{x0},{y0},{x1},{y1}]。这个模式是为了知识库引用和高亮定位准备的——光有文字没有位置很多业务场景根本没法落地。请求请把图片内容转成 Markdown保留表格与行内公式。输出 # 采购合同节选第一条货物清单如下 | 项目 | 单价元 | 数量 | 小计 | |------|-----------|------|------| | A 型传感器 | 12.80 | 500 | 6400 | | B 型控制器 | 35.00 | 200 | 7000 | 合同金额含税合计 $x_{total} \sum_{i1}^{n} p_i q_i$付款方式...真正决定输出质量的是文本的顺序规则。我们把阅读顺序作为唯一标准而不是底层 PDF 的对象顺序。PDF 里对象顺序经常是乱的但人类阅读习惯是从左到右、从上到下。这个标准统一之后训练样本的标注就有一个明确规则推理结果对下游抽取也更友好。3. 数据工程文档解析模型的真正命门3.1 渲染式合成流水线先把数据量做上去0.1B 的模型容量有限它不需要海量数据来悟出通用能力但需要高质量数据把每个任务模式见够。真实标注太贵一张带版面框、表格结构、公式标签的页面人工标注成本在几十元到上百元不等几千张就把预算吃光了。所以我们的主力数据来自渲染式合成。思路很简单准备五百套 HTML/CSS 页面模板——合同、发票、学术论文、实验报告、病历首页、物流提单——然后用脚本往模板里填充随机但不离谱的内容再调用渲染引擎输出 PDF 或图片。这套流水线的核心优势是真值完全免费且精确。HTML 里的 DOM 结构直接映射版面真值渲染出的文本就是 OCR 真值表格标签可以直接转成 TEDS 结构公式可以从 LaTeX 源码直接还原。我算过一笔账合成 100 万页数据的机器成本大约只有人工标注 1 万页的十分之一。数据量差两个数量级这在中低规模模型上比任何结构创新都管用。而且合成数据可以精确控制类别分布缺什么样的版面类型就去写什么样的模板不存在真实数据里想要的不够多、不想要的一大堆的烦恼。3.2 噪声、损坏与跨页模拟真实扫描件的脏与乱合成数据最大的坑是太干净。如果只用完美渲染的页面训练模型一到真实扫描件上就原形毕露。所以合成流水线里必须内置一条噪声渲染链高斯噪声、运动模糊、摩尔纹、低分辨率缩放300 dpi 降到 150 dpi 甚至 72 dpi、0 到 5 度的随机旋转、透视畸变、水印叠加、污渍斑块以及最常见的扫描件阴影和装订线。这些处理不是随便加的每一样都对应一个线上翻车案例。比如摩尔纹是扫描印刷品时常出现的纹理干扰透视畸变对应手机翻拍文档的场景。我们的线上数据里手机翻拍比例不低这类图像如果不专门模拟模型在倾斜加反光的组合攻击下几乎全程崩溃。合成之外还需要真实样本兜底。我们收集了一批脱敏后的真实扫描件但只标注版面区域和段落顺序不标逐字文本——因为合成数据已经教会了模型文字长什么样真实样本的作用是让模型适应真实的纸张纹理、墨迹不均和装订阴影。这批真实样本我们控制在总量的 10% 左右多了成本扛不住少了分布差异磨不平。3.3 任务配比与课程顺序数据不是越多越好数据不是简单混合就行配比决定模型能力的最终形状。0.1B 的容量有限训练数据里某类任务比例稍微失衡其他任务的能力就会明显回退。我们最终用的配比表如下任务类别占比备注普通文字页转 Markdown35%合同、报告、说明书表格页转结构化表格25%含合并单元格、跨页表版面坐标标题/段落/图片/表格15%WITH_BOX 模式公式页转 LaTeX8%论文、数学教材手写批注混合7%盖章、批注与印刷体共存中英数字混合10%含代码片段、URL训练顺序上我们采用先易后难的课程策略先让模型见大量干净印刷体把字符识别的基本功打牢再逐步加大噪声强度最后才上手写批注和低质扫描。手写数据占比一旦超过 10%印刷体的 CER 会明显回退这个阈值是我们反复试出来的差两个百分点都能在线上看出来。4. 三阶段训练读字、读结构、读指令4.1 第一阶段让模型先把文字读准训练拆成三个阶段每一阶段的优化目标和数据分布都不同。第一阶段的目标非常单一让视觉编码器和语言解码器完成对齐把看到图像就能读出文字这个本能建立起来。训练目标就是普通的 next token prediction输入是图像 token 加一段前缀OCR:输出是对应的文本 token。损失只在文本 token 上计算图像 token 位置不参与 loss。这个阶段的训练语料是全部合成数据大约 200 万页跑 60 个 epoch 左右。学习率 3e-4cosine 衰减。我特别想强调的是阶段一里就要混入 10% 的噪声样本不能等到阶段二再加。如果阶段一只用干净数据模型的视觉特征会过度拟合理想的页面渲染效果后面加噪声数据反而会造成一定的遗忘波动。观测这个阶段是否达标我只看一个指标干净印刷体 CER 是否低于 1%同时低质量扫描 CER 是否低于 6%。两个都满足才进入阶段二。有时候 CER 虽然达标但视觉 token 的梯度传播不稳定表现为 loss 曲线在某个位置反复跳这时候我会检查视觉编码器是否被冻结得过于彻底——我们有 100 个训练步后解冻最后两层的经验值比一开始就全解冻稳定很多。4.2 第二阶段版面与表格结构的专项攻坚第二阶段在第一阶段的底座上引入版面坐标和表格结构标记。这个时候模型要同时预测两件事文本本身以及文本在页面上的位置和所属结构类别。坐标我们做了一个很取巧的处理不直接回归连续值而是把 x、y 坐标离散化到 0 到 1000 的整数桶里当成分类任务来学。这样训练更稳定不容易出现坐标预测越界或者梯度爆炸的问题推理后反归一化回像素坐标即可精度损失在 1 毫米以内对业务完全够用。表格结构用的是线性化方案先输出表格开始标记然后按行输出每个单元格合并单元格用R:1,C:2这样的标记表达行跨度。模型还需要学习一个很微妙的规则——跨页表格要在每页重复表头还要在页尾打上续表标记。这类规则光靠模型自己容易学歪我们选择把跨页表格作为单独的数据类别重点训练同时在损失函数里给结构标记 token 加上 1.2 倍的权重逼着模型把结构当成头等大事。阶段二训完后版面框 mAP 大约能到 88 左右TEDS 表格结构分在 85 上下。这时候模型已经可以做零样本的直接解析但输出格式还不够稳定偶尔会把指令当成要输出的内容这就是阶段三要解决的。4.3 第三阶段指令微调把能力收敛到业务输出第三阶段是标准的指令微调用 20 到 30 万条高质量指令数据。这个阶段的数据量不是越大越好——太多了模型会在各种指令风格之间摇摆输出格式反而变花。我们只保留了三种指令风格直接转写、带格式要求的转写、带坐标要求的转写每种风格固定一套表述模板减少不必要的多样性。训练策略上前两个阶段视觉编码器是全程冻结的第三阶段才解冻最后两层和所有 LayerNorm 参数学习率降到 1e-4。这个操作的含义是前面保证视觉特征稳定最后才允许视觉侧微调来适配指令语义。另外全连接层的权重矩阵上加了一点 0.05 的权重衰减这个小细节让输出序列在长表格上更不容易发散。# 训练配置示例截取关键项 model { vision_encoder: vit_small, # 约 23M vision_patch: 16, input_max_h: 1280, input_max_w: 1792, image_tokens: 1024, lm_backbone: decoder_only_78M, max_seq_len: 4096, } train { stage_1_lr: 3e-4, stage_1_epochs: 60, stage_2_lr: 2e-4, stage_2_epochs: 8, stage_3_lr: 1e-4, stage_3_epochs: 3, global_batch_size: 128, freeze_vision: True, unfreeze_last_layers: 2, unfreeze_norm: True, structure_token_weight: 1.2, bf16: True, }整个训练在一个单机 8 卡中端算力的节点上完成阶段一大约 4 到 5 天阶段二 2 天阶段三不到 1 天。这个训练成本换来的是一个可私有化部署的专用解析模型我觉得非常划算。5. 实测结果与翻车现场它到底行不行5.1 自建评测集上的指标印刷体是舒适区训练结束后我们建了一个 2000 页的自建评测集覆盖干净扫描印刷体、低质量扫描、密集表格、含公式论文、手写批注和手机翻拍六类。评测结果如下都是我们自己测试集上的数字给大家做个量级参考。指标数值测试条件印刷体 CER0.6%300 dpi 干净扫描低质量扫描 CER4.2%150 dpi 噪声轻微倾斜表格 TEDS86.4含合并单元格、跨页表行内公式 LaTeX 精确匹配71%简单公式不含矩阵版面框 mAP88.1标题/段落/表格/图片四类坦白讲印刷体这一项让我比较意外0.6% 的 CER 意味着每 1000 个字错 6 个已经接近商用人眼校对的标准。表格 TEDS 86.4 属于可用但不够完美简单的二维表很好但单元格嵌套多、列数超过 8 列的表会出现错列。公式是短板长公式、多行公式、矩阵结构经常被截断这个后面细说。5.2 高频失败模式长表格、手写批注与公式灾难上线后收集到的线上错误按照出现频率排了个序基本都在预料之中但有几个值得单独拿出来讲第一类是三栏或复杂图文混排。报纸、论文双栏、产品手册这种版面模型的 reading order 会乱经常把中间栏的内容读到了第三栏。原因在于合成模板里这类版面数量不够模型没有见过足够多的分栏重排正样本。后来我们专门在合成流水线里加了按栏切分再重排的数据并且推理端支持按列优先的提示词问题有明显缓解。第二类是跨页表格。模型会在每页重复表头却把下一页开头误认为是新表。修复方式是在数据里刻意制造续表场景并把页脚用特殊标记引导。但说实话跨页表格目前仍有 5% 左右的错误率属于已知边界。第三类是手写批注。红笔批注、铅笔杠改、盖章压字模型会把批注和正文混在同一行输出。我们给输出加了一个[comment]标记能区分但完全手写的页面基本不可用这个我们不做假优化。第四类是公式。行内公式还能对付独立公式一旦超过一行或者含矩阵、积分上下限就经常直接输出残缺的 LaTeX。这个问题的根源是 4096 的序列长度被版面结构 token 挤占公式部分分配到的注意力不够。5.3 使用边界什么场景别指望它怎么跟大模型配合明确说几个 UNIREC-0.1B 不适合的场景。整页手写笔记、卷宗手写档案、多层嵌套票据、非拉丁语系为主的文档——这些我们实测下来效果不稳定不建议直接上线。它也不是对话模型你问它这个合同里违约条款是什么它是答不上来的它的本职是把页面转成结构化文本。所以我们的实际用法是混合管线UNIREC 先把页面解析成带版面的 JSON然后可选地丢给一个通用大模型做摘要、抽取和问答。好处显而易见——大模型不再需要看图片只处理文本和表格token 消耗大幅下降而且文本已经按阅读顺序排好抽取的准确率比直接看原图更高。我们在一个合同抽取任务上做了对比混合管线比大模型直接看图的字段抽取 F1 高了 3 个点左右成本却降到原来的十几分之一。6. 部署落地的经验量化、延迟与工程收尾6.1 量化到 800MB一条命令的事坑在后面训练完成后导出端侧推理格式做量化。INT8 量化后整个模型 500 到 600MBINT4 可以压到 350MB 上下。但量化不白给INT8 下印刷体 CER 从 0.6% 升到 1.1%TEDS 从 86.4 降到 85.1影响不大INT4 下 CER 到 2.3%表格 TEDS 掉了 3 个点肉眼可见变差。我的建议是生产环境用 INT8除非你对资源有极端要求否则省那 200MB 不值得。量化最坑的一步是校准集。如果用随机文本或者普通段落做校准模型对表格和公式的动态范围拟合就偏了实测表格输出会多出一些奇怪的标记符号。我后来把校准集固定成包含 30% 表格页、20% 公式页的专用集合问题才消失。这个细节在模型量化文档里基本不会写属于实战经验。推理延迟方面INT8 模型在 CPU 上单页 1.5 到 2.5 秒GPU 上单页 250 到 350 毫秒batch 8 的时候每页平均能压到 80 到 120 毫秒。对于每天 5 万页的业务量一台 GPU 服务器绰绰有余。6.2 接入业务系统的完整链路接入的完整链路是PDF 先渲染成高分辨率图片按页切分预处理做对比度增强和轻微纠偏然后逐页送进模型推理输出 JSON 后经过一层后处理映射到业务字段最后入库。这层后处理非常重要模型输出的是 Markdown 加坐标业务库要的是合同编号、甲方、乙方、金额、日期这种字段中间需要一个 schema 映射层。线上运行稳定之后我加了两个工程保障。第一个是质量门控模型每页输出时会计算一个归一化的序列置信度再叠加上结构合法性规则打分低于阈值就自动转人工队列。这个门控把线上坏页率从 3% 压到了 0.5% 以下而且人工只需处理真正常见的疑难页。第二个是模板缓存同一套发票模板的版面位置是固定的缓存版面结果后只需 OCR 变化区域处理速度又能翻倍。异步队列消费端用两个 worker实测单日峰值 8 万页无积压。6.3 下一阶段想做的事后续想推进的方向有四个。一是把坐标细化到 token 级别让每个输出的文本 token 都能对应到页面上的精确位置这样知识库引用可以做更细粒度的高亮。二是支持任意角度旋转和镜像输入现在只支持 90 度的倍数手机随手拍的角度歪一点就得先校正。三是把表格结构预测改成并行回归减少目前分步预测带来的误差累积。四是把公式识别的短板补一补考虑对长公式做切片二次识别。最后说一个跟模型结构无关、但我觉得最值钱的教训0.1B 这个体量的模型优化到最后瓶颈几乎不在网络结构而在数据配比和业务样本的比例。我中间前后调过三次数据配比每一次对线上效果的提升都比换一个 backbone 明显。最典型的一次是把真实业务样本在训练数据里的比例从 3% 提到 15% 之后线上字段抽取的 F1 直接涨了将近 2 个百分点。所以如果你也在做类似的小规模专用模型我建议你先花大力气把数据配方调好再回头抠结构细节——这个顺序反了会很痛苦。

UNIREC-0.1B：轻量多模态文档解析模型的架构与部署实战

相关推荐

Agent Skills核心解析：从函数调用到能力封装的进化

API安全纵深防御体系：从鉴权到监控的完整落地方案

Oracle期末复习大纲：SQL、PL/SQL与体系结构考点全解析

更多资讯

从 20 个图标到 5 个：Ice 菜单栏管理新手完整指南

AI小说创作神器

一文读懂Llama-3.2-1B_rai_1.8.0_npu_4K文件结构：从model.onnx到40多个dd_metastate文件全解析

gvim快捷键声明wire和reg

如何免费听遍全网歌曲：LX Music 五音源聚合搜索、批量下载与定制播放完整教程

搭建机器人仿真资产库：V2D Challenge的GLB纹理网格与URDF文件完整使用指南

今日更新

电商智能运营体系从0到1：架构设计、落地步骤与避坑指南

压缩空气储能与热网热惯性联合优化调度：热电联产系统建模与求解

若依框架AI代码生成不稳定？用Agent Skill三层结构+五步法搞定

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？