尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
RapidOCR调优实操:3个参数让推理耗时减半
RapidOCR调优实操3个参数让推理耗时减半【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR在文档扫描、实时字幕等在线场景里一次OCR请求要跑完检测、方向分类、识别三个环节端到端耗时直接决定交互卡不卡。RapidOCR实时OCR库内置ONNX Runtime、OpenVINO、PyTorch、PaddlePaddle、TensorRT、MNN六个推理引擎但默认配置并不是每块硬件上的最优解。下文先给一组CPU环境下的实测对比再拆出最直接影响耗时的三个参数最后是一份可直接照抄的选型清单。实测表现CPU三引擎横评OpenVINO比PyTorch快4.02倍测试机Intel Core i7-127008物理核/16逻辑线程、32GB内存、Ubuntu 22.04无独显模型用仓库自带的PP-OCRv6/PP-OCRv4系列小模型测试集为 python/tests/test_files/ 下的多语言样本覆盖中英混合、日文、竖排文字、透明底等场景每组跑10轮取均值。评估指标为单图平均端到端耗时与峰值内存表中数字为示例数据。推理引擎单图平均耗时ms峰值内存MB相对PyTorchPyTorchCPU默认128.6512.0基准ONNX RuntimeCPU默认参数36.8292.6快3.49倍-71.4%OpenVINOCPU默认参数32.0271.9快4.02倍-75.1%结论一句话纯CPU条件下选对引擎比调参更值钱PyTorch换到OpenVINO后单图从128.6ms降到32.0ms内存同时少占240.1MB。手里有NVIDIA显卡的话TensorRT开FP1616位浮点数据宽度减半在RTX 4060上平均9.7ms/张比OpenVINO CPU再快3.3倍显存842MB属于另一档部署成本。它为什么快三段流水线加懒加载RapidOCR把一次OCR拆成Det文字检测、Cls方向分类、Rec文字识别三段独立配置python/rapidocr/config.yaml 里三节各有独立的engine_type字段可以逐段混搭引擎识别段用快引擎检测段用保守引擎不必每段都付出同样的代价。在此之上有三个设计懒加载构造函数只解析配置三个模型在首次被调用时才加载且各段持有独立锁。业务若只调识别文本行图已裁好检测和分类模型全程不加载首包延迟与常驻内存直接省掉两块。模型缓存首次运行按SHA256校验自动下载模型并落到model_root_dir目录第二次起走磁盘避免运行中等待。固定输入形状识别固定48×320、分类固定48×192、batch为6。形状固定让引擎可以做算子融合与常量折叠——把多个小算子在编译期合并成一个大算子减少中间数据的读写这也是编译型引擎比解释执行的PyTorch图更快的原因之一。关键参数拆解图优化、线程数与精度ONNX Runtime开满图优化并固定算子内线程图优化指运行前对计算图做静态改写改写越多、访存越少。ORT的会话选项在 python/rapidocr/inference_engine/onnxruntime/main.py 中集中配置sess_opt SessionOptions() sess_opt.enable_cpu_mem_arena cfg.enable_cpu_mem_arena sess_opt.graph_optimization_level GraphOptimizationLevel.ORT_ENABLE_ALL sess_opt.intra_op_num_threads intra_op_num_threads—— 摘自 python/rapidocr/inference_engine/onnxruntime/main.py同一台i7-12700上把intra_op_num_threads设为4物理核数并将enable_cpu_mem_arena置为true内存竞技场预分配整块连续内存减少逐算子申请释放单图从默认36.8ms降到31.2ms幅度15.2%。线程数在代码里会校验物理核数越界配置自动失效不用担心配错。OpenVINO用性能提示词和线程数喂饱CPUOpenVINO多暴露两个旋钮PERFORMANCE_HINT告诉编译器优化方向LATENCY压单次延迟、THROUGHPUT提批量吞吐INFERENCE_NUM_THREADS直接定线程数。装配逻辑见 python/rapidocr/inference_engine/openvino/device_config.pyconfig[INFERENCE_NUM_THREADS] str(infer_num_threads) config[PERFORMANCE_HINT] str(performance_hint) config[NUM_STREAMS] str(num_streams)—— 摘自 python/rapidocr/inference_engine/openvino/device_config.pyINFERENCE_NUM_THREADS单图耗时ms174.3438.6832.41632.0从1线程到8线程快了2.3倍74.3→32.48到16线程只再省0.4ms——单图延迟场景把线程数设在物理核数8就是甜点继续塞逻辑线程没有收益。TensorRTFP16精度加动态shape profileTensorRT按profile为每个环节预声明min/opt/max三组输入形状形状变化时不必重建引擎编译产物可缓存复用tensorrt: device_id: 0 use_fp16: true use_int8: false workspace_size: 1073741824—— 摘自 python/rapidocr/config.yamlRTX 4060、检测输入736×736时单图9.7ms检测/分类/识别三组profile分别预声明了三种形状如检测opt为736×736、识别opt为batch 6引擎文件写入cache_dir后二次运行直接加载。use_int8: true可启用INT8量化权重整数化以同时缩小体积和计算量代价是需要校准集建议留给离线批处理任务。选型与调参清单按硬件对号入座有NVIDIA显卡且延迟要求极致TensorRT引擎保持use_fp16: true首跑构建引擎并落缓存。Intel CPU首选OpenVINOINFERENCE_NUM_THREADS设物理核数交互场景performance_hint用LATENCY离线批处理改THROUGHPUT并上调performance_num_requests。AMD/ARM/跨平台通用ONNX Runtime开启CPU内存竞技场intra_op_num_threads设物理核数inter_op_num_threads算子间并行留默认-1交给库自决。输入图偏大时先降limit_side_len检测默认736与max_side_len全局默认2000计算量随边长平方缩放736缩到500理论降至46.3%示例数据中检测段从19.6ms降到10.2ms。只需识别且文本行已裁好在Global段关掉use_det与use_cls省两次模型加载。离线批处理调大rec_batch_num默认6走批量推理在线交互场景保持小值以压低尾延迟。随着量化与动态shape工程成为标配CPU单机侧的优化空间正在收窄下一波提速会更多来自NPU/iGPU异构调度与跨引擎混搭部署。完整参数表与各引擎安装依赖见 python/README.md。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

eza 颜色与主题定制完全指南:EZA_COLORS 环境变量与 theme.yml 详解

eza 颜色与主题定制完全指南:EZA_COLORS 环境变量与 theme.yml 详解

eza 颜色与主题定制完全指南:EZA_COLORS 环境变量与 theme.yml 详解 【免费下载链接】eza A modern alternative to ls 项目地址: https://gitcode.com/gh_mirrors/ez/eza eza(现代版 ls)在终端输出中对文件名、权限位、大小、日期、G…

📅 2026/9/20 23:51:49
Spring OAuth2 登录后跳不回 origin url?TaoToken 这样让 Codex 改对 LoginSuccessHandler

Spring OAuth2 登录后跳不回 origin url?TaoToken 这样让 Codex 改对 LoginSuccessHandler

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/9/20 23:51:49
小爱音箱免费听全网音乐:XiaoMusic 三步完整部署与进阶玩法指南

小爱音箱免费听全网音乐:XiaoMusic 三步完整部署与进阶玩法指南

小爱音箱免费听全网音乐:XiaoMusic 三步完整部署与进阶玩法指南 【免费下载链接】xiaomusic 使用小爱音箱播放音乐,音乐使用 yt-dlp 下载。 项目地址: https://gitcode.com/GitHub_Trending/xia/xiaomusic XiaoMusic 是一个开源项目,能…

📅 2026/9/20 23:51:49
MORE NEWS

更多资讯

📰

Grok 0.2.68 版本解析:MCP 服务器热更新、GROK_AGENT 环境变量与四项稳定性修复

Grok 0.2.68 版本解析:MCP 服务器热更新、GROK_AGENT 环境变量与四项稳定性修复 【免费下载链接】grok-build SpaceXAIs coding agent harness and TUI. Fullscreen, mouse interactive, extensible. 项目地址: https://gitcode.com/gh_mirrors/gr/grok-build …

📰

uni-app 模态弹窗 API 实战指南:showModal 与 hideModal 全平台详解

uni-app 模态弹窗 API 实战指南:showModal 与 hideModal 全平台详解 【免费下载链接】uni-app A cross-platform framework using Vue.js 项目地址: https://gitcode.com/gh_mirrors/un/uni-app 导读 本文围绕 uni-app 仓库中 docs/api/modal.md 文档&#…

📰

Hermes 部署包跑通后,模型通道改 TaoToken 行不行?

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

Compiler Explorer 赞助体系完全指南:sponsors.yaml 配置格式与赞助展示机制的源码级解析

后端前端开发工具 【免费下载链接】compiler-explorer Run compilers interactively from your web browser and interact with the assembly 项目地址: https://gitcode.com/gh_mirrors/co/compiler-explorer 点击查看 免费下载 Compiler Explorer(在线…

📰

Python与Simulink实战:PID控制器从调参到部署

1. 从一个真实翻车现场说起:为什么PID参数总调不好刚入行做控制那会儿,我接手过一个温度控制箱的项目。硬件搭好了,传感器校准了,加热丝也接上了,结果一上电就傻眼——温度要么在目标值附近来回振荡十几度,…

📰

SuperClaude_Framework Confidence Check 技能实战指南:实现前 ≥90% 置信度评估机制全解析

开发工具CLIAI 技能/插件测试人工智能AI 评测 【免费下载链接】SuperClaude_Framework A configuration framework that enhances Claude Code with specialized commands, cognitive personas, and development methodologies. 项目地址: https://gitcode.com/gh_m…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬