Knowhere页面记忆机制深度解析：让复杂PDF和PPT可检索可引用的5阶段流水线-北京尧图网络

Knowhere页面记忆机制深度解析让复杂PDF和PPT可检索可引用的5阶段流水线【免费下载链接】knowhereKnowhere extracts, parses, and outputs structured chunks ready for AI Agents and RAG.项目地址: https://gitcode.com/gh_mirrors/know/knowhereKnowhere 是一款面向 AI Agent 和 RAG 场景的开源文档解析引擎核心使命是将复杂 PDF 和 PPT 转换为结构化、可检索、可引用的页面级知识单元。它的页面记忆Page Memory机制通过一条 5 阶段流水线把每一页文档变成带有层级归属、摘要标签和资产锚点的记忆节点——让 RAG 检索不再只看到一堆文本碎片而是能精准定位到第几页、第几节、哪张图。为什么 RAG 需要页面记忆传统 RAG 系统按文本块chunk切分文档。但遇到图表密集的财报、跨页表格的学术论文、排版复杂的 PPT 时纯文本切分会丢失关键的视觉上下文——第 3 页的营收柱状图变成一句无法引用的抽象描述。Knowhere 采用双轨解析策略来弥补这一短板轨道适用场景切分粒度文本轨Chunk TrackMarkdown、DOCX 等纯文本语义段落页面记忆轨Page Memory TrackPDF、PPTX物理页面章节节点页面记忆轨目前支持PDF和PPTX两种格式。PPTX 会先经 LibreOffice 渲染为 PDF再进入统一的页面流水线。源码入口memory_service.py 格式归一化normalizer.py5 阶段流水线全景整条流水线按C1→C7编号执行逻辑上归为 5 个阶段阶段核心模块输入 → 输出关键能力① 归一化与画像normalizerdoc_profilerPDF/PPTX → 统一 PDF 文档画像页数统计、TOC 检测、页面特征标注② 章节骨架skeleton_extractor画像 →SectionSkeleton[]从 TOC 锚点提取章节起止页码③ 渲染与规划page_rendererpage_planPDF → PNG 图片处理策略144 DPI 逐页渲染、空白页跳过④ 打标与精细层级page_taggerfine_hierarchyPNG → 摘要 / 关键词 / 标题VLM 页面理解、粗→细层级细化⑤ 资产提取与组装page_assetsnode_assembler页面 → 叶子节点 Chunk图表 bbox 定位、跨页表格合并、节点组装流水线总控memory_service.py 各阶段模块目录page_memory/阶段① 文档归一化与画像建立全局认知流水线的第一步不是切页而是先读懂整篇文档。归一化将 PPTX 通过 LibreOffice 转为 PDFPDF 则直接使用。输出统一的source.pdf。文档画像Profile由doc_profiler扫描全文产出页数超过max_pages上限则拒绝处理TOC 检测结果是否有目录、目录页码范围页面特征PageFeature每页宽高、是否横向页面标签PageLabel每页类型正文 / 空白 / 图表页等章节锚点skeleton_anchorTOC 条目与页码的对应关系这一步决定了后续走哪条路径≤ 6 页且无 TOC → whole_doc 模式整文档作为 1 个 Chunk 其余情况 → page 模式进入完整 C1-C7 流水线粒度决策memory_service.py阶段② 章节骨架提取从 TOC 到 SectionSkeleton有了画像后skeleton_extractor从TOC 锚点中解析出每一章、每一节的起止页码生成SectionSkeleton列表SectionSkeleton( section_path report/Chapter 3: Revenue/3.1 Domestic, level 3, start_page 12, end_page 15, title 3.1 Domestic )如果文档没有 TOC会退化为一个Root根节点覆盖全篇。骨架列表随后被切分为若干Coarse Scope粗粒度处理范围供后续阶段并发处理。骨架数据结构skeleton_extractor.py 粗范围构建memory_service.py阶段③ 页面渲染与处理规划让 VLM 看见每一页这是页面记忆区别于纯文本解析的核心环节——把 PDF 变成图片。C1 渲染page_renderer以144 DPI将每页渲染为全分辨率 PNG输出到pages/{scope_id}/page-{n}.png同时携带该页的原始文本来自 Profile 扫描缓存避免二次提取记录页面宽高和是否横向供后续裁剪使用C2 规划page_plan根据PageLabel.kind和PageFeature为每页分配处理策略vlm_lite正常页面 → 送入 VLM 打标skip_tagging空白/近空白页 → 保留图片但跳过 VLM 调用节省 Token 渲染器page_renderer.py 规划器page_plan.py阶段④ VLM 打标与精细层级从看见到理解这是整条流水线中AI 参与度最高的阶段分三步走C3 页面打标page_tagger将每页 PNG 送入 VLM视觉语言模型返回结构化 JSONsummary该页内容的一句话摘要keywords关键术语列表entities类型化实体人名、公司名、数字等observed_titles页面上观察到的标题候选含视觉显著度评分C3b 标题检测对胖叶子fat leaf即 TOC 中一个章节跨越多页但没有子节页面专门提取阅读顺序中的大纲级标题为下一步的层级细化提供锚点。C4b 精细层级fine_hierarchy这是页面记忆最精巧的设计收集所有胖叶子页面中 VLM 观察到的标题用代码做边界裁剪——丢弃落在粗骨架起止锚点之外的标题调用专门的page-memory-hierarchyPrompt让 LLM 为这些标题分配相对层级生成更细粒度的SectionSkeleton让第 3 章内部也能导航到 3.1、3.2、3.3 打标器page_tagger.py 精细层级fine_hierarchy.py阶段⑤ 资产提取与节点组装从页面到可引用知识C5 资产提取page_assets对图表密集的页面VLM 会输出bbox 坐标图表/表格在页面图片中的像素位置类型table或figure标题摘要关键词跨页表格合并C5b自动检测并合并跨页表格为一张完整资产每个资产都会裁剪出独立图片锚定到对应的精细层级页面上。C7 节点组装node_assembler最终将一切汇总为叶子节点粒度的 DataFrame 行一个叶子章节一个可检索 Chunk多页节点合并存储页面引用通过页码解析同页多节点时正文文本只存一次其余用SAME-AS标记引用避免重复每个节点携带section_path层级路径、summary、keywords、entities、page_range 资产提取page_assets.py 节点组装node_assembler.py页面记忆如何让检索可引用当 RAG 系统返回一个引用时Knowhere 能给出来源: financial-nvda-fy26-annual-report 章节: NVDA FY26 Annual Report / Revenue Analysis / 3.1 Data Center 页面: 第 42-43 页 ️ 资产: 营收趋势柱状图 (table, 置信度 0.94) 摘要: Data center revenue grew 120% YoY...页面图片page_citation_assets/page-{n}.png可直接作为视觉证据展示给用户实现所见即所引。页面引用资产示例目录financial-nvda-fy26-annual-report/关键设计亮点并发安全多 Scope 通过 GeventPool 并发处理每页写入独立scope_id路径避免写冲突失败重试LLM 调用失败后自动等待 10 秒重试一次Token 预算控制标题检测采用阶梯式 Token 预算300→600→1200仅在截断时升级资产页预算分配并发模式下按页数比例预分配资产提取页额度防止竞争TOC 页排除目录页不参与正文打标和资产提取避免噪声并发控制memory_service.py 重试机制memory_service.py一句话总结Knowhere 的页面记忆机制用5 阶段流水线把PDF 第 42 页有一张营收柱状图这句话变成了 AI Agent 可以检索、理解、引用、展示的结构化知识——这正是复杂文档 RAG 从能用到好用的关键一步。完整页面记忆源码目录page_memory/ 页面记忆配置 Schemapage_memory_config.py【免费下载链接】knowhereKnowhere extracts, parses, and outputs structured chunks ready for AI Agents and RAG.项目地址: https://gitcode.com/gh_mirrors/know/knowhere创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

Knowhere页面记忆机制深度解析：让复杂PDF和PPT可检索可引用的5阶段流水线

相关推荐

嵌入式软件静态测试（四十三）——控制流分析技术：支配树、循环识别与可达性计算的算法实现

HarmonyOS 7 文本选区交互：点到别处不消失，setTextSelectionClearPolicy 该怎么用

论文AI率和重复率都超标？10款降AI工具对比，哪些支持双降？

更多资讯

UDS多帧传输避坑指南：STmin与BS参数详解及调试技巧

从认知匹配到行为形成：WSaiOS 中能力、知识与行为的匹配理论

Substrate是区块链操作系统内核，不是开发框架

从Agent Framework到Agent Harness：智能体稳定落地的关键跃迁

中文微博情感分析实战：LSTM三分类模型与工业级预处理链路

弱监督Stacking情感分析实战：不靠海量标注逼近有监督上限

今日更新

济南做网站多少钱：3个案例拆解，防黑源码下载全攻略

婚恋网站实战案例：避开3个高价坑，省钱50%还能跑赢流量

制作网页比较方便的软件怎么选?一文搞懂避坑指南

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？