如何衡量长上下文RAG的质量与速度？RedKnot HotpotQA Demo实战：F1/EM/TTFT一次看全-北京尧图网络

如何衡量长上下文RAG的质量与速度RedKnot HotpotQA Demo实战F1/EM/TTFT一次看全【免费下载链接】RedKnotEfficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention项目地址: https://gitcode.com/gh_mirrors/re/RedKnotRedKnot是一个构建在 SGLang 之上的长上下文 LLM 推理加速框架核心能力是Head-Aware KV 复用 SegPagedAttention。本篇教程带你用它自带的HotpotQA 长上下文 RAG Demo一次看全衡量长上下文 RAG 系统最关键的三类指标答案质量F1/EM、响应速度TTFT 首 Token 延迟、以及算力开销FLOPs。无需从零搭评测代码一条命令即可出报告为什么选 HotpotQA 来衡量长上下文 RAGHotpotQA 的 distractor 设定天然适合 RAG 评测每道题给出多个段落其中只有少数段落包含真实答案其余都是干扰文档。RedKnot 的 Demoexamples/redknot/rag_redknot_demo.py正是把这个设定工程化了从 HotpotQA 的distractor配置中随机抽取样本把金文档干扰文档拼装成N 个可复用文档段默认 6 段 × 5000 token约 30K 上下文让模型只用以上文档回答给出最短答案再自动判分。这模拟了真实 RAG 场景文档可跨请求复用、上下文很长、答案必须精准。3 个核心指标F1、EM、TTFT 各代表什么质量指标F1 与 EM答案抽取式 QA 评测的行业标准就两个Demo 中直接内置了实现指标含义直觉理解F1预测答案与标准答案的词级 F1 分数部分答对也有分衡量接近程度EM(Exact Match)归一化后是否完全一致非 0 即 1衡量完全答对率评分前会做归一化去标点、去冠词、统一大小写见 normalize_answer 与 f1_score 实现。F1 看下限EM 看上限两个一起看才能判断加速方案是否偷偷降了质量。⚡ 速度指标TTFT首 Token 延迟长上下文场景下用户感知最强的就是等多久才蹦出第一个字。Demo 对每条样本分别计时baseline_ttft_sDense 基线全文拼接后一次性 prefill的首 Token 延迟redknot_online_ttft_sRedKnot 路径文档段离线预填好 KV在线只做位置无关的 KV 复用问题前缀注意力的在线 TTFTwall_speedup两者相除的实测加速比。官方 README 给出的目标区间是热态下2–5× TTFT 加速同时质量回归控制在1 个百分点以内见 README.md。保真度与算力Cosine 与 FLOPslogits_cosine/top1_match_rate/top10_overlap对比两条路径输出的 logit 分布数值越接近 1说明加速不改变模型行为baseline_flops/redknot_online_flops/flops_savings按注意力 FFN 解析估算的算力账本官方目标70–90% 算力节省。上图为 SGLang 侧 Batch 调度与 Prefill/Decode 流水线的示意RedKnot 的价值正是让Prefill 这一侧可以靠 KV 复用大幅缩短Decode 侧则几乎零改动。一键跑通HotpotQA Demo 实战步骤第 1 步环境准备git clone https://gitcode.com/gh_mirrors/re/RedKnot cd RedKnot pip install transformers datasets accelerate safetensors需要一个 CUDA GPU默认模型为 Qwen3-32B双卡即可冒烟测试可换Qwen3-0.6B 短段长单卡几分钟跑完。第 2 步运行 Demo论文风格的最小复现命令详见 examples/redknot/README.mdCUDA_VISIBLE_DEVICES0,1 python examples/redknot/rag_redknot_demo.py \ --model-path Qwen/Qwen3-32B \ --dataset hotpotqa/hotpot_qa --dataset-config distractor \ --split validation --n-samples 1 --n-segments 6 \ --tokens-per-segment 5000 \ --output /tmp/redknot_rag_demo.json不传--head-config时Demo 会自动生成一个简单策略约 15% 全局头其余局部头、窗口 256足够快速验证链路是否跑通。第 3 步读懂输出 JSON结果落盘为结构化 JSONsummary字段就是一次看全的汇总表汇总逻辑源码{ summary: { baseline_f1: 0.5, redknot_f1: 0.5, baseline_ttft_s: 12.3, redknot_online_ttft_s: 5.6, flops_speedup: 2.1, flops_savings: 0.52 } }看报告的顺序建议先看 F1/EM 是否对齐 → 再看 TTFT 加速 → 最后核对 FLOPs 账本。三步都过才说明加速是干净的。进阶玩法更多入口与生产化组件想做什么去哪里16K4×4KQwen3-32B Sparse FFN 对比run_hotpot_4x4k.py报告 F1/EM/cosine/TTFT/FLOPsSegPagedAttention 微基准8K/32K/128K 延迟segpaged_redknot_demo.py完整 RAG 基准套件DeepSeek-V4-Flash 等test/srt/redknot/ 下的benchmark_RedKnot_*_RAG.py运行时核心机制头分类、SegPaged、Sparse FFNpython/sglang/srt/layers/attention/redknot/生产部署时RedKnot 也可作为独立 attention backend 直接挂到 SGLang 服务上python -m sglang.launch_server --attention-backend segpaged ...详见 examples/redknot/README.md。顺带一提如果你还想玩多模态SGLang 的 quick_start 示例里就备好了这类测试图片和长上下文 RAG 一样即开即用。小结一张表记住如何衡量维度指标好的信号质量F1 / EM与 Dense 基线差 ≤ 1pp速度TTFT / wall_speedup热态 2–5× 加速保真logits cosine / top10 重叠≈ 1.0算力flops_savings70–90% 节省掌握这套质量—速度—算力三角验证法你就不只是跑通了一个 Demo而是学会了评估任何长上下文 RAG 加速方案的通用标尺【免费下载链接】RedKnotEfficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention项目地址: https://gitcode.com/gh_mirrors/re/RedKnot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

如何衡量长上下文RAG的质量与速度？RedKnot HotpotQA Demo实战：F1/EM/TTFT一次看全

相关推荐

三星手机刷机全攻略：Odin3驱动与固件安装实战

TPOT实战：用遗传编程自动化机器学习流水线

OpenHarmony I2C驱动开发实战：协议解析、HDF接入与排障指南

更多资讯

TensorFlow.js 浏览器端深度学习：架构内幕与算力调度实战

根分区满了却找不到大文件？CentOS 7.9隐藏占用排查与清理

Ubuntu 22.04下Realtek 8852BE网卡驱动安装与调优指南

华为EC6108V9/V9C U盘卡刷教程：固件选择、操作步骤与救砖指南

液压剪式升降平台SolidWorks参数化建模与STEP交付指南

Claude Code插件生态实战：从SKILL.md到harness与第三方模型接入

今日更新

开源模型端侧落地实战：量化、推理加速与Agent上下文管理

AI Evals实战指南：从零搭建LLM应用评估体系与CI/CD集成

Java采购管理系统实战：从数据库设计到事务一致性

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？