尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Hermes Agent 响应速度调优:长对话首字延迟从 10 秒压到 1 秒
Hermes Agent 响应速度调优长对话首字延迟从 10 秒压到 1 秒【免费下载链接】hermes-agentThe agent that grows with you项目地址: https://gitcode.com/GitHub_Trending/he/hermes-agent为什么 Hermes Agent 的响应速度会在对话进行到第 50 轮时肉眼可见地变慢瓶颈不在模型推理而在请求体每轮都在膨胀。下文拆解两个真正生效的优化点把延迟从 10 秒压回 1 秒以内文中数字均来自同一示例会话标注示例。慢在哪里 跑过一轮长会话的你大概都有过这些感受首 token 要等好几秒才出来后面的流式输出反而正常同样的问题第 5 轮几秒回第 50 轮要等十几秒换个新会话再问一遍立刻秒回说白了慢不慢取决于会话里堆了多少内容而不是你这句话有多长。给上下文瘦身上面越问越慢的直接原因每一轮请求都会把整段历史原样发给模型。上下文压缩模块在 agent/context_compressor.py 里策略是头尾保留原文、中间交给轻量模型摘要。默认参数长这样# 触发条件与默认参数agent/context_compressor.py ContextCompressor( threshold_percent0.50, # 占满窗口 50% 即触发压缩 protect_first_n3, # 前 3 轮对话保留原文 protect_last_n20, # 最近 20 条消息保留原文 )中间内容会被摘要成结构化快照摘要预算默认只占被压部分的 20%summary_target_ratio0.20。另有一层防抖连续两次压缩各省不到 10% 就跳过避免压缩本身变成死循环。改前改后第 50 轮请求体约 4 万 tokens示例约 1.5 万 tokens示例首字延迟约 10 秒示例约 2 秒示例把重复请求挡在缓存层第二次问同样的问题秒回背后是前缀大部分根本没变。提示缓存策略在 agent/prompt_caching.py 里每次请求最多打 4 个缓存断点静态系统前缀、系统提示结尾、工具定义后以及最近两条非系统消息。TTL 分 5 分钟和 1 小时两档。前缀命中后模型端直接复用缓存结果不重新解析。改前改后系统提示 工具 schema每轮完整解析示例第二轮起命中缓存示例首轮之后的首字延迟6~8 秒示例0.5~1 秒示例怎么验证它真的变快了指标优化前优化后首字延迟第 50 轮示例约 10 秒约 1 秒请求体大小示例约 4 万 tokens约 1.5 万 tokens提示缓存命中率示例0约 85%最关键的单项收益是首字延迟tokens 先砍掉近三分之二剩下的靠缓存补齐。想自己核对可以用 agent/model_metadata.py 里的 token 估算工具在每轮请求前后各采样一次请求体大小。今天就能做的 3 件事 ✅检查压缩阈值默认 50% 触发已适合多数模型想更快就别调高它。保持系统提示为稳定前缀它是跨会话命中提示缓存的前提别往里塞时间戳。用 token 估算函数抽查请求体确认压缩真的在触发而不是只在空会话里生效。压缩器的尾部保护还有一个新选项tail_modeleancompaction v2改用 token 预算而非固定条数保护近期对话节省更激进。这是项目正在迭代的下一步你可以在仓库里搜 compaction 相关的 issue 跟踪进展。【免费下载链接】hermes-agentThe agent that grows with you项目地址: https://gitcode.com/GitHub_Trending/he/hermes-agent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

CPython 源码完全指南:如何从零编译并读懂 Python 官方实现

CPython 源码完全指南:如何从零编译并读懂 Python 官方实现

CPython 源码完全指南:如何从零编译并读懂 Python 官方实现 【免费下载链接】cpython The Python programming language 项目地址: https://gitcode.com/GitHub_Trending/cp/cpython CPython 是 Python 语言的官方实现,这个仓库同时包含解释器内核…

📅 2026/10/14 23:10:11
基于J2EE的实时新闻推送系统设计与WebSocket实战

基于J2EE的实时新闻推送系统设计与WebSocket实战

简介:在Web开发中,实时数据交互一直是工程实践的重点与难点。从早期的短轮询、长轮询到如今主流的WebSocket,不同技术方案在实时性、服务器负载与实现复杂度上各有取舍。WebSocket作为HTML5提供的全双工通信协议,能够在客户端与服…

📅 2026/11/8 21:55:54
DeepSeek API 接入 Codex 指南:手把手把 DeepSeek V4 装进 Codex

DeepSeek API 接入 Codex 指南:手把手把 DeepSeek V4 装进 Codex

最近 Codex 的可玩性越来越高了。 很多人第一次使用 Codex,默认会直接登录 ChatGPT 账号,然后使用 OpenAI 提供的模型。 但实际上,Codex 并不只能调用 OpenAI 模型。 只要模型服务支持 Codex 所需要的 API 协议,我们完全可以把第三…

📅 2026/10/5 12:41:40
MORE NEWS

更多资讯

📰

工地太忙根本没时间复习考试?易县考低压电工证机构怎么拿电子证书

工地太忙根本没时间复习考试?易县考低压电工证机构怎么拿电子证书 工地太忙根本没时间复习考试?你不是一个人。很多在一线的电工,整天在工地穿梭,连抽时间复习都难,更别说准备考试了。但低压电工证是进入工地、从事电气作业的“入场券”, 电子证书…

📰

海门电工证报名费多少?考前押题帮你高效通过

海门电工证报名费多少?考前押题帮你高效通过 证书过期了不知道怎么复审延期?别慌,今天就来聊聊 海门电工证报名费 的那些事,以及如何用 考前押题 帮你高效通过考试,顺利拿证!…

📰

宿迁电工证考试实操含金量高不高?学历不高怕报不上名?

宿迁电工证考试实操含金量高不高?学历不高怕报不上名? 你是不是也担心自己学历不高,考不了电工证?别急,今天咱们就来聊聊【宿迁电工证考试实操】到底有没有含金量,能不能为你打开一扇新门。不管是想转行、加薪还是创业,电工证都可能是你手里最硬的筹码…

📰

电工证易错题目值不值得考?报名怕被坑怎么避雷

电工证易错题目值不值得考?报名怕被坑怎么避雷 你是不是也遇到过这种情况:手里有个电工证,但考试总是差那么几分,眼看要到期了,却找不到靠谱的培训机构? 不知道去哪报名怕被中介坑…

📰

电工证无限补考吗在哪考 一次性说清楚怕考不过白交培训费

电工证无限补考吗在哪考 一次性说清楚怕考不过白交培训费 怕考不过白交培训费?别慌,现在就告诉你电工证无限补考吗在哪考的真相,还能帮你避开那些“考不过就白搭”的坑!…

📰

低压电工证报名后多久要考完试良心建议别被中介坑了

低压电工证报名后多久要考完试良心建议别被中介坑了 你是不是还在为低压电工证报名后多久要考完试发愁?别急,今天就给你说说真实情况, 良心建议 来了,别被那些乱收费的中介坑了。…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬