尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
110、WebSocket实时通信Agent
110、WebSocket实时通信Agent最近在调一个Agent服务,前端页面上的对话气泡总是卡在“思考中……”半天不动,后端日志里却能看到LLM的token早就流完了。我一开始怀疑是SSE的缓存问题,后来抓包一看,WebSocket连接早就断了,前端还在傻乎乎地等onmessage。这种问题很典型——Agent的实时通信不能简单套用传统的请求-响应模型,尤其是当你的Agent需要同时处理流式输出、工具调用状态回传、多客户端广播的时候,WebSocket的坑一个接一个。今天就把我调这个问题的全过程记录下来,顺带聊聊Agent场景下WebSocket到底该怎么用。先说那次调试的现场。服务端用的是FastAPI + WebSocket,客户端是React的useWebSocket库。Agent每轮回复包含三个阶段:先推送一个“开始思考”事件,然后逐字推流LLM的token,最后推送一个“工具调用完成”事件。问题就出在第二阶段,token推流稍微慢一点,比如超过60秒,浏览器端的连接就被断了。为什么?因为WebSocket是长连接,但中间任何一层代理(Nginx、云负载均衡)都可能有一个空闲超时时间,默认60秒或更短。你的连接没有数据流动,代理就认为是空闲连接,直接给你掐了。解决方式很简单,但很容易被忽略——必须定期发心跳包。注意心跳包不能和业务消息混在一起,得单独定义一个事件类型,比如{"type":"ping"},服务端收到后回{"type":"pong"}。而且心跳间隔要小于代理超时时间,但也不能太频繁,否则白白消耗资源。我一般设置30秒一次,写个定时器,在onopen里启动,
RELATED

相关推荐

PP-OCR部署实战:OpenCV/TensorRT/C/Java推理引擎全解

PP-OCR部署实战:OpenCV/TensorRT/C/Java推理引擎全解

1. 项目背景与整体设计思路做 PP-OCR 系列开源项目的念头,最早来自一个很具体的业务需求:公司内部有一套文档管理系统,每天要处理大量扫描件和截图,需要把里面的文字识别成可检索的文本。团队当时面临两个选择:一是直接…

📅 2026/9/23 6:56:44
109、流式输出与前后端交互

109、流式输出与前后端交互

109、流式输出与前后端交互 那晚上线前调一个AI对话接口,后端日志明明每生成几个字就打一行,前端页面却像个傻子似的转圈,非要等整段话全部生成完才一次性蹦出来。我第一反应是前端用了普通axios,没开stream,结果一看代码没错,用的fetch。那问题大概率出在响应头或者代理…

📅 2026/9/23 6:56:44
3个核心技巧搞定游戏王龙族卡组,附高频面试题拆解

3个核心技巧搞定游戏王龙族卡组,附高频面试题拆解

3个核心技巧搞定游戏王龙族卡组,附高频面试题拆解 官方文档翻了三遍还是晕?别急,这就是典型的“信息过载”。很多新人卡在入门期,不是卡在手速,而是卡在逻辑。就像你准备 高频面试题…

📅 2026/9/23 6:56:44
MORE NEWS

更多资讯

📰

LangGPT 实践视角下的 AI Native 组织重构——从结构化提示词、概念锚点到时间折叠工作流

提示工程大模型人工智能AI 技能/插件Prompt 模板 【免费下载链接】LangGPT LangGPT: Empowering everyone to become a prompt expert! 🚀 📌 结构化提示词(Structured Prompt)提出者 📌 元提示词(Meta-Pro…

📰

GPS车辆定位监控系统中车辆资料设置全解析:从字段到排查

设备刚装完、卡也插好了,车却在平台上一片灰色,离线状态的红色标记看得人心里发毛。做GPS车辆定位监控这些年,我最常被问到的不是“定位准不准”,而是“师傅,车资料到底要怎么填才对”。很多人以为车辆资料设置就是把车…

📰

光伏逆变器故障诊断:Simulink建模与智能算法实践

1. 项目背景与核心价值光伏逆变器作为太阳能发电系统的"心脏",其可靠性直接影响整个电站的发电效率。而网侧整流器开路故障是最常见却又最难被及时发现的隐患之一——它不会立即导致系统停机,却会像慢性病一样逐渐侵蚀发电效率。传统基于硬件传…

📰

Cosmos 仓库二分查找(Binary Search)C++ 实战指南:原理、三种实现与源码级剖析

Cosmos 仓库二分查找(Binary Search)C 实战指南:原理、三种实现与源码级剖析 【免费下载链接】cosmos Worlds largest Contributor driven code dataset | Used in Quark Search Engine, OpenGenus IQ, OpenGenus Visual Project 项目地址:…

📰

Pelican 静态站点生成器完全指南:基于 Markdown 与 reStructuredText 的 Python 建站方案

【免费下载链接】pelican Static site generator that supports Markdown and reST syntax. Powered by Python. 项目地址: https://gitcode.com/gh_mirrors/pe/pelican 点击查看 免费下载 Pelican 是一个用 Python 编写的静态站点生成器(Static Site G…

📰

校园网Nginx高并发优化实战:从worker配置到缓存限流的避坑指南

一到选课季,“校园网Nginx高并发优化”就成了各个技术群里反复被问的话题。答案大家张口就能来几句:把worker_processes调到CPU核数、把worker_connections调成65535、开gzip、上缓存……但真到现场一看,很多服务器是被这些参数调崩的。这篇文…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬