【Agent 的多模型路由熔断：免费模型池怎么做到「永远有能用的」】-北京尧图网络

Agent 的多模型路由熔断免费模型池怎么做到「永远有能用的」系列专栏【打造你自己的 Agent】第 2 篇 · 代码全部来自真实项目 Rescene先讲个真实事故。我的项目 Rescene 主打「永久免费」靠的是聚合各厂商的免费档模型。上线初期路由层是「配了一个模型就用一个模型」——结果就是灾难OpenRouter 的免费档全部 slug 限流 429连 llama-3.3-70b 都 429NVIDIA NIM 免费试用档限流严重到跑 Agent 频繁 429我一度怀疑是不是自己代码写错了。后来想明白了免费模型的本质是「不稳定」。今天能用的明天可能就 429上午还快的下午可能超时。所以多模型路由不是「选个好模型」的问题而是**熔断Circuit Breaking**的问题——把「不稳定」当作默认前提来设计。今天这篇讲清楚三件事路由链怎么把多个模型源排成一条「备用链」failover 时机什么时候该切、什么时候不该切这个细节决定成败探测与淘汰怎么让免费池「永远活着」一、路由链把模型源排成一条链多模型路由的第一步是把所有可用源排成一条有序链先试谁、失败切谁、最后兜底谁。Rescene 的路由链构建真实代码已精简funcresolveBackends(userKeystring,modelstring)[]RouterBackend{// 精确路由前端明确选了某个模型 → 只走那一个ifmodel!model!auto{ifb:resolveExact(userKey,model);b!nil{return[]RouterBackend{*b}}}varuserChain,freeChain[]RouterBackend// 1. 用户自己配置的提供方有 Key 的—— 排最前for_,e:rangeuserEntries{b:RouterBackend{Name:e.Name,BaseURL:e.Endpoint,Model:e.DefaultModel,...}ife.IsDefault{userChainappend([]RouterBackend{b},userChain...)// 默认的提到链头}else{userChainappend(userChain,b)}}// 2. 免费池Key 来源用户保存的环境变量没 Key 的源直接不进链for_,f:rangefreeModelCatalog{iff.Disabled{continue}// 探测失败的已被标记退役key:lookupKey(f)// 用户保存 env都没有就跳过b:RouterBackend{Name:f.Name,Model:f.Model,Timeout:45*time.Second,...}freeChainappend(freeChain,b)}// 免费池按参数规模降序优先用「最能打」的免费模型sort.SliceStable(freeChain,func(i,jint)bool{returnfreeChain[i].ParamsBfreeChain[j].ParamsB})returnappend(userChain,freeChain...)// 用户链在前免费链兜底}设计要点用户自己的 Key 永远排最前——稳定、快、可控免费池只是兜底免费池按参数规模降序——能干活的大模型优先实在不行才退到小模型拿不到 Key 的源根本不进链——与其连了再失败不如一开始就排除二、failover切但只在「对的时候」切路由链有了接下来是核心问题什么时候切下一个非流式失败就秒切普通非流式请求最简单——失败就切下一个全部失败才报错funcrouteChatOnce(ctx context.Context,backends[]RouterBackend,msgs,tools)(string,[]core.ToolCall,error){vartried[]stringfor_,b:rangebackends{ifctx.Err()!nil{return,nil,ctx.Err()}// 用户取消了就别试了content,calls,err:openAIChatOnce(ctx,b,msgs,tools)iferr!nil{triedappend(tried,fmt.Sprintf(%s: %v,b.Name,err))continue// 失败秒切下一个}returncontent,calls,nil}return,nil,fmt.Errorf(所有模型源不可用%s,strings.Join(tried,))}注意两个细节ctx.Err()检查——用户已经关掉页面/取消请求时别还在那试下一家失败原因全部收集——最后报错时把每家失败原因拼出来用户一看就知道是谁挂了流式只在「首包之前」切Agent 场景下 90% 的请求是流式的这里有个反直觉的规则Rescene 的真实注释// 沿路由链做流式调用。failover 只发生在拿到 200 响应之前 // 连接失败/非200 秒切下一个流一旦开始就不再切换源。为什么流开始后不能切两个原因已吐的 token 全白费——用户已经看到了 200 字切到下一个源重新生成体验是「话说到一半突然重来」会重复执行工具——如果流式响应里已经包含 tool_call 指令比如调用 write_file切源重发会导致同一个工具被执行两次所以规则就是连接失败 / 非 200 → 秒切已经开始吐字 → 死磕到底。流式超时一个坑死无数人的细节Go 的http.Client.Timeout会把「读取整个响应体」也计入超时窗口——免费档模型生成一次常常 45 秒流式响应会被Client.Timeout在读到一半时砍断。Rescene 的解法funcstreamHTTPClient()*http.Client{returnhttp.Client{Timeout:0,// 关键整体超时归零绝不能在这里设Transport:http.Transport{DialContext:(net.Dialer{Timeout:15*time.Second,KeepAlive:30*time.Second,}).DialContext,ResponseHeaderTimeout:30*time.Second,// 只卡「连接首字节」...},}}原则「连接首字节」要限时30s「流式生成过程」不限时。首字节 30 秒没到说明这源大概率挂了直接 failover一旦开始吐字哪怕生成 2 分钟也随它去——取消权交给请求上下文浏览器断开即取消。三、探测与淘汰免费池怎么「永远活着」路由链再聪明也架不住链上的源全是死的。Rescene 的做法是每日探测自动退役每天自动探测各厂商免费档模型可用性真实调用一次看是否 429 / 超时 / 报错跑不了的自动标记退役f.Disabled true不再进链能用的自动恢复探测通过重新进链实测教训都写在代码注释里了// —— OpenRouter 已整体移除免费档全部 slug 限流 429连 llama-3.3-70b/405b 都 429 // —— NVIDIA NIM 免费试用档已整体移除2026-07-23 实测限流严重跑 Agent 频繁 429免费模型厂商今天送、明天限流是常态。把「探测退役恢复」做成自动化闭环比任何手动维护都可靠——这也是「免费池永远是真能跑的」这句话的底气来源。四、踩坑清单Client.Timeout会砍流式——它把读响应体也算进窗口免费档 45s 的生成会被拦腰截断。流式 client 必须 Timeout0用ResponseHeaderTimeout只卡首字节。流开始后绝不能切源——前面吐的字全白费更危险的是 tool_call 指令会被重复执行同一工具跑两遍。max_tokens 太小会死循环——4k 上限会把稍长的 write_file 参数截断在 JSON 中间工具报unexpected end of JSON input模型收到错误后整份重写又超 4k又截断……死循环。Rescene 单轮给到 16384靠工作流总预算兜底。reasoning_effort不能无脑塞给所有源——不支持该字段的上游大概率报错而不是安静忽略只在b.Reasoning true时才带。空链要有明确的错误信息——一个 Key 都没配时链就是空的报「所有模型源不可用」加一片空白会让用户以为产品坏了。明确提示「请在设置面板填入至少一个 API Key」。免费源 Key 的来源要分层——用户自己保存的环境变量都没有就跳过。免得环境变量里的旧 Key 让用户以为「我配了呀为什么不用」。五、关于 Rescene本文代码来自我手写的开源项目Rescene——专攻前端设计、浏览器自动化、Computer Use的二次元 Agent免费模型每日更新每天自动探测各厂商免费档模型免费池永远是真能跑的本文的探测/退役/恢复闭环就是它在跑专攻前端设计内置 54 个真实设计系统参考Agent 写完直接真实渲染给你看真实浏览器自动化基于 Chromium CDP是真浏览器在跑你的页面成长中的记忆每次工作流完成后自动萃取经验下次自动融入上下文442 Agent 工作流40% 计划 → 40% 验证 → 20% 编码官网https://rescene.shanca.me/ 全速下载最新发行版 GitHubhttps://github.com/Rescenix/ResceneAgent下篇预告第 3 篇《省 Token 工程动态工具发现和前缀匹配之外还有 11 种核心技术》——注入优化、轨迹压缩、架构隔离、调用策略四大类全部有真实代码和实测数据最后引出 Agent 的「并行任务-后台任务-系统级审批自检框架」Agent Harness。明天见

【Agent 的多模型路由熔断：免费模型池怎么做到「永远有能用的」】

相关推荐

进销存系统落地技术分析：多租户共享云与独立独享实例架构差异实测

DVWA 靶场 Web 基础漏洞完整实操笔记：文件包含 / 命令注入 / CSRF / 越权全解析

无线网卡驱动实战：从硬件ID识别到Windows/Linux/macOS全平台驱动方案

更多资讯

STM32定时器实现高精度加湿器周期控制

DataHub Ask DataHub Glean 插件接入指南：将企业知识库搜索引入数据对话

TortoiseGit 安装配置：Git for Windows 与 SSH 密钥

分数傅里叶变换与LFM信号处理：原理、MATLAB实现与参数估计

PAT考试1003题解析与高效备考策略

StarRocks SQL 常见问题全解：从查询缓存、排序稳定性到崩溃与内存排障实战

今日更新

基于MATLAB的CRI显色指数计算：从SPD光谱到Ra的完整流程

JSP+Servlet+MySQL博客系统源码部署与优化全攻略

蜂窝调度算法 MATLAB 实现：比例公平、轮询与最大 C/I 对比

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？