API实践第2篇-2 细读超时与重试-北京尧图网络

第二篇超时和重试的细节AI接口超时和重试踩坑细节都在这了上一篇讲了三个基础配置这篇展开说超时和重试。一次请求涉及四种超时类型含义建议值连接超时 TCP TLS握手 5-10秒写入超时发送请求Body 10秒读取超时等待响应完成 60-300秒连接池超时等空闲连接 10秒最容易出问题的是读取超时。模型生成是逐Token的长回复需要几十秒。读超时小于生成时间客户端先断。重试的五个注意事项区分错误类型pythonRETRYABLE {429, 500, 502, 503, 504}if status in RETRYABLE:retry()else:raise # 400/401/403不重试2. 不要立即重试至少等1秒给上游恢复时间。设上限最多三次超过就放弃并记日志。注意重复计费对话接口不幂等。重试一次多扣一次费。所以429/503要退避——上游可能已经处理了请求只是响应丢了。加随机抖动pythonwait (2 ** attempt) random.uniform(0, 1)避免多个客户端同时重试造成二次冲击。完整实现pythonimport timeimport randomimport logginglogger logging.getLogger(name)class AIClient:RETRYABLE {429, 500, 502, 503, 504}MAX_RETRIES 3def __init__(self): self.client OpenAI( base_urlhttps://api.openstarry.com/v1, api_keysk-xxx, timeouthttpx.Timeout(connect10.0, read120.0) ) def chat(self, messages, modelglm-5.2): for attempt in range(self.MAX_RETRIES 1): try: return self.client.chat.completions.create( modelmodel, messagesmessages ) except Exception as e: status getattr(e, status_code, None) if status not in self.RETRYABLE or attempt self.MAX_RETRIES: raise wait (2 ** attempt) random.uniform(0, 1) logger.warning(f重试 {attempt1}/{self.MAX_RETRIES}等待{wait:.1f}s) time.sleep(wait)我用国内聚合服务OpenStarry兼容OpenAI格式API可以先把代码跑通。

API实践第2篇-2 细读超时与重试

相关推荐

中国商业航天2026中场战事：半年融资151亿、15家企业冲IPO

API实践第一篇：三个配置解决大部分调用问题无标题】

我的VB Coding之路 - AI编码实战演进

更多资讯

Data Science For Beginners：数据科学生命周期入门——捕获、处理与维护三大核心阶段

Mongoose Discriminators 完全指南：基于 Schema 继承的多模型单集合建模

零感知、全记录：移动目标无感定位如何构建不可篡改的战场行动账本技术白皮书

awesome-copilot 的 react18-upgrade 插件：面向 React 16/17 类组件代码库的 React 18.3.1 企业级迁移工具链

agno Saved Baselines：将环境回滚证据固化为 JSON 基线，实现跨进程评估对比与 CI 回归验证

10分钟跑通CVAT：数据标注平台部署指南（含避坑清单）

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？