12 小时缓存值不值？先算写入费，再谈每次推理多少钱-北京尧图网络

缓存命中率漂亮不代表账单一定更小。前缀写入本身可能收费短时间内没有复用几次缓存反而会多花钱。OpenAI 的 2026 年 10 月 20 日日志记录了 12 小时缓存选项。它适合重新检查重复上下文的使用方式但不能据此得出“所有模型缓存都打一折”或“每次推理能降到一分钱”。先把输入账拆开图中“完整成本”只指这四类 token 的小计搜索、硬件和人工不在其中。设某段共享前缀的普通输入成本为 P首次缓存写入倍率为 w后续读取倍率为 r期间共用 n 次。在“一次写入之后全部命中”的简化条件下不缓存nP。使用缓存wP (n−1)rP。缓存划算的条件n (w−r)/(1−r)且 r 小于 1。这个公式不含输出费用因为比较双方的输出量暂时相同。若缓存策略改变了请求内容或回答质量就得重新比较完整任务。用假设数据检查公式别假装这是账单下面的 P1 是一个成本单位不是一元钱也不是某个账号实际费率。倍率只用于演示计算应用到真实接口时应从对应模型当前价格表读取。from decimal import Decimal as D def cost(n, write, read): if n 1 or write 0 or not (D(0) read D(1)): raise ValueError(invalid inputs) return write D(n - 1) * read for n in (1, 2, 3, 10): cached cost(n, D(2.5), D(0.1)) ordinary D(n) print(fn{n:2} cached{cached} ordinary{ordinary} cheaper{cached ordinary}) assert cost(2, D(2.5), D(0.1)) D(2) assert cost(3, D(2.5), D(0.1)) D(3)保存为 cache_cost.py执行 python3 cache_cost.py。可以看到在这组假设下两次使用还不划算三次才跨过盈亏线。这是算术结果不是模型效果测试。实际系统还会遇到前缀变化、过期重写、不同请求落到不同机器以及最小可缓存长度。应从 usage 记录分别取普通输入、写入和读取量不要用“命中的请求占比”直接替代 token 命中比例。长寿命的价值在复用间隔里缓存文档区分寿命、写入与读取计费。比较长短寿命时不能只看谁写得便宜相隔数小时的工作是否会使短寿命缓存反复重建同样影响总成本。我会先看一周脱敏请求哪些前缀相同复用间隔多长工具目录改动多频繁。确实稳定、跨会话重复的材料才值得试长寿命用户订单和实时库存不该为了缓存而强行冻结。别把别家的折扣规则乘进来阿里云价格文档的千问 Max 栏明确说明Batch 与上下文缓存不能同时生效。这条规则不能推广到所有供应商但足以提醒我们半价乘一折不是一条通用结算公式。本地只验证 Decimal 成本公式没有调用付费模型。硬件、运维、人工、输出 token 和质量损失尚未纳入示例。价格与可用性需在实际接入当天再次核对。

12 小时缓存值不值？先算写入费，再谈每次推理多少钱

相关推荐

优惠金额交给代码，推理模型只做建议：小厂的决策边界

50个高阶提示词模板：新手用四要素玩转DeepSeek与AI办公

FAPROTAX 16S元素循环功能预测：输入制备、参数与验收

更多资讯

openSCADA的jar部署与依赖管理：从classpath到模块加载避坑指南

普通人也能编程？Vibe Coding让AI帮你敲代码

Scrapy多站点新闻爬虫实战：网易搜狐凤凰澎湃抓取与增量更新

AI基础数据服务全流程拆解：从采集标注到质检的成本与避坑指南

AI产品定价策略：为何20美元订阅制在AI时代失效

DeepSeek+Dify本地知识库部署实战：Ollama与Docker全流程

今日更新

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？