尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
用Spring Boot搭建AI成本与稳定性监控看板:Token、预算、429、熔断与降级
文章摘要Spring AI 2.0已经可以通过Micrometer输出模型调用耗时与Token指标但企业要真正控制成本还需要把模型价格、业务场景、租户、预算、重试、Tool Calling和降级事件统一起来。本文实现一个轻量级AI成本与稳定性监控服务从ChatResponse读取Usage计算单次费用写入业务成本表同时用Micrometer记录低基数指标并提供租户月预算、场景成本、429、熔断和降级看板所需的数据模型与PromQL。一、最终要看哪些数据系统健康看板QPS P95/P99延迟 当前并发 错误率 429 超时 熔断 降级成本看板输入Token 输出Token 缓存读写Token 按模型成本 按租户成本 按业务场景成本 单任务平均成本 预算使用率质量辅助完成率 重试次数 工具调用次数 人工接管率二、为什么Prometheus不能单独做财务结算Prometheus适合趋势和告警但不适合最终账单指标可能有采样数据有保留期限实例重启和标签变化会影响序列不适合保存每个用户高基数记录难以做审计和追溯。推荐Micrometer → 实时监控 成本明细表 → 结算与审计三、价格配置模型publicrecordModelPrice(Stringprovider,Stringmodel,BigDecimalinputPerMillion,BigDecimaloutputPerMillion,BigDecimalcacheWritePerMillion,BigDecimalcacheReadPerMillion,LocalDateeffectiveFrom){}价格不能写死在业务代码中。配置表CREATETABLEai_model_price(idBIGINTPRIMARYKEY,providerVARCHAR(64)NOTNULL,modelVARCHAR(128)NOTNULL,input_per_millionDECIMAL(18,8)NOTNULL,output_per_millionDECIMAL(18,8)NOTNULL,cache_write_per_millionDECIMAL(18,8),cache_read_per_millionDECIMAL(18,8),effective_fromDATENOTNULL,effective_toDATE);模型价格变化后保留历史版本。四、请求上下文publicrecordAiCostContext(StringrequestId,StringtenantId,StringuserId,StringbusinessScene,StringpromptVersion,StringmodelTier){}tenantId和userId从认证上下文读取不信任前端直接传值。五、从ChatResponse读取UsageChatResponseresponsechatClient.prompt().user(message).call().chatResponse();Usageusageresponse.getMetadata().getUsage();读取longinputusage.getPromptTokens();longoutputusage.getCompletionTokens();longtotalusage.getTotalTokens();不同Provider的详细缓存Token可以通过统一Usage字段或getNativeUsage()读取。必须允许Usage为空这时标记为COST_UNKNOWN不要默认为0否则财务数据会被低估。六、成本计算器ComponentpublicclassAiCostCalculator{privatestaticfinalBigDecimalMILLIONnewBigDecimal(1000000);publicBigDecimalcalculate(UsageSnapshotusage,ModelPriceprice){BigDecimalinputCostcost(usage.inputTokens(),price.inputPerMillion());BigDecimaloutputCostcost(usage.outputTokens(),price.outputPerMillion());BigDecimalcacheWriteCostcost(usage.cacheWriteTokens(),price.cacheWritePerMillion());BigDecimalcacheReadCostcost(usage.cacheReadTokens(),price.cacheReadPerMillion());returninputCost.add(outputCost).add(cacheWriteCost).add(cacheReadCost);}privateBigDecimalcost(longtokens,BigDecimalperMillion){if(perMillionnull){returnBigDecimal.ZERO;}returnBigDecimal.valueOf(tokens).multiply(perMillion).divide(MILLION,10,RoundingMode.HALF_UP);}}七、成本明细表CREATETABLEai_usage_record(idBIGINTPRIMARYKEY,request_idVARCHAR(64)NOTNULL,tenant_idVARCHAR(64)NOTNULL,user_idVARCHAR(64),business_sceneVARCHAR(64)NOTNULL,providerVARCHAR(64)NOTNULL,modelVARCHAR(128)NOTNULL,prompt_versionVARCHAR(64),input_tokensBIGINT,output_tokensBIGINT,cache_write_tokensBIGINT,cache_read_tokensBIGINT,model_call_countINTNOTNULL,tool_call_countINTNOTNULL,retry_countINTNOTNULL,estimated_costDECIMAL(18,10),cost_statusVARCHAR(32)NOTNULL,duration_msBIGINT,result_statusVARCHAR(32)NOTNULL,created_atTIMESTAMPNOTNULL);索引CREATEINDEXidx_ai_usage_tenant_monthONai_usage_record(tenant_id,created_at);CREATEINDEXidx_ai_usage_scene_monthONai_usage_record(business_scene,created_at);八、为什么要记录model_call_count一次ChatClient请求可能包含第一次模型选择工具 第二次模型读取工具结果 第三次模型修复结构化输出最终Usage可能是累计值但为了分析效率还要记录模型轮次。指标平均每个业务请求模型调用次数如果从1.3突然上升到4.8可能发生Tool循环输出修复重试Agent规划失效。九、Micrometer低基数指标ComponentpublicclassAiMetrics{privatefinalMeterRegistryregistry;publicAiMetrics(MeterRegistryregistry){this.registryregistry;}publicvoidrecordCost(Stringscene,StringmodelTier,BigDecimalcost){registry.counter(enterprise.ai.estimated.cost,scene,scene,model_tier,modelTier).increment(cost.doubleValue());}publicvoidrecordFallback(Stringscene,Stringreason){registry.counter(enterprise.ai.fallback,scene,scene,reason,reason).increment();}}不要把userId requestId conversationId作为Meter标签。十、预算表CREATETABLEai_budget(idBIGINTPRIMARYKEY,scope_typeVARCHAR(32)NOTNULL,scope_idVARCHAR(128)NOTNULL,budget_monthCHAR(7)NOTNULL,warning_amountDECIMAL(18,2)NOTNULL,hard_limit_amountDECIMAL(18,2)NOTNULL,currencyVARCHAR(8)NOTNULL,UNIQUE(scope_type,scope_id,budget_month));范围ORGANIZATION PROJECT TENANT BUSINESS_SCENE十一、预算检查publicBudgetDecisioncheck(StringtenantId,Stringscene,BigDecimalestimatedRequestCost){BigDecimalmonthCostusageRepository.sumMonthCost(tenantId,YearMonth.now());BudgetbudgetbudgetRepository.findTenantBudget(tenantId,YearMonth.now());BigDecimalprojectedmonthCost.add(estimatedRequestCost);if(projected.compareTo(budget.hardLimitAmount())0){returnBudgetDecision.BLOCK;}if(projected.compareTo(budget.warningAmount())0){returnBudgetDecision.WARN;}returnBudgetDecision.ALLOW;}请求前只能估算调用后再用实际Usage结算。十二、预算接近上限如何降级80% → 告警 90% → 默认切换低成本模型 95% → 关闭非核心AI功能 100% → 阻止请求或转规则系统模型路由publicModelTierroute(BudgetDecisiondecision,ModelTierrequested){returnswitch(decision){caseALLOW-requested;caseWARN-requested.downgrade();caseBLOCK-ModelTier.NONE;};}十三、429看板区分rate_limit_exceeded insufficient_quota project_spend_limit指标enterprise_ai_429_total{ reasonrate_limit }不要把所有429合并否则无法判断应该等待重试 还是 立即停止并调整预算十四、熔断与降级指标resilience4j_circuitbreaker_state resilience4j_circuitbreaker_calls_seconds enterprise_ai_fallback_total enterprise_ai_degraded_request_total看板应显示当前熔断状态最近打开次数降级模型比例转人工数量被预算阻止数量。十五、核心PromQL输入Token速率sum by (gen_ai_request_model) ( rate(gen_ai_client_token_usage_total{ gen_ai_token_typeinput }[5m]) )输出Token速率sum by (gen_ai_request_model) ( rate(gen_ai_client_token_usage_total{ gen_ai_token_typeoutput }[5m]) )模型平均耗时sum(rate(gen_ai_client_operation_seconds_sum[5m])) / sum(rate(gen_ai_client_operation_seconds_count[5m]))业务降级速率sum by (scene, reason) ( rate(enterprise_ai_fallback_total[5m]) )十六、日报接口GetMapping(/internal/ai-cost/daily)publicDailyCostReportdaily(RequestParamLocalDatedate){returnreportService.build(date);}返回{date:2026-07-31,totalCost:128.43,totalRequests:45210,costPerSuccess:0.0031,topScenes:[],topTenants:[],fallbackCount:318,rateLimitCount:26}十七、看板布局建议第一行今日费用 月度费用 预算使用率 成功请求 单次成功成本第二行请求趋势 Token趋势 P95延迟 错误率第三行模型成本占比 业务场景成本 租户成本Top10第四行429 熔断 降级 重试 Tool失败十八、需要防止的统计错误1. Tool Calling只算最后一次模型会低估成本。2. Provider未返回Usage时记0应该记未知。3. 价格更新后重算历史历史记录应使用调用当时价格版本。4. Prometheus值作为账单不适合最终审计。5. 把userId作为指标标签造成高基数爆炸。总结一个可用的AI成本看板必须把Spring AI Usage 模型价格 业务上下文 预算 429 熔断 降级组织在一起。Micrometer负责实时健康和趋势数据库明细负责按租户、场景和请求进行成本结算与审计。
RELATED

相关推荐

看完就会:盘点2026年巅峰之作的的降AIGC网站

看完就会:盘点2026年巅峰之作的的降AIGC网站

轻松降低论文AI率在2026年已不再是天方夜谭。以下是2026年最炸裂、实测效果显著的降AIGC网站神器,覆盖AI痕迹消除、文本改写润色、降重优化、学术合规检测四大核心场景,帮你稳妥搞定毕业论文。 一、全流程王者:一站式搞定论文全链路 这类工具…

📅 2026/10/4 21:45:33
Spring AI遇到429或超时后为什么重复执行工具?重试边界与幂等完整排查

Spring AI遇到429或超时后为什么重复执行工具?重试边界与幂等完整排查

文章摘要 AI接口出现429、超时或连接中断后,开发者通常会增加自动重试。但在Tool Calling场景中,如果重试包裹了整个Agent流程,退款、发送邮件、创建工单、写数据库等工具可能被重复执行。更隐蔽的情况是模型请求超时,但工具其实已…

📅 2026/9/29 10:13:29
如何用IINA打造macOS终极视频播放体验:免费强大的现代化播放器指南

如何用IINA打造macOS终极视频播放体验:免费强大的现代化播放器指南

如何用IINA打造macOS终极视频播放体验:免费强大的现代化播放器指南 【免费下载链接】iina The modern video player for macOS. 项目地址: https://gitcode.com/gh_mirrors/iin/iina 你是否厌倦了macOS上那些界面陈旧、功能有限的视频播放器?想要…

📅 2026/10/5 17:38:22
MORE NEWS

更多资讯

📰

电工证电话号码更改怎么弄?全国通用别搞错关键步骤

电工证电话号码更改怎么弄?全国通用别搞错关键步骤 实操考试心里没底怕挂科,特别是像你这样在焦作做建筑工的朋友,手头有个电工证,但最近电话号码改了,怕影响考试安排、证书更新,甚至影响到以后的找工作和项目接单,确实让人挺发愁的。…

📰

自己怎样报考电工证在哪考 老电工手把手教你避坑

自己怎样报考电工证在哪考 老电工手把手教你避坑 你是不是也这样,手头有个电工证,但不知道怎么找工作?或者压根还没考,就被单位催着赶紧去考?电工证这事真不是小事, 没有它就别想进工地、进厂、进工地…

📰

高压电工证复审心得:含金量高不高?刚考完的人怎么说

高压电工证复审心得:含金量高不高?刚考完的人怎么说 你是不是也遇到过这种情况:刚找到电工相关的工作,结果单位说必须要有高压电工证才能上岗,否则连试用期都过不了?别急,高压电工证的 含金量…

📰

飞机电工证千万别踩坑,报名全流程这样搞

飞机电工证千万别踩坑,报名全流程这样搞 你是不是也在为【飞机电工证】发愁?不知道去哪报名怕被中介坑,还担心流程复杂?其实只要掌握了正确的流程和关键点,就能避开那些套路,顺利拿到证。下面我结合济源水利工程从业者的实际经验,给你详细说说飞机电工…

📰

电工证哪个局发证快些 在哪考才能不影响工作

电工证哪个局发证快些 在哪考才能不影响工作 证书过期了不知道怎么复审延期,你是不是也遇到了这种情况?最近不少在洛阳涧西区工作的建筑工人反馈,电工证过期后才发现补办流程比想象中复杂, 在哪考 、 哪个局发证快…

📰

建筑电工证考试内容怎么考?全国通用的证书怎么拿?

建筑电工证考试内容怎么考?全国通用的证书怎么拿? 你是不是正愁找不到合适的工作,又听说必须有 建筑电工证 才能上岗?现在越来越多工地、工程类岗位都要求持有 全国通用 的特种作业操作证,尤其是建筑电工证,更是刚需。 对于像你这样的…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬