Agent SRE 可视化观测面板：基于 Streamlit 监控 AI 代理可靠性、成本与混沌实验-北京尧图网络

Agent SRE 可视化观测面板基于 Streamlit 监控 AI 代理可靠性、成本与混沌实验【免费下载链接】agent-governance-toolkitAI Agent Governance Toolkit — Policy enforcement, zero-trust identity, execution sandboxing, and reliability engineering for autonomous AI agents. Covers 10/10 OWASP Agentic Top 10.项目地址: https://gitcode.com/GitHub_Trending/ag/agent-governance-toolkit本篇技术指南以 Agent Governance Toolkit 仓库中agent-sre包的官方示例仪表盘为核心讲解如何用 Streamlit 搭建面向 AI 代理系统的一站式可靠性观测界面覆盖 SLO 健康度、成本治理、混沌工程、事件管理与渐进式交付六大视图。读完本文你将掌握该仪表盘的启动方法、六大 Tab 的数据模型与交互逻辑以及它如何与 agent-sre SDK 的真实类型SLO、CostGuard、ChaosExperiment、IncidentDetector衔接为后续接入真实遥测数据打下基础。仪表盘概览AI 代理的 SRE 作战室Agent SRE Dashboard 是一个可独立运行的交互式 Streamlit 应用用于监控 AI 代理Agent的可靠性Reliability、成本Cost、混沌实验Chaos Experiments、事件Incidents与渐进式交付Progressive Delivery。它位于仓库的 agent-sre/examples/dashboard 目录核心文件包括README.md —— 官方使用说明本文的主体依据app.py —— 1081 行的完整仪表盘实现requirements.txt —— 依赖清单。该面板的设计动机来自传统 SRE 实践向 AI 代理场景的迁移传统 APM 只能告诉你HTTP 200、延迟正常却无法捕获代理自信地给出错误答案、工具调用失控烧钱或Agent A 信任了产生幻觉的 Agent B 导致级联故障这类问题。这个仪表盘把 agent-sre 的七大可靠性能力SLO、错误预算、混沌测试、成本护栏、渐进式交付、事件管理与回放浓缩成一个可视化界面让你一眼看清整个代理群的运行健康度。从 app.py 的源码可以看到仪表盘实际包含6 个 Tab比 README 描述的 5 个多出Policy HeatmapTab展示内容SLO Health错误预算、燃烧率Burn Rate、合规时间线、指标分解Cost Management每代理预算、成本趋势、告警、Top 消费方Chaos Engineering实验列表、韧性雷达图、故障注入时间线Incidents按严重级别分类的活动事件、MTTR、信号关联Progressive Delivery分阶段发布进度、预览测试匹配率Policy Heatmap策略评估/违规热力图OpenTelemetry 治理指标密度仪表盘内置 8 个模拟代理support-bot、code-reviewer、data-pipeline、billing-agent、search-indexer、deploy-agent、qa-tester、onboarding-flow见 app.py开箱即可演示无需任何后端服务。快速开始两条命令启动面板按照官方 README 的 Quick Start只需两步即可启动# 1. 安装依赖 pip install -r agent-governance-python/agent-sre/examples/dashboard/requirements.txt # 2. 运行仪表盘 streamlit run agent-governance-python/agent-sre/examples/dashboard/app.py依赖清单非常轻量见 requirements.txtstreamlit1.54.0 plotly5.18.0 pandas2.0.0 numpy1.24.0启动后面板在http://localhost:8501打开。它独立运行、自带模拟数据如果环境中已安装agent-sre包则会使用真实的 SDK 类型进行更丰富的展示这一点下文详述。双模式架构模拟数据真实 SDK 类型仪表盘在启动时先尝试加载 agent-sre SDK这段逻辑位于 app.pytry: sys.path.insert(0, str(Path(__file__).parent.parent.parent / src)) from agent_sre.slo.objectives import SLO, SLOStatus from agent_sre.slo.indicators import ( TaskSuccessRate, CostPerTask, ResponseLatency, HallucinationRate, ) from agent_sre.slo.dashboard import SLODashboard from agent_sre.cost.guard import CostGuard from agent_sre.chaos.engine import ChaosExperiment from agent_sre.incidents.detector import IncidentDetector _SDK True except Exception: _SDK False这段代码有两点值得注意优雅降级SDK 加载失败时置_SDK False仪表盘照常以纯模拟数据运行不会崩溃SDK 可见性提示侧边栏会显示SDK detected: Yes / No (simulated)app.py方便你确认当前运行模式。其中导入的SLODashboard来自 src/agent_sre/slo/dashboard.py它负责收集 SLO 快照SLOSnapshot、记录合规历史ComplianceRecord并生成健康摘要health_summary输出 total/healthy/warning/critical/exhausted/unknown 计数——这正是仪表盘 SLO Health Tab 中 KPI 指标卡的字段来源。而SLO、SLOStatus、ErrorBudget定义在 src/agent_sre/slo/objectives.py其中SLOStatus枚举了HEALTHY / WARNING / CRITICAL / EXHAUSTED / UNKNOWN五档状态与仪表盘状态徽章一一对应。另一个实现细节是确定性随机种子app.py 把首次加载时间写入st.session_state[seed]并用np.random.default_rng(seed)生成所有模拟数据保证会话内刷新时数据保持一致、图表连续可读。六大 Tab 深度拆解SLO Health错误预算与燃烧率SLO Health Tabapp.py围绕 4 个 SLO 指标构建task-success任务成功率目标 99.5%、p95-latencyP95 延迟目标 99%、cost-per-task单任务成本目标 98%、hallucination-rate幻觉率目标 95%与 SDK 中 indicators.py 提供的TaskSuccessRate、CostPerTask、ResponseLatency、HallucinationRate四类 SLI 一一对应。视图组成KPI 指标卡Total SLOs / Healthy / Warning / Critical / Exhausted 五联卡片直观反映错误预算健康分布Error Budget Burn Rates为每个 SLO 渲染 1 小时与 6 小时两个燃烧率仪表盘Gauge。燃烧率Burn Rate 实际错误率 / 允许错误率1.0 表示按预期速度消耗预算大于 1.0 表示消耗过快。源码中的_gauge()函数app.py以(2.0, 6.0)为默认阈值分级着色绿色2x、黄色2x–6x、红色6xSLO Compliance TimelinePlotly 折线图展示各 SLO 随时间变化的合规率并用虚线标出每个 SLO 的目标线fig_slo.add_hline(ysnap[target], ...)偏离目标线的部分一目了然Indicator Breakdown按代理列出成功率、P95 延迟ms、单任务成本$、幻觉率%的数据表。这些概念与 objectives.py 中ErrorBudget的实现完全对应burn_rate(window_seconds)在指定窗口内统计错误事件占比与允许错误率的比值firing_alerts()依据burn_rate_alert2.0与burn_rate_critical10.0两个阈值产出 warning/critical 告警——仪表盘上的黄/红状态正是这两档阈值的可视化。Cost Management成本护栏与告警Cost Tabapp.py回答代理群今天花了多少钱、谁在超支KPI 卡片Total Spent Today今日总花费、Daily Budget日预算、Avg Utilization平均利用率、Active Alerts活动告警Per-Agent Budget Utilization堆叠横向条形图绿色代表已花费、灰色代表剩余额度利用率 90% 标红、70% 标黄与COLOR_CRITICAL/COLOR_WARNING常量对应Top Spenders消费 Top 5 代理表格Cost Trend按代理分色的成本趋势折线Daily Cost Breakdown by Agent按日分组的堆叠柱状图Cost Alerts带严重级别徽章 critical / warning / info的告警表告警消息如Budget exceeded / Approaching limit / Cost recorded for 。这些模拟告警背后对应 SDK 的 cost/guard.pyCostGuard——真实的CostGuard支持每任务硬上限、每代理每日上限、组织月度预算、异常检测Z-score / IQR / EWMA与自动节流auto-throttle甚至 kill switch。仪表盘以可视化的方式呈现了这些护栏的消费视图。Chaos Engineering主动打破代理Chaos Tabapp.py演示混沌工程闭环KPI 卡片Experiments实验数、Running运行中、Faults Injected注入故障总数Experiments 列表以可折叠面板展示每个实验的故障类型如tool_timeout、llm_degraded、cost_spike、时长与注入故障数运行中的实验自动展开expandedexp[state] runningResilience Radar针对已完成的实验绘制雷达图四个维度为 Fault Tolerance故障容忍度、Recovery Time恢复时间、Degradation劣化程度、Cost Impact成本影响——与 SDK 中ChaosExperiment.calculate_resilience()返回的韧性评分结构一致Fault Injection Timeline用散点条带图px.strip把每次故障注入标记在时间轴上观察故障密度与分布Before / After Comparison对比实验前后成功率、P95 延迟、平均成本的退化程度Run Chaos Test 按钮点击后模拟向support-bot注入tool_timeout故障带进度条与结果反馈Resilience: 78.3%完整演示注入 → 测量 → 评分的流程。Incidents事件管理与 MTTRIncidents Tabapp.py围绕 4 个示例事件INC-1039 ~ INC-1042展开KPI 卡片Active Incidents、Resolved (window)、MTTR (avg)、P1 OpenActive Incidents 卡片流每条事件以左侧彩色边框P1 红、P2 橙、P3 黄、P4 蓝展示严重级别、标题、状态investigating / mitigating / resolved与代理归属Incident Timeline散点图标记每条事件的 Detected → Acknowledged → Resolved 三个时间点MTTR by Severity按严重级别分组的平均修复时间柱状图Signal Correlation信号slo_breach、error_budget_exhausted、cost_anomaly、latency_spike、tool_failure_spike与触发事件 ID 的关联表——这与 SDK incidents/detector.py 中IncidentDetector的信号关联correlation_window_seconds概念一致便于发现多个事件共享同一根因的模式。Progressive Delivery安全发布代理版本Delivery Tabapp.py模拟一次名为deploy-agent-v2.4.0的金丝雀Canary发布KPI 卡片Rollout 名称、StrategyCANARY、Current Weight当前流量权重、Shadow Match影子模式匹配率Rollout Progress横向条形图展示 Shadow(0%) → Canary 5% → Canary 25%active→ Canary 50%pending→ Full rollout(100%) 的五个阶段绿色complete、蓝色active、灰色pendingCanary vs Baseline分组柱状图对比金丝雀与基线版本的成功率、P95 延迟、单任务成本Shadow Test Match Rate仪表盘显示影子模式输出与生产输出的一致率阈值 90%90% 绿色Rollout Event Timeline事件表记录Shadow started → Shadow passed (match 95.2%) → Canary 5% started → Canary 5% passed analysis → Canary 25% started的完整发布节奏。这套阶段模型与 SDK delivery/ 模块rollout.py、gitops.py的渐进式交付能力吻合影子模式验证 → 小流量金丝雀 → 逐步放量 → 全量发布每个阶段都有分析闸门analysis gates与自动回滚条件如错误预算燃烧率 5.0、策略违规 0、成本异常。Policy Heatmap治理指标密度热力图README 未提及、但 app.py 中完整实现的第六个 Tab将治理可观测性纳入同一面板视图切换agent_x_time代理 × 时间桶或policy_x_time策略 × 时间桶时间桶宽度自适应1 小时或 4 小时桶最多 48 列颜色指标Evaluation Count评估次数蓝色系或 Violation Count违规次数红色系内置策略列表content-safety、rate-limit、cost-budget、pii-filter、tool-access、hallucination-guard、auth-scope、output-filter八类策略KPI 条Total Evaluations、Total Violations含违规率 delta、Peak Activity单桶评估数最高的实体及其时间点、Violation Rate相对 5% 基线的偏差分布图与汇总表评估/违规分布横向条形图以及按违规总数排序的汇总表Total Evaluations、Total Violations、Violation Rate、Peak Bucket。源码注释明确说明app.py该热力图的数据形态对应 OpenTelemetry 治理指标管道OTel conventions模拟数据采用与 OTel exporter 相同的结构生成。结合 integrations/otel 目录下的metrics.py、conventions.py等实现你可以把它视作把策略评估密度可视化到面板上的参考范式。配置与交互侧边栏控制台仪表盘的交互配置集中在侧边栏app.pyTime range时间范围下拉框选择Last 1 h / Last 6 h / Last 24 h / Last 7 d / Last 30 d默认 24 小时数据点数量由N_POINTS min(HOURS[time_range], 200)决定长范围自动降采样Filter agents代理过滤多选框默认选中全部 8 个代理所有 Tab 的数据生成都会以selected_agents为输入实现全局联动过滤Auto-refresh自动刷新勾选后每 30 秒自动重载time.sleep(30); st.rerun()见 app.py适合投放到大屏或值班监控场景SDK detected提示当前运行模式。页面整体采用layoutwide宽屏布局与plotly_dark深色主题app.py状态色板统一健康绿#2ecc71、警告黄#f1c40f、严重红#e74c3c、预算耗尽紫#8e44ad、信息蓝#3498db。从模拟到生产如何对接真实数据当前仪表盘默认使用模拟数据生成器gen_slo_data()、gen_cost_data()、gen_chaos_data()、gen_incident_data()、gen_rollout_data()、gen_policy_heatmap_data()它们的输出结构与 SDK 的真实类型字段对齐因此替换为真实数据的路径是清晰的接入 agent-sre 引擎安装agent-sre后用 quickstart.py 等示例中的方式创建真实的SLO、CostGuard、ChaosExperiment、IncidentDetector实例把take_snapshot()见 slo/dashboard.py产出的SLOSnapshot直接喂给仪表盘的 SLO Tab对接 OpenTelemetryagent-sre 原生支持 OTLP 导出integrations/otel也可将 Prometheus exporter 的数据写入仪表盘的数据层替换 Policy Heatmap 的模拟数据源保留交互骨架侧边栏的时间范围、代理过滤与自动刷新逻辑无需改动只需替换各gen_*函数的内部实现为真实查询。整个 dashboard 目录是 agent-sre 生态中开箱即用的可视化参考实现与仓库 examples/ 下的cost_guard.py、chaos_test.py、canary_rollout.py等可运行示例互为补充——前者解决怎么看后者解决怎么用。对照 agent-sre/README.md 的架构图SLO Engine → Error Budget → Chaos Engine → Circuit Breaker → Canary Deploy → Cost Guard → Incident Manager 的可靠性生命周期这个仪表盘正是该生命周期全部环节的统一观测入口。【免费下载链接】agent-governance-toolkitAI Agent Governance Toolkit — Policy enforcement, zero-trust identity, execution sandboxing, and reliability engineering for autonomous AI agents. Covers 10/10 OWASP Agentic Top 10.项目地址: https://gitcode.com/GitHub_Trending/ag/agent-governance-toolkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

Agent SRE 可视化观测面板：基于 Streamlit 监控 AI 代理可靠性、成本与混沌实验

相关推荐

Visual Studio中C#开发必备快捷键：从补全到调试重构

集合竞价抓涨停：基于Python的MACD背离与斐波那契量化选股策略

YOLOv11融合激光雷达点云的3D目标检测架构解析

更多资讯

做 WorkBuddy 的 Skill 自动化，TaoToken 只提供 Key

健康报告出来，TaoToken 记下 DeepSeek Harness 的 Token 消耗

使用 Meshery 部署 ms-emails-worker：基于 Helm Chart 的 Kubernetes 邮件队列后台 Worker 实战

汽车电子底层软件开发：从MCU基础到就业的全景拆解

追溯 @wordpress/element 演进史：从 Gutenberg 变更日志看 WordPress 的 React 抽象层

【ComfyUI】LayerMask OOTD语义切割基础换装

今日更新

AReaL 调试指南：从 Agent Workflow 验证到分布式训练死锁诊断

MATLAB实现GPS L1 C/A信号仿真与二维捕获验证

彻底搞懂ASCII、Unicode与UTF-8：从乱码根源到编码实战

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？