OpenSRE 测试体系指南：目录规范、快速命令与端到端命名约定-北京尧图网络

OpenSRE 测试体系指南目录规范、快速命令与端到端命名约定【免费下载链接】opensreBuild your own AI SRE agents. The open source toolkit for the AI era.项目地址: https://gitcode.com/GitHub_Trending/op/opensre本文以仓库 tests/README.md 为核心骨架结合 Makefile、pytest 配置与测试源码系统讲解 OpenSRE 开源项目Build your own AI SRE agents的测试组织方式。你将掌握三套开箱即用的测试命令覆盖、集成校验、全量回归、tests/目录的分层约定、tests/e2e/与遥测的命名规则以及如何快速定位某个领域cli、tools、integrations、core等对应的测试代码。快速上手三条核心命令原文档给出了三组最常用的命令它们分别对应「本地首跑」「集成改动后」「CI 回归」三种场景。目标命令何时使用运行默认单元测试套件并带覆盖率make test-cov本地第一件事无需任何真实基础设施校验所有集成配置与客户端make verify-integrations新增或修改集成之后运行默认 pytest 全量收集tests/e2e被 pytest 配置排除make test-full本地或 CI 的宽泛回归make test-cov并行覆盖率跑分在 Makefile 中test-cov的实现是test-cov: $(PYTHON) -m pytest -n auto -v $(addprefix --cov,$(PYTHON_SOURCE_PATHS)) --cov-reportterm-missing其中PYTHON_SOURCE_PATHS : bootstrap config core gateway integrations infrastructure surfaces toolsMakefile即覆盖统计只针对这些产品源码目录不把测试自身算进分母。-n auto借助 pytest-xdist 按 CPU 核数并行--cov-reportterm-missing会在终端列出未覆盖行号方便逐行补测。PYTHON变量的解析顺序Makefile值得注意优先使用.venv/bin/python其次.venv/Scripts/python.exeWindows最后回退到python3/python保证在没有虚拟环境时命令依然可用。make verify-integrations集成配置与连通性校验verify-integrations: uv run opensre integrations verify $(if $(SERVICE),$(SERVICE),) $(if $(SLACK_TEST),--send-slack-test,)该命令实际调用 CLI 的opensre integrations verify可传SERVICE限定单个集成传SLACK_TEST1触发 Slack 测试消息。它对应 integrations/verify.py 等实现会读取本地 store 与.env中的凭据逐项验证连通性。仓库还提供了更轻量的冒烟变体verify-integrations-smoke: $(PYTHON) -m pytest -q \ tests/integrations/test_verification_registry.py \ tests/integrations/test_registry.py它只跑注册表/目录的契约测试作为 CI 冒烟闸门不触碰真实服务。make test-full全量回归test-full: $(PYTHON) -m pytest -vpytest 的testpathspytest.ini为tests、gateway/tests和core/agent_harness/prompts/skills三处其中norecursedirs tests/e2e .git ...pytest.ini明确把tests/e2e排除出默认收集这正是原文档标注「tests/e2eexcluded by pytest configuration」的出处——端到端用例需要显式 opt-in避免本地/CI 因缺少真实服务凭据而失败。pytest.ini中还有几项对理解全量回归至关重要的全局配置import 模式--import-modeimportlib解决两个测试文件同名如test_enums导致的 import file mismatch插件加载-p tests.harness_providers_plugin -p tests.colocated_skill_tests_plugin前者为每个测试树装配工具/集成端口后者保证位于core/agent_harness/prompts/skills下的技能测试不被重复执行超时兜底timeout 600pytest.ini把可能挂死的测试从「烧光整个 30 分钟 CI 任务」降级为「快速失败并输出全线程栈」便于诊断死锁标记定义integration可能发 API 调用、live_llm需要真实 LLM 凭据与网络、e2e需要真实基础设施或外部凭据离线 CI 中跳过、live_install命中真实安装源opt-in 或 e2e 路径使用见 pytest.ini。目录布局测试必须按领域归置原文档的核心约定是测试要放在领域目录下而不是散落在tests/根目录。路径覆盖内容tests/domain/产品模块的单元与集成测试cli/、tools/、integrations/、core/、infrastructure/等tests/e2e/针对真实服务与基础设施的真实端到端场景设计原则见 e2e/AGENTS.mdtests/github_ci/仓库卫生守卫命名、导入边界、架构引用tests/conftest.py整棵测试树共享的 pytest fixtures实际目录tests/与之一一对应除conftest.py、两个插件文件和ci_sharding.py外analytics/、benchmarks/、bootstrap/、config/、core/、filestorage/、infrastructure/、integrations/、interactive_shell/、scheduler/、tools/等均为领域目录与源码顶层结构bootstrap/、config/、core/、integrations/、infrastructure/、surfaces/一一镜像方便「源码改动 → 就近找到测试」。tests/github_ci/仓库卫生守卫这组测试守卫的是「仓库本身的健康」而非业务功能。以 tests/github_ci/test_naming_conventions.py 为例它扫描README.md、pyproject.toml、Makefile、tests/README.md、.github/workflows/*.yml以及tests/e2e/下的所有.py文件断言其中不再出现tests/test_case_、test_casetest_case_、test_orchestrator三个遗留 token——这是原文档「Legacy names」一节的落地守卫。同目录还包含 test_ci_sharding.py、test_external_code_boundaries.py、test_pr_pipeline_slo.py、test_pre_push_gate.py 等分别守护分片、外部代码边界、PR 流水线 SLO 与 pre-push 闸门。tests/conftest.py整棵树共享的安全网tests/conftest.py 的价值远超「加载 .env」它通过若干 autouse fixture 把每个测试与开发者真实环境隔离开来_load_env读取项目根.envoverrideTrue并统一关闭 SentryOPENSRE_SENTRY_DISABLED1与遥测OPENSRE_NO_TELEMETRY1标记OPENSRE_INVESTIGATION_SOURCEtest_restore_os_environ在每个测试后整体快照恢复os.environ——因为sync_provider_env等代码会os.environ.pop/update其他 provider 的 API key泄漏会污染同 worker 上后续的live_llm测试_isolate_opensre_home_files把 wizard storeopensre.json、LLM 认证元数据llm-auth.json、本地凭据与 memory 目录全部重定向到tmp_path防止测试悄悄写坏开发者真实的~/.opensre注释中记录了 #3721 回归案例_isolate_session_trace_store恢复进程级 session trace store避免 xdist 下trace_spansidecar 泄漏进被断言的会话文件pytest_sessionfinish在「什么都没收集到」时强制返回NO_TESTS_COLLECTED堵住 xdist 在-m把所有用例过滤掉时仍以 0 退出的漏洞。E2E 目录与文件命名规则原文档对端到端测试的命名有两条硬性规则目录格式tests/e2e/scenario_name/其中scenario_name描述「系统工作负载」例如install、quickstart。环境特定文件用显式文件名test_local.py本地环境test_cloud.py云环境。当前仓库的 tests/e2e/ 完全遵循这一约定场景覆盖deploy/Docker 镜像构建与健康端点、grafana_validation/Grafana Cloud 查询、incident_io/、install/真实安装器、posthog/、quickstart/、tempo/、trello/。环境维度的例子如 install/test_live_installers.py 与 install/test_live_installers_windows.py——前者用sys.platform win32条件跳过POSIX 安装器走install.shWindows 走install.ps1后者单独覆盖 Windows 宿主。e2e 场景的三个设计原则e2e/AGENTS.md 明确了tests/e2e/的指导原则可视为对命名规则的语义补充真实端到端零 mock必须打真实服务与真实基础设施live installers、Grafana Cloud、PostHog、incident.io、Docker 构建因为 mock 验证的是「人工载荷下的 agent」而非生产实际产生的东西关注点分离业务逻辑纯净测试驱动的工作负载代码必须与测试编排/可观测代码隔离看起来像真实客户代码前置声明环境缺凭据就响亮跳过真实套件在开头声明所需凭据参见 grafana_validation/env_requirements.py缺失时带明确原因pytest.skip让无密钥的 CI 保持绿色又不掩盖有密钥运行中的失败。env_requirements.py展示了「门控响亮跳过」的落地方式require_grafana_cloud_env()收集GCLOUD_OTLP_ENDPOINT、GCLOUD_OTLP_AUTH_HEADER、GCLOUD_HOSTED_METRICS_ID/URL、GCLOUD_HOSTED_LOGS_ID/URL、GCLOUD_RW_API_KEY等 7 项缺任一即以pytest.skip(Grafana Cloud telemetry not configured; missing env vars: ...)跳过require_grafana_query_env()则按账号 id 归一化出GRAFANA_READ_TOKEN/GRAFANA_INSTANCE_URL默认账号tracerbio并逐项校验。deploy/conftest.py是「环境门控」的另一个典型RUN_DEPLOY_DOCKER_TESTS1未设置或 Docker 不可用时直接 skip启用后构建一个带随机 tag 的镜像并在会话结束用docker image rm -f清理。遥测命名规则语义化 resource attributes原文档规定OTEL_RESOURCE_ATTRIBUTES的值必须使用语义目录名禁止继续使用遗留的test_case_*值e2e 场景统一使用test_casee2e_scenario_name。这条规则与命名守卫互相印证tests/github_ci/test_naming_conventions.py 中的LEGACY_TOKENS (tests/test_case_, test_casetest_case_, test_orchestrator)一旦在 README、pyproject、Makefile、工作流或 e2e 测试源码中出现即判定违规。也就是说遥测命名不是「建议」而是有 CI 测试强制的契约——新写的 e2e 场景必须形如test_casee2e_install、test_casee2e_quickstart确保遥测面板上能按场景聚合出稳定的维度。遗留命名与迁移原文档明确指出tests/下遗留的test_case_*路径命名已废弃只使用tests/e2e/*。迁移路径即上文所述规则任何历史遗留的场景例如以test_orchestrator为文件名的编排测试都应重命名为tests/e2e/scenario_name/下的环境特定文件并把遥测标签切换为test_casee2e_scenario_name。守卫测试的存在意味着迁移必须一次性完成否则make test-full或 CI 会直接报红。进阶CI 分片与定时快照虽然不在原文档正文但 tests/ci_sharding.py 是理解tests/全量回归在 CI 中如何扩展的关键补充。它提供三个子命令select按耗时快照默认.github/ci/pytest-file-durations.json把测试文件贪心分配到 N 个 shard 中「累计耗时最小」的一组输出该 shard 的文件清单report报告快照「新鲜度」--max-age-days默认 14 天与覆盖率缺失文件占比--max-missing-percent默认 5%超限时输出::warning供 CI 可视化merge把各 worker 产出的定时片段--ci-durations-output见pytest_addoption合并回总快照。其核心算法assign_file_groupstests/ci_sharding.py对按耗时降序排列的文件做「放入当前最轻的组」的贪心分配让每个 CI shard 的预估时长尽量均衡——这正是make test-full这类全量回归能保持稳定时长的底层机制。小结OpenSRE 的测试体系可以用「三条命令一套约定两类守卫」概括make test-cov负责本地并行覆盖、make verify-integrations负责集成改动后的连通性校验、make test-full负责 CI 全量回归测试必须按领域归置于 tests/ 下与源码镜像的目录tests/github_ci/用真实测试强制命名与架构契约包括test_case_*遗留命名的清除tests/conftest.py则以 autouse fixtures 保证每个用例与开发者本机环境彻底隔离。掌握这些规则后无论是为新增模块补测试、为集成改动跑校验还是排查全量回归中的偶发失败你都能快速定位对应的测试文件与运行入口。【免费下载链接】opensreBuild your own AI SRE agents. The open source toolkit for the AI era.项目地址: https://gitcode.com/GitHub_Trending/op/opensre创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

OpenSRE 测试体系指南：目录规范、快速命令与端到端命名约定

相关推荐

mold 内置 TBB Flow Graph 边（Edges）机制详解：make_edge 建边、remove_edge 拆边与消息传递协议

HTTPS与SSL证书排查实战：从部署到运维的避坑指南

6轴机械臂正逆运动学解析：从DH建模到球形腕解耦求解

更多资讯

DICOM三维重建：元数据校准与MC/DC/CF算法选型指南

一分钟体验User Scanner：用nix run一条命令跑通550+平台OSINT侦察

ITK-SNAP医学图像分割标注与三维可视化全流程实战指南

Firefox iOS BrowserKit 组件 ShadowCardView：带阴影内容卡片的实现与使用详解

雷达检测中的相参与非相参累积：原理、仿真与工程实践

基于Python PyQt与MATLAB的电路设计与仿真工具集成实践

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？