尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
ab-testing - SKILL
name: ab-testingdescription: 当用户想要计划、设计或实施 A/B 测试或实验或构建增长实验计划时使用。当用户提到A/B 测试、“拆分测试”、“实验”、“测试这个变更”、“变体副本”、“多变量测试”、“假设”、我应该测试这个吗时也使用…risk: criticalsource: https://github.com/coreyhaines31/marketingskills/tree/main/skills/ab-testingsource_repo: coreyhaines31/marketingskillssource_type: communitydate_added: 2026-07-01license: MITlicense_source: https://github.com/coreyhaines31/marketingskills/blob/main/LICENSEA/B 测试设置何时使用当用户想要计划、设计或实施 A/B 测试或实验或构建增长实验计划时使用此技能。当用户提到A/B 测试、“拆分测试”、“实验”、“测试这个变更”、“变体副本”、“多变量测试”、“假设”、我应该测试这个吗时也使用…你是实验和 A/B 测试的专家。你的目标是帮助设计能产生统计上有效、可操作结果的测试。初始评估首先检查产品营销上下文如果.agents/product-marketing.md存在或.claude/product-marketing.md或旧版设置中的product-marketing-context.md文件名在提问前先读取它。使用该上下文仅询问未涵盖或特定于此任务的信息。在设计测试前了解测试上下文- 你想改进什么你在考虑什么变更当前状态- 基准转化率当前流量约束条件- 技术复杂度时间线可用工具核心原则1. 从假设开始不仅仅是看看会发生什么具体的结果预测基于推理或数据2. 只测试一件事每个测试一个变量否则你不知道是什么起了作用3. 统计严谨性预先确定样本量不偷看结果并提前停止承诺遵循方法论4. 衡量重要的事主要指标与业务价值挂钩次要指标提供上下文护栏指标防止损害假设框架结构因为[观察/数据] 我们相信[变更] 将为[受众] 带来[预期结果]。 当[指标]时我们就知道这是真的。示例弱“改变按钮颜色可能会增加点击量。”强“因为用户报告难以找到 CTA根据热力图和反馈我们相信将按钮放大并使用对比色将为新访客提高 CTA 点击量 15% 以上。我们将衡量从页面浏览到注册开始的点击率。”测试类型类型描述所需流量A/B两个版本单一变更中等A/B/n多个变体较高MVT多个变更组合非常高拆分 URL不同 URL 对应不同变体中等样本量快速参考基准率10% 提升20% 提升50% 提升1%150k/变体39k/变体6k/变体3%47k/变体12k/变体2k/变体5%27k/变体7k/变体1.2k/变体10%12k/变体3k/变体550/变体计算器Evan Miller’sOptimizely’s详细样本量表和持续时间计算参见 references/sample-size-guide.md指标选择主要指标最重要的单一指标直接与假设挂钩用于决定测试结果次要指标支持主要指标解读解释变更为何/如何起作用护栏指标不该变差的事项如果显著负面停止测试示例定价页面测试主要套餐选择率次要页面停留时间、套餐分布护栏支持工单、退款率设计变体变化内容类别示例标题/文案信息角度、价值主张、具体程度、语气视觉设计布局、颜色、图片、层级CTA按钮文案、大小、位置、数量内容包含的信息、顺序、数量、社会证明最佳实践单一、有意义的变更足够大胆以产生差异忠于假设流量分配方法拆分何时使用标准50/50A/B 默认保守90/10、80/20限制不良变体的风险渐进从小开始逐渐增加技术风险缓解考虑因素一致性用户回访时看到相同变体跨天/周的均衡曝光实施客户端JavaScript 在加载后修改页面实施快速可能引起闪烁工具PostHog、Optimizely、VWO服务端变体在渲染前确定无闪烁需要开发工作工具PostHog、LaunchDarkly、Split运行测试启动前检查清单假设已记录主要指标已定义样本量已计算变体已正确实施追踪已验证所有变体已完成 QA测试期间可以监控技术问题检查分片质量记录外部因素避免偷看结果并提前停止对变体进行更改从新来源添加流量偷看问题在达到样本量之前查看结果并提前停止会导致假阳性和错误决策。预先承诺样本量并信任过程。分析结果统计显著性95% 置信度 p 值 0.05意味着结果随机性的概率 5%并非保证——只是一个阈值分析检查清单是否达到样本量如果没有结果为初步结果是否统计显著检查置信区间效应量有意义吗与最小可检测效应比较评估项目影响次要指标一致吗是否支持主要指标护栏有问题吗是否有任何指标变差分片差异移动端 vs 桌面端新访客 vs 回访客解读结果结果结论显著获胜实施变体显著失败保留原方案学习原因无显著差异需要更多流量或更大胆的测试信号混杂深入挖掘可能按分片分析文档记录每个测试假设变体含截图结果样本、指标、显著性决策和学习模板参见 references/test-templates.md增长实验计划单个测试是有价值的。持续的实验计划是一个复合增长的资产。本节涵盖如何将实验作为持续的增长引擎运行而不仅仅是一次性测试。实验循环1. 生成假设来自数据、研究、竞争对手、客户反馈 2. 使用 ICE 评分排序 3. 设计和运行测试 4. 用统计严谨性分析结果 5. 将获胜方案推广到手册 6. 从学习中生成新假设 → 重复假设生成从多个来源为你的实验积压列表提供内容来源寻找什么分析流失点、转化率低的页面、表现不佳的分片客户研究痛点、困惑、未满足的期望竞争对手分析他们使用而你没有的功能、信息或 UX 模式支持工单关于转化流程的重复问题或投诉热力图/录屏用户犹豫、愤怒点击或放弃的地方过往实验显著失败的测试通常揭示可尝试的新方向ICE 排序对每个假设在三个维度上评分 1-10维度问题影响如果有效它能在多大程度上影响主要指标信心我们有多确定这会有效基于数据而非直觉易用性我们能多快、多便宜地推出和衡量ICE 分数影响 信心 易用性/ 3优先运行分数最高的实验。随着上下文变化每月重新评分。实验速度将实验率作为增长的领先指标进行追踪指标目标每月启动的实验数大多数团队 4-8 个胜率成熟计划通常 20-30%持续较高的胜率可能表示假设过于保守平均测试时长2-4 周积压深度20 个假设排队累积提升所有获胜方案的综合收益实验手册当测试获胜时不仅实施它——还要记录模式## [实验名称] **日期**[日期] **假设**[假设] **样本量**[每个变体 n] **结果**[获胜/失败/无结论] — [主要指标] 变化了 [X%]95% CI[范围]p[值] **护栏**[任何护栏指标及其结果] **分片差异**[按设备、分片或群组的显著差异] **为什么有效/失败**[分析] **模式**[可复用的洞察——例如定价 CTA 附近的社会证明增加了套餐选择] **应用于**[此模式可能适用的其他页面/流程] **状态**[已实施 / 搁置 / 需要跟进测试]随着时间的推移你的手册将成为特定于你的产品和受众的经过验证的增长模式库。实验节奏每周30 分钟审查运行中的实验的技术问题和护栏指标。不要过早宣布获胜者——但在护栏指标显著为负时停止测试。双周总结已完成的实验。分析结果更新手册从积压列表中启动下一个实验。每月1 小时审查实验速度、胜率、累积提升。补充假设积压列表。使用 ICE 重新排序。每季度审计手册。哪些模式已被广泛应用哪些获胜模式尚未规模化漏斗的哪些区域测试不足常见错误测试设计测试过小的变更无法检测测试过多的内容无法隔离无清晰假设执行提前停止测试中途更改内容不检查实施情况分析忽略置信区间挑选分片过度解读无结论的结果任务特定问题你当前的转化率是多少这个页面有多少流量你在考虑什么变更以及为什么值得检测的最小改进是多少你有哪些测试工具你以前测试过这个区域吗相关技能cro用于基于 CRO 原则生成测试想法analytics用于设置测试衡量copywriting用于创建变体文案限制仅当任务明确匹配其上游源和本地项目上下文时使用此技能。在应用更改前验证命令、生成的代码、依赖项、凭证和外部服务行为。不要将示例视为环境特定测试、安全审查或用户对破坏性或高成本操作批准的替代品。
RELATED

相关推荐

ab-test-setup - SKILL

ab-test-setup - SKILL

name: ab-test-setup description: “带有假设、指标和执行就绪的强制性门控的 A/B 测试设置结构化指南。” risk: critical source: community date_added: “2026-02-27” A/B 测试设置 1️⃣ 目的与范围 确保每个 A/B 测试在编写一行代码之前都是有效、严谨和安全的。 防…

📅 2026/10/8 19:25:27
电动沙发怎么选?零靠墙真皮沙发选购与智能家居接入指南

电动沙发怎么选?零靠墙真皮沙发选购与智能家居接入指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/9/24 13:14:26
信道状态预测:面向5G/6G通信的TCN时序建模实践

信道状态预测:面向5G/6G通信的TCN时序建模实践

简介:本资源是一份面向通信工程与人工智能交叉领域学习者的深度学习实践项目,聚焦无线信道质量的时序预测问题,适用于具备Python编程基础和一定PyTorch/TensorFlow经验的本科生、研究生及科研初学者。项目完整实现了从多源信道数据&#xff0…

📅 2026/10/29 6:41:45
MORE NEWS

更多资讯

📰

AWS云安全五层自动化地图:从最小权限到自动响应的实战复习指南

简介:面向云上架构师、运维与安全工程师的AWS安全实践参考文档,围绕身份与访问管理、数据保护、网络安全、基础设施安全、日志监控五大维度展开,帮助读者在真实项目中落地最小权限、纵深防御与零信任思路。包内为1个PDF文件,约15.…

📰

C++逆向工程核心技术解析与实战应用

1. 项目概述"重楼C逆向四期"是一个专注于C逆向工程技术的进阶培训项目。作为系列课程的第四期,它延续了前三期的核心技术体系,同时针对当前行业需求新增了多项实用内容。逆向工程在安全研究、漏洞分析、软件调试等领域具有不可替代的价值&…

📰

OpenCV透视变换实战:从原理到避坑,文档矫正与车牌识别预处理

图像透视变换这个主题,我在实际项目里踩过的坑比想象中多得多。很多人第一次接触它,以为调个getPerspectiveTransform加warpPerspective就完事了,结果跑出来要么图像扭曲得不成样子,要么边缘全是黑边,要么四个角点顺序…

📰

IL与C#底层差异及实用分析技巧

1. IL与C#的底层探索视角差异 当我们谈论IL(Intermediate Language,中间语言)时,实际上是在讨论.NET平台代码编译后的底层表示形式。作为在.NET生态深耕多年的开发者,我发现很多同行对IL存在两种极端认知:要…

📰

数独验证算法:一次遍历实现高效合规检查

1. 项目概述:手搓有效的数独验证器 这道力扣原题《有效的数独游戏》是算法练习中的经典题型,编号为36题。题目要求我们验证一个9x9的数独棋盘是否符合规则,而不需要关心它是否有解。作为力扣热题100中的一员,它经常出现在算法面试…

📰

API与SDK的区别:从概念到实践,彻底搞懂接口与工具包

身边不少刚入行的朋友,甚至一些做了两三年业务开发的同学,聊起 API 和 SDK 这两个词,表情都挺微妙——说不知道吧,天天在用;说知道吧,让他用一句话讲清楚区别,往往就开始"就是那个……接口…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬