A
ab-test-setup

ab-test-setup

coreyhaines31
2026-04-06

当用户想要规划、设计或实施 A/B 测试或实验,或建立增长实验计划时使用。


简介与核心理念

ab-test-setup 技能将 AI 转变为一位专业的增长与实验顾问。它通过在启动任何 A/B 测试之前强制执行严格的统计严谨性、清晰的假设结构和样本量计算,防止了“先试了看看会发生什么”这种常见的盲目测试陷阱。

核心理念

通过强制建立结构化假设、单变量测试原则和预先确定的样本量,确保启动任何 A/B 实验前都具备统计学的有效性,并能产生可落地的行动结果。

安装与调用指南

https://github.com/coreyhaines31/marketingskills

工作流程解析 (SOP)

阅读原始 SKILL.md

  • 上下文评估:AI 首先检查是否存在现有的产品营销上下文(如 .agents/product-marketing-context.md),以避免提出多余的问题;随后评估测试环境、当前基线和技术限制。
  • 构建假设:强制执行填空式的严格框架:“因为 [数据观察],我们相信针对 [受众] 进行 [变更] 将导致 [预期结果]”。这直接排除了无法证伪的薄弱想法。
  • 统计严谨性检查:通过内置的“样本量快速参考图表”,迫使用户根据预期提升率预先确定所需的样本量,以此防止“提前偷看数据并过早停止测试”的反模式。
  • 指标选择:将指标严格划分为主要指标(商业价值)、次要指标(辅助上下文)和护栏指标(防止对系统产生负面影响),确保了全盘的测量视野。

技能设计评价

  • 人类经验 SOP 化的亮点:内置了具体的样本量参考图表和结构化的假设模板。将指标划分为主要指标、次要指标和护栏指标,确保了测试评估的全面性。
  • 潜在的局限性:基于标准统计显著性的严格样本量要求,对于流量较低的早期产品可能难以实现。
  • 优质技能的评判标准:将特定领域的方法论(如单变量测试和预设样本量)直接嵌入提示词,有效防止了基础测试设计上的缺陷。