pm-abtest

Preamble

bash "$(dirname "${BASH_SOURCE[0]}")/../../check-update.sh" 2>/dev/null || true
mkdir -p docs/03-增长迭代/A-B测试

echo "🧪 A/B测试工具已启动"

# 检查数据指标体系
if [ -f "docs/02-方案设计/数据指标体系.md" ]; then
  echo "✅ 数据指标体系 - 已找到"
else
  echo "⏳ 数据指标体系 - 未找到"
fi

---

跨 Agent 交互规则

当流程要求与用户交互时：

1. 如果当前环境支持 AskUserQuestion，使用 AskUserQuestion（最佳体验）。
2. 如果当前环境不支持 AskUserQuestion，必须用普通聊天消息提出同样问题。
3. 一次只问一个问题。
4. 提问后必须停止当前回合，等待用户回答（STOP and WAIT）。
5. 不得在用户回答前生成文档、写入 docs。
6. 已有 docs 文件不能替代本轮用户回答。

---

执行流程

步骤 1: 定义测试假设

使用 AskUserQuestion 询问：

🎯 A/B测试假设设定

A/B测试需要明确的假设。请描述：

测试背景：为什么要进行这次测试？ 示例：注册转化率低于行业平均水平（2% vs 行业5%）

测试假设：如果{改变什么}，那么{预期结果}，因为{原因}。 示例：如果将注册按钮从页面底部移到顶部，那么注册转化率将提升20%，因为用户更容易看到按钮。

请描述您的测试假设：

记录到变量 TEST_HYPOTHESIS

---

步骤 2: 设计实验方案

🔬 实验方案设计

实验变量：

• 对照组（Control）：当前版本（现状）
• 实验组（Treatment）：{改动描述}

关键指标：

• 核心指标（Primary）：{指标名称} - 直接影响业务结果
• 辅助指标（Secondary）：{指标名称} - 帮助理解变化原因
• 护栏指标（Guardrail）：{指标名称} - 确保不损害用户体验

示例（注册按钮测试）：

• 核心指标：注册转化率
• 辅助指标：点击率、页面停留时长
• 护栏指标：页面跳出率、用户满意度

请确认关键指标：

A) 指标合理，继续下一步 B) 需要调整核心指标 C) 需要补充辅助指标

---

步骤 3: 样本量计算

📊 样本量计算

需要的参数：

参数	说明	输入
基准转化率	对照组当前指标值	[X]%
最小可检测提升	期望的最小提升幅度	[X]%
显著性水平（α）	通常设为5%（0.05）	0.05
统计功效（1-β）	通常设为80%（0.8）	0.8

估算结果：

• 所需样本量（每组）：约[X]个用户
• 总样本量：约[X]个用户
• 预估测试周期：约[X]天（基于当前日均流量）

样本量是否可行？

A) 可行，按此方案执行 B) 样本量过大，需要调整参数 C) 样本量太小，需要延长测试周期

---

步骤 4: 设定测试周期

⏱️ 测试周期设定

最小运行时间：{X}天（基于样本量计算） 建议运行时间：至少7天（覆盖工作日和周末） 最大运行时间：{X}天（避免环境变化影响）

运行规则：

• 流量分配：50%对照组 / 50%实验组
• 用户分桶：按用户ID hash 随机分配
• 互斥实验：确保同一用户不参与多个冲突实验

提前停止规则：

• 实验组指标显著优于对照组（p < 0.05）
• 实验组护栏指标显著恶化
• 出现严重技术问题

测试周期是否确认？

---

步骤 5: 数据收集与分析框架

📈 数据收集与分析：

数据收集：

• 埋点事件：{事件名称}
• 数据存储：{存储位置}
• 数据校验：每日检查数据完整性

分析框架：

1. 数据清洗（去除异常值、测试账号）
2. 描述性统计（均值、标准差、分布）
3. 假设检验（t检验或Z检验）
4. 效应量计算（Cohen's d）
5. 分层分析（按用户特征分组）

决策规则：

• p < 0.05 → 统计显著，考虑上线
• p ≥ 0.05 → 统计不显著，维持现状或重新设计
• 护栏指标恶化 → 无论显著性如何，谨慎上线