analyze-test

/analyze-test -- A/B 测试分析

以严格的统计方法评估实验结果，并将发现转化为清晰的产品决策：上线、延长还是停止。

调用方式

/analyze-test 对照组：4.2% 转化率（n=5000），实验组：4.8% 转化率（n=5100）
/analyze-test [上传一份测试结果的 CSV 文件]
/analyze-test [上传实验平台的截图]

工作流程

第一步：接收测试数据

支持以下任意格式：

• 汇总统计数据（各组的转化率和样本量）
• 原始事件数据（包含 user_id、variant、converted、timestamp 字段的 CSV）
• 实验平台截图（Optimizely、LaunchDarkly 等）
• 实验及结果的文字描述

第二步：验证测试设计

在分析结果之前，先检查：

• 样本量是否充足？（执行统计功效分析）
• 测试运行时间是否足够？（需覆盖完整的周期循环，至少 1—2 个业务周期）
• 随机化是否干净？（检查样本比例失配问题）
• 测试期间是否存在外部干扰因素？

如发现问题，需标记——来自有缺陷测试的结论可能具有误导性。

第三步：分析结果

应用 ab-test-analysis 技能：

• 统计显著性：计算 p 值和置信区间
• 效应量：两组间的绝对差值和相对差值
• 实际显著性：效应是否大到对业务有实质影响？
• 置信区间：真实效应的合理范围是多少？
• 分层分析：如数据允许，检查各用户分层是否存在差异化效应

第四步：生成分析报告

## A/B 测试分析：[测试名称]

**日期**：[今天]
**测试时长**：[X 天/周]
**总样本量**：[N 名用户]

### 结果汇总
| 分组 | 样本量 | 指标 | 比率 | 95% CI |
|------|--------|------|------|--------|
| 对照组 | [n] | [指标] | [X%] | [X% - Y%] |
| 实验组 | [n] | [指标] | [X%] | [X% - Y%] |

### 统计分析
- **相对提升**：[+X%]（[CI 范围]）
- **p 值**：[X]
- **统计显著**：在 95% 置信度下 [是/否]
- **最小可检测效应（MDE）**：[X%]（测试统计功效所针对的最小效应量）

### 样本量检验
- **所需样本量**：每组 [N]（在 80% 统计功效下检测 [X%] 的 MDE）
- **实际样本量**：每组 [N]
- **结论**：[统计功效充足 / 统计功效不足 / 统计功效过剩]

### 决策

**建议：[上线 / 延长 / 停止]**

[清晰说明原因，综合考量统计显著性与实际显著性]

### 业务影响估算
若上线至全量用户：
- **预期影响**：[每月/每季度的指标变化]
- **营收影响**：[如适用]
- **置信度**：[对该估算的确定程度]

### 注意事项
- [关于测试有效性的顾虑]
- [结果存在差异的用户分层]
- [需考虑的新奇效应或其他偏差]

### 后续行动
- [基于本次发现，下一步可测试的方向]
- [若上线实验组，监控计划]

第五步：提供后续行动选项

• "要我基于这些发现设计后续实验吗？"
• "要不要针对特定用户分层单独运行分析？"
• "要我生成 SQL，用于上线后持续监控该指标吗？"

注意事项

• 统计显著性 ≠ 实际显著性——数据量足够大时，0.1% 的提升可以达到统计显著，但不一定值得上线
• 结论可信之前，务必先检查样本比例失配（SRM）
• 新奇效应可能导致短期结果虚高——建议在上线后持续监控 2—4 周
• 如果测试统计功效不足，正确的结论通常是"延长测试"而非"无效果"
• 对于营收类指标，使用置信区间来估算最乐观和最悲观的业务影响
• 如果数据以 CSV 格式提供，使用 Python 的 scipy.stats 库执行完整分析