ABTest：用户转付费转化率
一、实验背景与实验设计
实验背景
当前产品默认免费试用期为 3 天，免费转付费转化率仅为 8%。产品团队认为，3 天的试用期过短，用户无法充分体验产品核心功能，导致转化偏低。因此设计实验对比 3 天和 7 天两种试用期长度，验证更长的试用期能否显著提升转付费转化率。
实验目标：验证 7 天免费试用期相比 3 天试用期，能否将免费用户转付费转化率提升 15% 以上，同时保持退款率不显著上升。
实验假设
原假设H0：对照组和实验组两组付费转化率没有显著性差异。
备择假设H1：7天试用期的付费转化率显著高于3天试用期的付费转化率。
指标设计
| 指标类型 | 指标名称 | 计算公式 | 一票否决 |
|---|---|---|---|
| 核心决策指标 | 免费转付费转化率 | 试用期内付费的用户数 / 注册并激活的免费用户数 | 否 |
| 辅助诊断指标 | 试用期内日均活跃率 | 试用期内每日活跃用户数 / 总免费用户数 | 否 |
| 人均功能使用数 | 试用期内用户使用的功能总数 / 总免费用户数 | 否 | |
| 护栏指标 | 7 天退款率 | 付费后 7 天内申请退款的用户数 / 总付费用户数 | 是（上升≤2%） |
| 注册转化率 | 完成注册的用户数 / 访问注册页的用户数 | 是（下降≤2%） |
二、计算最小样本量
基线数据
3天试用期平均转付费转化率 p0=8%=0.08
预期相对提升幅度 Δ=15% → 目标转化率p1=0.08×1.15=0.092
绝对差值 δ=0.092-0.08=0.012
代入公式：n = (1.92+0.84)^2 * 0.08(1-0.08)+0.092(1-0.092) / 0.012^2 ≈ 8544
两个最小样本量计算公示的对比：
2×p(1−p)(实际上是 p(1−p)+p(1−p)，假设两组方差相同)，通常较大（偏保守，更安全）
样本量确定
每组理论最小样本量：8544 个注册并激活的免费用户；
考虑 5% 异常值剔除率 + 用户流失率，每组实际需要：8544×1.05≈8971个激活用户；
按历史注册激活率 90% 计算，每组需要约 9968 个注册用户；
总样本量：约 19936 个注册用户；
验证：该产品日均注册量约 1500 人，14 天可获得约 21000 样本，满足统计要求。
三、实验回收数据
| 组别 | 注册用户数 | 激活用户数 | 付费用户数 | 转付费转化率 | 相对提升幅度 |
|---|---|---|---|---|---|
| 对照组（3 天试用期） | 9982 | 8965 | 739 | 8.24% | - |
| 实验组（7 天试用期） | 10056 | 9042 | 868 | 9.60% | +16.5% |
初步观察：
7 天试用期转付费转化率比 3 天高 1.36 个百分点，相对提升 16.5%，超过业务预期的 15% 提升目标；
两组激活率基本一致（89.8% vs 89.9%），说明更长的试用期没有影响用户注册激活意愿（护栏指标）。
四、统计检验（Z检验与卡方检验 双验证）
Z检验
计算Z值：
Z ≈ 3.2
计算 p 值：
单侧检验 p 值：NORM.S.DIST(-3.20,TRUE)≈0.0007
双侧检验 p 值：0.0007×2≈0.0014
计算 95% 置信区间：
≈[0.0053,0.0219]
业务解释：我们有 95% 的把握认为，7 天试用期比 3 天试用期的转付费转化率高 0.53 到 2.19 个百分点，区间下限大于 0，结果稳健。
辅助指标与护栏指标
| 指标 | 对照组（3 天） | 实验组（7 天） | 差异 | 是否达标 |
|---|---|---|---|---|
| 试用期日均活跃率 | 42.5% | 58.3% | +15.8% | 显著提升 |
| 人均功能使用数 | 3.2 | 5.7 | +2.5 | 显著提升 |
| 7 天退款率 | 3.1% | 3.8% | +0.7% | 达标（<2%） |
| 注册转化率 | 65.2% | 64.8% | -0.4% | 达标（>-2%） |
五、实验结论与业务决策
统计结论汇总
卡方检验：^2=10.10，df=1，p≈0.0015<0.05，差异显著；
Z 检验：Z=3.20，p≈0.0014<0.05，与卡方检验结果完全一致；
7 天试用期转付费转化率 9.60%，相对 3 天提升 16.5%，超过业务预期的 15% 提升目标;
95% 置信区间为 [0.53%,2.19%]，结果稳健；
所有辅助指标和护栏指标均达标。
业务决策
全量上线 7 天免费试用期；
预期收益：该产品月均注册用户约 45000 人，按转化率提升 1.36 个百分点计算，每月可增加约 612 个付费用户。按人均年客单价 1200 元计算，每年可增加约 73.4 万元营收；
实施计划：3 天内完成全量上线，上线后持续监控转付费转化率、退款率和用户活跃度 30 天；
后续优化：测试 14 天试用期的效果，进一步探索最优试用期长度。