A/B 测试详解：如何开展能提升转化的测试
A/B 测试，也称为拆分测试，是一种对照实验：将同一页面、邮件或功能的两个版本随机展示给不同的用户群体，然后衡量哪个版本表现更好。它用证据取代主观意见：与其争论绿色按钮还是蓝色按钮能带来更多转化，不如让真实行为来决定。
这个想法很简单，但大多数团队在执行时却容易出错。本指南涵盖 A/B 测试的工作原理、有效结果背后的统计学、真正重要的指标，以及如何将测试结果与你已经收集的分析数据联系起来。
什么是 A/B 测试？
A/B 测试详解：如何开展能提升转化的测试 - 什么是 A/B 测试？.
A/B 测试详解：如何开展能提升转化的测试 - 什么是 A/B 测试？。
A/B 测试是一种包含两个变体的随机实验：
- 变体 A（对照组）： 当前版本，保持不变。
- 变体 B（实验组）： 有意识做出一个改变的版本。
访客被随机分配到某个变体，然后你比较两个群体在某个既定结果上的表现——购买、注册、点击。由于分配是随机的，且只有一个元素不同，结果中任何有意义的差距都可以合理地归因于该元素，而不是两组之间无关的差异。
A/B 测试属于更广泛的实验方法家族：
| 方法 | 比较内容 | 最适合 |
|---|---|---|
| 简单 A/B 测试 | 一个元素的两个版本 | 按钮、标题、CTA、主题行 |
| A/B/n 测试 | 一个元素的三个或更多版本 | 从多个文案选项中找出最佳版本 |
| 多变量测试（MVT） | 多个元素及其组合 | 了解标题、图片和 CTA 如何相互作用 |
| 拆分 URL 测试 | 两个完全不同的页面 URL | 比较完整的页面改版 |
A/B 测试如何一步步运作
A/B 测试详解：如何开展能提升转化的测试 - A/B 测试如何一步步运作.
A/B 测试详解：如何开展能提升转化的测试 - A/B 测试如何一步步运作。
可靠的测试每次都遵循相同的顺序。
1. 研究与假设
从你能观察到的问题开始：结账页面跳出率高、落地页参与度低，或者邮件点击率疲软。把观察转化为可检验的陈述，例如：“将行动号召从‘了解更多’改为‘开始免费试用’会增加注册量，因为价值更清晰。”
2. 设计测试
创建变体 A 和变体 B，只改变假设中提到的那个元素。如果你同时改变标题和按钮颜色，就无法知道是哪一个影响了指标。
3. 拆分受众
随机且均匀地分配用户。如果你预计不同细分群体的反应会不同——新访客与回访访客、移动端与桌面端——从一开始就设计拆分方式，使这些群体在两个变体中的分布比例一致。
4. 运行实验
保持其他一切不变：相同的流量来源、相同的时间段、相同的跟踪设置。运行足够长的时间以收集有代表性的样本，避免仅仅因为某个变体看起来领先就提前停止。
5. 分析结果
比较两个变体的主要指标，并检查差异是否具有统计显著性。一个可能只是随机噪声的结果，不值得上线。
6. 实施并记录
如果变体 B 以有意义的优势胜出，就推广它。记录你测试了什么、学到了什么、接下来要测试什么。当知识被写下来时，实验会不断积累。
选择正确的指标
A/B 测试详解：如何开展能提升转化的测试 - 选择正确的指标.
A/B 测试详解：如何开展能提升转化的测试 - 选择正确的指标。
你选择的指标决定了测试能证明什么。常见的 A/B 测试指标包括：
- 转化率： 完成期望操作（如购买或注册）的用户比例。
- 点击率（CTR）： 链接、按钮或广告的点击次数除以展示次数。
- 跳出率： 未进一步互动就离开的访客比例。
- 平均会话时长： 用户停留的时间，作为粗略的参与度信号。
- 每用户收入： 每个变体中每位用户产生的平均收入。
单个测试可能产生相互矛盾的信号。在一个经典的邮件示例中，一个版本可能带来更多总网站访问量，而另一个版本带来更多完成的购买。这并不矛盾——这意味着两个变体优化的是不同结果。在启动前决定你关心的是流量、转化还是收入，并将其作为主要指标。
不用术语理解统计显著性
A/B 测试详解：如何开展能提升转化的测试 - 不用术语理解统计显著性.
A/B 测试详解：如何开展能提升转化的测试 - 不用术语理解统计显著性。
A/B 测试是一种双样本比较。你要问的是两组之间的差异是真实的，还是偶然造成的。正确的统计检验取决于你测量的内容：
- 点击率（二项结果）通常用 Fisher 精确检验或类似的比率检验来评估。
- 每用户平均收入（连续结果）通常用 t 检验来评估，例如 Welch's t 检验。
- 每用户交易数（计数数据）可能需要基于泊松分布的检验。
两条实用规则比具体公式更重要：
- 样本量决定灵敏度。 小样本会产生噪声结果。如果流量有限，就延长招募期，而不是过早宣布胜出者。
- 预先注册你的决策规则。 提前定义多大的差异你会视为胜出。事后决定容易导致挑选数据。
如需更深入地了解底层统计学，维基百科关于 A/B 测试的条目是有用的参考，GeeksforGeeks 的 A/B 测试入门以更教程化的形式介绍了流程和常见指标。
细分：A/B 测试真正有趣的地方
一个变体可能在整体上胜出，但在特定受众中却落败。假设变体 A 产生 5% 的响应率，变体 B 产生 3%——但当你按性别细分结果时，变体 B 在男性中表现更好，而变体 A 在女性中占主导。在这种情况下，明智的做法不是为所有人选择一个胜出者，而是为每个细分群体提供适合它的变体。
这就是为什么细分应该属于你的测试设计，而不仅仅是分析。如果你想要细分层面的答案，就需要在每个细分群体内有足够大且足够平衡的样本。跨关键属性——设备类型、流量来源、新访客与回访访客——的随机分配，才能使这些比较可信。
将测试与你的分析连接起来
A/B 测试并非孤立存在。告诉你该测试什么的数据，以及确认你上线胜出变体后发生了什么的数据，都来自你的网站分析。这正是像 Data4 这样的平台自然契合的地方：它在一个简洁的仪表板中跟踪流量来源、访客行为和转化活动，因此你可以发现值得测试的页面和活动，然后验证胜出变体是否真正改善了你关心的指标。
两个习惯能让这种连接更牢固：
- 一致地标记你的变体。 使用 UTM 参数或事件跟踪，使测试流量在报告中能与自然流量区分开来。活动事件跟踪设置指南介绍了如何构建 UTM 和事件，以免归因模糊你的结果。
- 选择与测试量匹配的分析工具。 低流量网站需要让每次会话都发挥作用的工具；高流量网站需要能清晰细分的工具。如果你正在权衡选项，这份 Data4、Heap 和 Statcounter 的对比涵盖了设置、报告深度和定价差异，这些都会影响实验工作流。
常见的 A/B 测试错误
- 一次测试太多东西。 多变量测试很强大，但需要的流量远多于简单的 A/B 测试。从简单开始。
- 结果看起来不错就停止。 偷看结果并在首次出现胜出迹象时停止，会夸大假阳性。
- 忽视外部因素。 季节性、促销和流量来源变化，如果变体不是同时运行，可能会污染结果。
- 没有定义结果。 没有主要指标的测试无法产生决策。
- 跳过文档记录。 未记录的测试会被重复，重复的测试会浪费流量。
相关阅读
- Clicky 替代品：最佳网站分析工具对比 - 比较最佳的 Clicky 替代品网站分析工具，包括 Data4、Matomo 和 Google Analytics。找到在隐私、简洁性和成本方面最合适的选择。
- Data4 vs Amplitude vs Woopra：哪个分析工具更合适？ - 在设置、旅程深度、报告和定价方面比较 Data4、Amplitude 和 Woopra，为你的网站或产品选择正确的分析工具。
- Statcounter 定价详解：套餐、限制和真实成本 - 了解 Statcounter 定价：免费套餐限制、付费层级、会话上限、数据保留和附加成本，以及它与其他分析工具的对比。
来源与进一步阅读
- 什么是 A/B 测试？ - Salesforce - 通过 A/B 测试解锁增长。了解定义、方法论，以及如何使用拆分测试来运行随机对照实验并优化转化率。
常见问题
A/B 测试和多变量测试有什么区别？
A/B 测试比较单个元素的两个版本。多变量测试同时改变多个元素以找到最佳组合，这需要更多流量并产生更复杂的结果。
A/B 测试应该运行多久？
运行到达到预先确定的样本量，而不是固定的天数。如果流量低，就延长测试，而不是提前停止。至少覆盖完整的业务周期，以便工作日和周末的行为都得到体现。
一次有效的测试需要多少访客？
所需样本取决于你的基线转化率和你想检测的效果大小。预期提升越小，需要的样本越大。在启动前使用样本量计算器。
我可以在低流量网站上运行 A/B 测试吗？
可以，但要专注于高影响力的改变——标题、行动号召、定价展示——并预期测试持续时间更长。在低流量下测试细微的外观调整很少能产生可检测的结果。
如果我的测试没有显示出显著差异，我该怎么办？
将其视为有效结果。这意味着该改变没有对指标产生有意义的影响，因此保留更简单或更便宜的版本，并转向不同的假设。
结论
A/B 测试将关于网站的猜测转化为可衡量的决策。公式是一致的：形成假设、改变一个变量、随机拆分受众、运行到有足够数据，并在上线前检查统计显著性。从实验中获益最多的团队不是运行最多测试的团队——而是运行设计良好的测试，并将结果与显示实际变化的数据分析联系起来的团队。
从关于你最高流量页面的一个明确问题开始，提前定义你的成功指标，然后让数据来回答。