AB测试知多少

1.什么是AB测试？

互联网效果广告的主要特点之一是可量化，即广告系统的所有业务指标都是可以计算并通过数字进行展示的。因此，想要通过业务指标来表示广告系统的迭代效果。在全量上线前确认迭代的结果，通用的方法是采用AB实验。

A/B实验的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）。自2000年谷歌工程师将这一方法应用在互联网产品以来，A/B测试在国外越来越普及，已逐渐成为互联网产品运营精细度的重要体现。

简单来说，A/B测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策（如下图）。

A/B测试的应用方式决定了它拥有的三大特性：先验性、并行性和科学性。

先验性：

A/B测试其实是一种“先验”的试验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。同样是用数据统计与分析版本的好坏，以往的方式是先将版本发布，再通过数据验证效果，而A/B 测试却是通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，这样就可以用很少的样本量就能推广到全部流量可信。

并行性：

A/B测试是将两个或以上的方案同时在线试验，这样做的好处在于保证了每个版本所处环境的一致性，便于更加科学客观地对比优劣。同时，也节省了验证的时间，无需在验证完一个版本之后再测试另一个。

科学性：

这里强调的是流量分配的科学性。A/B 测试的正确做法，是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免出现数据偏差，使得试验的结果更有代表性。

下面列出了A/B 测试的常见的4个误区：

误区一： 轮流展现不同版本

首先需要明确，这种做法不是真正意义上的A/B测试。而这一现象，经常出现在如今的广告投放的环节。广告主为了提升着陆页的转化率，会选择将不同的广告版本进行轮流投放展示。但这一做法并不能保证每个版本所处的环境相同，例如选在工作日的晚七点黄金档和下午三点时段，受众群体会有明显区别，以至于最终效果是否有差异，甚至导致效果不同的原因是很难下定论的。

正确做法： 不同版本方案并行上线试验，尽可能的降低所有版本的测试环境差别。

误区二：选择不同应用市场投放（随机选取用户测试）

对于一些已经意识到数据先验重要性的企业来说，为了验证新版本对于用户使用真实影响，可能会选择将不同版本打包，分别投放到不同的应用市场，当发现其中某版本的数据表现的最好，就决定将该版本全量上线。更有甚者，会随机选取一部分用户（甚至是公司内部人员）进行前期试用，根据数据反馈决定迭代版本。这都违背了A/B测试的科学流量分配的原则，很容易造成辛普森悖论（即某个条件下的两组数据，分别讨论时都会满足某种性质或趋势，可一旦合并起来考虑，却可能导致相反的结论）。

正确做法： 科学的进行流量分配，保证每个试验版本的用户特征相类似。

误区三：让用户自主选择版本

不少企业会在新版的页面上留下返回老版本的入口，让用户自主选择使用哪一版，通过收集返回按钮的点击率来判断最佳版本。但该思路不利于统计分析用户在新版的行为数据，因为用户离开新版本可能单纯是因为习惯使用老版本，而不是认为新版本的体验不好，最终导致了试验结果的不准确。

正确做法： 让用户展现对不同版本的真实使用体验，应实时关注各版本的数据表现，并根据数据反馈及时调整试验流量。

误区四：对试验结果的认知和分析过浅

这一误区又包括了两个不同的内容：其一，认为只有当试验版本结果优于原始版本时，试验才算成功。事实上，A/B 测试是用于选择最佳版本的工具。试验可能出现的结果分为三种：试验版本有提升（试验版本最佳）、无明显差异（两版本均可）、试验版本的表现比原始版本糟糕（原始版本最佳），这三种结果其实都说明了试验的成功。

其二，单从试验的整体数据结果，就推论所有场景的表现效果。例如，当A/B测试的结果表明试验版本的数据差于原始版本时，就认定所有的地区或渠道的效果都是负面的。但如果细分每个版本中不同浏览器的数据，可能会发现：由于某一浏览器的明显劣势，导致整体试验数据不佳。因此，不要只专注于试验数据的整体表现，而忽略了细分场景下可能导致的结果偏差。

正确做法： 在分析试验整体数据的同时，需要从多个维度细分考量试验数据结果。

2. AB测试可以用在哪里 ？

尽管A/B 测试可以弥补产品优化中遇到的不足，但它并不完全适用于所有的产品。因为A/B 测试的结果需要大量数据支撑，日流量越大的实验得出结果越准确。通常来说，我们建议在进行A/B测试时，能够保证 每个版本的日流量在5000个UV以上 ，否则试验周期将会很长，或很难获得准确（结果收敛）的数据结果推论。

说完什么样的产品适合用A/B 测试，接下来我们将从优化内容和应用场景两个方面说明A/B测试可以用在哪些地方，希望能给你一些启发。

UI/文案内容/页面布局

利用A/B 测试优化活动交互UI、素材创意、落地页等，用清晰的数据指标来验证交互体验和视觉感受的提升效果。

产品功能

想给产品增加一个新功能，可是很难确定是否能达到数据上的预期，如果盲目上线，可能会造成一些损失。使用A/B 测试，可以验证功能的效果。

推荐算法

包括基于内容的推荐算法（根据用户的历史记录推荐相似内容）、基于协同过滤的推荐算法（根据有相似兴趣用户的行为推荐相关内容）、基于关联规则的推荐算法（根据内容本身的相关性给用户推荐），都可以通过A/B实验来验证新版本的效果优劣。