115个A／B测试的分析结果︰平均提升为4%，大部分缺乏统计检定力

　　作者 : Georgi Georgiev
　　翻译：Gabriel Ng
　　校对：张玲
　　本文约6400字，建议阅读10分钟
　　本文讨论初始数据必要的修剪，然后分享元分析的详细结果，最后作出一个简短的总结。
　　从115个公开的A/B测试中你能够得到什么信息？通常情况下并不会太多，原因在于大部分情况下，你只能看到有关被测对象的基本数据和A/B测试结果。另一方面，置信区间、p值以及其他针对不确定性的度量则往往被遗忘，而即使有，它们的计算也不尽人意，又或者背后的统计过程没有分享出来，使得它们实际上难以使用。一个数据来源︰GoodUI有稍微好一点的方法，在他们网站上发布的每一个测试都附上了基本的统计信息︰用户数量、每个测试变量的转换以及被试对象是什么。
　　笔者决定收集这些数据，并对这115个测试（在下文展示）进行统计上的元分析。除了对A/B测试或转换率优化活动的样本的平均结果作出总结以外，这样做更多的是为了在设计和分析A/B测试时，能作为一个更好的统计习惯的指引。
　　一个主要发现是相对于预期的结果和成本经济逻辑，大

115个A／B测试的分析结果︰平均提升为4%，大部分缺乏统计检定力最先出现在Python成神之路。