四个A/B测试常见错误及其解决方法

提升你的A/B测试技能：解决四个关键错误以获得更好的结果

A/B测试就像Jenga游戏，是一个由相互关联的组件构成的微妙平衡，形成了成功实验的基础。就像在Jenga游戏中，移除错误的方块会导致整个塔倒塌一样，A/B测试依赖于多个组件的协同工作。每个组件代表了测试的关键要素，如果其中任何一个失败，实验的完整性就会受到损害，导致不准确的结果或错失机会。

在我的经验中，我看到许多数据科学家犯下了非常常见的错误，导致了一些伟大的实验想法的崩溃，其中包括我自己！因此，我想与你分享A/B测试中最常见的四个错误（以及如何解决它们！）。

如果你对A/B测试不熟悉，而且你有兴趣从事数据科学的职业，我强烈建议你至少熟悉一下这个概念。

你可以查看下面的链接，了解关于A/B测试的入门知识：

towardsdatascience.com

说了这么多，让我们深入了解吧！

回顾一下，统计功效代表了正确检测到真实效应的概率，或者更准确地说，它是在零假设为假时拒绝零假设的条件概率。统计功效与犯第二类错误（假阴性）的概率成反比。

通常，在进行研究时，将统计功效设置为80%是常见做法。根据定义，这意味着如果将统计功效设置为80%，在零假设为假的情况下，你将有20%的概率无法拒绝零假设。简单来说，如果在进行的100个实验中存在真实效应，你只能检测到其中的80个。