在地下室寻找工具

统计检验力的概念很难理解。此处给出了一个类比可能会有所帮助（由John Hartung（SUNY HSC Brooklyn）提供）。

您将孩子送到地下室去寻找工具。他回来说“工具不在那里”。您会得到什么结论？工具到底在不在？没有办法确定。

现在让我们用概率来表示答案。您真正想弄清楚的问题是：“工具在地下室的可能性有多大”？但是，如果不了解先验概率并使用贝叶斯思维，该问题就不能真正得到解答。我们将继续讨论该问题，提出一个稍微不同的问题：“如果工具确实位于地下室，您的孩子找到其可能性有多大”？

答案取决于这些问题的答案：

•他花了多长时间寻找？如果他寻找的时间非常长，他更有可能找到工具。

•该工具有多大？相对于用于固定眼镜的小螺丝刀，找到一把雪铲将更容易。

•地下室有多乱？如果地下室确实很乱，他找到工具的可能性就比特别有条理的地方的可能性要小。

因此，如果他花很长时间在一间有条理的地下室中寻找一个大工具，他很可能会在那里找到这个工具。所以您对他的结论将很有信心，那就是工具不在那里。如果他花很短时间在一间凌乱的地下室中寻找一个小工具，则对于他得到的“工具不在那里”的结论，并没有多大意义。

样本量和检验力的类比

因此，这与计算一个完整实验的检验力之间有何关系？关于寻找工具的问题，类似于询问一个完整实验的检验力。检验力回答了该问题：如果确实发生一种效应（特定大小），则一个特定样本量的实验得到“统计学显著”结果的可能性有多大？

•搜索地下室的时间类似于样本量。收集的数据更多，发现效应的能力更大。

•工具的大小类似于正在寻找的效应量。相对于小效应而言，总是有更大的力量去发现大效应。

•地下室的混乱类似于您数据的标准偏差。如果数据非常分散，则您没有则大的能力去发现效应。

在样本量比较大的情况下，如果您使用标准偏差小的系统寻找大效应，则您很有可能会得到“统计学显著效应”（如存在）。因此，您可很有把握地得出结论：“无统计学显著效应”。但是在样本量比较小的情况下，如果您使用标准偏差较大的系统寻找小效应，则“无统计学显著效应”的结果便没有多大帮助。