在地下室寻找工具

检验力的概念很模糊。下面这个比喻可能会有所帮助（由纽约州立大学布鲁克林分校的 John Hartung 提供）。

你让孩子去地下室找工具。他回来说 "不在那儿"。你的结论是什么？工具到底在不在？我们无法确定。

所以我们用概率来表示答案。你真正想回答的问题是："工具在地下室的概率是多少"？但如果不知道先验概率，不使用贝叶斯思维，这个问题就无法真正回答。我们不讨论这个问题，而是提出一个稍微不同的问题："如果工具真的在地下室，你的孩子发现它的概率是多少"？

答案依赖于这些问题的答案：

•他花了多长时间寻找？如果他找了很长时间，那么他找到工具的可能性就更大。

•工具有多大？找到雪铲比找到你用来修眼镜的小螺丝刀要容易得多。

•地下室有多乱？如果地下室真的很乱，那么他找到工具的可能性就会比整理得井井有条的要小。

因此，如果他花了很长时间在一个井井有条的地下室里寻找一个大型工具，那么如果工具在那里，他很有可能会找到。因此，你可以对他得出的 "工具不在那里"的结论很有信心。如果他花了很短的时间在杂乱无章的地下室里寻找一件小工具，那么他得出的 "工具不在那里"的结论就没有什么意义了。

样本量和统计功效的类比

那么，这与计算一个已完成实验的统计功效有什么关系呢？关于寻找工具的问题，类似于询问已完成实验的统计功效。统计功效就是这个问题的答案：如果真的出现了（规定大小的）效应量，那么一定大小的实验找到 "统计学显著"结果的几率有多大？

•搜索地下室的时间类似于样本量。如果收集的数据越多，发现效应的统计功效就越高。

•工具的大小类似于你要寻找的效应量。找到大效应的统计功效总是大于小效应。

•地下室的杂乱程度类似于数据的标准偏差。如果数据非常分散，您就没有那么大的统计功效来发现效应。

如果你使用标准偏差小的系统，用大样本量寻找大效应，那么如果存在 "统计学显著效应"，你就很有可能得到它。因此，你可以很有把握地得出 "无统计学显著效应"的结论。但是，如果你使用一个标准偏差较大的系统来寻找一个较小的效应量，那么 "无统计学显著效应"的结论就真的没什么用了。