回顾P值和α的含义

解读单个P值很简单。考虑比较两种平均值的简单案例。假设零假设为真，P值是随机受试者选择单独导致样本平均值差异（或相关性或关联性）的概率...至少与在您的研究中所观察到的概率一样大。

α是您预先设定的阈值。如果P值小于α，则认为该比较“具有统计学显著性”。如果您将α设为5%，且零假设为真，则随机选择受试者，使得您根据在样本之间观察到的差异错误地推断出群体中的治疗效果的几率为5%

多重比较

许多科学研究检测多种假设。有些研究可产生数百甚至数千项比较。

解读多个P值很困难。如果检验了若干个独立零假设，且每次比较的阈值均保持在0.05，则获得至少一个“统计学显著”结果的几率大于5%（即，使所有零假设均为真）。该图表中示出了该问题。可使用以下公式，根据X轴上的比较次数（N）计算至少一项“显著性”比较的概率：100（1.00 - 0.95N）。

记住不详数字13。如果您进行了13项独立比较，则您偶然获得至少一个“具有显著性的”P值（＜0.05）的几率为50%左右。

以上图表（以及生成该图表的公式）假设各项比较均独立。换言之，该图表假设任何一项比较具有小P值的几率与任何其他比较具有小P值的几率无关。如果这些比较并非独立，则不可能计算出图表中显示的概率。

 

示例

让我们考虑一个示例。您准备比较对照组和处理组动物，并测量血浆中三种不同酶的水平。并进行三项独立t检验，每种酶一项，并使用传统临界值α = 0.05来声明每个P值具有显著性。即使处理实际上无效果，您的一项或多项t检验“具有统计学显著性”的几率为14%。

如果您用10项t检验来比较10种不同的酶水平，则仅仅是偶然获得至少一个“具有显著性的”P值的几率是40%，即使处理确实无效。最后，想象一下，您在10个时间点，使用12次预处理检验100种不同的酶...如果您不修正多重比较，则您几乎肯定会发现其中一些具有‘显著性’，即使所有无效假设均为真。

您只能纠正您所知道的比较

当您阅读研究时，仅当您知道研究者所做的所有比较时，您才能解释多重比较。如果研究者只报告“显著性”差异，而不报告比较总数，则无法正确评价结果。理想情况下，收集数据前，应计划所有分析，且应报告所有分析。

了解更多

多重比较是一个大问题，影响到几乎所有统计结果的解读。基于Berry的评论（1）（在下面摘录）或《直观生物统计》第22章和第23章（2）了解更多。

"大多数科学家均未注意到多样性问题。然而，多样性无处不在。多样性以其一种或多种形式存在于每个统计应用中。多样性可能在明处，也可能在暗处。即使多样性在明处，识别多样性也只是困难的推断过程中的第一步。在我们统计学家面临的问题中，多样性问题最困难。多样性威胁着每个统计结论的有效性。 “（1）

1. Berry，D. A.（2007）。多样性的难题和普遍存在的问题。《药学统计学》，6，155 - 160

2.Motulsky，H.J.（2010）。《直觉生物统计学》，第3版。牛津大学出版社。ISBN=978-0-19-994664-8。