如果单因素方差分析报告的P值小于0.05,则您就否定了所有数据来自具有相同平均值的总体的零假设。在此情况下,似乎有意义的是,至少有一个随访多重比较检验将发现一对平均值之间的显著差异。
这不一定是真。
有可能A组和B组的总平均值与C、D和E组的综合平均值存在显著差异。也许A组平均值与B组 - E组平均值不同。Scheffe后检验检测到类似的差异(但Prism不提供该检验)。如果总体方差分析P值小于0.05,则Scheffe检验肯定会在某处发现一个显著性差异(如果您查看正确的比较,又称“对比”)。Prism所提供的多重比较检验仅比较组平均值,且总体方差分析很有可能拒绝零假设,其中所有组平均值均相同,然而后续检验发现组平均值之间没有显著性差异。
您可能会发现其令人惊讶,但Prism提供的所有多重比较检验均有效,即使总体方差分析并未发现平均值间的显著性差异。即使总体方差分析显示各组之间没有显著性差异,但Prism所提供的任何检验当然也有可能发现显著性差异。这些检验更加集中,因此即使总体方差分析并不显著,但也有能力发现各组间的差异。
“一个可惜的常见做法是,仅当同质性的零假设被拒绝时,才继续进行多重比较。”(Hsu,第177页)
“...这些方法[例如,Bonferroni、Tukey、Dunnet等]应被视为多式混合检验的替代品,因为其自身将alphaEW控制在您期望的水平。在继续进行任何这些分析之前,要求进行一次重要的多式混合检验,正如有时所做的那样,这只会使alphaEW降低到期望的水平以下(Bernhardson,1975),从而不适当地降低幂”(Maxwell和Delaney,第236页)
存在两个例外情况,但两者均不是Prism所提供的检验。
•Scheffe检验(Prism中不可用)与整个F检验交织在一起。如果总体方差分析具有大于0.05的P值,则使用Scheffe方法的任何事后检验均不会发现显著性差异。
•限制性Fisher的最小显著性差异(LSD)检验(Prism中不可用)。在这种形式的LSD检验中,仅当总体方差分析发现组平均值之间有统计学显著性差异时,才进行多重比较检验。但该限制性LSD检验已过时,且不再推荐使用。Prism中的LSD检验不受限制--结果并不依赖于总体方差分析P值,且对多重比较来说是不正确的。
方差分析检验了所有数据来自平均值相同的群组的总体零假设。如果这是您的试验性问题--数据是否提供了令人信服的证据,表明平均值并不完全相同--那么方差分析恰好是您想要的。更常见的是,您的试验问题更集中,并且可通过多重比较检验来回答。在这些情况下,您可忽略总体方差分析结果,直接跳到多重比较结果(有些人不同意这种说法)。
请注意,多重比较计算均使用方差分析表的均方结果。因此,即使您不关心F值或P值,事后检验仍需计算方差分析表。
1.J. Hsu,多重比较、理论和方法。ISBN:0412982811.
2.SE Maxwell、HD Delaney,设计实验和分析数据:模型比较视角,第二版, ISBN: 978-0805837186