Please enable JavaScript to view this site.

Navigation: 统计学原理 > 假设检验和统计学显著

建议:不要在达到“显著性”之前一直添加受试者。

Scroll 前一页 Top 后一页 More

常用方法会导致错误的结果

该方法很诱人,但却是错误的(因此被划掉):

请勿在开始研究前选择样本量,只需在收集更多数据时重复统计分析,然后:

如果结果不具有统计学显著性,请收集更多数据,重新分析。

如果结果具有统计学显著性,停止研究。

该方法的问题是,如果您不想要该结果,您会继续进行,但如果您想要该结果,您会停下来。其结果是,如果零假设为真,则获得“显著”结果的几率远高于5%。

演示问题的模拟

下图通过模拟说明这一点。我们通过绘制高斯分布的值,模拟数据(平均值 = 40,SD = 15,但这些值是任意的数值)。两组均使用完全相同的分布进行模拟。我们在每组中选择N = 5,计算非配对t检验并记录P值。然后我们给每组增加一名受试者(所以N = 6),并重新计算t检验和P值。我们重复该过程,直至每组中的N = 100。然后我们重复整个模拟三次。通过比较具有相同群体平均值的两组,完成这些模拟。因此,我们获得的任何“统计学显著的”结果均必须是一个巧合 - I型错误。

该图表绘制Y轴上的P值与X轴上的样本量(每组)的关系。图表底部绿色阴影的区域显示,P值小于0.05,因此被视为“具有统计学显著性”。

试验1(绿色):N = 7时,P值小于0.05,但对于所有其他样本量,P值高于0.05。试验2(红色):N = 61时以及N = 88或89时,P值小于0.05。N = 92至N = 100时,试验3(蓝色)曲线的P值小于0.05。

如果我们遵循连续的方法,我们会宣称所有三个试验的结果均“具有统计学显著性”。在第一项(绿色)试验中,N = 7时,我们会停止,因此永远不会看到曲线的虚线部分。N = 6时,我们会停止第二项(红色)试验,且N = 92时,我们会停止蓝色试验。在这三种情况下,我们会宣称结果具有“统计学显著性”。

由于这些模拟是为两组中真实平均值相同的值创建,因此任何“统计学显著性”的声明均为I型错误。如果零假设为真(两个群体平均值相同),则预计在5%试验中会出现这种I型错误(如果我们使用alpha = 0.05的传统定义,则小于0.05的P值被认为显著)。但使用这种连续方法,我们所有三个试验均会导致I型错误。如果您充分的延长试验(无限的N),所有试验最终均会达到统计学显著性。当然,在某些情况下,即使无“统计学显著性”,您最终也会放弃。但这种连续方法将在远远超过5%试验中产生“显著”结果,即使零假设为真,且因此,该方法无效。

最后一行

务必选择样本量并坚持下去。您喜欢结果并停下来,您会欺骗自己,但当您不喜欢结果时,则继续执行。另一种方法是使用专门的排序或自适应方法,该方法会考虑到您在分析数据时的实际情况。如需了解这些技术的更多信息,请在高阶版统计书籍中查找“排序”或“自适应”方法。

 

 

 

 

© 1995-2019 GraphPad Software, LLC. All rights reserved.