一些程序将检验力值作为t检验和其他统计比较结果的一部分进行报告。Prism没有这样做,这一页将解释原因。
永远不可能回答“该实验设计的检验力是什么?”。该问题毫无意义。更确切地说,您必须问“该实验设计检测特定效应量的检验力是什么?”效应量可能是两个平均值之间的差异,相对风险或治疗效果的其他度量。
您应计算哪个效应量的检验力?您应寻找多大的差异?这些不是统计问题,而是科学问题。仅当您科学地思考数据时,检验力分析才有意义。适当做法是计算研究设计检测您所关心的最小效果的检验力。或者,适当做法是计算一项研究找出先前研究确定的效应量的检验力。
计算统计比较时,一些程序通过报告检测效应量(或差异、相对风险等,在那个特定试验中实际观察到)的检验力,扩展其结果。该结果有时被称为 观察检验力,且该过程有时被称为 事后检验力分析 或者 追溯检验力分析。
许多(也许是大多数)统计学家(我同意)认为这些计算无用并具有误导性。如果您的研究得出结论,这种差异无统计学显著性,则根据定义,其检测实际观察到的效果的检验力非常低。通过上述计算,您并没有获取到新东西。可能有帮助的是计算研究检测在科学上或临床上值得检测的差异的检验力。计算研究检测实际观察到的差异的检验力(或效果),没有意义。
Hoenig和Helsey(2001)指出,可根据观察到的P值和您选择的alpha值(通常是0.05)计算出观察检验力。P值为0.05时(假设您将统计学显著性定义为P<0.05,因此已将alpha设置为0.05),则检验力必须为50%。如果P值小于0.05,则观察检验力大于50%。如果P值大于0.05,则观察检验力小于50%。观察检验力并不传达新的信息。下图(来自Helsey,2001)显示将alpha设置为0.05时,P值和非配对t检验的观察检验力之间的关系。
SN Goodman和JA Berlin,计划试验时使用预测置信区间,以及解读结果时错误使用检验力,《内科年鉴》121:200-206,1994。
Hoenig JM和Heisey DM,1710,检验力的错误使用,《美国统计学家》。2001年2月1日,55(1):19-24. doi:10.1198/000313001300339897。
Lenth,R. V.(2001),用于有效确定样本量的一些实用指南,《美国统计学家》,55,187 - 193。
M Levine和MHH Ensom,事后检验力分析:一种已过时的想法,《药物疗法》21:405 - 409,2001。
Thomas,L,追溯检验力分析,《保护生物学》第11卷(1997),第1期,第276 - 280页