该示例将计算非配对t检验的检验力。然而,该示例的目标更广泛 - 展示用Prism进行蒙特卡洛分析有多么简单,并向您展示它们是多么有用。
此处的问题是:给定关于随机离散的实验设计和假设,非配对t检验给出P值小于0.05并因此宣布为具有统计学显著性的概率(检验力)是多少?
从任意位置,点击“新建”、“分析”,然后选择“模拟列数据”。选择模拟两组,每组五个值,从平均值为25和35的群体中抽样,根据SD为10的高斯分布进行分布。
从模拟数据表中,点击“分析”,并从列分析列表中选择t检验。接受所有默认选择来执行非配对t检验,报告双尾P值。
从结果中复制P值,并粘贴到数据图表上。该图表将粘贴一个实时链接,因此如果值改变,P值也将改变。如需使用不同的随机数模拟新数据,点击红色骰子图标,或下拉“更改”菜单,然后选择“再次模拟”
下列布局显示了放置在布局上的四个这种图表,它们是未链接的图片,当图表改变时不会更新。即使项目中只有一个图表,这也使得将四个不同版本(具有不同的随机数据)放置到布局中成为可能。您可以看到,随着数据的随机变化,P值变化很大。
从t检验结果开始,点击“分析”,然后选择“蒙特卡洛模拟”。
在第一个(模拟)选项卡上,选择想要Prism执行的模拟次数。该示例使用1000次模拟。
在第二个(要制表的参数)选项卡上,选择想要制表的参数。该选择是Prism在分析数据时创建的分析常数列表。对于该示例,我们只想将P值制成表格(来自比较平均值的t检验;不要将其与比较方差的F检验的P值混淆)。
在第三个(命中)选项卡上,定义准则,使给定模拟结果成为“命中”。对于该示例,我们将定义命中为:P<0.05的统计学显著性。
点击“确认”,Prism将运行模拟。可能需要几秒或几十秒,取决于计算机的速度。
模拟结果显示在两个页面中。
一页显示所有模拟的列表参数。在该示例中,我们只要求将P值制成表格,所以该表格是包含1000个P值的列表(所要求的模拟数)。如需从该表格创建频率分布,点击“分析”,然后选择“频率分布”。选择累积频率分布。您可以看到大约四分之一的P值小于0.05。
另一个结果表总结了命中率。对于这组模拟,27.5%的模拟为命中(P值小于0.05),95%置信区间为24.8%至30.4%。表述这些结果的另一种方式是,我们实验设计的检验力为27.5%。
请注意,模拟取决于随机数生成,随机数生成根据您开始的时间进行初始化。所以,如果您的结果可能与上述结果不同。
如果我们运行更多模拟,置信区间当然会更窄。
从该表中,点击“新建”,然后选择用于创建饼图或百分比图的现有数据图表。
回到第1步,模拟更大的实验,假设每组有10个值。或者20或100。这会使检验力增加多少?
尝试将命中的定义降低为P值小于0.01而非0.05。这对检验力有什么影响?