这又是根据先前页面得到许多比较预测结果得到的表格。唯一不同的是,我将术语“统计学显著”改成“发现结果”,因为后者最常配合错误发现率方法一起使用。
“发现” |
“非发现” |
总计 |
|
无差异。 真实零假设 |
. |
B |
A+B |
差异确实存在 |
C |
D |
C+D |
总计 |
A+C |
B+D |
A+B+C+D |
最上面一行代表了比较结果,其中零假设为真 - 治疗确实不起作用。尽管如此,一些比较会错误产生较小P值,使得将比较视为“发现结果”。
第二行示出了真正存在差异的比较结果。即便如此,您也不会在每个实验中都得到一个足够小的P值,而称之为“发现结果”。
A、B、C和D代表比较的次数,因此A+B+C+D的和等于正在进行比较的总数。
当然,理论上您只能制作这张表。如果您收集实际数据,您将永远不知道零假设是否为真,因此无法将结果分配给第1行或第2行。
统计学显著和多重比较的常用方法提出了一个问题:
如果零假设为真,则获得“统计学显著”结果的可能性有多大?
错误发现率(FDR)回答了一个不同的问题:
如果一个比较是一个“发现结果”,则零假设为真的可能性有多大?
在表中,前述错误发现率为比率A/(A+C)。
在处理多重比较时,您可能希望设置一个FDR值(通常称为Q),然后使用该值来决定哪些比较为“发现结果”,哪些比较并非旨在使实际错误发现率低于Q。
如果您只是进行简单比较,则必须定义先验可能性并使用贝叶斯推理。但如需进行很多比较,仅使用简单的方法即可以大致控制FDR。您可以设置所需的Q值,FDR方法将决定每个P值是否足够小,以便指定为“发现结果”。如果您将Q设置为10%,预计约90%的发现(从长远来看)能够真实反映实际差异,而不超过10%的发现属于假阳性。换言之,您期望A/(A+C)等于10%(设置的Q值)。
存在两种方法来考虑错误发现率。
•输入一个Q值(注意大写;期望的错误发现率),并使用该定义,程序将告诉您哪些比较为发现,哪些不是。在Prism中,您以百分比形式输入Q。
•对于每次比较,程序将计算一个q值(注意小写)。该值又称“调整后P值”。思考该值的方法如下所示。如果您将上文的Q值设为该值,则您现在看到的比较结果将处于是否属于发现的边界。Prism将以小数报告q。