Kline（1）列出了普遍认为的P值谬误，我在这里总结如下：

谬论：p值是由于抽样误差而造成结果的概率

假设零假设为真，则计算P值。换言之，P值的计算是基于由于抽样误差而造成差异的假设。因此，P值无法表示由于抽样误差而造成结果的概率。

谬论：P值是零假设为真的概率

没有。假设零假设为真，则计算P值，因此P值不可能是真的值。

谬论：1 - P是替代假设为真的概率

如果P值为0.03，则很容易想到：如果差异只有3%的概率由随机因素造成，则差异肯定有97%的概率由真实因素造成。但这是一种错误的想法！

您可以说，如果零假设为真，则97%的实验会导致比您观察到的差异更小的差异，3%的实验会导致与您观察到的差异一样大的差异或比您观察到的差异更大的差异。

P值的计算基于零假设正确的假设。P值无法表明该假设是否正确。P值表明，如果零假设为真，则很少能观察到与您观察到的差异一样大的差异或比您观察到的差异更大的差异。

科学家必须回答的问题是，结果是否不太可能导致放弃零假设。

谬论：1 - P是重复实验后结果保持不变的概率

如果P值为0.03，则很容易认为这意味着有97%的几率能在重复实验中得到“相似”的结果。并非如此。

谬论：高P值证明零假设为真。

否。高P值意味着，如果零假设为真，则在本实验中观察到的治疗效果便不足为奇了。但这并不能证明零假设为真。

谬论：P值是拒绝零假设的概率

在一个特定实验的P值小于显著性水平α（您（应该）将α作为实验设计的一部分）时，您会拒绝零假设（并认为结果具有统计学显著性）。所以如果零假设为真，则α是拒绝零假设的概率。

P值和α不一样。P值是从每次比较中计算得出，并且是对证据强度的一种度量。将显著性水平α设置为实验设计的一部分。

 

1.RB Kline， 超越显著性检验：改革行为研究中的数据分析方法，2004， IBSN:1591471184