Kline (1) 列出了关于 P 值的常见谬误，我在此对其进行总结：

谬误：P 值是抽样误差导致结果的概率

P 值的计算是假设零假设为真。换句话说，P 值是在假设差异是由抽样误差造成的基础上计算出来的。因此，P 值无法告诉您结果是由抽样误差引起的概率。

谬误：P 值是零假设为真的概率

不是。P 值是在假设零假设为真的情况下计算得出的，因此不能作为零假设为真的概率。

谬误：1-P 是替代假设为真的概率

如果 P 值为 0.03，那么我们很容易想到：如果我的差异只有 3% 的概率是由随机机会造成的，那么一定有 97% 的概率是由真实差异造成的。但这是错误的！

你可以说的是，如果零假设是真的，那么 97% 的实验会导致比你观察到的差异更小的差异，而 3% 的实验会导致与你观察到的差异一样大或更大的差异。

计算 P 值的前提是假设零假设是正确的。P 值不能告诉你这个假设是否正确。P 值告诉您，如果零假设为真，您观察到的差异比您观察到的差异大或更大的情况有多罕见。

科学家必须回答的问题是，结果是否如此不可能，以至于应该放弃零假设。

谬误：1-P 是重复实验时结果成立的概率

如果 P 值为 0.03，人们很容易认为这意味着有 97% 的几率在重复实验中得到 "相似 "的结果。其实不然。

谬误：高 P 值证明零假设成立。

高 P 值意味着如果零假设成立，观察到本实验中的治疗效果就不足为奇了。但这并不能证明零假设为真。

谬误：P 值是拒绝零假设的概率

当某一特定实验的 P 值小于显著性水平 α 时，您就拒绝了零假设（并认为结果在统计学上显著），而显著性水平 α 是您（本应）在实验设计中设定的。因此，如果零假设为真，α 就是拒绝零假设的概率。

P 值和α 并不相同。P 值是从每次比较中计算出来的，是对证据强度的衡量。显著性水平 α 作为实验设计的一部分一次性设定。

 

1.RB Kline,Beyond Significance Testing：行为研究数据分析方法改革》，2004 年， IBSN:1591471184。