第I类和第II类错误

当您对某一效应是否具有统计学显著性做出结论时，您可能会在两个方面出错：

•当总体上确实没有差异（关联、相关......），但随机抽样导致您的数据显示出统计学显著差异（关联、相关......）时，您就犯了I 型错误。您认为两组数据确实存在差异（关联、相关）的结论是不正确的。

•当总体上确实存在差异（关联、相关），但随机抽样导致你的数据没有显示出统计学上的显著差异时，你犯了II 型错误。因此，您得出的 "两组没有真正差异"的结论是不正确的。

0 类错误和 III 类错误

此外，还有两种错误可以定义：

•当你 得到了 正确的答案，但却问了一个错误的问题时，你就犯了0 型错误！这种错误 有时被称为III 型错误， 尽管该术语通常有不同的定义（见下文）。

•当您正确得出两组在统计上有差异的结论，但对差异的方向判断错误时，您就犯了 III 型错误。假设某项治疗确实增加了某个变异性，但您并不知道这一点。当你做实验想找出答案时，随机抽样恰好会产生对照组受试者的数值很高，而治疗组受试者的数值很低的情况。这意味着受试者的平均值在受试组中较低（平均而言），而且低到足以使差异在统计学上显著。你会正确地拒绝无差异的零假设，并正确地得出治疗显著改变了结果的结论。但您得出的结论是治疗平均降低了数值，而事实上治疗（平均而言，但不是在您的受试者中）增加了数值。第三类错误非常罕见，因为只有当随机机会导致您从实际数值较高的组别中收集到低数值，而从实际数值较低的组别中收集到高数值时，才会发生第三类错误。