仅当数据分析中的每一项选择均完全按照计划进行，并作为实验设计的一部分记录在案时，才能从表面上解释统计结果。在一些研究领域经常打破这一规则。相反，通常按以下方式进行分析：

收集并分析一些数据。如果结果在统计上无显著性，但显示出与预期方向的差异或趋势，请收集更多数据并重新分析。或者尝试使用不同方法来分析数据：去除一些异常值；转换成对数；尝试非参数检验；通过标准化来重新定义结果（例如，除以每只动物的体重）；使用一种方法比较一个变量，同时调整另一个变量的差异；可以尝试各种可能方法。坚持尝试，直至获得统计学显著结果，或者直至耗光资金、时间或好奇心。

采用这种方式收集的数据结果，不能从表面上进行解释。即使确实没有差异（或无影响），找到“统计学显著”结果的几率也超过5%。问题是，仅当P值大于0.05，并选择收集更多数据（或以不同方式分析数据）时，才会引入偏差。如果第一次分析中的P值小于0.05，则在收集更多数据或使用替代分析后，P值可能大于0.05。但是，如果第一个P值大于0.05，您只收集更多的数据或者尝试使用不同的数据分析策略，您将永远看不到这一点。

“P值篡改”由Simmons等人（1）创造，他们也使用了短语“过多研究者自由度”。这是一个通用术语，包括动态样本量收集、HARKing等。共有三种P值篡改：

•第一种P值篡改包括更改分析的实际值。相关示例包括 特设 样本量选择，转换到另一个对照组（如果您不喜欢第一条结果且您的实验涉及两个或更多个对照组），尝试各种独立变量组合，以包括在多元回归中（无论是手动选择还是自动选择），尝试分析有无异常值，分析数据的不同子组。

•第二种P值篡改是采用不同的统计检验重新分析一个数据集。示例：尝试参数和非参数检验。分析原始数据，然后尝试将数据转换为对数进行分析。

•第三种P值篡改为分叉路花园（2）。当研究人员根据其假设和数据进行合理分析时，就会发生这种情况，但是，如果数据结果不同，他们也会进行其他同样合理的分析。

探索自己的数据是产生假设和做出初步结论的非常有用的方法。但需要清楚标注所有这些分析，然后用新数据重新检验。

参考文献

1.Simmons，J. P.、Nelson，L. D.和Simonsohn，U.（2011）。假阳性心理学：数据收集和分析中未公开的灵活性允许呈现所有存在显著意义的事物。《心理科学》，22（11），1359 - 1366。

2.Gelman，A.和Loken，E.（2013）。分叉路的花园：为什么多重比较会成为问题，即使没有“fishing expedition”或“P值篡改”，而且已经提前提出研究假设。截至2016年1月未发布