跳至主内容
年度 P-Hacking 锦标赛吸引破纪录 3000 名参赛者

第七届年度 P-Hacking 锦标赛于上周末落幕,创下参赛人数与奖金金额双纪录。组织委员会还宣布,本届赛事在统计效能方面也创下新高,“尽管我们还在跑分析”。来自 47 个国家的 3000 名研究者齐聚某会展中心,参加这场 72 小时耐力赛。出于“可复现性原因”,主办方拒绝公开场馆名称。比赛核心目标是:从本质为零结果的数据集中提取显著性。

今年的数据集在开幕式上以密封信封发放,每份信封内是一份逗号分隔文件,包含从标准正态分布抽样得到的 500 条观测。选手可使用 R、Python、SPSS 中任何统计技术,或“创造性的 Excel 格式处理”。评委评分标准包括最终 p 值、方法学论证的优雅程度,以及官方 rubric 所谓的“摘要措辞自信度”。在实操中,这意味着避免使用“可能提示”“与……一致”等保守表述,改用“证明了”“ conclusively 证明”等强势表达。

本届冠军是一名三年级博士生,仅愿以“参赛者 1847”署名。她通过筛选出行号为偶数的 43 条记录、进行对数变换、比较探索性分析中发现但未记录的分组变量均值,并在 67 小时内连续跑了 312 次检验,最终得到 p=0.0499。她提交的摘要将结果描述为“稳健且可复现的发现”,这一表述在“自信度”维度获得满分。被问及是否进行了多重比较校正时,她回答“考虑过”,根据赛事规则这已足够。

多位选手因过早获得显著性而被取消资格,组织方认为这“很可疑”。另有一支队伍因提交预注册设计被淘汰,理由是违反了比赛的体育精神。亚军使用一项他称作“你不会想知道”的技术取得 p=0.0487,获得现金奖励以及本刊待同行评审发表资格。审稿人已全部分配完成;三位审稿人都曾参加过本锦标赛。