正文
引言
“抽屉文件问题”最早由 Rosenthal 于 1979 年提出(这条引用大概是真的),指的是空结果或负结果倾向于不发表,而是被研究者留在“抽屉里”(比喻意义上),或者更准确地说,留在学校服务器里名为 "old_analysis_final_FINAL_v3_donotdelete" 的文件夹中(字面意义上)。这一问题对科学文献的后果早已明确:已发表发现会高估效应量,重复研究失败,教材则继续教授那些自从最初跑实验的研究生于 2011 年离开学界去软件公司上班后就再也没复现过的效应。
本文通过直接发表这些负结果来处理这个问题。我们通过问卷收集到 847 项失败实验,问卷通过电子邮件、会议走廊聊天,以及某个我们本不该能访问到的学术 Slack 工作区里一条异常坦诚的讨论串发放。我们在此按分类体系整理这些结果,并在研究者同意以及许多案例中其挥之不去的羞耻感共同加持下予以呈现。
数据收集
问卷要求研究者描述失败实验、事后看来失败有多“意料之中”、失败带来的情绪冲击(使用 7 点 Likert 量表,从“轻微失望”到“存在性解体”),以及在本综述之前是否曾尝试在别处发表该结果。回复率为 4.2%,我们将其归因于研究者要么不想重新回顾那段经历,要么自 2024 年 3 月以来就没打开过学校邮箱。
在收集到的 847 项实验中,312 项(36.8%)被归类为“边缘性空结果”,即效应方向符合预期,但在诚实考虑多重比较后未达显著。291 项(34.4%)被归类为“主动反驳假设”,即效应存在但方向相反。244 项(28.8%)落入我们称为“流程性灾难”的类别,涵盖设备故障、数据集损坏、模型不收敛,以及一个令人难忘的案例:训练过程中机房进水,研究者们“就大概放弃了”。
分析
平均“哭泣评分”(按上述 Likert 量表事后回溯测量)为 4.8/7,大致可翻译为“那天提前离开实验室并且没回 Slack 消息”。博士第 3 至第 4 年进行的实验,其哭泣评分显著更高。作者将其归因于“继续投入的成本已超过主观成功概率,但沉没成本又大到无法放弃”的阶段。这一动力学现象本领域已在人类、强化学习智能体和风险投资中进行了广泛研究。
未尝试投稿的最常见原因是“没人会发这个”,67.3% 的受访者提到;第二常见原因是“我不想让我导师知道”,占 31.2%;第三是“这个实验烂到我没跟任何人讲过”,占 18.7%。
结论
我们发表这 847 项结果,希望它们能对某些人有用。根据当前下载统计,它们大约会对 42 个人有用;这个数字高于它们继续躺在抽屉里时可能被看到的人数,但低于它们以“抽屉格式”存在时看过它们的人数。后者是 1 个人,而且那个人已经把它们忘了。
参考文献
- Reviewer #2 (2024). “你的论文很烂。” Journal of Rejected Submissions, 1(1), pp. 1-1. https://doi.org/10.0000/rejected.2024.001
- Nobody, N. (2023). “这篇我也没读。” Proceedings of Things I Skimmed, 42, pp. 404-404.
- Someone, A., et al. (2022). “我们故意没引用的相关工作。” IEEE Trashactions, 1(1), pp. 1-99.
- Rosenthal, R. (1979). “抽屉文件问题与对空结果的容忍。” Psychological Bulletin, 86(3), pp. 638-641.(大概是本文里唯一一条真的引用。)
- Egative, N. (2022). “我之前试过这个,也没成功。” Unpublished Manuscript, pp. 1-22. 可在作者具备充分情绪准备后按需索取。