正文
引言
同行评审是科学共同体评估并验证新知识的机制。它同时也是这样一种机制：三个可能是、也可能不是该领域专家的人，在时间压力下、甚至可能正处于自己的审稿季中途，共同决定一项工作是否进入永久科学记录。这两种描述并不冲突。它们描述的是同一个过程。
本文对这一过程开展了一项为期十年的实证研究。我们收集了来自九个 venue 的 10,000 份投稿及其完整评审历史和最终去向。对于最终在别处被接收的论文，我们收集其后续引用记录。对于从未在任何地方被接收的论文，我们收集能收集到的数据，主要包括 arXiv 预印本，以及在其中三例中，一封通讯作者的说明信，内容为其已离开学术界且不希望再被联系。
驱动本研究的核心问题非常简单：论文被拒是因为它们真的差吗？我们的答案是：不是。至少，不是以任何一种能被我们构建出来的质量指标检测到的方式。
结果
我们将评审给出的拒稿理由编码为四类主要原型。方法学否定（“实验不足”“消融不完整”“缺少 baseline 比较”）占全部拒稿的 38.4%，且与作者后续重投中是否补做额外实验不相关；无论是否新增实验，这些论文的接收率都近乎相同。相关工作异议（“论文忽略关键前人工作”“在现有文献下贡献偏增量”）占 31.7%，最常见于“缺失引用”里恰好包含审稿人本人论文的情况。范围不匹配（“这篇论文更适合其他 venue”）占 19.2%，我们发现它与抛硬币大致等价：被转投到其他 venue 的论文，其接收率与它们若留在原 venue 时可能获得的接收率近似一致。坏日子原型通过语气分析与评审长度联合识别（在我们的标注中，评审越短与负面情绪显著相关），占 10.7%，并在 12 月以及 NeurIPS 截稿后一周最为常见。
初始拒稿与最终引用数之间的相关系数为 r = 0.03（95% CI: [-0.07, 0.13]）。我们将其解释为：“没有相关性”。
结论
我们建议研究者将一次拒稿视为关于评审流程的信息，而非关于论文本身的信息。我们进一步建议 program chair 认真思考：任何能产生上述结果的系统，是否真的在按设计目标运行。我们已将这条建议提交至三个 venue，其中两次因 baseline 不足被拒，一次因超出 scope 被拒。
References
- Reviewer #2 (2024). “你的论文很糟。” 被拒投稿期刊, 1(1), pp. 1-1. https://doi.org/10.0000/rejected.2024.001
- Nobody, N. (2023). “这篇我也没读。” 我只扫过的东西论文集, 42, pp. 404-404.
- Someone, A., et al. (2022). “我们故意没引用的相关工作。” IEEE Trashactions, 1(1), pp. 1-99.
- Ejected, R. (2020). “早期证据表明这篇东西会很难发出去。” 初步发现论文集, 1, pp. 1-8.
- Emoralized, D., & Ejected, R. (2018). “一项我们没有继续跟进的试点研究。” 不完整研究计划研讨会, pp. 14-19.