严禁一稿多投：NeurIPS 2019刚刚毙掉了19篇论文 机器之心报道 参与：泽南、杜伟 上星期，人工智能顶级学术会议 NeurIPS 2019 的论文评审结果刚刚放出。昨天，本届 NeurIPS 程序主席、谷歌大脑研究员 Hugo Larochelle 等人发出了一篇公告，宣布大会刚刚因为一稿多投拒掉了 19 篇论文。这让人们的神经再次紧张了起来。 改一改再投也不行？NeurIPS 的程序主席们表示他们还在审查一些疑似与其他 AI 学术会议投稿雷同的论文，未来拒稿的数字可能还会增加。 「随着 NeurIPS 2019 大会的审稿工作完成，作者回应阶段开始，我们现在要宣布有关程序主席（PC）审稿策略的更新了，」Hugo Larochelle 说道。 Deadline 过去了，论文还没有审完 首先，对于作者来说论文提交的 Deadline 是一道坎。对于审稿人来说，评审 Deadline 也一样刺激。 7 月 25 日至 7 月 31 日是 NeurIPS 2019 论文作者起草并提交论文评审反驳意见的时间。针对目前给出的评审意见，作者们可以进行解释消解评审的顾虑，抑或澄清审查中可能存在的任何误解和事实错误。随后，作者的回复将通知提交给审稿人和大会区域主席（AC）之间进行讨论，最终他们会给出评审建议。 大家可能已经注意到，论文评审的提交截止日 7 月 15 日和评审放出时间 7 月 25 日之间相隔多天。大会组织者表示，这一段时间原本计划用于区域主席、高级区域主席和程序主席（PC）跟踪逾期未审的论文，以在必要时紧急进行评审。 虽然大多数评审者按时完成了自己的评审任务，但仍然出现了大量评审者推迟提交评审，甚至在截止时间最后一刻选择退出评审者行列的情况。所以直到 Deadline 之后 36 个小时，只有 73% 的论文获得了至少 3 个评审结果，大约有 90% 的评审者提交了评审结果。 看来对于大会评审人员、区域主席和程序主席来说，他们度过了一段紧张繁忙的阶段。 严禁一稿多投 正如会方在 Call for Papers 中所提到的，本届 NeurIPS 2019 宣布与其他人工智能学术会议展开了合作，以阻止一稿多投的现象。组织者选择的合作会议与 NeurIPS 存在主题领域和评审时间上的交叉。 为了保证 NeurIPS 大会的内容具有原创性和新颖性，因此大会希望积极制止一稿多投的现象。此外，大会主席还希望避免论文作者利用系统漏洞的企图，通过一稿多投来增加被接收的机会。找出这些一稿多投的论文也为大会增加了很多额外的工作量。 针对这种情况，我们已经与 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委员会主席展开合作。我们的流程管理人员运行相应脚本，对提交至 NeurIPS 的论文与这些学术会议上同一作者提交的论文进行对比。然后，我们检查了相似度最高的论文，确定它们是否违反了双重提交政策。 通过以上操作，我们发现并确定提交至 NeurIPS 的 19 篇论文与同一作者提交至不同学术会议的其他论文存在明显重复。因此，我们现在已经拒绝接收这 19 篇论文。我们还识别出了一些疑似出现重复的论文，并指定领域主席进行仔细调查，以帮助我们确定一个公平的解决方案。 此外，大会还对所有相同作者提交至 NeurIPS 的论文中运行相似度脚本，从而突出显示具有明显重复的论文案例。大会主席并没有亲自检查这些重复论文，而是指定相同的评审者和领域主席进行审核。然后，NeurIPS 会通知他们，这些提交的论文会被一同进行评估，以确定接收其中的一篇是否导致另一篇因重复而无法被接收。 更多有关作者回应和论文双重提交的信息可参阅《NeurIPS 2019 征文须知》。 链接：https://neurips.cc/Conferences/2019/CallForPapers?source=post_page--------------------------- 有损论文评审公平性？ 将相同的评审分配给类似的论文以避免它们「可能」的雷同虽然可以提高评审论文的效率，但显然也会有损论文评审的公平性。人们对于这种新的评审做法颇有微词，英特尔科学家 Randall Munroe 表示：「这是一个让评审机制走向偏见的好方法，我很惊讶机器学习会议会变得如此堕落——故意加剧审查制度的偏见。」 Munroe 认为，如果把应对「一稿多投」问题的任务交给大会的领域主席（AC），但让他们以无偏见的方式进行审查效果或许会好得多，因为这对于领域主席来说相对简单，而且一稿多投且在两个大会上都被接收的情况其实很少见。 对此，程序主席 Hugo Larochelle 并不赞同：「请注意，如果论文有高度重复性，我们实际上希望两边都把它拒掉，因为我们希望阻止这种投机取巧的策略。」 Larochelle 又表示，其实目前这种方法对于论文作者来说也有好处，论文评审可以在评论中提出自己的看法，而论文作者也可以在回复中进行反驳——如果让领域主席来进行判断，这些都就都做不到了。 看起来，为了降低大会接收论文的水分，组织者们正在采取各种手段。上周四，NeurIPS 2019 大会放出了论文的评审结果。对于每篇有效投稿的论文，作者们都得到了至少三个评审结果。 在知乎等社交平台上，人们纷纷开始晒（tu）出（cao）收到的评审结果。总体而言，大多数评审给出的建议非常中肯，但也有一些缺乏专业知识/没有仔细看论文/故意反问的： 你文章里标点为什么用那么多？很难读啊，我建议你把它修改一下。 当然，其中还有更加直击灵魂的追问： What is softmax? 最后，如果看到这些不淡定了，先吃一袋 NIPS 压压惊。 参考内容： https://medium.com/@NeurIPSConf/author-response-4a58bbd101bf 世界人工智能大会黑客马拉松赛题公布，软银机器人、微众银行、第四范式发布三大赛题，邀请全球开发者来战。点击「阅读原文」了解详情并参与报名。 阅读原文