魁北克大学教授痛批双盲评审制度：这不是个好主意 选自blog 作者：Daniel Lemire机器之心编译 编辑：魔王 近日，魁北克大学计算机科学教授 Daniel Lemire 在 ACM 出版委员会会议上发表言论，批评学术界广泛使用的双盲评审制度。 Daniel Lemire 的观点如下： 当你向期刊或会议提交论文手稿时，你不知道谁是评审人。由于对偏见和同质性的担忧，越来越多的期刊和会议转向双盲评审，即投稿人不能透露自己的身份。另一种方式则更加开放——每个人都不匿名。 双盲评审背后的想法是，在你不知道作者的姓名和机构时，你就不容易产生歧视。当然，编辑和主席仍然知道作者的身份。开放式同行评审的思路是，如果你的评审文章发表了，你需要继续跟进。而如果你带有太多偏见，则可能会遭受惩罚。 在专业化的环境中存在许多偏见。当然，有些偏见针对少数群体和女性，还有一些针对其他群体。有迹象表明在判断一项工作的价值时，作者的声誉可能成为决定性因素。人们通常会给类似自己的人高度评价。此外，还存在一些传统偏见：不常见的 idea 更难得到高评分，传统机构收到高评价的可能性高于非传统机构。 然而，我们不应那么快就接受「把隐藏作者身份信息作为解决方案」。 很明显，我们认为自己可以在招聘过程中有效解决偏见或歧视，因为大部分雇主不基于双盲评审进行招聘。博士生提交论文进行评审时也不会隐藏自己的姓名。 那么，为什么在有如此明显优势的情况下，我们不想隐藏研究者的身份呢？ 首先，双盲评审的好处只存在于一些趣闻轶事中。事实是，人们有偏见、同质性，你可以一定程度上匿名化内容。但是，这些优势的证据是混杂的，比如我们不知道这对女性是否有帮助。 告诉来自不那么有名的组织、贫穷或非英语国家、非传统性别的人，他们需要隐藏这类身份信息才能得到平等对待，这本身并非积极信号。我当然想要居住在一个女性可以像男性一样发表自己工作的世界。只强调偏见却不恰当解决问题会让这些领域对于那些受偏见影响的人失去吸引力。 另一个担忧是，双盲评审会使开放学术（open scholarship）变得困难。我的大部分论文是在网上发布的，我用开放的方式编写软件，我尝试所有我认为属于开放学术的事情。很显然，这意味着我不能参与双盲会议。使开放学术变得困难是一种倒退。 工作被接收之后呢？当评审有偏见时，读者不会有偏见吗？更重要的问题是，读者重要还是评审人重要？我们写论文是为了发表还是为了供人阅读？我毫不犹豫地选择后者。双盲同行评审至多可以帮助论文被接收，但对于论文发表后的评价毫无用处。但看起来我们认为这个游戏的终极目标就是在顶会发表论文，我们是不是把影响因子看得太重，或者我们真的关心能否产出有影响力的研究吗？ 《旧金山科研评估宣言》认为：「委员会对资金、招聘、终身教职或晋升进行决策时，需要基于科学内容而非出版指标进行评估。」仅关注如何让论文被接收就会失去我们真正想珍视的东西。 没有免费的午餐。双盲同行评审是有代价的。 Rebecca M. Blank 在《The Effects of Double-Blind versus Single-Blind Reviewing: Experimental Evidence from The American Economic Review》中表示，来自学术界以外的作者在双盲评审阶段的论文接收率较低，在评审知道作者身份时，他们倾向于给非学术界人士一个机会，尽管非学术界人士不像学术界人士那样遵循领域规范。此外，Blank 表示双盲评审整体上变得更加严苛了。 这一「严苛」本质得到了复制和量化，双盲评审中论文的成功率要比单盲评审低。 因此，双盲评审会有一些预想不到的后果。更严苛的评审和更低的论文接收率可能并非积极信号。学生可能会想：「当你可以离开学界做一些能够受到赏识的事的时候，为什么还要继续追求论文通过呢？」 例如，如果我们想要提升女性的代表性，存在一些不那么侵略性也更积极的方法，如在同行评审过程中纳入更多女性作为评审人、编辑等。对于其他偏见也是如此。例如，你应该确保来自非著名学校或贫穷、非英语国家的人得到足够的代表。那么如何对待想法不那么正统的人呢？如何纳入更多学术界以外的人呢？ 还存在另一个问题：我们需要奇低的接收率吗？ 在计算机科学中，论文接收率低于 15% 是很常见的事。我们是否意识到这一结果不可避免地是由被选出的少数人所控制的权利层级，由他们来选择赢家。而通过接收更多论文，我们可以降低同行评审中偏见的影响力，可以削弱少数人的权力。开源期刊（如 PLOS One）证明，你可以将同行评审从「选拔优秀者」转换成「筛选掉糟糕的研究」。这就相当于你可以在房间数量有限的酒店举办会议，但 Zoom 和 YouTube 有数百万个房间。当然，这样做的坏处在于招聘和晋升委员会无法仅凭顶会和期刊的发表论文数量来做决定了，他们必须阅读这些论文并进行讨论。这是艰苦的工作。候选人不再只需要提供论文清单，他们还必须用我们能理解的方式解释其工作的重要性。 我的结论是，尽管双盲评审试图解决的问题是切实且重要的，但它本身是一个相当粗鲁、悲观的解决方案，会造成一些意料之外的后果。而我们可以做得更好。 原文链接：https://lemire.me/blog/2020/11/19/double-blind-peer-review-is-a-bad-idea/?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+daniel-lemire%2Fatom+%28Daniel+Lemire%27s+blog%29 NeurIPS 2020线上分享：面向鲁棒深度学习的对抗分布式训练 论文：《Adversarial Distributional Training for Robust Deep Learning》。本篇论文中，研究者提出了一种名为对抗分布式训练（adversarial distributional training, ADT）的新型框架。11月26日，清华大学计算机系博士生董胤蓬，为大家详细解读此前沿研究。 识别二维码，入群一起看直播。 ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com