NAACL 2019最佳论文揭晓，谷歌BERT获最佳长论文 机器之心报道 参与：路雪、张倩 NAACL是自然语言处理领域的盛会，NAACL2019将于6月2日-7日在美国明尼阿波利斯市举行。据官方统计，NAACL2019共收到1955篇论文，接收论文424篇，录取率仅为22.6%。其中长论文投稿1198篇，短论文757篇。 刚刚，大会放出了本届会议的最佳论文，谷歌BERT论文获得最佳长论文奖项。 以下是机器之心对获奖论文的摘要介绍，其中最佳可解释NLP论文还未公开。 最佳专题论文（Best Thematic Paper） What'sinaName?ReducingBiasinBiosWithoutAccesstoProtectedAttributes 作者：AlexeyRomanov,MariaDe-Arteaga,HannaWallach,JenniferChayes,ChristianBorgs,AlexandraChouldechova,SahinGeyik,KrishnaramKenthapadi,AnnaRumshiskyandAdamKalai（CMU、微软研究院、领英） 论文链接：https://128.84.21.199/abs/1904.05233 摘要：越来越多的研究提出了减少机器学习系统中偏见的方法。这些方法通常依赖于对受保护属性（如人种、性别或年龄）的获取。然而，这引发了两大问题：1）受保护的属性可能无法获取或不能合法使用；2）通常需要同时考虑多个受保护属性及其交集。为了减少职业分类中的偏见，本文作者提出了一种可以抑制某人真实职业预测概率与其姓名词嵌入之间关系的方法。 该方法利用了编码在词嵌入中的社会偏见，消除了对受保护属性的需要。重要的是，该方法仅在训练时需要获取人名，部署时并不需要。作者使用一个大型的在线传记数据集评估了该方法的两种变体，发现二者都能同时减少种族和性别偏见，而且几乎不降低分类器的真正率（truepositiverate）。 最佳可解释 NLP 论文 CNM:AnInterpretableComplex-valuedNetworkforMatching 作者：QiuchiLi,BenyouWangandMassimoMelucci 该论文暂未放出 最佳长论文 BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding 作者：JacobDevlin,Ming-WeiChang,KentonLeeandKristinaToutanova（谷歌AI） 论文链接：https://arxiv.org/pdf/1810.04805.pdf 摘要：本文介绍了一种新的语言表征模型BERT，意为来自Transformer的双向编码器表征（BidirectionalEncoderRepresentationsfromTransformers）。与最近的语言表征模型（Petersetal.,2018;Radfordetal.,2018）不同，BERT旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务（如问答和语言推断任务）创建当前最优模型，无需对任务特定架构做出大量修改。 BERT的概念很简单，但实验效果很强大。它刷新了11个NLP任务的当前最优结果，包括将GLUE基准提升至80.4%（7.6%的绝对改进）、将MultiNLI的准确率提高到86.7%（5.6%的绝对改进），以及将SQuADv1.1的问答测试F1得分提高至93.2分（提高1.5分）——比人类表现还高出2分。 BERT、OpenAIGPT和ELMo的预训练模型架构对比。 参考文章： 最强NLP预训练模型！谷歌BERT横扫11项NLP任务记录 预训练 BERT，官方代码发布前他们是这样用 TensorFlow 解决的 图解当前最强语言模型BERT：NLP是如何攻克迁移学习的？ 谷歌终于开源BERT代码：3亿参数量，机器之心全面解读 76分钟训练BERT！谷歌大脑新型优化器LAMB加速大批量训练 最佳短论文 Probing the Need for Visual Context in Multimodal Machine Translation 作者：OzanCaglayan,PranavaMadhyastha,LuciaSpeciaandLo?cBarrault（勒芒大学、帝国理工学院） 论文链接：https://arxiv.org/abs/1903.08678 摘要：当前关于多模态机器翻译（MMT）的研究表明，视觉模态要么是非必需的，要么作用有限。本文作者假设这是因为该任务唯一可用数据集Multi30K使用的句子太简单、简短和重复，这些语句将源文本渲染为充分的语境。然而，通常情况下，我们认为可以将视觉和文本信息结合起来，以实现基础翻译（groundtranslation）。 本文通过系统的分析来探讨视觉模态对当前最佳MMT模型的贡献，分析时作者部分地删除了源文本语境，使模型无法接收到完整的文本。结果表明，在有限的文本语境下，模型能够利用视觉输入生成更好的翻译结果。当前的研究认为视觉模态对MMT模型来说并不重要，要么是因为图像特征的质量，要么是因为将它们整合进模型的方式，但本研究颠覆了这一看法。 最佳资源论文 CommonsenseQA:AQuestionAnsweringChallengeTargetingCommonsenseKnowledge 作者：AlonTalmor,JonathanHerzig,NicholasLourieandJonathanBerant（以色列特拉维夫大学、艾伦人工智能研究所） 论文链接：https://arxiv.org/abs/1811.00937 摘要：人们通常利用丰富的世界知识和特定语境来回答问题。近期研究主要聚焦于基于关联文档或语境来回答问题，对基础知识几乎没有要求。为了研究使用先验知识的问答，我们提出了一个关于常识问答的新型数据集CommonsenseQA。为了捕捉关联之外的常识，我们从ConceptNet(Speeretal.,2017)中抽取了多个目标概念，它们与某个源概念具备同样的语义关系。 我们让众包工人编写提及源概念的选择题，并区分每个目标概念之间的差别。这鼓励众包工人编写具备复杂语义的问题，而问答这类问题通常需要先验知识。我们通过该步骤创建了12,247个问题，并用大量强基线模型做实验，证明该新型数据集是有难度的。我们的最优基线基于BERT-large(Devlinetal.,2018)，获得了56%的准确率，低于人类准确率（89%）。 构建CommonsenseQA数据集的过程示例。 表5：所有模型的测试集准确率。 NAACL论文接收列表：https://naacl2019.org/program/accepted/ INTERFACE # 13 将于本周六举办，点击「阅读原文」参与报名