华人团队获最佳论文、最佳系统论文，CoRL获奖论文出炉 机器之心报道 编辑：小舟、娄佳琪 聚焦大模型+机器人。 自 2017 年首次举办以来，CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL 是面向机器人学习研究的 single-track 会议，涵盖机器人学、机器学习和控制等多个主题，包括理论与应用。 2023 年的 CoRL 大会于 11 月 6 日至 9 日在美国亚特兰大举行。据官方数据透露，今年来自 25 个国家的 199 篇论文入选 CoRL，热门主题包括 manipulation、强化学习等。虽然相比于 AAAI、CVPR 等大型 AI 学术会议，CoRL 的会议规模还相对小很多，但随着今年大模型、具身智能、人形机器人等概念的火热，CoRL 会议上的相关研究也非常值得关注。 目前，CoRL 2023 官方已公布最佳论文奖、最佳学生论文奖、最佳系统论文奖等奖项。接下来，我们将为大家介绍一下这些获奖论文。 最佳论文 论文：Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation 作者：William Shen, Ge Yang, Alan Yu, Jensen Wong, Leslie Pack Kaelbling, Phillip Isola 机构：MIT CSAIL、IAIFI 论文地址：https://openreview.net/forum?id=Rb0nGIt_kh5 论文简介：当前，自监督和语言监督的图像模型已经包含丰富的世界知识，这对于泛化来说非常重要，但图像特征是二维的。我们知道，机器人任务通常需要对现实世界中三维物体的几何形状有所了解。 该研究利用蒸馏特征场（Distilled Feature Field，DFF），将准确的 3D 几何图形与来自 2D 基础模型的丰富语义结合起来，让机器人能够利用 2D 基础模型中丰富的视觉和语言先验，完成语言指导的操作。 具体来说，该研究提出了一种用于 6-DOF 抓取和放置的小样本学习方法，并利用强大的空间和语义先验泛化到未见过物体上。使用从视觉 - 语言模型 CLIP 中提取的特征，该研究提出了一种通过开放性的自然语言指令对新物体进行操作，并展示了这种方法泛化到未见过的表达和新型物体的能力。 这篇论文的两位共同一作是 CSAIL 「具身智能」团队的成员 William Shen 和杨歌，其中杨歌是 2023 年 CSAIL 具身智能研讨会的共同筹办人。 机器之心曾详细介绍过这篇研究，请参考《大模型加持的机器人有多强，MIT CSAIL&IAIFI 用自然语言指导机器人抓取物体》。 最佳学生论文 论文：Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners 作者：Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar 机构：普林斯顿大学、Google DeepMind 论文地址：https://openreview.net/forum?id=4ZK8ODNyFXx 论文简介：从逐步规划到常识推理，大型语言模型（LLM）展现出大量在机器人领域未来可期的能力，但 LLM 存在幻觉问题。 基于此，该研究提出了一种新框架 ——KnowNo，用于度量和对齐基于 LLM 的规划器的不确定性。它能够使 LLM 意识到哪些信息是未知的，并在有需要时求助。 KnowNo 建立在共形预测（conformal prediction）理论的基础上，为任务完成提供统计保证，同时能够最大限度地减少多步骤规划任务中的人工干预。 该研究在各种模拟和真实机器人实验中，用各种模式的不确定任务（包括空间不确定性、数字不确定性等等）对 KnowNo 进行了测试。实验结果表明， KnowNo 在提高效率和自主性方面表现出色，优于基线，并且安全可信。KnowNo 能够在不进行模型微调的情况下直接用于 LLM，为模型的不确定性提供了一种有效的轻量级解决方法，并能够与基础模型不断增强的能力相辅相成。 最佳系统论文 论文：RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools 作者：Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu 机构：斯坦福大学、UIUC 论文地址：https://openreview.net/forum?id=69y5fzvaAT 论文简介：人类擅长制造和使用各种工具，但对于机器人而言，理解如何有效使用工具，并在相应的物体上完成操作仍然是一个很大的挑战。该研究构建了一个名为 RoboCook 的智能机器人系统，该系统能够通过各种工具感知、建模并操纵弹塑性物体（elasto-plastic object）。 RoboCook 使用点云场景表征，利用图神经网络（GNN）对工具与物体的相互作用进行建模，并将工具分类与自监督策略学习相结合，以制定操作计划。 该研究表明，对于每个工具，仅需 20 分钟的现实世界交互数据，RoboCook 就能学会并操纵机械臂完成一些复杂的、长时程的弹塑性物体操作任务，例如制作饺子、字母饼干等。 实验表明，RoboCook 的性能大大优于现有 SOTA 方法，对严重的外部干扰也能表现出稳健性，对不同材料的适应性也较强。 值得一提的是，这篇论文的共同一作分别是来自斯坦福大学的博士生 Haochen Shi、原斯坦福大学博士后研究员、现清华大学交叉信息科学研究所助理教授 Huazhe Xu，论文作者之一是姚班校友、斯坦福大学助理教授吴佳俊。 获奖论文完整入围名单 参考链接： https://www.corl2023.org/awards ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com