李飞飞团队具身智能新作：500美元，一切家务机器人帮你干 来源：量子位现如今机器人又是跑步又是后空翻，但到底什么时候能做上家务给人类养养老？ 现在，为了挑战这个难题，李飞飞团队带来了具身智能研究最新成果——???????????????? ?????????? ?????????? (??????)，一个解决机器人在家庭任务中全身操作问题的综合框架。 并且，其核心组件的实现成本还不到500美元。 机器人学习领域中的一个“圣杯”级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人，我们的最新成果——BRS正在尝试攻克这一极为困难且尚未解决的难题！ 拧开门把手，早上出去丢个垃圾： 等大人上班后，再帮忙整理下杂货架： 顺带收拾下客厅，将脏碗放到洗碗机里： 然后任劳任怨，再里里外外刷干净马桶： 吭哧吭哧一顿收拾下来，一个机器人就把所有家务活包圆了。 而且研究团队还发现，即使干活时出了岔子，机器人也能自我纠正。 （一开始手臂范围无法够着马桶盖，然后有一个向前倾斜身体的动作） 网友们纷纷表示，离实现可通用的家庭机器人又更进一步了。 那么，李飞飞团队究竟是如何做到的？ 核心瞄准三项全身控制能力根据论文介绍，通过细致分析BEHAVIOR-1K（包含1000项日常家庭活动的机器人测试基准），团队首先确定了机器人成功完成各种家务活动所必需的三项全身控制能力： 两只机械手臂之间的协同配合能力； 稳定精确的导航； 机械手臂末端执行器拥有广泛的可操作范围和触及能力； 尤其是最后一项，大多数人可能忽视了末端执行器控制这一关键能力。 因为在家庭环境中，日常物品通常位于不同高度和位置，因此机器人也必须相应地调整其伸展范围。 基于上述考虑，团队认为给家务机器人配备双臂、移动底座和灵活躯干，是实现全身操作的关键。 具体而言，他们选择了Galaxea R1机器人（国内星海图出品）作为硬件，其具备两个6自由度手臂（每个手臂都配备了一个平行钳口夹持器）、4自由度躯干和全向移动底座，能满足家庭任务所需的关键能力。 不过，这类复杂设计给策略学习方法带来了重大挑战，尤其是在数据规模化采集和全身协作方面。 对此，BRS通过两项关键创新来解决软硬件协同问题： 推出JoyLo，一种通用的低成本全身遥操作接口； 提出新的学习算法WB-VIMA； 展开来说，JoyLo（Joy-Con on Low-Cost Kinematic-Twin Arms）通过基于操纵木偶的方法，利用运动学孪生臂和任天堂Joy-Con控制器，实现高效的全身控制。 同时提供丰富的用户反馈，优化了策略学习数据质量。 在总成本不超过500美元的情况下，团队在R1机器人上实现了JoyLo的设计目标： 高效的全身协调控制系统，实现复杂动作的流畅衔接； 丰富的用户反馈机制，带来直观的远程操作体验； 确保高质量的示范动作，提升策略学习效果； 低成本实现方案，大幅提高系统可及性； 实时、便捷的控制器设计，确保操作无缝顺畅。 而另一项WB-VIMA（Whole-Body VisuoMotor Attention）学习算法，核心目标是利用机器人的固有运动学层次结构来建模全身动作。 基于Transformer，通过自回归全身动作去噪和多模态观察注意力机制，WB-VIMA能帮助机器人有效学习协调的全身动作。 同时在训练和部署时，使用特定的优化器和噪声调度器，并在工作站上进行推理以实现低延迟控制。 值得一提的是，WB-VIMA还解决了一个关键问题： 尤其在人形机器人中，在移动基座或躯干动作中出现的微小错误会在末端执行器处显著放大。 对此，WB-VIMA在预测下游组件动作时，不是孤立地进行，而是先分析上游组件当前的动作状态、位置等信息，将这些信息作为条件和依据，去推算下游组件应该做出怎样的动作，从而实现整体的协调运动。 BRS适用于各种家庭任务研究团队在五个具有代表性的家庭任务上评估BRS，包括清洁房屋、清洁厕所、倒垃圾、放置物品到架子上和晾晒衣服。 结果表明，BRS能完成多种家庭任务。 同时，实验环节还进一步验证了两个创新方法的有效性。 整体而言，JoyLo在数据收集效率、策略学习适用性和用户体验方面表现出色，WB-VIMA在性能上优于基线方法。 对于JoyLo，团队对10名参与者进行了全面的用户研究，以评估JoyLo的效果及其收集数据对策略学习的适用性。 下图为JoyLo与VR控制器和Apple Vision Pro进行比较的示意： 从结果来看，JoyLo在所有接口中表现出色，任务成功率最高、完成时间最短，其完成任务平均成功率是VR控制器的5倍，而使用Apple Vision Pro无人能完成全部任务。 且在用户研究中，所有参与者都认为JoyLo是最友好的界面。 另外，WB-VIMA在所有任务中全面超越基准方法。 其端到端任务成功率比DP3高13倍，比RGB-DP高21倍；平均子任务表现分别优于DP3（1.6 倍）和RGB-DP（3.4 倍）。 而且WB-VIMA在任务中出错的几率更小。它与环境物体的碰撞极少，且几乎不会因施加过度力量而导致电机失去动力。 最后，关于BRS框架的所有工作已全部开源，感兴趣可以进一步了解。 项目主页： https://behavior-robot-suite.github.io/ 论文： https://arxiv.org/abs/2503.05652 算法代码： https://github.com/behavior-robot-suite/brs-algo 机器人代码： https://github.com/behavior-robot-suite/brs-ctrl 训练数据： https://huggingface.co/datasets/behavior-robot-suite/data 参考链接： https://x.com/drfeifei/status/1899127976979226835 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！