中国学者开发看护机器人仿真环境，还做了真人实验，获IROS 2022最佳论文之一 机器之心专栏 机器之心编辑部喂食、穿衣、擦拭身体…… 机器人掌握了人类看护技能！ 10 月 23 日 - 27 日，机器人顶会 IROS 2022 在日本京都举行。大会共收到了来自全球 57 个国家和地区的 3579 篇论文投稿，最终接收了 1716 篇，接收率达到了 47.9%。 其中，来自上海交通大学的卢策吾团队与康奈尔大学、哥伦比亚大学的研究者联合推出了看护机器人仿真环境 RCareWorld。这项工作获得 IROS 2022 会议六个最佳论文奖项之一的最佳 RoboCup 论文。 两篇 Best RoboCup 论文。图源：Twitter@ctwy 论文地址：https://arxiv.org/pdf/2210.10821.pdf Github 地址：https://github.com/empriselab/RCareWorld 论文主页：https://emprise.cs.cornell.edu/rcareworld/ 据 WHO 数据显示，世界上有 1.9 亿人具有不同程度的行动限制，且需要看护人员的帮助才能获得较高的生活质量。目前，世界主要国家逐渐进入不同程度的老龄化社会，对护理人员的需求急剧上升，而相关人才的培养需要长期的投入，因此，设计看护机器人是可能的解决方案。 但是，看护机器人领域的发展面临着重重困难，比如： 1. 前沿研究者缺少被看护者和看护人员的第一人称真实需求的研究积累（任务、算法、数据）。 2. 真实机器人本体的开发、部署、运行和维护所需要的开销也十分高昂。 3. 该领域研究的实验需要在理解被看护者日常活动需求后，有针对性地进行改造，大大增加研究成本。 因此，一个能高度拟真看护场景的仿真平台，能大大降低进入该研究领域的门槛，使得该领域的研究更容易展开和学术同行间比较。 和以往用于通用机器人的仿真环境不同，RCareWorld 团队同时吸取了来自看护场景相关人员，和机器人研究学者的建议，对机器人所需学习的技能、虚拟人建模、活动场景设计、功能性接口等提供了充分的支持。 机器人看护技能 作者在仿真环境中对常见的看护任务进行了基准测试：喂食、穿衣、擦拭身体、四肢重摆、帮助移动、帮助上卫生间等。 此外，作者进行了两个真实世界实验： 1. 将擦拭身体这个任务中学到的策略直接迁移到真机实验中。 2. 真实世界中的社交看护任务：作者用行为树编程的 NAO 机器人作为教练，通过 VR 界面来指导被看护人员的肢体复健。 完整虚拟人建模： 肌肉骨骼、软组织、关节活动范围 肌肉骨骼系统 人体的肌肉骨骼系统，会接收来自神经系统的激活信号，以此决定对肌肉的收缩或舒张，从而带动骨头关节的运动。该过程，作者使用 Hill-type 肌肉模型建模，参考来自 OpenSim 数据库的相关数据，完成肌肉在人体模型的设置。 软组织 另一方面，当人体关节运动时，会造成表面软组织形变，作者用基于 XPBD 的仿真技术对这一部分进行了建模。这些软组织，不仅存在于表面，还存在于口腔。在口腔中，作者对舌头也进行了建模。如图，当草莓放到人的口腔中，他的舌头随之形变。 关节活动范围 当人受到一些损伤，如脊椎损伤（C1-C3, C4-C5, C6-C7）、脑瘫、半身麻痹、脑中风等，身体关节的活动性会受到极大的影响，运动模式也会发生变化。作者根据来自临床的数据，建模了人体受到此类损伤后对应的关节活动。 活动场景：无障碍性的三个层次 根据活动场景的无障碍性，给场景分出三个等级： 常规（L1）：此时不需要进行改造。 部分无障碍（L2）：此时部分物体需被移除，使用不便的工具或部件需被替换，如旋转式的门把手需被替换成按压式，或门整个替换成滑动门。 完全无障碍（L3）：此时所有活动区域都应是可通过和可到达的，可能要涉及楼梯、过道加宽，上悬橱柜下拉，台面下方掏空等改造。 全面的修改方案参考自《通用设计指南》（Universal Design Manual）。根据《通用设计指南》的指导，作者修改了 16 套房子。房子模型选自 Matterport3D 数据集，总共包括 17 个厨房、17 个客厅、59 间卧室、16 个餐厅、70 间浴室、18 个休息室和 41 个其它房间。在房子中合适的区域，都配有病床、病人吊索、轮椅等医疗辅助设备。 功能性接口：模型、传感、交互接口 根据机器人研究学者的建议，仿真环境应该： 1. 支持控制常见的看护机器人模型：包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。 2. 提供多模态传感：RGB，深度、LiDAR、关节和末端力传感、全臂触觉感知。 3. 具有多种交互控制界面和接口，支持规划、控制和学习算法，便于开发者使用：Python、ROS、VR。 上海交大推出具身智能平台RobotFlow/RFUniverse RCareWorld 项目基于 RFUniverse 仿真平台开发。RFUniverse 是由上海交通大学卢策吾教授团队发起推出的具身智能平台 RobotFlow 旗下的多物理机器人仿真平台。该仿真平台支持包括食物切割、衣服折叠等任务在内的高级机器人操作任务。对刚体、关节体、柔性体、流体等物体类型提供支持。上海交通大学MVIG卢策吾团队，长期研究具身智能，计算机视觉，团队在《自然》，《自然. 机器智能》，TPAMI，ICRA，IROS上发表论文一百多篇，形成GraspNet（Anygrasp），Aphapose，HAKE等知名机器人学习，计算机视觉系统。 现已开源：https://github.com/mvig-robotflow/pyrfuniverse RCareWorld 论文共同第一作者徐文强博士是该系统核心人员。 共同第一作者介绍 叶若琳，上海交通大学电子系本科，康奈尔大学计算机系一年级在读博士生，师从 Tapomayukh Bhattacharjee 教授。研究方向为人与机器人交互。RCareWorld 的主要工作完成于她在上海交通大学 MVIG 实验室（导师卢策吾）实习期间。 徐文强，上海交通大学 MVIG 实验室四年级在读博士生，师从卢策吾教授。研究方向为具身智能。在实验室内领导 RobotFlow 项目，其中包括多物理机器人仿真平台 RFUniverse，该项目是 RCareWorld 的基础。 RobotFlow 项目：https://robotflow.ai RFUniverse 平台：https://sites.google.com/view/rfuniverse 左：叶若琳；右：徐文强 2022 NeurIPS China Meetup 2022 NeurIPS Meetup China 将设置 Keynote、圆桌论坛、论文分享、 Poster 展示、企业招聘等环节，邀请顶级专家、论文作者与现场参会观众共同交流。举办时间：2022年11月26日9:00-18:00 举办地点：北京丽都皇冠假日酒店 本次活动免费，欢迎大家点击「阅读原文」报名，我们将在审核后反馈报名结果。同时欢迎论文作者作为嘉宾参与论文分享与 Poster 展示，请在报名页面提交演讲主题、论文介绍等信息，我们将与你联系沟通相关事宜。 ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com 阅读原文