「天才少年」稚晖君调戏机械臂！加上AI视觉，2小时学会抓螺母 转自：新智元还记得上次那个「全栈自研」的给葡萄缝针的钢铁侠机械臂Dummy吗？ 国庆最后一天，知名「硬核」up主稚晖君展示了一款自己从零到一设计的小型高精度六轴机械臂Dummy。 视频一出，直接冲到B站排行榜前十，打开弹幕，满屏都是惊叹号。 「瑟瑟发抖」、「保存=会做」、「他竟然在试图教会我们」、「我看不懂，但大受震撼」，这些都代表了网友对这个机器人项目的震惊。 没想到，时隔一个半月，华为天才少年稚晖君的「机械臂Dummy」系列又更新了！ Dummy学会抓螺母 这次，稚晖君用Dummy做了个简单的AI视觉抓取demo，让机械臂Dummy学会了用机械臂抓取螺母。 机械臂好不容易将螺母放上去，又被稚晖君拿了下来。 怎么说呢，调试不等于调戏啊！ 稚晖君介绍，目前用Dummy做了个简单的AI视觉抓取demo，从模型训练到部署只花了2个小时。 后面会把迁移学习功能加入上位机DummyStudio中，最终想实现的效果就是，可以用少量数据标注就自动生成端到端的模型来检测自定义物品。 ?同时用图形化的方式调用各种算法模块，配合后面的Dummy青春（低成本）版，应该可以用来做很多有趣的事。 有网友表示，「放一张螺母照片会怎样」？ 真是应了那句话：「工程师最苦恼的就是你永远想不到客户会怎么使用你的产品」。 「钢铁侠」机械臂如何造 还是在一个月前，这台机械臂首次亮相。在给一颗葡萄完成包扎手术后，让许多网友惊呆！ 其实，稚晖君想要打造的机械臂，是具备多种交互方式的。 这两只小爪子就叫做「力反馈夹爪」，不仅可以夹螺母，用来夹薯片也是不错的选择。 那么，这个机械臂是如何打造的？ 首先是驱动方案设计，要知道电机，减速器，驱动器是制作机器人三大核心部件。 在电机的选择上，稚晖君主选步行电机，优点是精度比较高，缺点是高转速下力矩比较小。 为了解决这一问题，为电机配备一个减速器必不可少。有了减速器就可以降低速度转速，成倍增加输出力矩。 目前市面上常用的都是行星减速器，稚晖君在此项目中选择了工业机械臂里最常用的谐波减速。 电机和减速器确定后，稚晖君设计了一个步进电机的一体闭环驱动，以保证驱动的精度。并且体积也是最小的。 第二步便是结构设计，仅设计这张图就画了150个版本，最终的画风如下： 可以看到，这个机械臂一共使用了6个电机，6个谐波减速器。 机身主体采用的是铝CNC加工，装饰主件使用3D打印制作，还有所有电路都集成在主体上。 值得一提的是，机身的涂装特地采用的是鲜艳的红色，稚晖君说：「这是因为他希望自己的机器人一定要是中国红的颜色」。 接下来便是机械臂的电子系统。电路系统还是相当复杂，因为涉及到了电源模块、电机驱动，还有计算模块，通信系统等等。 稚晖君介绍这套机械臂用了12多个各种型号的MCU，并在机体上搭载了Wi-Fi、蓝牙等多种无线能力。 在电路方面，最主要的便是主控制器（采用冗余设计）和电机伺服驱动器（支持CAN总线&功率机联）。 控制器相当于机械臂的「小脑」，用来操控机械臂的动作、来实现各种功能。 最后就是空间定位装置了，也就是机械臂的「眼睛」，让机械臂能够看见、并操作需要完成的任务。 在这里便用到了双目视觉算法、AHRS系统和力传感系统，稚晖君通过双目识别算法让AI实现姿态估计类似操作。 经过一系列的组装，最后的效果就是这样，精度也十分令人满意！ 而且，有了双目识别算法的加持，机械臂的动作就可以用手柄进行实时的操控，机器人也可以模仿人类的动作了。 它可以达到很多人手无法达到的效果，比如，软件去抖，运动范围的重映射，力矩增强。 更重要的是，这台Dummy是支持远程操控的，这下，可想象的空间就非常大了！ 虽然现在看着缝的是葡萄皮，但Dummy配合上手术设备，这有可能就是未来远程手术室的雏形！ 网友热评 有网友评论道：「太有感觉了，又想起了去年的英特尔杯，整个队伍折腾了好几个月，用的英特尔AI-Box和RGB-D深度相机，最后勉强实现了UR机械臂抓取大物品（而且经常抓不稳），摆放到指定位置，也能拿到国二。稚晖君机械臂自己做的，加上这精度，估计单单抓取这项功能就能稳国一了。」 「你懂的越多，才知道稚辉君有多强大。」 还有网友说：「光AI视觉这块就搞了大半年，更不要提造机器人了。」 稚晖君的Dummy机械臂未来还会添加哪些炫酷的功能，Dummy青春（低成本）版又是否能量产呢？ 敬请期待稚晖君的下一条视频吧！ 参考资料： https://www.bilibili.com/video/BV1xY41147oh 推荐阅读【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！ 一文总结微软研究院Transformer霸榜模型三部曲！ Swin Transformer为主干，清华等提出MoBY自监督学习方法，代码已开源 加性注意力机制！清华和MSRA提出Fastformer：又快又好的Transformer新变体！ MLP进军下游视觉任务！目标检测与分割领域最新MLP架构研究进展！ 周志华教授：如何做研究与写论文？（附完整的PPT全文） 都2021 年了，AI大牛纷纷离职！各家大厂的 AI Lab 现状如何？ 常用 Normalization 方法的总结与思考：BN、LN、IN、GN 注意力可以使MLP完全替代CNN吗？未来有哪些研究方向？ 欢迎大家加入DLer-计算机视觉&Transformer群！ 大家好，这是计算机视觉&Transformer论文分享群里，群里会第一时间发布最新的Transformer前沿论文解读及交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如Transformer+上交+小明） ??长按识别，邀请您进群！