观看Google的AI教一个拣选机器人组装物体

操纵各种形状的物体并不是机器的长处,但对于负责导航物理世界的任何机器人来说,这都是一项有用的技能。为了推动这一领域的最新发展,谷歌,斯坦福大学和哥伦比亚大学的研究人员最近研究了一种名为Form2Fit的机器学习系统,该系统旨在教一个带有吸臂的捡拾机器人,将物体组装成套件。

“如果机器人可以学习'事物如何融合',那么它们可能会变得更加适应于涉及从未见过的物体的新操作任务,例如重新连接切断的管道,或在灾难响应场景中通过将碎片拼凑在一起来建造临时避难所,”在博客文章中写了研究实习生Kevin Zakka和机器人研究科学家Andy Zeng。“它有助于提高我们执行任务的效率,例如组装DIY家具套件或将礼品包装到盒子中。”

正如Zakka和Zeng解释的那样,Form2Fit学会通过反复试验来识别对象之间的对应关系(或“拟合”)。一个组件-两流匹配算法-推断三维点表示,不仅可以传达对象的几何形状,还可以传达其纹理和上下文任务级知识。这些描述符用于建立对象及其目标位置之间的关系。而且,由于点表示对方向敏感,因此可以使Form2Fit了解对象在放置到目标位置之前应如何旋转。

两个单独的Form2Fit组件生成有效的选择放置对象:抽吸模型和计划器模型。前者摄取物体的三维图像,并预测上述机械臂的抽吸臂的成功。作为用于规划器模型,它需要在目标位置的图像,并输出放置成功的预测,然后将其集成了所有三个Form2Fit的组件(包括匹配算法)的输出,以产生最终的拾取位置,地点的位置,和旋转角度。

该团队通过称为时间反向拆卸的概念创建了一个训练数据集,该组件的拆卸顺序随着时间的推移而变成有效的装配顺序。这使他们可以通过自我监督来训练Form2Fit,方法是随机选择拆卸一个完全组装好的套件,然后颠倒该拆 卸顺序,以了解如何组装该套件。

在对机器人进行了整整12小时的整夜训练之后,研究人员报告说,它学会了针对各种物体的有效拾取和放置策略,使用不同配置的套件可以达到94%的组装成功率,而处理全新的物体和套件时可以达到86%的成功率。即使培训了仅在一个特定位置和方向组装工具包的策略,它仍然设法在90%的时间内处理工具包的随机旋转和平移。

Zakka和Zeng指出:“尽管Form2Fit的结果令人鼓舞,但它的局限性为未来的工作指明了方向。”“在我们的实验中,我们假设使用2D平面工作空间来约束套件组装任务,以便可以通过对自上而下的拾取和放置动作进行排序来解决它。这可能不适用于所有组装情况,例如,当需要将销钉以45度角精确插入时。将Form2Fit扩展到3D装配的更复杂的动作表示形式将很有趣。”