机械臂很常见，但你见过这么智能的吗？
从工作台上一眼就能找到合适的螺母，并牢牢抓住它:
然后送到目标螺丝，整个动作一气呵成:
即使是两个相似度很高的组件也能准确区分并“拉出”正确的一个:
要知道，当我们自己做实验或者组装从未见过的机械零件时，我们可能会把所有相似的零件都搞错，更别说机器人了。
然而，这种机械臂可以在没有任何人工标记的情况下，立即从模拟器迁移到现实世界，并概括为机器人从未见过的新物体，准确率达到87.8%。
这是google x最近开源的类别级机械臂catgrasp。
首先，作为一名中国博士，文毕业于交通大学，现就读于罗格斯大学计算机系。
目前，这项研究已经在机器人领域的顶级会议icra 2022上进行。
让机械臂自己总结抓取经验。
本研究的目的是解决常见工业场景中不同机械零件的分类问题。
事实上，机械臂不可避免地会遇到它不知道的新零件。如果只依赖数据集，不会举一反三，那就不好了。为了不依赖数据集和人工标注，研究人员想到了在模拟器中训练的方法。
通过在模拟器中不断的训练和试错，机械臂可以自己总结出一套经验，并将其归结为热图表示。
在这里，研究团队提出了一种新的表示方法:非均匀归一化物体坐标空间。
统一的nunocs表示可以集成同类对象的信息。
给定一个对象模型，该方法可以沿每个维度归一化所有点。不同维度之间的归一化特征具有一定的比较价值，从而可以对不同的对象进行分类。
最终nunocs可以根据类别对不同的对象进行分类，并给出一个有代表性的模板。
在此过程中，它会将与所有其他模型的倒角距离最小的对象设置为模板。
这些模板将成为整合热图表示和存储抓取姿态的码本。给定点云的输入，nunocs网可以预测点云在nunocs空间的位置。这个网络是基于pointnet设计的。
根据确定的点云和预测的点云，两者最终可以求解得到类别级的6d变换和3d维度变换，从而得到更精确的密集点云对匹配。
比如下图，同色表示相互匹配，nunocs方法优于之前的nocs方法。
掌握了抓握秘籍后，还要保证每次抓握都能稳定释放“技能”。
因此，研究人员对每个抓取姿势进行了50次随机微扰，并记录成功次数，以获得连续的概率分布。
然后根据上一步排序的不同模型模板，对抓取姿态也进行分类整合。
测试时，一旦遇到未触及的情况，可以将之前得出的抓取姿态分布转移到一个新颖的物体空间，从而获得更全面的抓取姿态采样。
在抓取姿态和模拟器中得到的概率分布可以分别作为输入和标签来训练神经网络。
最后通过自监督训练学习，经过足够多的抓取姿态模拟，可以积累机械爪与物体的接触经验，得到下面的热图。
而且过程中的所有模块都可以从合成数据集训练出来，然后可以直接移植到现实世界场景中。
从实验结果来看，该方法在模拟情境下的平均成功率为93.1%，抓取次数约为600次。
实际成功率87.8%。
团队介绍
这项研究的其中一位，rutgers大学计算机科学专业的博士生bowen wen，目前正在google x实习。
师从kostas bekris教授，研究方向包括机器人感知和计算机视觉。
他曾在脸书现实、亚马逊实验室126和商汤实习。我本科毕业于xi交通大学，硕士毕业于俄亥俄州立大学。
目前这个项目的所有模拟器环境、数据集生成、训练、实验都已经开源。
github地址:
论文地址:
