Google的ClearGrasp AI模型可帮助机器人更好地识别透明物体

 
光学传感器(例如相机和激光雷达)是现代机器人平台的基本组成部分，但它们有一个共同的缺陷：玻璃容器之类的透明物体容易使它们混淆。这是因为大多数分析来自这些传感器的数据的算法都假设所有表面都是朗伯型的，或者它们在各个方向和各个角度均均匀地反射光。相反，透明物体既折射又反射光，从而使深度数据无效或充满噪声。
为了寻找解决方案，一组Google研究人员与哥伦比亚大学和综合AI(一种用于计算机视觉的数据生成平台)合作开发了ClearGrasp。这是一种能够从RGB图像中估算透明物体的准确3D数据的算法，重要的是，该算法可与任何标准RGB相机的输入配合使用，并使用AI重建透明物体的深度并将其推广到训练期间看不见的物体。
正如研究人员所指出的那样，训练复杂的AI模型通常需要大量的数据集，并且由于不存在透明物体的主体，他们创建了自己的包含超过50,000个逼真的渲染的图像，这些渲染具有相应的深度，边缘，表面法线(代表表面曲率)，和更多。每个图像最多显示五个透明物体，这些物体可以放在平坦的地平面上，也可以放在装有各种背景和照明的手提袋中。一个带有相应地面真实深度的286张真实世界图像的单独集合用作测试集。
ClearGrasp总共包括三种机器学习算法：一种用于估计表面法线的网络，一种用于遮挡边界(深度不连续)的网络以及一种用于遮盖透明对象的网络。此蒙版会删除属于透明对象的所有像素，以便可以填充正确的深度，因此优化模块可以使用预测的表面法线来扩展表面的深度，以指导重建的形状。 (预测的遮挡边界有助于保持不同对象之间的分离。)
在实验中，研究人员在其自定义数据集以及开放源代码Matterport3D和ScanNet语料库中的真实室内场景中训练了模型。他们说，ClearGrasp设法为保真度比基线方法高得多的透明对象重建深度，并且其输出深度可以直接用作使用图像的操纵算法的输入。当使用机器人的平行颚爪抓臂时，透明物体的抓握成功率从12%提高到74%，并且通过吸力从64%提高到86%。
研究合著者，合成AI研究工程师Shreeyak Sajjan和Andy Zeng写道：“ ClearGrasp可以通过将其整合到我们的拾放机器人的控制系统中来使机器人操纵受益，在该系统中，我们观察到透明塑料物体的抓取成功率有了显着提高。” Google研究科学家。 “未来工作的一个有希望的方向是通过生成具有物理正确的焦散和表面缺陷(例如指纹)的渲染来改善向真实世界图像的域传输……使机器能够更好地感知透明表面不仅可以提高安全性，而且还可以打开非结构化应用中的一系列新交互-从机器人处理厨具或分拣塑料以回收利用，到导航室内环境或在玻璃桌面上生成AR可视化。”