Facebook为PyTorch推出3D深度学习库

 
Facebook AI Research(FAIR)今天推出了PyTorch3D，该库使研究人员和开发人员可以将深度学习和3D对象结合在一起。
作为该版本的一部分，Facebook还开放了Mesh R-CNN的采购，Mesh R-CNN是去年推出的一种模型，能够在室内空间图像中从2D形状渲染3D对象。 FAIR工程师Nikhila Ravi说，PyTorch3D受Mesh R-CNN和Facebook AI Research最近的3D工作启发。
在3D中工作对于渲染出现在混合现实或虚拟现实中的3D对象或场景很重要。它也可以用于应对AI挑战，例如机器人抓地力或帮助自动驾驶汽车了解附近物体的位置。
PyTorch3D带有常用的3D运算符和用于3D数据的损失函数，以及用于创建3D对象的可区分网格渲染器。拉维在电话采访中告诉VentureBeat，PyTorch3D还具有可区分的渲染API，一些CUDA支持以及任何现有3D库中都无法提供的异构批处理功能。
“借助PyTorch3D，研究人员可以输入所有这些功能，并将其与PyTorch中现有的深度学习系统一起使用，这大大减少了进行3D计划研究的时间，这需要大量的专业知识才能开始，我们希望试图减少加速时间。”她说。
PyTorch3D使用网格(一种用于构成3D对象的顶点和面的互操作性的数据格式)，并可以使用补丁张量将网格中的所有顶点分批折叠为与批处理有关的单个张量，这是深度学习研究的常见过程。
PyTorch3D的首次发布是在去年推出PyRobot机器人技术框架以及进行FAIR 3D研究(从真实视频中提取角色)之后进行的。