Google的Objectron使用AI跟踪2D视频中的3D对象

 
恰逢2020年TensorFlow开发者峰会拉开序幕，Google今天发布了一条管道-Objectron-在2D图像中发现物体并通过AI模型估算其姿势和大小。该公司表示，它对机器人技术，自动驾驶汽车，图像检索和增强现实具有影响-例如，它可以帮助工厂车间的机器人实时避免障碍。
跟踪3D对象是一个棘手的前景，尤其是在处理有限的计算资源(例如智能手机片上系统)时。由于缺乏数据以及物体的外观和形状的多样性，当仅有的可用图像(通常是视频)为2D时，情况会变得更加艰难。
然后，由Objectron支持的Google团队开发了一个工具集，该工具集允许注释者使用分屏视图显示2D视频帧来标记对象的3D边界框(即矩形边框)。在点云，相机位置和检测到的平面旁边，将3D边界框覆盖在其上方。注释者在3D视图中绘制了3D边界框，并通过查看2D视频帧中的投影来验证其位置，对于静态对象，他们只需在单个帧中注释目标对象即可。该工具使用AR会话数据中的地面真实摄像机姿势信息将对象的位置传播到所有帧。
为了补充现实世界的数据以提高AI模型预测的准确性，该团队开发了一种引擎，可将虚拟对象放置到包含AR会话数据的场景中。这样就可以使用摄像机的姿势，检测到的平面表面以及估计的照明来生成与场景匹配的光照在物理上可能的位置，从而产生高质量的合成数据，其中包含的渲染对象尊重场景的几何形状并无缝地适合真实背景。在验证测试中，综合数据的准确性提高了约10%。
更好的是，该团队表示，当前版本的Objectron模型足够轻巧，可以在旗舰移动设备上实时运行。借助LG V60 ThinQ，三星Galaxy S20 +和Sony Xperia 1 II等手机中的Adreno 650移动图形芯片，它能够每秒处理约26帧。
Objectron可在MediaPipe中使用，MediaPipe是用于构建跨平台AI管道的框架，该管道包括快速推理和媒体处理(如视频解码)。提供训练有素的识别鞋子和椅子的模型，以及端到端演示应用程序。
该团队表示，将来计划与研发社区共享其他解决方案，以刺激新的用例，应用程序和研究工作。此外，它打算将Objectron模型扩展到更多类别的对象，并进一步提高其在设备上的性能。