Snapchat使用地面分割和ML添加熔岩和水AR镜片

 
尽管它仍然是最知名的社交媒体网络，但由于Lenses可以改变人和地标的外观，因此Snapchat已迅速成为实时增强现实效果的领导者。如今，该应用程序在混合中添加了两个地面替代镜片，使用户可以通过分割技术和机器学习的结合来交换坚实的路面，地毯或其他地形，以使熔岩或反射水起泡。
这两款新镜头都以相同的方式工作，可以快速确定相机实时视频输入的哪一部分是“地面”，然后将其交换为您喜欢的液体形式-加上一点黄色警告标志。可以说，熔岩版本更具说服力，因为它使用热雾，烟雾和颗粒掩盖了它要替换的区域的边缘，在流动的液体旁边几乎没有陆地。 Snapchat的水镜头将您面前的几乎所有地面都换成反射水，而反射水则在切合实际和人造之间交替，这取决于分割的效果。
实时地面分割系统使用机器学习模型来理解几何结构和语义，从而将明显的地面物体与对比背景隔离开来。虽然该系统在户外工作良好，但对比度较低或室内环境更加混合会导致分割打ic(通常是将效果过度应用到不需要的区域)，这表明该机器还有很多工作要做。 Snapchat表示，新的Lenses是使用内部版本的Lens Studio构建的，并且正在考虑将来将该技术引入公开版本。
Facebook和Google都有开源的图像分割工具，它们使用计算机视觉对整个对象和单个像素进行分类，尽管在Google的情况下，该软件旨在在具有张量处理单元的基于云的专用硬件上运行。 Snapchat最近在Lens上的创新尤其令人印象深刻，因为它们可以在普通移动设备上实时运行，从而至少可以对面部进行半真实的时间扭曲以及对现实进行其他实时增强。该公司与Verizon达成协议，将5G用于高级AR功能，该功能使用高带宽，低延迟连接并可以访问边缘处理资源。