研究人员详细介绍了可以对水下照片进行除雾和着色的AI

 
是否曾经注意到水下图像趋于模糊并且有些失真?那是因为光衰减和反向散射等现象会严重影响可见度。为了解决这个问题，中国哈尔滨工程大学的研究人员设计了一种机器学习算法，该算法可以生成逼真的水图像，以及第二种算法，可以对这些图像进行训练，以恢复自然色彩并减少雾度。他们说，他们的方法在质量和数量上都与最新技术相匹配，并且能够在单个图形卡上每秒处理多达125帧。
研究小组指出，大多数水下图像增强算法(例如用于调节白平衡的算法)都不基于物理成像模型，因此很难适应任务。相比之下，这种方法利用了生成对抗网络(GAN)(一种由生成器组成的AI模型，该生成器试图欺骗鉴别器将合成样本归类为现实样本)，以生成一组特定调查地点的图像引入第二种算法，称为U-Net。
该小组在带有标签的场景语料库上对GAN进行了训练，其中包含3,733张图像和相应的深度图，主要是扇贝，海参，海胆以及其他生活在室内海洋农场中的此类生物。他们还获得了包括纽约深度在内的开放数据集，其中包括总共数千张水下照片。
训练后，研究人员将他们的双模型方法的结果与基线的结果进行了比较。他们指出，他们的技术具有以下优点：颜色恢复均匀，并且可以在不破坏原始输入图像的基础结构的情况下很好地恢复绿色色调的图像。通常，它还可以在恢复色彩的同时保持“适当的”亮度和对比度，这在竞争解决方案方面并不是特别熟练。
值得注意的是，研究人员的方法并不是第一种从损坏的镜头中重建帧的方法。 Cambridge Consultants的DeepRay利用在100,000个静止图像数据集上训练的GAN来消除由不透明玻璃板引起的失真，并且开源DeOldify项目采用了包括GAN在内的一系列AI模型来对旧图像和胶片进行着色和还原。 。在其他地方，9月微软亚洲研究中心的科学家详细介绍了用于自动视频着色的端到端系统。去年，Nvidia的研究人员描述了一种框架，该框架仅可以从一个着色和带注释的视频帧中推断出颜色。谷歌AI于6月推出了一种算法，无需人工监督即可为灰度视频着色。