使用DiscoBox DL框架实现高质量实例分割

实例分割是检测和分割目标的一个核心视觉识别问题。在过去几年中，该领域一直是计算机视觉领域的圣杯之一，其应用范围广泛，包括自动驾驶汽车（ AV ）、机器人技术、视频分析、智能家居、数字人类和医疗保健。

注释是对图像或视频中的每个对象进行分类的过程，是实例分割的一个具有挑战性的组成部分。训练 面具 R-CNN 等传统实例分割方法需要同时使用对象的类标签、边界框和分割遮罩。

然而，获取分割掩模既昂贵又耗时。例如， 可可数据集 需要大约 70000 小时的时间来注释 200k 图像，其中 55000 小时用于收集对象遮罩。

介绍 Discobox

为了加快注释过程， NVIDIA 研究人员开发了 DiscoBox 框架。该解决方案使用了一种弱监督学习算法，可以在训练期间输出高质量的实例分割，而无需掩码注释。

该框架直接从边界框监控生成实例分段，而不是使用掩码注释直接监控任务。边界框作为一种基本的注释形式被引入，用于训练现代对象检测器，并使用带标签的矩形来紧密地包围对象。每个矩形对对象的定位、大小和类别信息进行编码。

边界框标注是工业计算机视觉应用的最佳选择。它包含丰富的本地化信息，并且非常容易绘制，使得在注释大量数据时，它更经济、更具可扩展性。然而，它本身不提供像素级信息，不能直接用于训练实例分割。

图 1 。给定一对输入图像， DiscoBox 能够联合输出检测、实例分割和多对象语义对应。

DiscoBox 的创新功能

DiscoBox 是第一个弱监督的实例分割算法，它在减少标记时间和成本的同时，提供了与完全监督方法相当的性能。例如，这种方法比传说中的面具 R-CNN 更快、更准确，在训练期间不需要面具注释。这就提出了一个问题，即在未来的实例分割应用中，是否真的需要掩码注释，因为需要更少的标记。

DiscoBox 也是第一个在盒子监督下将实例分割和多对象语义对应结合起来的弱监督算法。这两项任务在许多计算机视觉应用中都很有用，例如 3D 重建，并且可以相互帮助。例如，通过实例分割预测的对象遮罩可以帮助语义对应关注前景对象像素，而语义对应可以细化遮罩预测。 DiscoBox 将这两项任务统一在盒子的监督下，使他们的模型训练变得简单且可扩展。

DiscoBox 的中心是一个师生设计。该设计的特点是使用自我一致性作为自我监督，以取代 DiscoBox 培训中缺失的面罩监督。该设计有效地促进了高质量的口罩预测，即使在训练中没有口罩注释。

DiscoBox 应用

除了作为 NVIDIA 人工智能应用程序的自动标签工具包之外， DiscoBox 还有许多应用程序。通过自动化昂贵的掩码注释，该工具可以帮助智能视频分析或 AV 领域的产品团队节省大量注释预算。

另一个潜在的应用是 3D 重建，在这个领域中，对象遮罩和语义对应都是重建任务的重要信息。 DiscoBox 能够在只有边界框监控的情况下提供这两个输出，帮助在开放世界场景中生成大规模 3D 重建。这将有助于构建虚拟世界的许多应用程序，如内容创建、虚拟现实和数字人类。

审核编辑：郭婷

分割人工智能中生框架

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。