利用视觉+语言数据增强视觉特征

研究动机

传统的多模态预训练方法通常需要"大数据"+"大模型"的组合来同时学习视觉+语言的联合特征。但是关注如何利用视觉+语言数据提升视觉任务（多模态->单模态）上性能的工作并不多。本文旨在针对上述问题提出一种简单高效的方法。

在这篇文章中，以医疗影像上的特征学习为例，我们提出对图像+文本同时进行掩码建模（即Masked Record Modeling，Record={Image,Text}）可以更好地学习视觉特征。该方法具有以下优点：

简单。仅通过特征相加就可以实现多模态信息的融合。此处亦可进一步挖掘，比如引入更高效的融合策略或者扩展到其它领域。

高效。在近30w的数据集上，在4张NVIDIA 3080Ti上完成预训练仅需要1天半左右的时间。

性能强。在微调阶段，在特定数据集上，使用1%的标记数据可以接近100%标记数据的性能。

方法（一句话总结）

如上图所示，我们提出的训练策略是比较直观的，主要包含三步：

随机Mask一部分输入的图像和文本

使用加法融合过后的图像+文本的特征重建文本

使用图像的特征重建图像。

性能

如上图所示，我们全面对比了现有的相关方法和模型在各类微调任务上的性能。

在CheXpert上，我们以1%的有标记数据接近使用100%有标记数据的性能。

在RSNA Pneumonia和SIIM (分割)上，我们以较大幅度超过了之前最先进的方法。

审核编辑 ：李倩

视觉特征数据语言

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。