精准图片搜索 OpenAI最新技术 CLIP

别再怕图片搜索结果牛头不对马嘴了，你可以试试这个 精准图片搜索，来自 OpenAI最新的技术 CLIP。

只需一句 “大白话”描述，便能给出想要的图片。

例如输入：

The word love written on the wall

就会得到这样的结果：

可以说是相当的 精准了！这就是今天在Reddit上爆火的一个项目。

这个项目利用到的，便是 OpenAI前不久频频刷屏的DALL·E 中的核心模块—— CLIP，一个负责重排序 （rerank）的模型。

这个项目使用谷歌Colab Notebook，而且在线、免费，包含200万图片数据集，最重要的是效果还非常的精准。

不禁引得网友直呼“ Amazing”。

简单几步，“大白话”在线精准搜图

这个项目之所以如此火爆， 操作简单是很重要的一个原因之一。

首先要做的，就是点开该项目在Colab Notebook中的地址 （见文末链接），登陆自己的账号。

至于环境配置、包或库的调用，这个项目非常贴心的已经做好了，只需要依次点击cell左侧的小三角，等待运行完成即可。

最后，来到包含如下代码的cell：

search_query = “Two dogs playing inthe snow”

点击运行这个cell，便可得到搜索图片的结果，例如：

当然，这个程序似乎很懂人，若是输入“当你的代码跑通时的情绪”：

The feeling when your program finallyworks

得到的结果，和正常人想象中的应该是一致的：

为什么CLIP搜图能如此精准？

OpenAI前不久推出的DALL·E，主要能实现的功能就是 可以按照文字描述、生成对应图片。

而其呈现给我们的最终作品，其实是它生成大量图片中的一部分。

在中间过程中，其实也有排名、打分的帅选过程。

这部分的任务，便是由 CLIP来完成：

越是它看得懂、匹配度最高的作品，分数就会越高，排名也会越靠前。

这种结构，有点像是利用生成对抗文本，以合成图像的 GAN。

不过，相比于利用GAN扩大图像分辨率、匹配图像-文本特征等方法，CLIP则选择了直接对输出进行排名。

据研究人员表示，CLIP网络的 最大意义在于，它缓解了深度学习在视觉任务中，最大的两个问题。

首先，它 降低了深度学习需要的数据标注量。

相比于手动在ImageNet上，用文字描述1400万张图像，CLIP直接从网上已有的“文字描述图像”数据中进行学习。

此外，CLIP还能“身兼多职”，在各种数据集上的表现都很好 （包括没见过的数据集）。

但此前的大部分视觉神经网络，只能在训练的数据集上有不错的表现。

例如，CLIP与ResNet101相比，在各项数据集上都有不错的检测精度，然而ResNet101在除了ImageNet以外的检测精度上，表现都不太好。

具体来说，CLIP用到了零样本学习 （zero-shot learning）、自然语言理解和多模态学习等技术，来完成图像的理解。

例如，描述一只斑马，可以用“马的轮廓+虎的皮毛+熊猫的黑白”。这样，网络就能从没见过的数据中，找出“斑马”的图像。

最后，CLIP将文本和图像理解结合起来，预测哪些图像，与数据集中的哪些文本能完成最好的配对。

网友：机器人（bot）可能不太高兴

在惊叹CLIP用“大白话”搜索图片效果之余，一位Reddit网友还发现了一个比较有意思的搜索结果。

他在文本描述的代码部分输入：

What image best represents how you feel right now？

这句话在我们人类眼中，应当是询问AI的语气了，然后出来的图片结果是这样的：

还有这样的：

嗯，看来是被“玩多了”，AI宝宝有点小脾气了。

图片搜索项目搜索模块

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。