首页 / 行业

如果给 AI 一个星期的时间看电视它都会看些啥？

2019-07-01 11:28:00

电视新闻是大家的一个重要信息来源，但与数字化印刷和网上新闻文本相比，对于电视新闻的研究却很少。与此同时，深度学习发展到今天我们已经有了人工智能算法，不仅可以分析文本，还可以分析语音、图像甚至视频。使用谷歌现成的云人工智能算法来“看”一周的互联网电视新闻会是什么样子？人工智能在看新闻时能“看到”什么？最重要的是，这种新的非消耗性分析模式能否为打击网络虚假信息、错误信息、假新闻等提供帮助？

过去10年，互联网电视新闻档案一直在保存着这些年的广播新闻资料。如今，通过对近200万档节目的字幕关键字进行抓取，让研究人员和记者得以探究每个电视台在过去10年里是如何报道重要新闻的。

许多记者像FiveThirtyEight的Dhrumil Mehta和Oliver Roeder，《华盛顿邮报》的Philip Bump, Vox的Alvin Chang以及其他许多记者都用此来研究电视新闻在过去十年中是如何报道重大新闻的。与此同时，深度学习已经成熟到可以通过现成的云人工智能API观看电视和检索图像，以对其描述的对象和活动进行精确分类编辑。好处是，这些人工智能工具不需要任何人工干预，这不仅使这些功能具有无限的可扩展性，而且最重要的是无消耗。

如今，机器学习算法经常被用来对书籍进行分析，这些算法可以分析书籍的主题以及叙事结构。由于传统机器学习在对除文本之外资料的局限性，视频和图像等视觉材料长期以来一直不适合这样的分析。不过现在，随着深度学习算法的成熟，这种分析现在可以扩展到视频和图像资料，使机器能够观看数百万甚至数十亿小时的电视节目，并总结出其中关键信息，无需自己观看原始材料。

为了更详细地探索这一新技术，互联网档案馆的电视新闻档案馆分析了为期一周的电视新闻报道，从2019年4月15日至4月22日，新闻主体包括CNN、MSNBC和Fox News，以及旧金山KGO (ABC)、KPIX (CBS)、KNTV (NBC)和KQED (PBS)的早晚广播，总计812小时的电视新闻。之所以选中这周是因为这周有两个重要新闻，一个是全国性的重要新闻，4月18日的通俄门调查报告，另一个是国际性的新闻，4月15日的巴黎圣母院大火。

每段视频都使用谷歌的Vision AI API进行分析，并启用了其所有功能，包括识别每一秒视频的主题和活动、场景变化、OCR文本识别和对象跟踪。然后，视频被分割成每秒1帧的预览缩略图，并通过谷歌的Vision AI API进行分析，以检验将视频视为静止图像以及拉大图像之间的距离会如何影响分析结果。

虽然Vision AI API支持自动生成文本，但在这次探究中，每个视频都是使用谷歌的云Speech-to-Text API转录的，支持120种语言，也为将来其扩展到英语电视新闻之外提供了途径。

最后，使用谷歌的Natural Language API对站点提供的字幕和自动生成的文本进行处理，以列出提到的所有主要人员、地点、组织和其他主题。总共分析了近2TB的数据，产生了615GB的机器分析。这四个API代表了当前深度学习信息分析的四种主要模式：视频、图像、语音和文本。

为什么要用深度学习技术来分析电视新闻？

也许比较重要的一点是，因为深度学习可以帮助打击错误信息，虚假信息等误导信息，还可以超越文本信息，扩展到视觉信息领域，我们也可以越来越多地“看到”我们周围的世界。

电视新闻摄像机和记者通常是最先出现在重大事件现场的，对实时事件进行可靠记录。通过分析，对电视新闻的视觉和口头双重叙事进行量化，将其与这些事件的在线新闻以及社交媒体报道联系起来。比如，一条关于巴黎圣母院着火的推特可以链接到一个事件现场的视频。反过来，电视对于这次火灾的报道可以与世界各地的在线报道相连接，提供一个全球化视角，进一步了解巴黎圣母院对每个国家的人民意味着什么以及巴黎圣母院的历史背景等。

每个视频每隔一秒应用谷歌的Vision AI API，可以执行相当于反向谷歌图像搜索的功能，以识别来自整个网络的图像，选取那些与这些图像在视觉上最为相似的。反过来，Vision AI API会在这些类似的图像的标题中选取最热门的主题并进行分析。

因此，虽然谷歌的Vision AI API不执行任何类型的面部识别，但可以将人名和图片进行标记，一般网络上，相似的图片会有一些最常带有的主题的标题。反过来，这种视觉相似性匹配甚至可以用来帮助识别虚假信息。比如说有一段据称是突发新闻的视频片段在推特上发布后，可以立即与实际电视台的视频进行对比，以确认该视频实际上是否播出过，以确认其真实性。

未来，我们或许可以设想一下组织一个由不同公众利益相关者组成的全球联盟，共同探索如何以创新的方式利用深度学习等技术，打击虚假信息的传播。研究人员可以应用非消耗分析来研究和研究虚假信息的全球传播，从识别虚假信息和伪造事实，到记录虚假信息如何在媒体之间流动，再进行深度分析。

这个实验中，谷歌视频人工智能、视觉人工智能和Natural Language API在观看本周来自Internet Archive的电视新闻存档中的电视新闻时生成的所有机器分析都是有价值的参考材料。这些分析信息大小总计615GB，为有研究深度学习如何识别信息提供了一个强大的测试平台。

总之，深度学习已经成熟到可能让人工智能自己观看电视新闻，并且是在没有任何人工干预的情况下，以完全非消耗的方式对其所看到的内容进行分类。反过来，这些分析可以用来将电视新闻与相关的在线新闻和社交媒体连接起来，从而多方向地来理解和打击虚假信息。最重要的是，这种非消耗性分析为全球合作打开了大门，可以把世界各地的利益相关方聚集在一起，探索数据分析的新方法，打击虚假信息。

人工智能文本深度学习人工干预