首页 / 行业

处理人工智能中的记忆问题

2022-07-21 15:14:00

人工智能 (AI) 允许计算机学习和执行特定任务，例如图像识别和自然语言处理，其灵感来自人脑。

挑战在于，尽管人类大脑在过去300 万年中不断进化，但人工神经网络，即人工智能的“大脑”，仅出现了几十年，并没有像我们头脑中的灰质，预计会执行与人类智能相关的任务。因此，在我们寻求创建能够造福社会的人工智能系统的过程中——从图像分类到语音识别和自动驾驶——我们需要找到新的途径来加速人工智能的发展。

这个过程的一部分是找出最适合特定 AI 功能的内存类型，并发现将各种内存解决方案集成在一起的最佳方法。从这个角度来看，人工智能面临两个主要的内存限制：密度和功率效率。人工智能对电力的需求使得人工智能难以在电力供应充足的数据中心之外扩展——尤其是在人工智能应用程序具有最高潜力和价值的云边缘。

为了在边缘启用人工智能，正在向特定领域的架构进行开发，以促进节能硬件。然而，将为最显着的改进开辟道路的领域，也是应该集中大量精力的领域，是内存技术本身。

将人工智能推向边缘

在过去的半个世纪里，公共利益和私人利益的结合推动了人工智能的出现，以及最近深度学习 (DL) 的出现。DL 模型——由于它们提供的卓越感知能力——成为最广泛的人工智能形式之一。典型的 DL 模型必须首先在海量数据集（通常在数据中心的 GPU 服务器上）进行训练，以调整网络参数，这是一个昂贵且漫长的过程，然后才能部署以根据输入数据（来自传感器、摄像头）进行自己的推理， ETC。）。DL 模型需要大量内存来训练它们的许多参数，因此有必要利用片外内存。因此，训练期间的大部分能源成本是由于片外 DRAM 和片上 SRAM 之间的巨大数据负载的低效混洗（这种方法通常超过总能源使用的 50%）。训练模型后，必须使训练后的网络参数可用于在其他环境中执行推理任务。

直到最近，人工智能应用程序还仅限于数据中心，因为它们需要大量的能源消耗和空间。然而，在过去几年中，对大规模、低延迟和低成本的 AI 模型的需求不断增长，推动这些应用程序在边缘运行，即在物联网和功率和性能受到高度限制的移动设备上运行。

这正在推动一个快速扩展的硬件生态系统，该生态系统支持推理任务的边缘应用程序，甚至是支持分布式训练的新生努力（例如，谷歌的联邦学习模型）。这些新架构主要由语音识别和图像分类应用驱动。

不断增长的需求加上 DL 模型的日益复杂是不可持续的，因为它导致公司在能耗、延迟和大小方面的需求与当前内存能够实现的目标之间的差距越来越大。随着摩尔定律的终结和后视镜中的 Dennard Scaling 加剧了这一问题，半导体行业需要向新的内存技术多样化，以应对这种范式转变并满足对廉价、高效的 AI 硬件的需求。

新记忆的机会

人工智能领域是具有独特和不断改进特征的创新记忆的沃土，并在数据中心和边缘提供了机会。新的内存技术可以满足对内存的需求，通过提高内存密度和改进数据访问模式，边缘设备可以在本地执行 DL 任务，从而最大限度地减少与云之间传输数据的需求。以高精度和高能效在本地执行感知任务的能力是人工智能进一步发展的关键。

这种认识导致了对替代内存技术的大量投资，包括 NAND 闪存、3D XPoint（英特尔的 Optane）、相变内存 (PCM)、电阻式内存 (ReRAM)、磁阻式内存 (MRAM) 以及其他具有以下优势的技术作为能源效率，耐久性和非易失性。在促进边缘人工智能的同时，此类记忆还可以让云环境更有效地执行深度学习模型训练和推理。其他好处包括可靠性和处理速度的潜在改进。内存技术的这些改进将使绕过边缘设备当前的硬件限制成为可能。

特别是，由于该技术的特定固有或独特品质，某些新存储器为许多人工智能应用提供了独特的优势。ReRAM 和 PCM 因其卓越的速度（与闪存相比）、密度和非易失性而为推理应用提供优势。MRAM 提供与 ReRAM 和 PCM 类似的优势；此外，它还表现出超高的耐用性，可以与SRAM竞争和补充，也可以作为Flash的替代品。即使在它们生命周期的早期阶段，这些新的内存技术在人工智能领域也显示出巨大的潜力。

尽管我们距离实现科幻小说中承诺的人工智能还有几十年的时间，但我们目前正处于重大突破的风口浪尖，这些突破将影响我们生活的许多方面，并提供新的高效商业模式。正如 Rockwell Anyoha 在哈佛关于人工智能的特别版博客中所写，“在 20 世纪上半叶，科幻小说让世界熟悉了人工智能机器人的概念。它从绿野仙踪中‘无情的’铁皮人开始，然后是在大都会模仿玛丽亚的人形机器人。”

下一场激烈的战斗是在记忆中进行的，因此，有大量的时间、金钱和脑力专门用于解决 AI 的记忆问题。最终，虽然这些计算机化的大脑还无法与我们的人类大脑相提并论——尤其是在能源效率方面——但正是我们自己头脑的独特性使我们能够为我们的许多幻想创造解决方案并将人工智能带入生活.

审核编辑：汤梓红

人工智能自然语言处理执行学习