AI相机：双层光电混合计算机

斯坦福研究人员研究出一套小型AI成像系统。成像精度和速度均达到电子计算处理器水平，它采用双层光学-电子混合计算技术，在低光照条件下具备更强的成像能力，每个立体像素上的光电子密度最高可达几十个，同时节约了大量本该用于计算的时间和成本。

如今，自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能：计算机本质上学会了自己识别物体，比如识别狗、过马路的行人或停车的汽车。主要问题是，目前运行人工智能算法的计算机对于手持医疗设备等未来应用来说显得过于庞大和缓慢。

现在，斯坦福大学的研究人员已经设计出一种新型的AI相机系统，它可以更快、更高效地对图像进行分类，有朝一日，这种系统可以小到足以嵌入设备本身，这在今天是不可能实现的。这项研究发表在8月17日的Nature Scientific Reports上。

“自动驾驶汽车的后备箱里有一台体积相对较大、速度相对较慢、能耗较高的电脑。”该研究负责人、斯坦福大学电气工程助理教授Gordon Wetzstein表示，未来的应用程序将需要更快、更小的设备来处理图像流。

AI相机：双层光电混合计算机

现在，Wetzstein和论文第一作者、研究生Julie Chang朝着这一技术迈出了一步，他们将两种类型的计算机结合在一起，创造了一种专为图像分析设计的光电混合计算机。

原型相机的第一层是一种光学计算机，它不需要数字计算的高功耗数学运算。第二层是传统的数字电子计算机。

光学计算机层通过物理预处理图像数据进行操作，以多种方式对其进行过滤，否则电子计算机就必须用数学方法对其进行过滤。由于过滤是在光线穿过自定义光学时自然发生的，所以这一层的输入功率为零。这为混合系统节省了大量的本该用于计算的时间和能量。

“我们已经把人工智能的一些数学知识拓展到了光学领域。”Chang说。

这样做的结果是更少的计算、更少的内存调用和更少的时间来完成这个过程。在跳过了这些预处理步骤之后，剩下的分析将以相当大的优势进入数字计算机层。“数百万次计算都是在光速下进行的。”

成像精度和速度堪比电子计算机处理器

在速度和精度方面，这款原型机与现有的电子计算机处理器相媲美。

虽然他们目前的原型机还处在实验台上，不会被归类为小型设备，但研究人员说，他们的系统有一天会被小型化，以适合手持摄像机或无人机。

在模拟和真实世界的实验中，研究小组使用该系统成功地识别了飞机、汽车、猫、狗等自然图像。

Wetzstein说：“我们系统的某些未来版本在自动驾驶汽车等快速决策应用中尤其有用。”

除了缩小原型尺寸之外，Wetzstein, Chang和他们在斯坦福计算机成像实验室的同事们现在正在寻找方法使光学元件做更多的预处理。最终，他们要用更小、更快的技术将取代现在在自动驾驶汽车、无人机和其他识别周围世界的设备上使用的计算机。

相关原理及论文

卷积神经网络（CNN）在各种计算机视觉应用中表现出色，但其高性能也伴随着高昂的计算成本。尽管人们可以通过算法和专用硬件来提高效率，但由于能源预算紧张，在嵌入式系统中部署卷积神经网络仍然很困难。

我们在本文中探索一种互补策略，在电子计算之前加上一层光学计算，以提高图像分类任务的性能，同时增加最小的电子计算成本或处理时间。我们提出了一种基于优化衍射光学元件的光学卷积层设计，并在两个模拟测试中验证了我们的设计：经过训练的光学相关器，以及光电双层卷积神经网络。我们在仿真模型和光学原型中证明，我们的光学系统的分类精度可以与类似的电子计算方案相媲美，同时大大节省了计算成本。

图像过滤混合计算机多种驾驶

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。