OpenFive与EdgeCortix合作打造软件定义的边缘AI加速器

(文/周凯扬)边缘计算从始至终都是一个让业界苦思冥想的问题，与云端计算这种集中式结构不同，边缘计算的分布式结构杜绝了“齐心办大事”的可能性。而且并非将体积依然不可小视的计算服务器部署在边缘端，就能解决边缘计算的一切要求，尤其是在边缘AI需求持续高涨的当下。

根据IDC的统计，到了2025年全球互联设备将达到416亿台，与此同时边缘传感器收集的数据将达到79.4ZB。在这么庞大的量下，边缘AI提出的要求却是高性能、低功耗，挑战确实不亚于手机SoC的开发了。即便如此，雨后春笋一般冒头的AI芯片公司还是在挑战“卷”的限度。

软件定义的边缘AI加速器

平时留意RISC-V动向的小伙伴们应该有所耳闻，3月中旬IP厂商Alphawave花了2亿美元收购SiFive旗下OpenFive。然而同样在3月，在收购之前，专注于高速连接SoC IP的OpenFive宣布了与AI初创公司EdgeCortix的合作，共同打造下一代的边缘AI加速器。

在软件定义的AI加速中，灵活度最高的还得属通用CPU，但一谈到能耗，就有些相形见绌了，与较为专一的GPU相比，从性能和能效上都有一定差距。然而GPU虽说能效高于GPU，但放在边缘端动辄几百瓦的功耗又太夸张了，因此特定领域的AI加速器虽然牺牲了一定的灵活性，但做到了最高的能效比，也因此被边缘AI所看重。

在这一理念下，EdgeCortix推出了动态神经加速器(DNA)，一个运行时可重构的特定领域加速器设计，用于低功耗的实时AI推理应用，既可以部署在FPGA上，也可以部署在自研设计的ASIC芯片上。

SAKURA，正是基于该设计打造的一款高能效的边缘AI协处理器。与部分AI芯片不一样，SAKURA并没有选择5nm之类的先进工艺，而是选择了12nm的成熟工艺。在800MHz的频率下，SAKURA可以达到40TOPS的算力，在多芯片组合下更是可以达到200TOPS，搭载该芯片的PCIe板卡典型功耗只有10W到15W。

只谈性能不谈规模是毫无意义的，AI芯片厂商最喜欢拿来对比还是英伟达的各大GPU，这不，EdgeCortix也选择了同用台积电12nm工艺的英伟达AGX Xavier GPU来进行对比，可以看出AGX Xavier的面积近乎是SAKURA的四倍，在算力上依然比后者低上25%，两者能耗相差不大，但PPA上明显是SAKURA更胜一筹。

不过这也不是实际场景的比较，我们还是拿深度学习模型的测试结果来看，由于软件定义的特性，无论是在单芯多核和多芯的扩展下，SAKURA的异构计算单元都可以得到有效的利用。EdgeCortix给出了在YOLOv3这一实时物体检测算法中的比较，在同规模的数据下SAKURA的推理耗时最高可以做到AGX Xavier的16分之一。

这倒不是说SAKURA就一定是边缘AI的最优解，在给出的诸多对比中，大部分是Batch Size只有1下的测试结果，这是因为SAKURA对低Batch Size和INT8做过优化。更何况SAKURA对标的还是英伟达AGX Xavier、AGX Orin和高通Cloud AI 100这一档的边缘AI芯片。

模拟与AI

不久前，笔者曾介绍了AI初创公司Aspinity的AML100边缘AI芯片，主打处理传感器输出的模拟数据，来实现降低功耗的作用。近日，Aspinity透露了更多这款芯片的细节，并更新了一些数据。传统的数据Always On方案无论是在智能手机、智能手表还是智能家居产品中都已经普及，而且主打的就是低功耗，甚至低至数十uW。那么这种模拟AI芯片的优势又在哪呢?

传统的超低功耗芯片在提及功耗时，其实还是自身的功耗乃至待机时的功耗，而从传感器和ADC再到芯片的功耗，以及整个系统的功耗还是没那么容易忽略的。比如传统的Always On数字处理器架构系统在检测语音事件时，总功耗大概在3700uW左右，数字处理器的功耗还是占大头。

而在AML100组成的Always On系统中，传感器的功耗不变，而AML100可以做到40uW以下的功耗，这时由于AML100从模拟端接手了预处理和机器学习的任务，ADC和数字处理器端的功耗无限约接近0uW，因此总功耗要小于140uW，将整个系统的功耗降低了95%以上。

AML100终究还是一个用于事件唤醒的边缘AI芯片，面向破窗安全监测、语音唤醒之类的Always On应用，那么针对通用的边缘AI应用，它能否派上用场呢?

其实作用也是有的，AML100的定位本质上就是一个模拟层面上的预处理，可以有效减小数据集的大小，这样交给MCU或云端的数据会减少至多百倍，对于大部分边缘应用来说，处理数据的减少也近似等效于延长电池寿命了。

原文标题：边缘AI芯片正在数倍百倍地卷

文章出处：【微信公众号：电子发烧友网】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红

边缘加速器计算业界

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。