工程师展示提高AI计算效率的新芯片

斯坦福大学的工程师创造了一种更高效、更灵活的人工智能芯片，可以将人工智能的力量带入微小的边缘设备。

人工智能驱动的边缘计算已经在我们的生活中无处不在。无人机、智能可穿戴设备和工业物联网传感器等设备都配备了支持人工智能的芯片，以便计算可以在数据来源的互联网“边缘”进行。这允许实时处理并保证数据隐私。

NeuRRAM芯片的能效不仅是最先进的两倍，而且用途广泛，可提供与传统数字芯片一样准确的结果。图片来源：David Baillot/加州大学圣地亚哥分校。

然而，这些微型边缘设备上的AI功能受到电池提供的能量的限制。因此，提高能源效率至关重要。在当今的AI芯片中，数据处理和存储同时发生 - 计算单元和存储单元。这些单元之间的频繁数据移动消耗了AI处理过程中的大部分能量，因此减少数据移动是解决能源问题的关键。

斯坦福大学的工程师设计了一个潜在的解决方案：一种新型电阻式随机存取存储器(RRAM)芯片，可以在存储器本身内进行AI处理，从而消除了计算单元和存储器单元之间的分离。他们的“内存计算”(CIM)芯片，称为NeuRRAM，大约只有指尖大小，并且在电池电量有限的情况下可以完成比当前芯片更多的工作。

“在芯片上完成这些计算，而不是在云中发送信息，可以在未来实现更快，更安全，更便宜，更具可扩展性的AI，并让更多的人获得AI电源，”工程学院的Willard R.和Inez Kerr Bell教授H.-S Philip Wong说。

“数据移动问题类似于每天花八个小时通勤两个小时，”斯坦福大学最近毕业的Weier Wan补充道。“通过我们的芯片，我们正在展示一种应对这一挑战的技术。

他们在《自然》杂志最近的一篇文章中介绍了NeuRRAM。虽然内存计算已经存在了几十年，但该芯片是第一个在硬件上实际展示广泛AI应用的芯片，而不仅仅是通过仿真。

将计算能力放在设备上

为了克服数据移动瓶颈，研究人员实施了所谓的内存计算(CIM)。这种新颖的芯片架构直接在内存中执行AI计算，而不是在单独的计算单元中执行。NeuRRAM使用的存储器技术是电阻随机存取存储器(RRAM)。它是一种非易失性存储器 - 即使在断电后也能保留数据的存储器 - 已经出现在商业产品中。RRAM可以在小面积内存储大型AI模型，功耗非常低，非常适合小型和低功耗边缘设备。

尽管CIM芯片的概念已经确立，并且在RRAM中实现AI计算的想法并不新鲜，但“这是第一批将大量内存集成到神经网络芯片上并通过硬件测量呈现所有基准结果的实例之一，”Wong说，他是Nature论文的共同资深作者。

NeuRRAM的架构允许芯片以低功耗和紧凑的面积执行模拟内存计算。它是与加州大学圣地亚哥分校的Gert Cauwenberghs实验室合作设计的，后者开创了低功耗神经形态硬件设计。该架构还支持数据流方向的可重构性，支持各种AI工作负载映射策略，并在不牺牲AI计算精度的情况下与不同类型的AI算法配合使用。

该团队测试了它在不同任务上的功能，以显示NeurRRAM的AI能力的准确性。他们发现，MNIST数据集的字母识别准确率为99%，CIFAR-10数据集的图像分类准确率为85.7%，Google语音命令识别的准确率为84.7%，贝叶斯图像恢复任务的图像重建错误减少了70%。

“效率，多功能性和准确性都是该技术更广泛采用的重要方面，”Wan说。“但同时实现所有这些并不简单。共同优化从硬件到软件的整个堆栈是关键。

“这种全栈协同设计是与具有不同专业知识的国际研究团队一起实现的，”Wong补充道。

推动未来的边缘计算

目前，NeuRRAM是一种物理概念验证，但在准备好转化为实际的边缘设备之前，还需要进行更多的开发。

但这种综合效率、准确性和完成不同任务的能力展示了芯片的潜力。“也许今天它被用来做简单的AI任务，如关键字发现或人类检测，但明天它可以实现完全不同的用户体验。想象一下，实时视频分析与语音识别相结合，所有这些都在一个微小的设备中完成，“Wan说。“为了实现这一点，我们需要继续改进设计，并将RRAM扩展到更先进的技术节点。

“这项工作为RRAM设备工程的未来研究开辟了几条途径，以及用于内存计算的编程模型和神经网络设计，以使该技术可扩展和可供软件开发人员使用，”电气工程助理教授Priyanka Raina说。

如果成功，像NeuRRAM这样的RRAM内存计算芯片几乎具有无限的潜力。它们可以嵌入农田中，进行实时AI计算，以根据当前的土壤条件调整灌溉系统。或者，他们可以将增强现实眼镜从功能有限的笨重头显变成更类似于钢铁侠和复仇者联盟电影中托尼·斯塔克的视屏(没有星际或多元宇宙威胁 - 人们可以希望)。

Wong说，如果大规模生产，这些芯片将足够便宜，适应性足够强，功率足够低，可以用来推进已经改善我们生活的技术，就像允许家庭健康监测的医疗设备一样。

它们也可用于解决全球社会挑战：支持人工智能的传感器将在跟踪和应对气候变化方面发挥作用。“通过拥有这些几乎可以放置在任何地方的智能电子产品，您可以监控不断变化的世界并成为解决方案的一部分，”Wong说。“这些芯片可以用来解决从气候变化到粮食安全的各种问题。