新硬件以更少的能源为人工智能提供了更快的计算速度

随着科学家突破机器学习的界限，训练日益复杂的神经网络模型所需的时间、精力和金钱正在飙升。人工智能的一个新领域称为模拟深度学习，有望以一小部分能源使用实现更快的计算速度。

可编程电阻是深度模拟学习的关键构建模块，就像晶体管是数字处理器的核心元件一样。通过在复杂层中重复可编程电阻阵列，研究人员可以创建一个模拟人工“神经元”和“突触”网络，就像数字神经网络一样执行计算。然后可以训练该网络以实现复杂的AI任务，如图像识别和自然语言处理。

麻省理工学院的一个多学科研究小组着手推动他们以前开发的一种人造模拟突触的速度极限。他们在制造过程中使用了一种实用的无机材料，使他们的设备比以前的版本快100万倍，这也比人脑中的突触快约100万倍。

此外，这种无机材料也使电阻器非常节能。与早期设备中使用的材料不同，这种新材料与硅制造技术兼容。这一变化使纳米级设备成为可能，并可能为集成到深度学习应用的商业计算硬件中铺平道路。

“凭借这一关键见解，以及我们在MIT.nano拥有的非常强大的纳米制造技术，我们已经能够将这些部分放在一起，并证明这些设备本质上非常快，并且在合理的电压下运行，”资深作者Jesús A. del Alamo说，他是麻省理工学院电气工程和计算机科学系(EECS)的Donner教授。“这项工作使这些设备处于一个阶段，它们现在看起来对未来的应用很有希望。

“该器件的工作机制是将最小的离子质子电化学绝缘氧化物中以调节其电子电导率。由于我们正在使用非常薄的器件，因此我们可以通过使用强电场来加速这种离子的运动，并将这些离子器件推到纳秒级操作状态，“资深作者Bilge Yildiz解释说，他是核科学与工程系和材料科学与工程系的Breene M. Kerr教授。

“生物细胞中的动作电位以毫秒的时间尺度上升和下降，因为约0.1伏特的电压差受到水稳定性的限制，”资深作者，巴特尔能源联盟核科学与工程教授，材料科学与工程教授Ju Li说，“在这里，我们在传导质子的纳米级厚度的特殊固体玻璃膜上施加高达10伏的电压， 不会永久损坏它。磁场越强，离子器件的速度就越快。

这些可编程电阻器大大提高了神经网络训练的速度，同时大大降低了执行训练的成本和能量。这可以帮助科学家更快地开发深度学习模型，然后可以将其应用于自动驾驶汽车，欺诈检测或医学图像分析等用途。

“一旦你有了模拟处理器，你将不再训练其他人都在工作的网络。您将以前所未有的复杂性训练网络，这是其他人无法承受的，因此远远优于它们。换句话说，这不是一辆更快的汽车，这是一艘宇宙飞船，“主要作者和麻省理工学院博士后Murat Onen补充道。

合著者包括Frances M. Ross，材料科学与工程系的Ellen Swallow Richards教授;博士后Nicolas Emond和Baoming Wang;还有EECS研究生张迪飞。该研究今天发表在《科学》杂志上。

加速深度学习

模拟深度学习比数字深度学习更快、更节能，主要有两个原因。“首先，计算是在内存中执行的，因此大量的数据不会从内存来回传输到处理器。模拟处理器也并行执行操作。如果矩阵大小扩大，模拟处理器不需要更多时间来完成新操作，因为所有计算同时发生。

MIT 新型模拟处理器技术的关键元件被称为质子可编程电阻器。这些电阻以纳米为单位(一纳米是十亿分之一米)，排列成一个阵列，就像棋盘一样。

在人脑中，学习是由于神经元之间连接的加强和减弱而发生的，称为突触。深度神经网络长期以来一直采用这种策略，其中网络权重通过训练算法进行编程。在这种新处理器的情况下，增加和减少质子电阻的电导可以实现模拟机器学习。

质子的运动控制电导。更多的质子被推入电阻器中的通道以增加电导，而为了降低电导率，质子被取出。这是使用电解质(类似于电池的电解质)完成的，该电解质传导质子但阻挡电子。

为了开发一种超快速和高能效的可编程质子电阻器，研究人员寻找不同的电解质材料。虽然其他设备使用有机化合物，但Onen专注于无机磷酸硅酸盐玻璃(PSG)。

PSG基本上是二氧化硅，这是一种粉末状的干燥剂材料，存在于装有新家具的盒子中的小袋子中，以去除水分。它被研究为燃料电池在加湿条件下的质子导体。它也是硅加工中使用的最知名的氧化物。为了制造PSG，在硅中加入一点点磷，使其具有质子传导的特殊特性。

Onen假设优化的PSG在室温下可以具有高质子电导率而无需水，使其成为该应用的理想固体电解质。他是对的。

惊人的速度

PSG可实现超快的质子运动，因为它包含许多纳米大小的孔，其表面为质子扩散提供了路径。它还可以承受非常强的脉冲电场。Onen解释说，这一点至关重要，因为向设备施加更多电压使质子能够以致盲速度移动。

“速度当然令人惊讶。通常，我们不会在设备上应用这种极端场，以免将它们变成灰烬。但相反，质子最终以极快的速度在设备堆栈中穿梭，特别是比我们以前快一百万倍。这种运动不会损坏任何东西，这要归功于质子的小尺寸和低质量。这几乎就像传送，“他说。

“纳秒级的时间尺度意味着在如此极端的场下，我们接近质子的弹道甚至量子隧穿制度，”李补充道。

由于质子不会损坏材料，因此电阻器可以运行数百万次循环而不会发生故障。这种新的电解质使可编程质子电阻比以前的设备快一百万倍，并且可以在室温下有效运行，这对于将其整合到计算硬件中非常重要。

由于PSG的绝缘性能，当质子移动时，几乎没有电流通过材料。这使得该设备非常节能，Onen补充道。

现在他们已经证明了这些可编程电阻器的有效性，研究人员计划重新设计它们以进行大批量生产，del Alamo说。然后，他们可以研究电阻器阵列的特性并放大它们，以便将它们嵌入到系统中。

与此同时，他们计划研究这些材料，以消除限制有效将质子转移到电解质，通过电解质和从电解质转移所需的电压的瓶颈。

“这些离子设备可以实现的另一个令人兴奋的方向是节能硬件，以模拟神经科学中推导的神经回路和突触可塑性规则，超越模拟深度神经网络。我们已经开始与神经科学进行这样的合作，由麻省理工学院寻求智能的支持，“Yildiz补充道。

“我们的合作对于未来的创新至关重要。前进的道路仍然非常具有挑战性，但与此同时，它非常令人兴奋，“del Alamo说。

“诸如锂离子电池中发现的插层反应已经在存储设备中得到了广泛的探索。这项工作表明，基于质子的存储器件提供了令人印象深刻且令人惊讶的开关速度和耐用性，“斯坦福大学材料科学与工程副教授William Chueh说，他没有参与这项研究。“它为一类新的存储设备奠定了基础，这些设备为深度学习算法提供了动力。

“这项工作展示了生物启发的电阻存储器件的重大突破。这些全固态质子器件基于对质子的精细原子尺度控制，类似于生物突触，但速度更快，“卡内基梅隆大学泰迪和威尔顿霍金斯杰出教授兼材料科学与工程系主任伊丽莎白迪基迪基说，他没有参与这项工作。“我赞扬麻省理工学院跨学科团队的这一激动人心的发展，这将使未来一代计算设备成为可能。