研究人员发表了一个修剪算法 使人工智能应用程序运行得更快

随着越来越多的人工智能应用转移到智能手机上，深度学习模型越来越小，以允许应用运行得更快并节省电池电量。现在，麻省理工学院的研究人员有了一种新的更好的压缩模型的方法。

很简单，他们在上个月的一条推文中发布了它：训练模型，修剪它最弱的连接，以快速的早期训练速率重新训练它，然后重复它，直到模型达到您想要的大小。

“就是这样，”亚历克斯伦达博士说。麻省理工学院的一名学生。修剪模型的标准操作非常复杂。"

伦达在本月远程举行的国际学习大会(ICLR)上讨论了这项技术。伦达是麻省理工学院电气工程和计算机科学系(EECS)的学生，也是计算机科学和人工科学实验室成员、电气工程和计算机科学助理教授迈克尔卡平。

去年，在ICLR，Frankle和Carbin关于彩票假说的获奖论文寻求更好的压缩技术。他们表明，如果在训练的早期阶段找到了正确的子网，深度神经网络只能执行十分之一的连接。随着计算能力和训练更深层次学习模型的能量需求的指数级增长，这一启示一直延续至今。这种增长的成本包括全球变暖碳排放的增加和创新潜力的下降，因为不是大型科技公司的研究人员争夺稀缺的计算资源。每天用户也会受到影响。大型AI机型会消耗手机的带宽和电池电量。

彩票假说引发了一系列的理论后续论文。但在同事的建议下，Frankler决定看看它可能会修剪哪些课程，其中搜索算法将修剪搜索树中评估的节点数量。这个领域已经存在了几十年，但在ImageNet竞赛中神经网络在图像分类上取得突破性成功后又重新出现。随着模型变得越来越大，研究人员添加了多层人工神经元来提高它们的性能，而其他人则提出了减少它们的技术。

现在是麻省理工学院助理教授的宋涵就是一个先驱。在一系列有影响的论文的基础上，韩提出了一种剪枝算法，他称之为AMC或AutoML，用于模型压缩，这仍然是行业标准。在韩的技术下，冗余的神经元和连接被自动删除，模型被重新训练以恢复其初始精度。

针对韩的工作，Frankle最近在一篇未发表的论文中建议，通过将较小的修剪模型反转到其初始参数或权重，并以更快的初始速率重新训练较小的模型，可以进一步改善结果。

在目前的ICLR研究中，研究人员认识到，这种模型可以简单地回归到其早期训练速度，而无需修改任何参数。在任何修剪方案中，模型越小，精度越低。然而，当研究人员将这种新方法与韩的AMC或Frankle的重绕方法进行比较时，无论模型缩小多少，效果都更好。

目前还不清楚为什么修剪技术效果这么好。研究人员表示，他们将把这个问题留给其他人来回答。研究人员表示，对于那些想尝试的人来说，这种算法和其他修剪方法一样容易实现，而且不需要时间来调整。

“这是‘Book’中的剪枝算法，”Frankle说。“这是显而易见的，普遍的，简单的。”

对韩来说，从一开始就把重点从压缩AI模型转移到引导AI，从而设计出一个小而高效的模型。他的最新方法“为所有人做”也在ICLR首次亮相。关于新的学习率方法，他说：“我很高兴看到新的修剪和再培训技术继续发展，使更多的人能够使用高性能的AI应用程序。”