【re:Invent2018】加速企业打造ML模型AWS机器学习工具SageMaker平台新增多项新功能

图片来源:

AWS

AWS近日宣布在ML自动建置和部署工具SageMaker的平台中，新增多项新功能，包含语义分割演算法（semantic segmentation）、搜寻ML训练模型的功能Search，以及自动优化ML模型编译器Neo。

首先，AWS加入了语义分割演算法，原先该平台中已内建两个热门的电脑视觉演算法，包含影像分类和物件侦测，影像分类演算法将影像分类到预先定义的类别中，而物件侦测演算法则能标示出物体位置定界框（bounding box）并识别该物体。此外，AWS还新增了搜寻ML训练模型的功能Search，让开发人员可以从平台中数千个机器学习模型中，找到最适合的训练模型，加速企业建置机器学习模型的开发和实验阶段，目前该功能为测试版，使用该功能将不会有额外的收费。最后，为了协助企业提升ML模型效能，AWS还新增了自动优化ML模型的编译器Neo，利用神经网路，在不减少準确度的情况下，自动将ML模型提升2倍效能。

使电脑视觉模型更加完善，AWS新增语义分割演算法

语义分割是将图像中每个Pixel，用已标示的资料集来分类，给予每个Pixel标上语义标籤，分割后输出的结果通常是用不同的RGB值来表示，若分类值小于255，则用灰阶值表示，因此，输出的结果是一个矩阵或是灰阶图，也被称为分割遮罩，透过AWS的语义分割演算法，企业可以用自己的资料集训练自家的模型，也能用预先训练的模型，该语义分割演算法是透过MXNet Gluon框架和Gluon CV工具包打造的，提供3种内建的最新的演算法来训练语义分割模型，包含全卷积网路分割（FCN）、空间金字塔结构网路（PSP）和Google开源的语义分割模型DeepLab-V3。

上述的所有演算法都包含编码器和解码器，编码器是负责产生图像特徵图的网路，而解码器则是用特徵图建置分割遮罩，编译器的部分，AWS提供在ImageNet分类器预先训练的ResNet50和ResNet101给开发人员选择，这些是已经经过优化的FCN和PSP，另外，使用者也可以选择未经训练的网路，自己从头做起。

该语义分割演算法能透过P2/P3种类的AWS EC2实例，在一台机器的配置下训练，模型其实能在所有AWS SageMaker支援的CPU和GPU实例中训练，但是，由于卷积式网路能够在GPU机器上充分地利用数学函式库，在CPU机器训练会比GPU机器昂贵许多，因此，AWS限制只能在GPU机器上训练。

加速建置ML模型开发与实验时程，AWS新增搜寻最相关训练模型功能Search

除了新增语义分割演算法之外，为了能够加速企业建置ML模型的开发和实验工作，AWS还新增了搜寻ML训练模型的功能Search，让开发人员可以从平台中数千个机器学习模型中，找出相关的训练模型，该功能透过Management Console和AWS SDK APIs推出，并不会额外收取其他费用。

AWS表示，开发机器学习模型需要不间断地实验和观察，举例来说，当企业尝试用新的学习演算法，或是调整模型的超参数时，必须持续观察模型準确度和效能的变化，反覆的优化过程，可能会产上数百个版本的模型，最后还得找出最佳的模型，导致拖延到部署模型的时程。

这次推出的搜寻功能，能够让企业利用定义的属性，快速找出最相关的模型进行训练，像是使用的学习演算法、超参数的设定、训练资料集，甚至是企业为训练模型工作标上的标籤等，透过搜寻功能，企业和研究团队都能够快速找到与特定业务相关的模型，除此之外，还能根据效能指标进行排名，找出最佳的模型。

图片来源：AWS

提升2倍效能，AWS推出编译器Neo自动优化ML模型

最后，AWS将机器学习分为两个阶段训练和推断，训练的过程是利用ML演算法建置模型，找出有意义的模式，而这个过程通常需要大量的储存空间和计算资源，推断则是用训练过的模型，产生模型未处理过资料的预测结果，开发者对推断过程主要的疑虑是优化延迟和生产力问题，也就是产生一次预测结果需要多少时间，以及平行处一次可以执行多少预测工作，针对这两个问题，预测环境所用的硬体架构是最大的影响因素，虽然可以针对硬体架构调整模型，但是调整的工具耗时且容易出错，因此，多数开发人员即使面对不同的硬体架构，还是会部署相同的模型，而牺牲效能。

针对这个问题，AWS于ML自动建置和部署工具SageMaker的平台中，推出自动优化ML模型的编译器Neo，使ML模型经过一次训练，就能达到最佳效能，AWS表示，能够在不影响模型準确度的情况下，将效能提升为2倍。Neo支援TensorFlow、Apache MXNet、PyTorch、ONNX和XGBoost等框架，硬体架构的部分支援ARM、Intel和Nvidia，此外，Neo已透过Apache软体授权方式开源释出，允许硬体厂商订做支援Neo的处理器和装置。

图片来源：AWS