Amazon SageMaker支援自动扩展功能大规模部署管理机器学习模型更容易了!

AWS现在为机器学习模型与演算法服务Amazon SageMaker添加自动扩展服务，使用者不再需要靠推论来决定运算规模大小，现在透过Amazon CloudWatch监控模型实际流量负载，根据政策自动增减运算实例。

建立机器学习的应用并非易事，因为建立和训练模型，并将其部署到产品环境，过程複杂不只需要专业技术，还要投注大量时间资源。AWS机器学习平台产品经理Kumar Venkateswar表示，Amazon SageMaker目的在于简化这个过程，让使用者更简单的管理机器学习应用。

在Amazon SageMaker上部署机器学习模型，除了不需顾虑基础架构，像是作业系统或是框架的设定外，使用者可以在AWS EC2上部署资料科学常用的Jupyter Notebooks，以及在可用区域增加运算主机，这些优点都为开发者省了不少心力与时间。

在模型训练阶段，使用者仍需要自行推估运算的规模，指定数量以及对每个端点的实例类型，但如果推估量产生变化，使用者仍然可以在不中断运算工作的情况下，手动扩展运算丛集的规模。

现在结合SageMaker console、AWS Auto Scaling API以及AWS SDK，Amazon SageMaker增加自动扩展功能，将让训练模型的工作更加自动化。自动扩展功能透过Amazon CloudWatch指标以及定义的策略，根据实际的工作负载量动态调整运算实例的数量。使用者可以根据不同的需求，设定不同的政策，SageMaker会以Amazon CloudWatch监控每个实体的运算量，调整资源符合使用者需求。

SageMaker会持续的监控资源的使用量，因此使用者可以把这个服务应用在产品阶段，将自动扩展功能设定为成本优先政策，可以降低已部署模型的成本，因为此阶段已不再需要维持大量的运算资源执行高负载运算。Amazon SageMaker可以根据使用者给的最高与最低流量，在这限制内最大程度的降低成本。