Amazon EMR现可部署到EKS上提高资源使用以及执行效率

AWS现在让用户在Amazon EKS上部署Amazon EMR，这是一种新的EMR部署选择，使得开源大资料框架，能够获得EKS上自动化配置与管理的方便性，而且用户还可在同一个EKS丛集上，同时运作Spark与其他类型的应用程式，以提高整体资源的利用率，并简化基础设施管理工作。

Amazon EMR提供Apache Spark、Hive、HBase、Flink、Hudi和Presto等框架，让用户可以执行各种大资料工作负载，EMR会自动配置和扩展这些框架，并使用EC2执行个体类型，以最佳化速度与价格需求。而部分用户则在EKS上，自己管理Apache Spark框架，以灵活调度大资料工作负载，但无法获得EMR安装和管理框架的方便性。

因此现在AWS让用户可以将EMR应用程式，部署到EKS丛集上，与其他类型的应用程式一起运作，这种方式让所有工作负载，都可以共享资源，并且让用户以标準化的方式，统一管理和营运应用程式。而在EKS上执行的EMR，也可以获得在EC2上运作的好处，像是使用最新框架、效能最佳化的Runtime，或是用于除错的Spark使用者介面等。

EMR会自动将应用程式、大资料框架以及预建置的连接器，都打包进容器中，并把应用程式部署到EKS丛集上，自动管理日誌记录和监控运作状况，官方提到，与EKS上的标準Apache Spark相比，EMR提供3倍效能的最佳化Spark Runtime。

AWS在其开发工具中，也整合了这项新功能，用户现在可以使用Apache Airflow、Amazon EMR Studio笔记本、AWS CLI和AWS SDK来提交分析应用程式，AWS开发适用EMR的Airflow Operator，用户可以在自我託管的Airflow中，使用该连接器，或是用户也可以在EMR Studio网页IDE，执行资料分析和资料工程等任务，透过EMR Studio的使用者介面，就可以将笔记本程式码，提交到EKS上的EMR丛集。