GCP用户现可在GKE上执行Cloud Dataproc的Spark工作负载

Google宣布用户可在Kubernetes上执行Cloud Dataproc，也就是说，现在使用者可以利用GKE丛集执行Apache Spark工作负载，而这项更新将为企业简化管理基础设施的複杂性。

Cloud Dataproc是Google云端上全託管的Apache Hadoop与Spark服务，Google提到，资料科学家可以使用Cloud Dataproc大规模地分析资料或是训练模型，不过随着企业基础架构变得複杂，许多问题慢慢产生，像是部分机器可能处于闲置，但是某个工作负载丛集可能持续扩大，而开源软体与函式库也随着时间过时且与堆叠不相容。

为了解决这些问题，Google现在让Cloud Dataproc得以在K8s上运作，并为其提供了一个控制平台，让企业可以同时在公有云和企业内环境，部署与管理在GKE上的Apache Spark工作负载。使用Cloud Dataproc的新功能，用户就能以统一的集中检视工具，跨K8s和YARN两个丛集管理系统，操作混合工作负载。

而且新功能还隔离了开源软体，消除传统大资料技术对版本以及函式库的相依性，让使用者可以将模型和新的ETL工作管线，从开发阶段直接转移到生产阶段，而不需要考量相容性，Google提到，使用K8s这样的敏捷基础架构，让开源软体升级更简单。

Apache Spark是第一个放到K8s上Cloud Dataproc的开源资料处理引擎，而这项工作还会继续扩及更多的开源专案，Google提到，Cloud Dataproc搬迁到K8s上，改变了他们将Cloud Dataproc和开源软体作为託管服务的方式，他们会持续与其他开源社群合作，并为更多的开源专案启用K8s上执行Cloud Dataproc功能。