Container周报第119期：Spotify揭露第三代ML平台2020年改用K8s调度运算资源

12/1~12/21 精选容器新闻

＃Kubeflow #K8s丛集
Spotify揭露第三代机器学习架构，2020年改用K8s调度运算资源

最近知名音乐串流平台Spotify在先前北美Kubcon大会上，对外分享自家机器学习平台的发展历程，并首度公开了2020年要上线的第三代机器学习平台架构，採用了Kubeflow，改以K8s来作为算机器学习运算资源的主要调度平台。Sptify经常需进行大量机器学习训练和推论，来分析音乐风格和提供用户各种个人化推荐音乐。2018年，Spotify自行利用开源资料分析技术，后端採用Scala语言，再搭配Python相关工作流程工具，自建了第一代的机器学习平台，方便分析团队快速进行各种ML专案。

第一代的特性是，提供了一系列的选项套餐，方便专案人员运用到不同需求的机器学习应用。但是，Scale语言对资料分析人员来说太难，前后端技术的切换成了不少专案开发的困扰，要统一不同模组间的功能、版本和配置难度也颇高。所以，2019年，Spotify团队决定，改用Google的Tensorflow Extended（TFX）工具，建立机器学习专案开发的标準化，从储存形式、预设函式库、到ML工作流程都有一套制式作业规範，尤其尽量採用Tensoflow扩充元件如Tensorflow Transform、Tensorflow Model Analysis、Tensorflow Serving等，来建立跨团队的共用标準。

最近，Spotify决定，进一步连ML工作流程和运算资源都进一步建立标準化，开始导入了Kubeflow Pipelines（KFP）。这个架构会将主要的运算元件先打包成Docker化容器应用，再利用Kubernetes来部署成容器应用，和调度运算资源支援庞大运算所需。Spotify表示，先前为了标準化而改用TFX的各种努力，成了后来导入KFP流程的成功关键，分析团队不用重新学习另一套ML任务的管理方式。
另一个KFP的好处是，其SDK允许建立共享的元件，分享给其他流程之用。因此，Spofity产品主管Josh Baer撰文透露，其中一个团队建立了一段不错的流程和元件组合，可以分享给其他团队使用，不用重複造轮子，更有助于建立所有团队的共通工作流程範本。
下一步，Spofity透露，将进一步发展成分析特徵的共享化，将重要的ML功能变成内部共享的微服务，来加快组合运用的方便性，目前他们正在进行机器学习模型服务化的设计。

#云端供应商标籤 #新版K8s
今年最终版释出，Kubernetes 1.17来了

Kubernetes继续维持着一年四次更新的步调，在12月9日，释出了今年最后一次的更新1.17版。这个版本最大特色是，云端供应者标籤成了正式功能，开发者可以用这个标籤，在节点或储存空间建立时，来标记所用的云端供应来源或服务所在位置，通常是用来标记这个节点位于哪一个云端供应者的那个地区（zone）或区域（region），方便辨识和管理分散在不同公云或私云平台上的K8s运算资源。另一方面，等于也可以透过K8s排程器（Scheduler）来调度和部署跨云K8s节点的优先顺序了，或是可以确保某一个储存空间，都会在同一个云端供应商区域，避免因跨区储存而增加了传输费用。另外有几个储存功能进入了Beta测试版，可预期明年会成为正式功能，包括了储存快照功能和储存介面标準CSI都在1.17进入了Beta1版。

#K8s管理 ＃混合云管理
D2iQ发表企业级K8s丛集管理工具

云端维运软体商D2iQ正式推出了企业级家K8s跨丛集管理工具Kommander，可以跨公云或私云K8s丛集，自动派送各种治理政策，来建立一个全生命週期的联合管理流程，要专攻Day2维运市场。这套软体提供了一个集中式的跨丛集管理介面，也可监控混合云架构的K8s丛集，也可针对不同丛集进行配置和政策派送、安全规範、更新等管理措施。另外，Kommander还提供了一个资安控管机制，特别用来管理不同应用程式的存取和派送途径，已确保具有合法权限者才能存取这些应用服务。

#软体更新 #CNCF
CNCF第一个毕业的规範，软体更新安全规範The Update Framework出炉

软体更新安全开源规範The Update Framework（TUF）已经达到CNCF（Cloud Native Computing Foundation）的专案毕业状态，而TUF也是第一个从CNCF毕业的规範（Specification）专案。TUF专案内含有一组函式库、档案格式和公用程式，让用户能够保护新的和现有的软体更新系统。TUF设计提供最小化影响的方法，并且能弹性地满足各式软体更新系统需求，且容易与现有的软体更新系统整合，包括AWS、Google、Cloudflare、微软、Docker、IBM、红帽与VMware等大型企业都採用。CNCF技术长表示，现在开源软体无所不在，并且在许多装置上无缝地更新，而TUF在软体供应链上扮演重要的角色。

#GCP #VMware #Serverless
Cloud Run for Anthos加入流量管理功能且支援VMware丛集

GCP的无伺服器容器服务Cloud Run for Anthos，最近新增了多项功能，不只加入了流量管理，也让Cloud Run现在可以在企业就地部署的VMware丛集中执行，另外还整合了Stackdriver监控服务，让用户能直觉查看多项重要服务指标。在可以按配置比例，随机路由请求或是RPC到不同的服务修订版本，这项功能可以让用户对不同版本的应用程式进行测试，像是对新版应用程式进行金丝雀部署，先发送少量流量到新版本的服务，接着再逐渐提高流量比例，以确保服务的可靠性。

#GKE #Anthos
Google揭云端原生资安新模式，将支援GKE和Anthos

最近Google悄悄地揭露了详细的云端原生资安的新模式，称为BeyondProd。Google在2014年提出以零信任设计为主的网路安全架构BeyondCorp，现在进一步将资安防护架构，延伸到机器、工作量和各种云端服务，设计出这个新的BeyondProd。Google订出了几项安全原则，包括了在边缘端保护网路、禁止内部服务共用信任、只用信任机器执行来历清楚的程式码、跨服务使用同一套服务阻断点政策，变更改版要简单自动又标準化、跨工作量要隔离。Google也将这套资安框架套用到自家产品上，可利用云端GKE服务和混合云平台Anthos和几个开源资安工具，例如可透过Envoy来管理TLS流量的政策，可用gVisor容器沙箱技术来建立工作量隔离，来设计一套符合BeyondProd原则的资安作法。而Anthos更参考这个资安框架，建立一套自己的现代化应用程式资安建议。

责任编辑／王宏仁

更多Container相关动态

CoreDNS释出1.6.6版，增加新bufsize外挂

＠资料来源：iThome整理，2019年12月