Databricks开源机器学习平台MLflow以标準格式打破工具平台的界线
由Apache Spark技术团队所创立的Databricks释出开源机器学习平台MLflow,不只对社群开放原始码,进一步使用开放介面,要支援既有的机器学习函式库、演算法以及工具,同时Databricks也提供MLflow的託管服务,不过,MLflow仍在早期的测试阶段,想尝鲜的开发者可以在GitHub上取得专案程式码。
MLflow包含三大部分,追蹤(Tracking)、专案(Projects)以及模型(Models)。MLflow追蹤是用于日誌参数、程式码版本、指标以及输出档案的API和使用者介面,使用者以脚本或是笔记本档案纪录日誌结果,可以选择储存在本地端或是伺服器上,之后可以使用网页介面读取来比较不同的执行结果。
而MLflow专案提供可重複使用的科学程式码标準格式,每个专案都单独为一个目录或是Git程式码储存库,并由YAML档案来定义MLproject。MLflow专案可以在套件管理器Conda环境中建立相依性,而MLflow会自动设定适合的环境执行专案,而且当专案有使用MLflow追蹤API,MLflow还会记录专案的版本以及相关参数,开发者可以随时重新执行完全相同的程式码。MLflow专案提供了良好的重现性、可扩展性以及实验性,让企业或是开源社群都可以更容易地共享资料科学应用。
MLflow的第三部分模型,MLflow的机器模型包称为MLmodel,其中可以包含任意档案以及一个MLmodel描述文件。MLflow提供输出工具,可以把常用的模型格式部署到不同平台上,官方提到,开发者可以将支援Python_function的模型部署到基于Docker的REST伺服器,也可以选择部署到各种云端平台,像是Azure ML或AWS SageMaker,或是在Apache Spark提供的批次或是串流推测中,作为用户自订义功能。
Databricks不只开源MLflow的程式码,也选择使用开放介面,官方表示,MLflow是设计来搭配任何的机器学习函式库、演算法、开发语言以及工具,以REST API以及提供简单资料格式做为设计理念,开发者可以把MLflow的模型看做是一个Lambda函式,能被不同的工具使用,因此Databricks提到,MLflow好处就是可以立刻增加到既存的机器学习程式码中,开发者马上就能执行使用。
之所以会有MLflow这个专案,官方提到,现在市面上的机器学习工具千百种,但是除了不容易追蹤机器学习的实验外,还很难重现相同的结果,而且也缺乏搬迁模型的标準,因此机器学习的应用常会被工具以及环境绑住,开发者害怕移植后会有不可预期的问题,而开源机器学习平台MLflow的出现,便是要试图解决这些问题。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
最新文章
- DNF搬砖最佳宠物搭配指南
- DNF白金徽章变现攻略:如何巧妙出售白金徽章
- 寒潮蓝色预警:近两日最低气温 0℃线南压至江南南部至贵州南部和云南北部一带
- DNA 纳米机器人:可改造人造细胞,推动合成生物学发展
- 新型巨型里德伯原子成为精准量子温度计
- 《生化危机9》重大爆料:里昂确定回归主角,吉尔缺席引热议
- 广东:到 2027 年 绿色低碳循环经济体系基本建成
- 2024 财年美国对外军售额创历史新高:背后的战略与影响
- 离子阱量子计算在近年实现双码纠错
- 这次与肯德基的全新联动,星铁再次硬控玩家热情?
- 新年多城土地市场回温:杭州单价地王纪录 3 个月内两度被打破,民企恢复拿地
- 扎克·克雷格执导新版《生化危机》电影,发行权引多家大公司激烈争夺
- 广东:积极推进煤炭消费控制,全力构建以新能源为主体的新型电力系统
- 广东:到 2027 年,全力构建绿色低碳循环经济体系
- 长三角铁路春运再创佳绩:昨日发送旅客 310.2 万人次
- 海通策略:2025 年政策见效下市场望步入基本面驱动新阶段,结构上科技制造确定性更强
- 《最终幻想14》水晶世界青魔法师职业任务全攻略
- 上海:推出乡村振兴领域优秀博士后创新计划,打造高潜力创新人才‘储备库’
- 春节机票价格跳水至百元,航司退差价政策各异引关注
- 浙江:到 2030 年,LNG 年接收能力达 4250 万吨
- 上海:启动乡村振兴博士后创新计划,打造高潜力人才‘蓄水池’
- 币界网晚讯速递:SHIB币价攀升至0.00002044美元,日内涨幅达2.10%
- 不知火舞《街霸6》惊艳换衣秀,细节之处尽显匠心,玩家为之痴狂
- 中国汽车:奋力争夺超豪华市场入场券