微软和OpenAI合作在Azure上打造超级电脑

微软和OpenAI联手在Azure建立起比美全球第5大的超级电脑。图左为OpenAI执行长Sam Altman，图右为微软执行长Satya Nadella。（图片来源／微软）

微软周二在Build 2020开发者大会上宣布，和AI组织OpenAI联手在Azure建立起比美全球第5大的超级电脑。

这项合作是去年7月微软和OpenAI通用人工智慧（Artificial General Intelligence，AGI）合作计画的结果。微软除了投资OpenAI 10亿美元外，双方也将携手开发全新的Azure AI超级运算技术，让微软成为OpenAI的独家云端供应商，并借重OpenAI训练建立大型AI模型的能力，在Azure上训练与执行各种AI模型，特别是发展能从事多工任务的大规模AI模型。

而训练大规模AI模型需要进阶的超级电脑，微软说，为OpenAI发展的超级电脑是一套包含28.5万CPU核心、1万颗GPU及每台GPU伺服器每秒400 gigabits的网路连线。以其规格和世界五百大超级电脑比较，已经名列全球第5，同时由于架构在Azure上，这台超级电脑还获得其他现代云端的好处，像是部署快速、高可续性及可使用Azure多种服务。

目前世界超级电脑名单上第5名的，是座落于德州进阶运算中心的Dell系统，浮点运算测试速度达23.5 petaflops。至于第一名则为美国能源部旗下橡树岭国家实验室（Oak Ridge National Laboratory）的Summit，採用IBM Power 9 CPU及Nvidia Tesla V100 GPU，浮点运算测试结果为148.6 petaflops。

微软也宣布开发出自有大型AI模型家族，称为微软图灵模型（Microsoft Turing Model），主要用于改善Bing、Office、Dynamic及其他生产力软体的多语言理解能力。今年二月微软将用于自然语言产生的图灵模型释出给研究人员，号称是全球最大的公开AI模型。微软将开源自家图灵模型下及在Azure Machine Learning服务下训练方法，供开发人员取用多种语言模型。

微软还公布新版开源PyTorch深度学习函式库DeepSpeed，可加速大型分散式模型训练速度。新版本会比不使用DeepSpeed的情况下速度快10倍，规模也大15倍。此外，微软也宣布其推理引擎ONNX Runtime支援分散式训练，结合DeepSpeed最佳化，可使模型训练效能较现有版ONNX Runtime提升17倍。