微软发布史上最大Transformer模型_工作流管理_工作流软件_深圳市和丰软件技术有限公司【知名】

13544009511
我们做过什么

微软发布史上最大Transformer模型

发布日期:2021-01-10 浏览次数:

BERT和GPT-2之类的深度学习语言模型(language model, LM)有数十亿的参数,互联网上几乎所有的文本都已经参与了该模型的训练,它们提升了几乎所有自然语言处理(NLP)任务的技术水平,包括问题解答、对话机器人和文档理解等。

更好的自然语言生成模型可以在多种应用程序中实现自如的转化,例如协助作者撰写内容,汇总一长段文本来节省时间,或改善自动客服助理的用户体验。基于使用更大自然语言模型可以带来更好结果的趋势,微软推出了Turing自然语言生成(T-NLG)模型,这是有史以来规模最大的模型,其参数有170亿,在各种语言模型任务的基准上均优于最新技术,并且在应用于许多实际任务(包括概括和问题解答)时也很出色。这项工作得益于在DeepSpeed库(与PyTorch兼容)的ZeRO优化器方面的突破。

 

我们正在向学术界的一小部分用户发布T-NLG的演示视频,包括生成自由格式,问题解答和概要功能,以进行初步测试和反馈。

粤公网安备 44030502004911号