Facebook开源挑战GPT-3的语言模型
OpenAI的文本生成神经网络GPT-3是目前最先进的语言模型之一,使用了1750亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在Meta/Facebook开源了能挑战GPT-3的语言模型Open Pretrained Transformer(OPT-175B),使用了5个公开数据集的800 GB数据进行训练,使用了能比拟GPT-3的1750亿个参数。研究论文发表在预印本网站arXiv上。
时间:2023-08-27 03:36:58
Facebook开源挑战GPT-3的语言模型
OpenAI的文本生成神经网络GPT-3是目前最先进的语言模型之一,使用了1750亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在Meta/Facebook开源了能挑战GPT-3的语言模型Open Pretrained Transformer(OPT-175B),使用了5个公开数据集的800 GB数据进行训练,使用了能比拟GPT-3的1750亿个参数。研究论文发表在预印本网站arXiv上。