描述
Gopher 是来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,是该团队训练的模型家族中最大的,参数范围从 4400 万到 2800 亿。它于 2021 年 12 月推出,并伴随两篇论文发布:一篇关于语言模型的伦理和社会风险,另一篇提出了 RETRO,一种增强检索的训练架构。
阅读更多
DeepMind 训练了这一模型家族,以研究增加规模在何种情况下有助于语言模型的性能,何种情况下则没有。与之前的工作相比,Gopher 在大规模多任务语言理解(MMLU)基准测试中显著接近人类专家的表现,研究显示在阅读理解、事实核查和识别有毒语言等任务上,规模带来了性能提升。然而,规模并未在逻辑推理和常识任务上显著改善性能。
除了基准分数,DeepMind 还通过直接互动探索了 Gopher。当以对话格式提示时,该模型有时能够以令人惊讶的连贯性和正确的引用讨论细胞生物学等主题,尽管没有进行对话特定的微调。研究还记录了在不同模型规模中持续存在的失败模式:重复自身、反映刻板偏见以及以不当的自信陈述错误信息的倾向。
发布的伴随论文建立了语言模型的伦理和社会风险分类法,深入涵盖了六个主题领域和 21 种风险,旨在为评估和减轻这些问题提供基础。第二篇伴随论文介绍了 RETRO,该架构在生成过程中查询文本段落,降低了训练能耗,并使输出能够追溯到源段落,同时以更少的参数匹配更大标准变换器的性能。
Gopher 旨在为研究语言模型规模、评估和安全性的 AI 研究人员提供支持。它是通过 DeepMind 的博客文章和论文记录的研究发布,而不是具有公共 API 或可下载权重的产品,DeepMind 后来将 Gopher 的训练计算成本作为开发其更高效数据继任者 Chinchilla 的参考点。
- 类别AI 模型与大语言模型
- 部署云端
- 平台网页版
Gopher亮点
2800 亿参数的变换器语言模型,属于从 4400 万到 2800 亿参数的家族
在大规模多任务语言理解(MMLU)基准测试中提升性能
在阅读理解、事实核查和有毒语言识别等基准测试中进行评估
能够在没有对话特定微调的情况下,持续进行连贯的、引用的技术主题对话
记录了不同模型规模中的失败模式:重复、刻板偏见和自信地陈述错误信息
与语言模型的伦理和社会风险分类法一起发布,涵盖六个主题中的 21 种风险
与 RETRO 伴随发布,RETRO 是一种具有更低训练能耗的增强检索架构
Gopher入门
阅读发布文章:首先阅读 DeepMind 的博客文章,介绍 Gopher 及其两篇伴随论文。
查看基准结果:检查 Gopher 在 MMLU、阅读理解和有毒语言任务上的得分,与家族中较小的模型进行比较。
阅读风险分类法:查看伴随论文,了解记录的失败模式及其伦理和社会风险。
与 RETRO 进行比较:阅读与 Gopher 一起发布的增强检索架构的相关内容。
Gopher的使用案例
- 模型规模研究
- 语言模型风险评估
- 增强检索建模








