描述
Chinchilla 是来自 Google DeepMind 的一个 700 亿参数的语言模型，在 2022 年 4 月的论文 "An empirical analysis of compute-optimal large language model training" 中介绍。它的构建旨在测试一个特定的发现：当时许多大型语言模型对于其训练计算预算来说过于庞大，并且在数据上训练不足。
阅读更多
DeepMind 训练了不同大小和标记数量的模型，以实证估计在固定计算预算下模型大小与训练数据之间的最佳权衡。研究发现，对于训练 Gopher（280 亿参数）所使用的计算，训练一个小 4 倍、数据量大 4 倍的模型会表现得更好。Chinchilla 以 700 亿参数训练于 1.3 万亿个标记，直接测试了这一点：它使用与 Gopher 相同的训练计算，但参数数量远少于 Gopher。
结果显示，Chinchilla 在几乎所有测量的基准上都超越了 Gopher、GPT-3 和 Megatron-Turing NLG，包括用于问答的 TriviaQA、用于常识推理的 HellaSwag、PIQA、Winogrande 和 BoolQ、用于阅读理解的 LAMBADA，以及用于一般知识的 MMLU，尽管它的参数数量为 700 亿，而 Gopher 为 280 亿。由于 Chinchilla 更小，因此在推理时运行成本和速度也比 Gopher 更低，尽管两个模型的训练成本相同。DeepMind 后来指出，其缩放方法预测了一个最佳模型，参数为 1400 亿，训练于 3 万亿个标记，适用于用于训练 PaLM 的计算预算，PaLM 是在 Chinchilla 之后发布的一个 5400 亿参数的模型。
该论文将此框架视为该领域的更广泛教训：当时的主流方法是将训练数据大致固定在约 3000 亿个标记，同时增加参数数量，这一趋势在 Gopher 和 5300 亿参数的 Megatron-Turing NLG 等模型中可见。DeepMind 的结果认为，训练计算应该在模型大小和数据量之间更均匀地分配，因为变换器的训练成本是由这两个因素共同驱动的，而不仅仅是参数数量。
Chinchilla 针对的是计划进行大型语言模型训练的 AI 研究人员和从业者，他们需要在给定的计算预算下权衡模型大小与训练数据量，而不是针对寻找聊天产品的最终用户。它通过 DeepMind 的发布帖子和论文进行文档记录，而不是作为具有公共 API 或可下载权重的产品提供，其数据缩放方法也为后来的大型语言模型如何平衡大小与训练数据提供了参考。
- 类别AI 模型与大语言模型
Chinchilla亮点
700 亿参数的变换器，训练于 1.3 万亿个标记
使用与 DeepMind 更大的 280 亿参数 Gopher 模型相同的计算预算进行训练
在大多数测试的基准上超越 Gopher、GPT-3 和 Megatron-Turing NLG
在问答（TriviaQA）、常识推理（HellaSwag、PIQA、Winogrande、BoolQ）、阅读理解（LAMBADA）和一般知识（MMLU）上进行评估
推理时间和内存成本低于使用等效计算训练的大型模型
引入了一种实证方法来预测计算最优的模型大小和标记数量
Chinchilla入门
阅读发布帖子：从 DeepMind 关于计算最优大型语言模型训练的论文开始。
审查缩放方法：研究 DeepMind 如何估计模型大小与标记数量之间的最佳权衡。
比较基准结果：检查 Chinchilla 与 Gopher、GPT-3 和 Megatron-Turing NLG 的得分。
应用缩放法则：使用计算最优方法估计给定训练预算的模型大小和标记数量。
Chinchilla的使用案例
- 计算最优训练
- 模型基准测试
- 高效推理
