描述
UL2 20B 代表了语言模型预训练的重大进步，提供了一个统一的框架，可提高在各种任务和设置下的性能。该开源模型由 Google Research 开发，解决了现有范式的一些局限性，这些范式通常在微调或少样本上下文学习方面表现出色，但在另一方面却表现不佳。
传统的语言模型通常分为两类：自回归的仅解码器架构（如 GPT-3），用于预测下一个词；以及基于跨度损坏的编码器-解码器架构（如 T5），用于恢复被掩码的文本。虽然自回归模型擅长开放式生成和基于提示的学习，但它们在微调任务上的表现可能不佳。相反，类似 T5 的模型在监督微调方面表现良好，但在少样本场景中的效果较差。UL2 通过统一这些方法来弥合这一差距。
UL2 的核心创新在于其新颖的预训练范式——统一语言学习器 (UL2)。该框架将不同的训练目标构建为去噪任务，模型在此过程中学习重建输入文本中缺失的子序列。在预训练期间，UL2 采用独特的混合去噪器，从具有不同配置的各种目标中进行采样。这种方法使模型能够同时受益于多种训练策略的优势，从而减轻了各自的弱点。
UL2 的混合去噪器包括三个主要任务：R-denoising（标准跨度损坏）、X-denoising（极端跨度损坏）和 S-denoising（顺序 PrefixLM）。通过根据用户指定的比例从这些任务中进行采样，并在输入中附加一个范式标记（例如 [R]、[X]、[S]）来指示任务，UL2 训练了一个更通用、更鲁棒的语言模型。这种统一的方法提高了在生成、语言理解、检索、长文本理解和问答方面的性能。
UL2 20B 模型拥有 200 亿个参数，在少样本提示和思维链 (CoT) 推理方面展现出卓越的能力。在 1-shot 摘要（XSUM）等任务上，其性能优于 PaLM 和 T5 等其他最先进模型，取得了更高的 ROUGE 分数。此外，UL2 20B 使思维链提示和推理能够以可访问的规模进行，从而使更广泛的研究社区能够使用先进的推理技术。UL2 20B 检查点的公开发布旨在加速机器学习社区开发更好语言模型的进展。
UL2 20B亮点
统一语言学习范式
混合去噪器预训练目标
支持 R-denoising、X-denoising 和 S-denoising 任务
提高微调任务的性能
增强少样本上下文学习能力
在开放式生成方面表现出色
在语言理解方面表现强劲
对检索任务有效
具备长文本理解能力
有助于问答任务
公开发布的 200 亿参数模型检查点
支持思维链 (CoT) 提示
以可访问的规模促进推理
UL2 20B入门
访问模型：获取 UL2 20B 模型检查点。
设置环境：配置必要的库和基础设施。
通过 API 集成：加载模型并准备输入数据。
定义任务：指定所需的语言任务（例如，摘要、问答）。
运行推理：通过模型处理输入数据。
评估结果：分析模型输出以评估性能。
UL2 20B的使用案例
- 少样本学习
- 文本生成
- 语言理解
- 问答
- 摘要
- 推理任务
- 信息检索
