描述
PEGASUS 是 Google Research 开发的一款最先进的抽象式文本摘要模型，旨在解决理解长篇文本、压缩信息和生成连贯摘要的挑战。该模型基于 Transformer 编码器-解码器架构，该架构因其在处理长序列方面的有效性而备受青睐。
PEGASUS 的独特之处在于其创新的自监督预训练目标，称为“填空句生成”。与通用预训练不同，PEGASUS 被训练来恢复从文档中移除的整个句子。这项具有挑战性的任务迫使模型深入学习语言、世界知识和信息提炼，从而模拟抽象式摘要的要求。这种自监督方法无需人工标注即可创建大量的训练数据，克服了监督学习中常见的瓶颈。
预训练过程涉及从大型网络爬取文档语料库中掩盖使用 ROUGE 指标识别出的“重要”句子。随后，模型在 12 个不同的摘要数据集上进行微调，包括新闻文章、科学论文和法律文件。PEGASUS 在这些数据集上取得了新的最先进成果，同时使用的参数量远少于 T5 等同类模型。
一个关键的发现是 PEGASUS 卓越的样本效率。该模型仅需约 1000 个微调示例即可达到接近最先进的性能，其表现优于使用海量监督数据的强大基线模型。这极大地降低了摘要任务数据收集的成本和工作量。
人工评估进一步验证了 PEGASUS 的能力。人工评估者无法一致地区分 PEGASUS 生成的摘要（即使是经过有限微调的）与人类撰写的摘要。该模型在 XSum 和 CNN/DailyMail 等数据集上展现出类似人类的性能，为低成本应用开辟了众多可能性。该模型还表现出一种基本的“计数”列表项的能力，表明其具有有限的符号推理能力，尽管它不能完美地泛化到更大的数字。
为了促进研究和可复现性，Google Research 已在 GitHub 上发布了 PEGASUS 代码和模型检查点，包括用于适应新摘要数据集的微调脚本。
PEGASUS 文本摘要模型亮点
最先进的抽象式文本摘要
新颖的填空句生成预训练目标
Transformer 编码器-解码器架构
在 12 个不同的摘要数据集上取得最先进的成果
样本效率极高，仅需极少量的微调数据
评估中展现出类似人类的摘要质量
展现出基本的计数和符号推理能力
代码和模型检查点在 GitHub 上开源
可适应新闻、科学论文和法律文件等各种文档类型
与其他模型相比，参数量更少，性能更高
自监督学习减少了对人工标注的依赖
PEGASUS 文本摘要模型入门
访问模型：获取 PEGASUS 模型检查点和代码。
设置环境：使用必要的库和依赖项配置您的开发环境。
通过 API 集成：利用提供的代码将 PEGASUS 集成到您的应用程序中进行摘要。
微调模型：使用提供的微调脚本将 PEGASUS 适配到特定的摘要数据集。
优化性能：通过实验参数和数据集来达到期望的摘要质量。
PEGASUS 文本摘要模型的使用案例
- 新闻摘要
- 文档分析
- 研究论文摘要
- 内容聚合
- 会议纪要
- 法律文件审阅
- 邮件线程精简
- 书籍报告生成
