描述
MASS，即 Masked Sequence to Sequence Pre-training（掩码序列到序列预训练），是微软为语言生成任务开发的一种新颖方法。该方法通过在编码器中策略性地掩盖句子的一部分，然后让解码器预测该掩盖的片段来工作。这种核心机制使得 MASS 能够有效地应用于广泛的序列到序列问题。
阅读更多
MASS 的多功能性体现在其在跨语言任务（如神经机器翻译 (NMT)）和单语任务（如文本摘要）中的成功应用。该项目提供了一个强大的代码库，主要基于 Fairseq 框架构建，这有助于实现和试验这些多样化的语言生成应用。
关键功能包括无监督 NMT，即仅使用单语数据训练模型；以及监督 NMT，它利用双语数据来增强翻译质量。该框架还支持文本摘要和对话响应生成。该项目为各种语言对提供了预训练和微调模型，以及数据准备、预训练和微调过程的详细说明。
MASS 的目标受众包括从事自然语言处理研究和开发的工程师，特别是那些专注于序列到序列建模的研究人员。其价值主张在于其有效的预训练策略，该策略显著提高了下游语言生成任务的性能，为构建先进的 NLP 系统提供了坚实的基础。该项目在 GitHub 上的开源性质进一步促进了该领域的协作和创新。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台Linux, Windows, macOS
MASS的核心功能
用于语言生成的掩码序列到序列预训练
支持无监督神经机器翻译 (NMT)
支持监督神经机器翻译 (NMT)
支持文本摘要
支持对话响应生成
基于 Fairseq 框架构建
提供预训练和微调模型
包含数据处理、预训练和微调的代码
提供跨语言和单语任务的实现
掩盖编码器中的句子片段供解码器预测
MASS入门
访问模型：从 GitHub 克隆 MASS 存储库。
设置环境：安装所需的依赖项，包括 Python、NumPy、PyTorch、fastBPE、Moses 和 Apex。
准备数据：根据提供的脚本下载和处理特定任务（如 NMT 或摘要）的数据集。
预训练模型：使用准备好的数据和指定的超参数执行预训练脚本。
微调模型：使用特定任务的数据和微调脚本将预训练模型适配到下游任务。
推理：利用微调后的模型对新数据生成输出。
MASS的使用案例
- 机器翻译
- 文本摘要
- 响应生成
- 跨语言迁移
- 低资源 NLP
