描述
训练专门的自主系统，例如推理大型语言模型、多智能体系统和多模态人工智能助手，需要大量高质量的数据集，这些数据集通常稀缺、在组织内部孤立或过于敏感而无法共享。NVIDIA 的合成数据生成工具围绕 NeMo 数据设计器构建，旨在通过大规模创建多样化的特定领域数据集来填补这一空白。
阅读更多
构建数据集的第一步是配置将驱动生成的模型，使用别名以便于引用和可调的推理参数。从那里开始，可以用现有的真实数据为项目提供种子，以便合成输出保持该数据的模式、分布和特征。下一步定义结构数据集的列，包括由提示和结构化输出驱动的 LLM 生成的列。在扩展到完整数据集之前，可以生成并审查一个小的预览样本，NeMo 数据设计器包括工具来验证生成的代码并使用自动化指标和基于 LLM 的评审者评估整体数据质量。
这些工具涵盖了多个用例。对于自主人工智能，它们生成基于文本的数据以训练和评估推理、规划和采取目标驱动行动的模型。对于对话式人工智能，它们创建对话数据，捕捉特定领域的语言、意图变化和稀有边缘案例，超出稀缺的真实世界转录所提供的内容。对于评估和基准测试，它们构建特定领域的问题-答案数据集，以衡量检索增强生成（RAG）性能，并在同一任务上比较多个模型。对于低资源适应，它们为专有编码语言或代表性不足的语言生成逼真的文本。对于敏感数据，NeMo Safe Synthesizer 创建隐私安全版本的数据，配置旨在满足 HIPAA 和 GDPR 等法规。这些工具还支持合成结构化文档，包括税务表格、法律文件和抵押贷款批准，用于训练模型在结构化数据应用中的表现。
这旨在为构建自主人工智能、对话式人工智能或 RAG 系统的团队提供训练或评估数据，而不必仅依赖稀缺、孤立或敏感的真实世界数据集。定价和包装未在此页面上详细说明；访问通过 NVIDIA NeMo。
- 类别机器学习平台
- 定价模式联系销售
- 部署云端
- 平台网页版
用于自主人工智能的合成数据生成的核心功能
在大规模生成之前配置和预览合成数据集设计
用真实数据为生成提供种子，以保留领域模式
定义自定义架构和带有结构化输出的 LLM 生成列
为对话式人工智能训练生成特定领域的对话数据
构建 QA 基准数据集以进行 RAG 评估和并排模型比较
使用 NeMo Safe Synthesizer 创建敏感数据的隐私安全版本
生成合成结构化文档，如税务表格和法律文件
使用自动化指标和基于 LLM 的评审者验证生成的代码并评估数据集质量
支持低资源和专有语言的文本生成
如何使用 用于自主人工智能的合成数据生成？
访问 NeMo 数据设计器：打开 NVIDIA NeMo 数据设计器以开始合成数据项目。
配置模型：连接并别名将生成数据集的模型，并调整推理参数。
添加种子数据：上传现有的真实数据以为合成输出提供基础和多样性。
定义列：为每一列设置架构、提示和结构化输出。
预览和优化：生成一个小样本，检查结果并调整设计。
生成和评估：扩展到完整数据集，然后使用自动化指标和基于 LLM 的评审者验证它。
用于自主人工智能的合成数据生成的使用案例
- 自主人工智能训练
- 对话式人工智能数据
- RAG 评估
- 隐私安全数据集
