描述
NVIDIA NeMo 提供强大的合成数据生成 (SDG) 解决方案，专门用于加速代理式 AI 工作流的开发。训练专业的代理式系统，例如推理大型语言模型 (LLM)、多代理系统和多模态 AI 助手，需要海量的高质量数据集。然而，这些数据集通常稀缺、孤立或包含敏感信息，构成重大瓶颈。NVIDIA NeMo 的合成数据工具通过大规模创建多样化、领域特定的数据集来消除这些挑战。
通过 NVIDIA NeMo 生成的合成数据解决了关键问题，例如数据稀缺，即领域特定的真实世界数据有限或不可用。它还通过提供隐私安全的替代方案来解决敏感内部数据带来的安全问题，从而能够无缝共享，不受监管或隐私限制，正如 NeMo Safe Synthesizer 在医疗数据合规性方面符合 HIPAA 和 GDPR 所证明的那样。此外，它还减轻了手动数据收集和标注的高成本和时间投入，这些过程也容易产生偏差。
该平台支持各种 AI 工作负载，包括生成式 AI/LLM 和对话式 AI/NLP。它在创建高质量对话数据方面特别有益，能够捕捉领域特定的语言、意图变化和罕见的边缘情况，以提高对话式 AI 的准确性和适应性。对于评估和基准测试，它能够创建有针对性的数据集，例如领域特定的问答对，以衡量和增强检索增强生成 (RAG) 系统的性能。低资源领域也能从逼真、复杂的合成文本数据中受益，从而提高 AI 模型的推理能力和准确性。
技术实现包括使用 NeMo Data Designer 配置 SDG 模型、连接和定制模型，以及微调推理参数以获得所需的输出质量。用户可以使用现有的真实世界数据集来启动生成过程，以确保合成数据保持特定的模式和分布。定义具有用户定义模式的列允许设计结构化且逼真的数据集。LLM 生成的列可以配置提示和结构化输出。该过程包括预览数据集以进行验证、迭代配置、大规模生成数据以及使用自动化指标和基于 LLM 的裁判来评估数据质量。
NVIDIA NeMo 的合成数据生成能力对于构建能够推理、规划和采取目标驱动行动的自主系统至关重要。通过为税务表格验证、法律文件和抵押贷款审批等应用程序提供高保真合成文档数据集，它支持大规模 AI 模型训练。该平台赋能金融服务和零售等各个行业的企业，通过先进的 AI 应用实现投资回报和创新等目标。
NVIDIA 合成数据生成的核心功能
为代理式 AI 生成合成数据
高质量、领域特定的数据集
加速 AI 代理开发
解决数据稀缺和安全问题
降低数据收集的成本和时间
支持生成式 AI/LLM
增强对话式 AI/NLP
实现有针对性的评估和基准测试
促进低资源领域适应
创建隐私安全的合成数据（符合 HIPAA、GDPR）
设计高保真合成文档数据集
利用 NeMo Data Designer 进行配置
允许使用现有真实世界数据集进行种子填充
支持用户定义的模式以获取结构化数据
包括数据预览和质量评估工具
如何使用 NVIDIA 合成数据生成？
配置模型：在 NeMo Data Designer 中选择和定制用于合成数据生成的模型。
种子数据集：提供现有的真实世界数据来指导生成过程。
设计列：使用用户定义的模式定义合成数据集的结构和内容。
配置 LLM 列：为 LLM 生成的数据使用提示和结构化输出。
预览和迭代：生成小样本以验证和优化配置。
大规模生成：在满足要求后创建完整数据集。
评估质量：使用验证工具确保高质量的合成数据。
NVIDIA 合成数据生成的使用案例
- 代理式 AI 工作流
- 对话式 AI
- 评估和基准测试
- 低资源领域
- 隐私安全数据
- 合成文档
- LLM 训练
- 多代理系统
