説明
推論を行う大規模言語モデルやマルチエージェントシステム、マルチモーダルAIアシスタントなどの専門的なエージェントシステムをトレーニングするには、大規模で高品質なデータセットが必要ですが、これらはしばしば不足していたり、組織内で孤立していたり、共有するには機密性が高すぎたりします。NVIDIAの合成データ生成ツールは、NeMo Data Designerを基盤に、あらゆるドメインに対して多様でドメイン特化型のデータセットを大規模に作成することで、そのギャップを埋めるように設計されています。
続きを読む
データセットの構築は、生成を行うモデルを設定することから始まり、簡単に参照できるエイリアスと調整可能な推論パラメータを使用します。そこから、合成出力が実データのパターン、分布、特性を保持するように、既存の実世界データでプロジェクトをシードすることができます。次のステップでは、プロンプトや構造化された出力に基づいてLLM生成された列を含む、データセットを構成する列を定義します。小さなプレビューサンプルを生成してレビューし、フルデータセットにスケールアップする前に結果を確認できます。また、NeMo Data Designerには、生成されたコードを検証し、自動化されたメトリクスやLLMベースの審査員を使用して全体的なデータ品質を評価するツールが含まれています。
これらのツールは、いくつかのユースケースをカバーしています。エージェントAIの場合、推論、計画、目標駆動型の行動を行うモデルをトレーニングおよび評価するためのテキストベースのデータを生成します。会話型AIの場合、ドメイン特化型の言語、意図のバリエーション、稀なエッジケースを捉えた対話データを作成します。評価とベンチマークのために、リトリーバル拡張生成（RAG）パフォーマンスを測定し、同じタスクで複数のモデルを比較するためのドメイン特化型の質問応答データセットを構築します。リソースが限られた適応のために、独自のコーディング言語や過小評価された言語のための現実的なテキストを生成します。機密データの場合、NeMo Safe Synthesizerは、HIPAAやGDPRなどの規制に対応した構成でプライバシーに配慮したデータのバージョンを作成します。これらのツールは、構造化データアプリケーションのトレーニングのために、税務フォーム、法的文書、住宅ローン承認などの合成構造化文書もサポートします。
これは、エージェントAI、会話型AI、またはRAGシステムを構築するチームを対象としており、希少で孤立した、または機密性の高い実世界のデータセットに依存せずにトレーニングや評価データを必要としています。このページでは価格やパッケージの詳細は記載されておらず、NVIDIA NeMoを通じてアクセスできます。
- カテゴリー機械学習プラットフォーム
- 料金モデル営業に問い合わせ
- デプロイクラウド
- プラットフォームWeb
エージェントAIのための合成データ生成の主要機能
合成データセット設計を生成する前に構成しプレビューする
実世界データで生成をシードし、ドメインパターンを保持する
カスタムスキーマと構造化出力を持つLLM生成列を定義する
会話型AIトレーニングのためのドメイン特化型対話データを生成する
RAG評価とモデルの並列比較のためのQAベンチマークデータセットを構築する
NeMo Safe Synthesizerを使用して機密データのプライバシーに配慮したバージョンを作成する
税務フォームや法的文書などの合成構造化文書を生成する
自動化されたメトリクスとLLMベースの審査員を使用して生成されたコードを検証し、データセットの品質を評価する
リソースが限られた言語や独自の言語のテキスト生成をサポートする
エージェントAIのための合成データ生成の使い方は？
NeMo Data Designerにアクセス: NVIDIA NeMo Data Designerを開いて合成データプロジェクトを開始します。
モデルを構成: データセットを生成するモデルを接続しエイリアスを付け、推論パラメータを調整します。
シードデータを追加: 既存の実世界データをアップロードして合成出力を基盤にし、多様化します。
列を定義: 各列のスキーマ、プロンプト、構造化出力を設定します。
プレビューと調整: 小さなサンプルを生成し、結果を確認してデザインを調整します。
生成と評価: フルデータセットにスケールアップし、自動化されたメトリクスとLLMベースの審査員で検証します。
エージェントAIのための合成データ生成の使用例
- エージェントAIトレーニング
- 会話型AIデータ
- RAG評価
- プライバシーに配慮したデータセット
