Beschreibung
Das Training spezialisierter agentischer Systeme, wie z.B. schlussfolgernde große Sprachmodelle, Multi-Agenten-Systeme und multimodale KI-Assistenten, erfordert große, qualitativ hochwertige Datensätze, die oft rar, innerhalb einer Organisation isoliert oder zu sensibel zum Teilen sind. NVIDIAs Werkzeuge zur Generierung synthetischer Daten, die auf NeMo Data Designer basieren, sind darauf ausgelegt, diese Lücke zu schließen, indem sie vielfältige, domänenspezifische Datensätze in großem Maßstab für jede Domäne erstellen.
Weiterlesen
Der Aufbau eines Datensatzes beginnt mit der Konfiguration der Modelle, die die Generierung antreiben, wobei Aliase für eine einfache Referenz und anpassbare Inferenzparameter verwendet werden. Von dort aus kann ein Projekt mit vorhandenen realen Daten angestoßen werden, sodass die synthetische Ausgabe die Muster, Verteilungen und Merkmale dieser Daten beibehält. Der nächste Schritt definiert die Spalten, die den Datensatz strukturieren, einschließlich von LLM-generierten Spalten, die durch Eingabeaufforderungen und strukturierte Ausgaben gesteuert werden. Eine kleine Vorschauprobe kann generiert und überprüft werden, bevor auf einen vollständigen Datensatz hochskaliert wird, und NeMo Data Designer enthält Werkzeuge zur Validierung des generierten Codes und zur Bewertung der Gesamtqualität der Daten mithilfe automatisierter Metriken und LLM-basierter Richter.
Die Werkzeuge decken mehrere Anwendungsfälle ab. Für agentische KI generieren sie textbasierte Daten, um Modelle zu trainieren und zu evaluieren, die schlussfolgern, planen und zielgerichtete Aktionen durchführen. Für konversationale KI erstellen sie Dialogdaten, die domänenspezifische Sprache, Variationen der Absicht und seltene Randfälle erfassen, die über das hinausgehen, was knappe reale Transkripte bieten. Für Evaluierungen und Benchmarks erstellen sie domänenspezifische Frage-Antwort-Datensätze, um die Leistung der retrieval-augmented generation (RAG) zu messen und mehrere Modelle bei derselben Aufgabe zu vergleichen. Für die Anpassung an ressourcenarme Sprachen generieren sie realistische Texte für proprietäre Programmiersprachen oder unterrepräsentierte Sprachen. Für sensible Daten erstellt der NeMo Safe Synthesizer datenschutzsichere Versionen von Daten mit Konfigurationen, die auf Vorschriften wie HIPAA und GDPR abzielen. Die Werkzeuge unterstützen auch synthetische strukturierte Dokumente, einschließlich Steuerformulare, rechtliche Dokumente und Hypothekengenehmigungen, um Modelle für strukturierte Datenanwendungen zu trainieren.
Dies richtet sich an Teams, die agentische KI, konversationale KI oder RAG-Systeme entwickeln und Trainings- oder Evaluierungsdaten benötigen, ohne sich ausschließlich auf knappe, isolierte oder sensible reale Datensätze zu verlassen. Preise und Pakete werden auf dieser Seite nicht detailliert; der Zugang erfolgt über NVIDIA NeMo.
- KategorieMachine-Learning-Plattformen
- PreismodellVertrieb kontaktieren
- BereitstellungCloud
- PlattformenWeb
Generierung synthetischer Daten für agentische KI's Kernfunktionen
Konfigurieren und Vorschau von Designs synthetischer Datensätze, bevor sie in großem Maßstab generiert werden
Generierung mit realen Daten anstoßen, um domänenspezifische Muster zu bewahren
Definieren von benutzerdefinierten Schemata und LLM-generierten Spalten mit strukturierten Ausgaben
Generieren von domänenspezifischen Dialogdaten für das Training konversationaler KI
Erstellen von QA-Benchmark-Datensätzen für die RAG-Evaluierung und den Vergleich mehrerer Modelle nebeneinander
Erstellen von datenschutzsicheren Versionen sensibler Daten mit NeMo Safe Synthesizer
Generieren synthetischer strukturierter Dokumente wie Steuerformulare und rechtliche Dokumente
Validieren des generierten Codes und Bewerten der Datensatzqualität mit automatisierten Metriken und LLM-basierten Richtern
Unterstützen der Textgenerierung für ressourcenarme und proprietäre Sprachen
Wie verwendet man Generierung synthetischer Daten für agentische KI?
Zugriff auf NeMo Data Designer: Öffnen Sie NVIDIA NeMo Data Designer, um ein Projekt zur synthetischen Datengenerierung zu starten.
Modelle konfigurieren: Verbinden und benennen Sie die Modelle, die Ihren Datensatz generieren werden, und passen Sie die Inferenzparameter an.
Seed-Daten hinzufügen: Laden Sie vorhandene reale Daten hoch, um die synthetische Ausgabe zu verankern und zu diversifizieren.
Spalten definieren: Richten Sie das Schema, Eingabeaufforderungen und strukturierte Ausgaben für jede Spalte ein.
Vorschau und Verfeinerung: Generieren Sie eine kleine Probe, überprüfen Sie die Ergebnisse und passen Sie das Design an.
Generieren und bewerten: Skalieren Sie auf einen vollständigen Datensatz und validieren Sie ihn dann mit automatisierten Metriken und LLM-basierten Richtern.
Generierung synthetischer Daten für agentische KI's Anwendungsfälle
- Training agentischer KI
- Daten für konversationale KI
- RAG-Evaluierung
- Datenschutzsichere Datensätze
