Описание
Обучение специализированных агентных систем, таких как модели больших языков, системы с несколькими агентами и мультимодальные ИИ-ассистенты, требует больших наборов данных высокого качества, которые часто дефицитны, изолированы в организации или слишком чувствительны для обмена. Инструменты генерации синтетических данных от NVIDIA, основанные на NeMo Data Designer, предназначены для устранения этого разрыва, создавая разнообразные, специфические для домена наборы данных в больших объемах для любого домена.
Читать далее
Создание набора данных начинается с настройки моделей, которые будут использоваться для генерации, с использованием псевдонимов для удобства ссылки и настраиваемых параметров вывода. После этого проект может быть начат с существующих реальных данных, чтобы синтетический вывод сохранял шаблоны, распределения и характеристики этих данных. Следующий шаг определяет столбцы, которые структурируют набор данных, включая столбцы, сгенерированные LLM, управляемые подсказками и структурированными выводами. Можно сгенерировать небольшой образец для предварительного просмотра и проверки перед масштабированием до полного набора данных, а NeMo Data Designer включает инструменты для проверки сгенерированного кода и оценки общего качества данных с использованием автоматических метрик и судей на основе LLM.
Инструменты охватывают несколько случаев использования. Для агентного ИИ они генерируют текстовые данные для обучения и оценки моделей, которые рассуждают, планируют и принимают целенаправленные действия. Для разговорного ИИ они создают данные диалогов, которые захватывают специфический для домена язык, вариации намерений и редкие крайние случаи, выходящие за рамки того, что предоставляют дефицитные реальные транскрипты. Для оценки и бенчмарков они создают специфические для домена наборы данных вопросов и ответов для измерения производительности генерации с дополнением поиска (RAG) и сравнения нескольких моделей по одной задаче. Для адаптации к языкам с низкими ресурсами они генерируют реалистичный текст для собственных языков программирования или недостаточно представленных языков. Для чувствительных данных NeMo Safe Synthesizer создает безопасные версии данных с конфигурациями, направленными на соблюдение таких регуляций, как HIPAA и GDPR. Инструменты также поддерживают синтетические структурированные документы, включая налоговые формы, юридические документы и одобрения по ипотеке, для обучения моделей на приложениях со структурированными данными.
Это предназначено для команд, создающих агентный ИИ, разговорный ИИ или системы RAG, которым нужны данные для обучения или оценки без необходимости полагаться исключительно на дефицитные, изолированные или чувствительные реальные наборы данных. Цены и упаковка не указаны на этой странице; доступ осуществляется через NVIDIA NeMo.
- КатегорияПлатформы машинного обучения
- Модель ценообразованияЧерез отдел продаж
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Генерация синтетических данных для агентного ИИ
Настройка и предварительный просмотр дизайнов синтетических наборов данных перед генерацией в больших объемах
Начало генерации с реальных данных для сохранения доменных шаблонов
Определение пользовательских схем и столбцов, сгенерированных LLM, с структурированными выводами
Генерация специфических для домена данных диалогов для обучения разговорному ИИ
Создание наборов данных QA для оценки RAG и сравнения моделей бок о бок
Создание безопасных версий чувствительных данных с помощью NeMo Safe Synthesizer
Генерация синтетических структурированных документов, таких как налоговые формы и юридические документы
Проверка сгенерированного кода и оценка качества набора данных с помощью автоматических метрик и судей на основе LLM
Поддержка генерации текста для языков с низкими ресурсами и собственных языков
Как использовать Генерация синтетических данных для агентного ИИ?
Доступ к NeMo Data Designer: Откройте NVIDIA NeMo Data Designer, чтобы начать проект по генерации синтетических данных.
Настройка моделей: Подключите и задайте псевдонимы для моделей, которые будут генерировать ваш набор данных, и настройте параметры вывода.
Добавление исходных данных: Загрузите существующие реальные данные, чтобы обосновать и разнообразить синтетический вывод.
Определение столбцов: Настройте схему, подсказки и структурированные выводы для каждого столбца.
Предварительный просмотр и уточнение: Сгенерируйте небольшой образец, проверьте результаты и скорректируйте дизайн.
Генерация и оценка: Масштабируйте до полного набора данных, затем проверьте его с помощью автоматических метрик и судей на основе LLM.
Варианты использования Генерация синтетических данных для агентного ИИ
- Обучение агентного ИИ
- Данные разговорного ИИ
- Оценка RAG
- Безопасные наборы данных
