Описание
CTRL, условная трансформерная языковая модель (Conditional Transformer Language Model), — это мощная модель ИИ, разработанная Salesforce для управляемой генерации текста. Обладая 1,6 миллиарда параметров, она использует трансформерную архитектуру для создания связного и контекстуально релевантного текста. В отличие от стандартных языковых моделей, ключевое новшество CTRL заключается в ее способности обусловливать вывод конкретными управляющими кодами.
Читать далее
Эти управляющие коды могут определять различные аспекты желаемой генерации, включая предметную область (например, новости, Википедия, отзывы), поддомены, сущности, отношения между сущностями, даты и поведение, специфичное для задачи. Такой гранулированный контроль достигается путем вывода управляющих кодов из естественной структуры, которая сосуществует с необработанным текстом, тем самым сохраняя преимущества обучения без учителя, предлагая при этом более явное руководство процессом генерации.
Модель особенно полезна для исследователей и разработчиков, которым необходимо дообучать генерацию текста для конкретных приложений. Она поддерживает генерацию текста из обученных моделей, с доступными контрольными точками для различных длин последовательностей (256 и 512). Кроме того, она предлагает функцию атрибуции источника, которая вычисляет перплексию заданного запроса в зависимости от каждого кода управления предметной областью, помогая понять специфическое для предметной области понимание модели.
CTRL интегрирована в библиотеку Hugging Face Transformers, что делает ее более доступной для широкого использования. Проект также предоставляет инструменты для преобразования моделей TensorFlow в совместимый с Hugging Face формат PyTorch, облегчая интеграцию. Разработка модели подчеркивает ответственные практики ИИ, учитывая потенциальное злоупотребление и взаимодействие с сообществом через проблемы и запросы на вытягивание в GitHub.
Ключевые возможности включают генерацию текста на основе запросов и управляющих кодов, предоставление атрибуции источника для текста и предложение экспериментальной поддержки инференса в PyTorch. Модель подходит для задач, требующих тонкого и управляемого вывода текста, таких как творческое письмо, создание контента и исследования поведения языковых моделей. Приверженность проекта разработке с открытым исходным кодом и участию сообщества очевидна через его общедоступный репозиторий GitHub и подробную документацию.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Salesforce CTRL Language Model
Управляемая генерация текста на основе управляющих кодов
1,6 миллиарда параметров
Трансформерная архитектура
Поддерживает обусловливание по предметной области, сущностям и задачам
Функция атрибуции источника для перплексии по предметной области
Доступна в форматах TensorFlow и PyTorch
Интеграция с библиотекой Hugging Face Transformers
Контрольные точки модели для различных длин последовательностей (256, 512)
Код для дообучения на пользовательских наборах данных
Экспериментальный инференс на PyTorch
Доступна ветка с пониженным использованием памяти (квантование fp16)
Начало работы с Salesforce CTRL Language Model
Доступ к модели: Клонируйте репозиторий GitHub или используйте библиотеку Hugging Face Transformers.
Настройка среды: Установите TensorFlow 1.14 и fastBPE или PyTorch для инференса PyTorch.
Патч TensorFlow (при использовании TF): Примените предоставленный патч estimator.patch к оценщику TensorFlow.
Загрузка файлов модели: Получите контрольные точки модели по предоставленным ссылкам Google Cloud Storage.
Запуск скрипта генерации: Выполните generation.py с желаемыми запросами и управляющими кодами.
Запуск атрибуции источника: Используйте source_attribution.py для анализа перплексии запроса по различным предметным областям.
Интеграция через API: Используйте Hugging Face Transformers для бесшовной интеграции в приложения.
Варианты использования Salesforce CTRL Language Model
- Управляемая генерация текста
- Создание контента
- Исследования в области ИИ
- Анализ атрибуции источника
- Помощь в творческом письме
- Генерация текста для конкретной предметной области
