Описание
Вдохновленный достижениями в области крупномасштабного моделирования языка, Google DeepMind разработал Gato — единый универсальный агент, предназначенный для работы за пределами текстовых выводов. Gato функционирует как мультимодальная, многозадачная и мультивоплощенная универсальная политика. Одна и та же нейронная сеть с идентичными весами может выполнять разнообразные действия, такие как игра в игры Atari, создание подписей к изображениям, участие в диалогах и манипулирование объектами с помощью реального роботизированного манипулятора. Процесс принятия решений динамически адаптируется на основе предоставленного контекста, определяя, следует ли выводить текст, крутящие моменты суставов, нажатия кнопок или другие формы токенов.
Читать далее
Во время фазы обучения Gato обрабатывает данные из различных задач и модальностей, сериализуя их в плоскую последовательность токенов. Затем эта последовательность пакетируется и обрабатывается трансформерной нейронной сетью, аналогичной тем, что используются в больших языковых моделях. Обучающая функция потерь маскируется, чтобы гарантировать, что Gato фокусируется на прогнозировании действий и текстовых целей. При развертывании Gato формируется начальная последовательность путем токенизации запроса, который может быть демонстрацией. Затем среда предоставляет первое наблюдение, которое также токенизируется и добавляется к этой последовательности. Gato авторегрессивно выбирает вектор действий, по одному токену за раз. Как только все токены, составляющие вектор действий, выбраны в соответствии со спецификацией действий среды, действие декодируется и отправляется в среду. Среда делает шаг, выдавая новое наблюдение, и процесс повторяется. Важно отметить, что модель всегда имеет доступ ко всем предыдущим наблюдениям и действиям в пределах своего контекстного окна из 1024 токенов.
Gato обучается на обширной коллекции наборов данных, которые охватывают опыт агентов как из симулированных, так и из реальных сред, наряду с различными наборами данных естественного языка и изображений. Производительность предварительно обученной модели Gato, измеряемая ее способностью превышать процент экспертных оценок по многочисленным задачам, категоризируется по доменам. Визуализации демонстрируют способность Gato выполнять подписи изображений, участвовать в интерактивных диалогах и управлять роботизированным манипулятором, среди множества других задач, все с одним и тем же набором весов.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Gato Generalist Agent
Мультимодальные возможности
Многозадачная производительность
Мультивоплощенное управление
Архитектура трансформерной нейронной сети
Авторегрессивный выбор действий
Контекстное окно 1024 токена
Обучен на разнообразных наборах данных
Универсальный агент политики
Начало работы с Gato Generalist Agent
Доступ к модели: Получите доступ к универсальному агенту Gato.
Аутентификация: Настройте необходимые учетные данные для аутентификации.
Настройка среды: Настройте целевую среду для взаимодействия.
Интеграция через API: Используйте предоставленные конечные точки API для выполнения задач.
Предоставление запроса: Введите токенизированный запрос или демонстрацию.
Получение наблюдения: Обработайте наблюдения среды.
Выбор действия: Авторегрессивно выбирайте токены действий.
Декодирование и выполнение: Декодируйте выбранные токены в исполняемые действия.
Варианты использования Gato Generalist Agent
- Управление робототехникой
- Подписи к изображениям
- Интерактивный диалог
- Игра в игры
- Мультимодальное понимание
- Общие исследования ИИ
