bigscience/bloom

Описание

BLOOM, разработанная BigScience, является авторегрессионной большой языковой моделью (LLM), предназначенной для продвижения и демократизации искусственного интеллекта через открытый код и открытые науки. Выпущенная 11 июля 2022 года, эта модель способна генерировать связный текст на 46 естественных языках и 13 языках программирования, что делает её универсальным инструментом для различных приложений в области обработки естественного языка.

Архитектура BLOOM основана на модели трансформера, модифицированной от Megatron-LM GPT2. Она имеет 176 миллиардов параметров, 70 слоев и 112 голов внимания, что позволяет эффективно обрабатывать и генерировать текст. Модель была обучена на значительном наборе данных объемом 1,6 ТБ предварительно обработанного текста, который включает 350 миллиардов уникальных токенов. Это обширное обучение позволяет BLOOM выполнять задачи генерации текста, включая извлечение информации, ответы на вопросы и резюмирование, даже для задач, для которых она не была явно обучена.

BLOOM предназначена для общественных исследований в области больших языковых моделей, что делает её доступной для исследователей, преподавателей и разработчиков. Её можно легко интегрировать в приложения, используя экосистему Hugging Face, что требует установки transformers и accelerate. Предполагаемыми пользователями модели являются широкая публика, исследователи, студенты и инженеры, среди прочих. Однако важно отметить, что модель не должна использоваться в условиях высокой ответственности или для критического принятия решений, так как она может выдавать результаты, которые выглядят правдоподобно, но могут быть неверными.

Обучение BLOOM проводилось на публичном суперкомпьютере Jean Zay с использованием 384 GPU A100 80GB и финансировалось французским правительством. Влияние на окружающую среду в процессе обучения смягчается за счет использования ядерной энергии, а выделяемое тепло повторно используется для жилых помещений на кампусе. В целом, BLOOM представляет собой значительный шаг вперед в области ИИ, предоставляя мощный инструмент для генерации языка и исследований.

Главное о bigscience/bloom

• Тип модели: языковая модель на основе трансформера

• Параметры: 176B

• Поддерживаемые языки: 46 естественных языков, 13 языков программирования

• Лицензия: RAIL License v1.0

• Дата выпуска: 11 июля 2022 года

• Размер обучающих данных: 1.6TB

• Обучающие токены: 350B уникальных токенов

• Вычислительная инфраструктура: публичный суперкомпьютер Jean Zay

Начало работы с bigscience/bloom

1. 1

   Доступ к странице: посетите сайт Hugging Face для BLOOM.

2. 2

   Загрузить модель: скачайте модель BLOOM с помощью библиотеки transformers от Hugging Face.

3. 3

   Настроить окружение: убедитесь, что transformers и accelerate установлены в вашем окружении.

4. 4

   Интегрировать: используйте модель для задач генерации текста по мере необходимости.

5. 5

   Дополнительно настроить: при желании дополнительно настройте модель для конкретных приложений.

Варианты использования bigscience/bloom

• Генерация текста
• Извлечение информации
• Ответы на вопросы
• Резюмирование
• Языковое исследование

Часто задаваемые вопросы bigscience/bloom

• Что такое BLOOM?

  BLOOM — это многоязычная авторегрессионная большая языковая модель, разработанная BigScience.

• Сколько языков поддерживает BLOOM?

  BLOOM поддерживает 46 естественных языков и 13 языков программирования.

• Каков размер обучающих данных для BLOOM?

  BLOOM была обучена на 1,6 ТБ предварительно обработанного текста.

• Когда была выпущена BLOOM?

  BLOOM была выпущена 11 июля 2022 года.

• Какой тип лицензии у BLOOM?

  BLOOM лицензирована под RAIL License v1.0.

• Кто разработал BLOOM?

  BLOOM была разработана BigScience.

• Какова цель BLOOM?

  BLOOM предназначена для общественных исследований в области больших языковых моделей.

• Можно ли использовать BLOOM для критического принятия решений?

  Нет, BLOOM не следует использовать в условиях высокой ответственности или для критических решений.