Описание
ERNIE-5.5-Flash-Base — это сложная модель генерации текста, разработанная компанией Baidu и доступная на Hugging Face. Это эффективная разреженная языковая модель Mixture-of-Experts (MoE), содержащая 280 миллиардов параметров, из которых 14 миллиардов активируются на токен. Модель была предварительно обучена с нуля на обширном наборе данных из 33,5 триллионов токенов, используя контекст обучения до 128K. Для дообучения и вывода она поддерживает впечатляющую длину контекста в 1 миллион токенов.
Читать далее
Разработанная с акцентом на эффективность, ERNIE 5.5 Flash пересматривает каждый компонент, начиная от механизмов внимания и остаточных соединений до слоев MoE и выходного узла. Этот целостный подход учитывает активированные вычисления, кэш KV и затраты на длинный контекст как часть интегрированного дизайна. Данные для предварительного обучения подчеркивают возможности, которые сложно развить после обучения, такие как понимание кода на уровне репозитория и понимание длинного контекста. Система обучения была совместно спроектирована с архитектурой для обеспечения эффективного масштабирования.
ERNIE-5.5-Flash-Base представляет собой контрольную точку в конце предварительного обучения, что делает ее идеальной основой для разработчиков. Она позволяет адаптировать модель к домену, настраивать инструкции и проводить исследования в области обучения с подкреплением. Модель демонстрирует сильные результаты в рамках единой оценки, охватывающей знания, рассуждения, математику, код, многоязычные задачи и бенчмарки длинного контекста. Ее производительность оценивается по сравнению с другими крупными моделями, такими как DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base, все они оценивались в одинаковых условиях.
Архитектура включает в себя гибридное внимание MoE с 280B-A14B и 43 слоя, включая 1 плотный FFN и 42 слоя Multi-Router Latent MoE. Она содержит 37 слоев сильно сжатого внимания (HCA) и 6 слоев многоуровневого латентного внимания с разреженным вниманием (MLA + DSA). Модель использует 512 маршрутизируемых экспертов (топ-10) плюс 1 общий эксперт на слой MoE. Ключевые инновации включают гибридное внимание MLA + HCA с размерами голов, специфичными для слоя, внимание с низким рангом и виртуальное внимание (VHA), многоуровневый латентный MoE, ECHO для предсказания будущих токенов, гиперсвязи с ограничениями многообразия (mHC) и выходной узел MultiMax. Токенизатор использует ≈200K-входной BPE токенизатор, который токенизирует числа справа налево группами до трех цифр.
Развертывание ERNIE-5.5-Flash-Base поддерживается с помощью SGLang и vLLM, что позволяет производить обслуживание с длиной контекста до 1,048,576 токенов для вывода длинного контекста. Модель предоставляется по лицензии ERNIE 5.5 Flash Base Model License Agreement v1.0, авторские права принадлежат Baidu.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о ERNIE-5.5-Flash-Base
280 миллиардов параметров с 14 миллиардами активированных на токен
Предварительно обучена на 33,5 триллионах токенов
Поддерживает контекст в 1 миллион токенов для дообучения и вывода
Эффективная разреженная архитектура Mixture-of-Experts (MoE)
Гибридное внимание MLA + HCA с размерами голов, специфичными для слоя
Внимание с низким рангом и виртуальное внимание (VHA)
Многоуровневый латентный MoE с 512 маршрутизируемыми экспертами и 1 общим экспертом
ECHO для многогранной потери и спекулятивного декодирования
Гиперсвязи с ограничениями многообразия (mHC) для распространения сигнала
Выходной узел MultiMax для уточненного распределения словаря
≈200K-входной BPE токенизатор с токенизацией чисел справа налево
Поддерживает развертывание с SGLang и vLLM
Сильная производительность по бенчмаркам знаний, рассуждений, математики, кода, многоязычных задач и длинного контекста
Доступны веса с точностью FP8 и BF16
Начало работы с ERNIE-5.5-Flash-Base
Доступ к модели: Перейдите на страницу ERNIE-5.5-Flash-Base на Hugging Face.
Скачать модель: Выберите между точностью FP8 (safetensors) или BF16 (safetensors) для загрузки.
Установить инструменты развертывания: Установите vLLM и плагин ERNIE 5.5 или используйте официальный предустановленный образ Docker SGLang.
Запустить сервер: Запустите сервер vLLM или SGLang для хостинга модели.
Отправить запросы: Используйте curl или другие API-клиенты для отправки запросов к конечной точке завершений для генерации текста.
Дообучить модель: Используйте предварительно обученную контрольную точку для адаптации к домену, настройки инструкций или исследований в области обучения с подкреплением.
Варианты использования ERNIE-5.5-Flash-Base
- Генерация текста
- Адаптация к домену
- Настройка инструкций
- Исследования в области обучения с подкреплением
- Генерация и понимание кода
- Понимание длинного контекста
- Многоязычные приложения
- Задачи на рассуждение
