Описание
ERNIE-5.5-Flash-Base-BF16 — это сложная разреженная языковая модель Mixture-of-Experts (MoE), разработанная компанией Baidu. Она имеет значительное количество параметров — 280 миллиардов, из которых 14 миллиардов активируются на токен, что делает её высокоэффективной для сложных языковых задач. Модель была предобучена с нуля на обширном наборе данных из 33,5 триллионов токенов, используя контекст обучения до 128 000 токенов. Для дообучения и вывода она поддерживает впечатляющую длину контекста в 1 миллион токенов, что позволяет глубоко понимать и генерировать длинные тексты.
Читать далее
Разработанная с акцентом на эффективность, ERNIE 5.5 Flash пересматривает каждый компонент, начиная от механизмов внимания и остаточных соединений до слоев MoE и выходного узла. Этот целостный подход обеспечивает оптимальную производительность при управлении вычислениями, кэшированием KV и затратами на длинный контекст. Данные для предобучения акцентируют внимание на возможностях, критически важных для продвинутых приложений, таких как понимание кода на уровне репозитория и понимание длинного контекста, позволяя разработчикам строить на основе её общих возможностей для разнообразных случаев использования.
ERNIE-5.5-Flash-Base-BF16 представляет собой контрольную точку в конце предобучения, служащую основой перед любыми этапами промежуточного или постобучения. Это делает её идеальной отправной точкой для исследователей и разработчиков, занимающихся адаптацией к домену, настройкой инструкций и обучением с подкреплением. Модель продемонстрировала сильные результаты в единой оценочной системе, превосходя в бенчмарках, связанных с знаниями, рассуждениями, математикой, кодом, многоязычными задачами и пониманием длинного контекста.
Архитектура включает в себя гибридное внимание MoE 280B-A14B с 43 слоями, включая 1 плотный FFN и 42 слоя Multi-Router Latent MoE. Она содержит 37 слоев сильно сжатого внимания (HCA) и 6 слоев многоуровневого латентного внимания (MLA + DSA) с разреженным вниманием. Модель использует 512 маршрутизируемых экспертов (топ-10) плюс 1 общего эксперта на слой MoE. Инновации, такие как низкоранговое управляемое внимание, внимание виртуальной головы (VHA), многоуровневое латентное MoE, ECHO, гиперсвязи с ограничениями многообразия (mHC) и выходная голова MultiMax, способствуют её продвинутым возможностям и эффективности. Токенизатор поддерживает примерно 200 000 записей и токенизирует числа справа налево группами до трех цифр.
Развертывание поддерживается с помощью SGLang и vLLM, что позволяет производить обслуживание с длиной контекста до 1 048 576 токенов. Модель доступна по лицензии ERNIE 5.5 Flash Base Model License Agreement v1.0.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о ERNIE-5.5-Flash-Base-BF16
280 миллиардов параметров
14 миллиардов активированных параметров на токен
Предобучена на 33,5 триллионах токенов
Контекст обучения до 128 000 токенов
Поддержка дообучения и вывода с контекстом в 1 миллион токенов
Эффективная разреженная архитектура Mixture-of-Experts (MoE)
Гибридное внимание MoE с 43 слоями
37 слоев сильно сжатого внимания (HCA)
6 слоев многоуровневого латентного внимания (MLA + DSA)
512 маршрутизируемых экспертов (топ-10) плюс 1 общий эксперт на слой MoE
Низкоранговое управляемое внимание и внимание виртуальной головы (VHA)
Многоуровневое латентное MoE для точного выбора экспертов
ECHO для многогранной потери и спекулятивного декодирования
Гиперсвязи с ограничениями многообразия (mHC) для распространения сигнала
Выходная голова MultiMax для уточненного распределения словаря
Приблизительно 200 000-записный токенизатор BPE
Поддержка SGLang и vLLM для производственного обслуживания
Начало работы с ERNIE-5.5-Flash-Base-BF16
Доступ к странице модели: Перейдите на страницу ERNIE-5.5-Flash-Base-BF16 на Hugging Face.
Изучите файлы: Просмотрите файлы модели и документацию, доступные на странице.
Скачайте модель: Скачайте контрольную точку модели ERNIE-5.5-Flash-Base-BF16.
Установите vLLM и плагин: Установите vLLM и плагин ERNIE 5.5 для развертывания.
Запустите сервер: Используйте SGLang или vLLM для запуска сервера модели.
Отправьте запросы: Отправьте запросы на конечную точку завершений, используя такие инструменты, как curl, для вывода.
Варианты использования ERNIE-5.5-Flash-Base-BF16
- Генерация текста
- Адаптация к домену
- Настройка инструкций
- Исследования в области обучения с подкреплением
- Понимание кода
- Понимание длинного контекста
- Многоязычные приложения
- Задачи рассуждения
- Агентные приложения









