Описание
AliceAI-Foundation-80B-A3B-Base — это базовая языковая модель, разработанная Яндексом и размещенная на Hugging Face. Она спроектирована с гибридной архитектурой, включающей слои Mixture of Experts (MoE), и обладает общим количеством 80 миллиардов параметров, из которых 3 миллиарда активны для каждого токена. Модель поддерживает длину контекста до 262,144 токенов, что делает её подходящей для обработки обширных текстовых вводов.
Читать далее
Модель была обучена с нуля, с новособранным учебным корпусом и тщательно подобранной архитектурой и гиперпараметрами. Она особенно сильна в задачах, связанных с фактическими знаниями на русском языке, превосходя более крупные открытые модели в этой области. Эффективность модели подтверждается такими бенчмарками, как WikiWebFacts и HardMultiQA, которые сосредоточены на русскоязычном контексте.
AliceAI-Foundation-80B-A3B-Base — это авторегрессионная языковая модель, находящаяся на стадии предварительного обучения. Она имеет размер скрытого состояния 2048, размер словаря 129,024 и состоит из 48 слоев. Архитектура модели включает 12 блоков из 3 слоев KDA до MoE, за которыми следует 1 слой Gated Attention к MoE.
Возможности модели демонстрируются через различные бенчмарки, где она показывает конкурентоспособные результаты в математике, программировании и логических задачах. Она особенно эффективна в задачах фактических знаний на русском языке, что подтверждается её результатами в бенчмарках WikiWebFacts и HardMultiQA.
AliceAI-Foundation-80B-A3B-Base доступна для использования через библиотеку Transformers с версией 5.16.1. Также её можно развернуть с помощью vLLM, для чего требуется Docker и NVIDIA Container Toolkit для выполнения. Модель открыта для дальнейшей донастройки и адаптации к конкретным задачам, с поддержкой донастройки LoRA, предоставленной в репозитории.
Эта модель в первую очередь предназначена для исследований, экспериментов и дальнейшей разработки. Она не является готовым решением для конечных продуктов и услуг. Пользователям рекомендуется проводить собственные тестирования и внедрять необходимые меры донастройки и контроля перед развертыванием модели в производственных средах.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о AliceAI-Foundation-80B-A3B-Base
80 миллиардов параметров
3 миллиарда активных параметров на токен
Гибридная архитектура с слоями MoE
Поддерживает длину контекста до 262,144 токенов
Сильные результаты в задачах фактических знаний на русском языке
Обучена с нуля
Доступна через Transformers и vLLM
Поддерживает донастройку LoRA
Начало работы с AliceAI-Foundation-80B-A3B-Base
Доступ к странице модели: посетите Hugging Face
Аутентификация: войдите в свою учетную запись
Настройка: установите параметры модели
Отправка запросов: введите свои текстовые запросы
Донастройка: адаптируйте модель к конкретным задачам
Варианты использования AliceAI-Foundation-80B-A3B-Base
- Извлечение фактических знаний
- Решение математических задач
- Помощь в программировании
- Понимание языка
- Исследования и разработки
