Описание
K2-Horizon-MoVA-36B-A4B — это сложная модель Mixture-of-Experts, которая включает внимание Mixture-of-Values и предназначена для эффективного выполнения сложных задач. Она является частью семейства K2-Horizon и примечательна своей разреженной архитектурой, что позволяет ей хранить 36 миллиардов параметров, работая при этом с 4 миллиардами на токен. Эта модель была выпущена с открытым доступом к своим контрольным точкам, данным и коду обучения, поддерживая демократизацию искусственного интеллекта через инициативы с открытым исходным кодом и открытой наукой.
Читать далее
Модель достигает результатов класса передовых технологий, особенно выделяясь в агентных и логических тестах. Она превосходит модели с открытыми весами размером около 30 миллиардов и модели MoE до 15 раз больше, а также эффективно конкурирует с закрытыми передовыми моделями. С родным контекстным окном в 524,288 токенов K2-Horizon-MoVA-36B-A4B поддерживает обширную обработку контекста с промежуточных этапов обучения.
Доступны промежуточные контрольные точки, позволяющие исследователям изучать изменения возможностей на разных этапах обучения. Данные и рецепты обучения модели, а также код обучения полностью открыты, что способствует прозрачности и сотрудничеству в исследованиях ИИ.
K2-Horizon-MoVA-36B-A4B проверена с Transformers 5.15.0, PyTorch 2.13.0 и Safetensors 0.8.0. Она поддерживает несколько форматов вызова инструментов, включая JSON, XML и XML-тип, с XML в качестве формата по умолчанию. Модель предназначена для использования с настройками высокой логической нагрузки, обеспечивая оптимальную производительность в различных приложениях.
Модель подходит для множества приложений, включая агентное использование инструментов, использование терминалов, научное кодирование и задачи QA на уровне аспирантуры. Она особенно эффективна в логическом рассуждении с длинным контекстом и поддержании фактической точности, что делает её ценным инструментом для исследователей и разработчиков в сообществе ИИ.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о K2-Horizon-MoVA-36B-A4B
Архитектура Mixture-of-Experts
Внимание Mixture-of-Values
36 миллиардов параметров
4 миллиарда активных параметров
Контрольные точки и данные с открытым исходным кодом
Контекстное окно 512K
Доступны промежуточные контрольные точки
Проверена с Transformers и PyTorch
Начало работы с K2-Horizon-MoVA-36B-A4B
Доступ к странице модели: посетите Hugging Face
Аутентификация: войдите в свою учетную запись
Настройка: установите reasoning_effort на высокий
Отправка запросов: используйте API с рекомендованными настройками
Тонкая настройка: используйте доступные контрольные точки
Варианты использования K2-Horizon-MoVA-36B-A4B
- Агентное использование инструментов
- Использование терминала
- Научное кодирование
- QA на уровне аспирантуры
- Логическое рассуждение с длинным контекстом
