Описание
Hy4 Preview — это передовая модель Mixture-of-Experts (MoE), разработанная командой Tencent Hy. Она обладает общим количеством 770 миллиардов параметров, из которых 49 миллиардов активируются на токен. Архитектура модели состоит из 78 слоев, использующих комбинацию плотных FFN и MoE слоев, каждый из которых содержит 256 маршрутизируемых экспертов и одного общего эксперта. Этот дизайн позволяет активировать 8 лучших маршрутизируемых экспертов на токен, что улучшает ее вычислительные возможности.
Читать далее
Модель использует Gated DeepSeek Sparse Attention (Gated DSA) с IndexCache для эффективного повторного использования разреженных индексов между слоями. Ее остаточный путь использует идентичные гиперсвязи (iHC) для улучшения потока информации между слоями. Hy4 Preview масштабируется по размеру модели, длине контекста и объему обучающих данных, что делает ее лидером среди открытых AI моделей.
Hy4 Preview разработана для достижения высоких результатов в различных областях, включая разработку программного обеспечения, где она помогает в понимании, планировании, отладке и верификации долгосрочных задач. В разработке игр она может преобразовать один запрос в играбельный прототип, работая без проблем с игровыми движками. Для офисных и аналитических задач она преобразует неструктурированный контекст в совместимые артефакты, такие как документы и таблицы. В научных исследованиях она предлагает сильные способности к рассуждению и решению проблем.
Модель является открытым исходным кодом и доступна на таких платформах, как Hugging Face, ModelScope, GitCode и CNB. Она поддерживает развертывание с помощью vLLM или SGLang и предлагает комплексный процесс дообучения модели. Hy4 Preview выпущена под лицензией Apache 2.0, что обеспечивает ее доступность и адаптируемость для различных приложений.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Hy4 Preview
Архитектура Mixture-of-Experts
770 миллиардов параметров
Gated DeepSeek Sparse Attention
Идентичные гиперсвязи
Открытый исходный код
Поддержка дообучения
Спекулятивное декодирование
Доступно на Hugging Face
Начало работы с Hy4 Preview
Доступ к странице модели: посетите официальную страницу Hugging Face
Аутентификация: войдите в систему или создайте учетную запись
Настройка: установите параметры модели и окружение
Отправка запросов: взаимодействуйте с моделью с помощью API-вызовов
Дообучение: настройте модель для конкретных задач
Варианты использования Hy4 Preview
- Разработка программного обеспечения
- Разработка игр
- Офисный анализ
- Научные исследования
- AI Исследования












