Описание
Hy3 — это сложная модель Mixture-of-Experts (MoE), разработанная командой Tencent Hy, с 295 миллиардами параметров, из которых 21 миллиард активных и 3.8 миллиарда параметров слоя MTP. Модель была запущена после предварительного просмотра Hy3 и была доработана с учетом отзывов более 50 продуктов, а также улучшена после обучения с использованием высококачественных данных. Hy3 превосходит модели аналогичного размера и конкурирует с флагманскими моделями с открытым исходным кодом, имея от 2 до 5 раз больше параметров.
Читать далее
Модель демонстрирует значительные улучшения в различных продуктивных задачах, включая программирование, офисную работу, финансовое моделирование, проектирование интерфейсов и разработку игр. Это экономически эффективный вариант для тех, кто ищет надежную производительность в этих областях. Архитектура Hy3 включает 80 слоев, один слой MTP, 64 головы внимания и скрытый размер 4096, поддерживая длину контекста 256K и размер словаря 120832.
Производительность Hy3 не полностью отражена в публичных бенчмарках, поэтому была проведена слепая оценка с участием 270 экспертов, в которой модель набрала 2.67 из 4, превзойдя GLM-5.1. Модель отлично справляется с задачами разработки интерфейсов, работы с данными и хранения, а также CI/CD. Были внесены улучшения в стабильность, сохранение знаний и отслеживание намерений в многократных взаимодействиях, что значительно снизило уровень галлюцинаций и ошибок здравого смысла.
Hy3 имеет открытый исходный код, и веса модели доступны на таких платформах, как Hugging Face, ModelScope, GitCode и CNB. Она поддерживает развертывание с использованием vLLM или SGLang и предлагает комплексный конвейер дообучения модели. Модель выпущена под лицензией Apache License 2.0.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Hy3
295B общих параметров
Архитектура Mixture-of-Experts
21B активных параметров
3.8B параметров слоя MTP
80 слоев, исключая MTP
64 головы внимания
Длина контекста 256K
Размер словаря 120832
С открытым исходным кодом
Поддержка дообучения
Начало работы с Hy3
Доступ к странице модели: посетите страницу Hy3 на Hugging Face
Аутентификация: войдите в свою учетную запись Hugging Face
Настройка: установите параметры и предпочтения модели
Отправка запросов: взаимодействуйте с моделью, используя ваш ввод
Дообучение: настройте модель для конкретных задач
Варианты использования Hy3
- Помощь в программировании
- Автоматизация офисных процессов
- Финансовое моделирование
- Проектирование интерфейсов
- Разработка игр
