Descripción
Hy3 es un sofisticado modelo Mixture-of-Experts (MoE) desarrollado por el equipo Hy de Tencent, con un total de 295 mil millones de parámetros, 21 mil millones de parámetros activos y 3.8 mil millones de parámetros en la capa MTP. Lanzado tras la vista previa de Hy3, el modelo ha sido refinado con comentarios de más de 50 productos y mejorado tras el entrenamiento con datos de alta calidad. Hy3 supera a modelos de tamaño similar y rivaliza con modelos de código abierto de primera línea que tienen de 2 a 5 veces más parámetros.
Leer más
El modelo demuestra ganancias significativas en utilidad en diversas tareas de productividad, incluyendo programación, trabajo de oficina, modelado financiero, diseño frontend y desarrollo de juegos. Es una opción rentable para aquellos que buscan un rendimiento fiable en estas áreas. La arquitectura de Hy3 incluye 80 capas, una capa MTP, 64 cabezales de atención y un tamaño oculto de 4096, soportando una longitud de contexto de 256K y un tamaño de vocabulario de 120,832.
El rendimiento de Hy3 no se captura completamente en los benchmarks públicos, por lo que se realizó una evaluación ciega con 270 expertos, donde obtuvo una puntuación de 2.67 sobre 4, superando a GLM-5.1. El modelo destaca en desarrollo frontend, datos y almacenamiento, y tareas de CI/CD. Se han realizado mejoras en estabilidad, retención de conocimiento y seguimiento de intenciones en múltiples turnos, reduciendo significativamente las tasas de alucinación y errores de sentido común.
Hy3 es de código abierto, con pesos del modelo disponibles en plataformas como Hugging Face, ModelScope, GitCode y CNB. Soporta despliegue con vLLM o SGLang y ofrece un pipeline integral de ajuste fino del modelo. El modelo se publica bajo la Licencia Apache 2.0.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Hy3
295B parámetros totales
Arquitectura Mixture-of-Experts
21B parámetros activos
3.8B parámetros en la capa MTP
80 capas excluyendo MTP
64 cabezales de atención
Longitud de contexto de 256K
Tamaño de vocabulario de 120,832
Código abierto
Soporte para ajuste fino
Primeros pasos con Hy3
Acceder a la página del modelo: Visita la página de Hy3 en Hugging Face
Autenticarse: Inicia sesión en tu cuenta de Hugging Face
Configurar: Establece los parámetros y preferencias del modelo
Enviar indicaciones: Interactúa con el modelo utilizando tu entrada
Ajustar: Ajusta el modelo para tareas específicas
Casos de uso de Hy3
- Asistencia en Programación
- Automatización de Oficina
- Modelado Financiero
- Diseño Frontend
- Desarrollo de Juegos
