Descripción
Hy4 Preview es un modelo de Mixture-of-Experts (MoE) de vanguardia desarrollado por el equipo Hy de Tencent. Posee un total de 770 mil millones de parámetros, con 49 mil millones activados por token. La arquitectura del modelo consta de 78 capas, utilizando una combinación de capas FFN densas y capas MoE, cada una conteniendo 256 expertos enrutados y un experto compartido. Este diseño permite la activación de los 8 mejores expertos enrutados por token, mejorando sus capacidades de procesamiento.
Leer más
El modelo emplea Gated DeepSeek Sparse Attention (Gated DSA) con IndexCache para un uso eficiente del índice disperso entre capas. Su vía residual utiliza Hyper-Conexiones de identidad (iHC) para mejorar el flujo de información entre capas. Hy4 Preview está escalado en términos de tamaño del modelo, longitud de contexto y datos de entrenamiento, lo que lo convierte en un líder en modelos de IA de código abierto.
Hy4 Preview está diseñado para sobresalir en diversos dominios, incluyendo la ingeniería de software, donde ayuda en la comprensión, planificación, depuración y verificación de tareas a largo plazo. En el desarrollo de videojuegos, puede transformar un solo aviso en un prototipo jugable, trabajando sin problemas con motores de juego. Para tareas de oficina y análisis, convierte contextos desordenados en artefactos compartibles como documentos y hojas de cálculo. En la investigación científica, ofrece fuertes capacidades de razonamiento y resolución de problemas.
El modelo es de código abierto y está disponible en plataformas como Hugging Face, ModelScope, GitCode y CNB. Soporta despliegue con vLLM o SGLang y ofrece un pipeline integral de ajuste fino del modelo. Hy4 Preview se publica bajo la Licencia Apache 2.0, asegurando su accesibilidad y adaptabilidad para diversas aplicaciones.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Hy4 Preview
Arquitectura de Mixture-of-Experts
770 mil millones de parámetros
Gated DeepSeek Sparse Attention
Hyper-Conexiones de identidad
Código abierto
Soporte para ajuste fino
Decodificación especulativa
Disponible en Hugging Face
Primeros pasos con Hy4 Preview
Acceder a la página del modelo: Visita la página oficial de Hugging Face
Autenticarse: Inicia sesión o crea una cuenta
Configurar: Establece los parámetros del modelo y el entorno
Enviar avisos: Interactúa con el modelo utilizando llamadas a la API
Ajustar: Personaliza el modelo para tareas específicas
Casos de uso de Hy4 Preview
- Ingeniería de Software
- Desarrollo de Videojuegos
- Análisis de Oficina
- Investigación Científica
- Investigación en IA
