Descripción
AliceAI-Foundation-80B-A3B-Base es un modelo de lenguaje fundamental desarrollado por Yandex, alojado en Hugging Face. Está diseñado con una arquitectura híbrida que incorpora capas de Mezcla de Expertos (MoE), y cuenta con un total de 80 mil millones de parámetros, con 3 mil millones activos por cada token. El modelo admite una longitud de contexto de hasta 262,144 tokens, lo que lo hace adecuado para manejar entradas de texto extensas.
Leer más
El modelo fue entrenado desde cero, con un corpus de entrenamiento recién ensamblado y una arquitectura y hiperparámetros cuidadosamente seleccionados. Es particularmente fuerte en tareas que involucran conocimiento fáctico en el idioma ruso, superando a modelos de código abierto más grandes en esta área. El rendimiento del modelo se valida a través de benchmarks como WikiWebFacts y HardMultiQA, que se centran en contextos rusos.
AliceAI-Foundation-80B-A3B-Base es un modelo de lenguaje autorregresivo, actualmente en la etapa de preentrenamiento. Presenta un tamaño de estado oculto de 2048, un tamaño de vocabulario de 129,024 y consta de 48 capas. La arquitectura del modelo incluye 12 bloques de 3 capas de KDA a capas de MoE seguidas de 1 capa de Atención Gated a MoE.
Las capacidades del modelo se demuestran a través de varios benchmarks, donde muestra resultados competitivos en matemáticas, programación y tareas de razonamiento. Es particularmente efectivo en tareas de conocimiento fáctico en ruso, como lo evidencia su rendimiento en los benchmarks WikiWebFacts y HardMultiQA.
AliceAI-Foundation-80B-A3B-Base está disponible para su uso a través de la biblioteca Transformers, con una versión de referencia de 5.16.1. También se puede implementar utilizando vLLM, requiriendo Docker y NVIDIA Container Toolkit para su ejecución. El modelo está abierto para un mayor ajuste fino y adaptación a tareas específicas, con soporte para ajuste fino LoRA proporcionado en el repositorio.
Este modelo está destinado principalmente a la investigación, la experimentación y el desarrollo adicional. No es una solución lista para usar para productos y servicios de usuario final. Se aconseja a los usuarios que realicen sus propias pruebas e implementen las medidas de ajuste fino y control necesarias antes de implementar el modelo en entornos de producción.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de AliceAI-Foundation-80B-A3B-Base
80 mil millones de parámetros
3 mil millones de parámetros activos por token
Arquitectura híbrida con capas de MoE
Admite longitud de contexto de hasta 262,144 tokens
Rendimiento sólido en tareas de conocimiento fáctico en ruso
Preentrenado desde cero
Disponible a través de Transformers y vLLM
Soporta ajuste fino LoRA
Primeros pasos con AliceAI-Foundation-80B-A3B-Base
Acceder a la página del modelo: Visitar Hugging Face
Autenticarse: Iniciar sesión en su cuenta
Configurar: Establecer los parámetros del modelo
Enviar solicitudes: Ingresar sus consultas de texto
Ajustar: Adaptar el modelo a tareas específicas
Casos de uso de AliceAI-Foundation-80B-A3B-Base
- Recuperación de Conocimiento Fáctico
- Resolución de Problemas Matemáticos
- Asistencia en Programación
- Comprensión del Lenguaje
- Investigación y Desarrollo
