Descripción
HRM-Text-1B es un modelo de lenguaje sofisticado desarrollado por Sapient Intelligence, que cuenta con una arquitectura de 1 mil millones de parámetros. Está construido sobre la arquitectura del Modelo de Razonamiento Jerárquico (HRM), que emplea un diseño recurrente de doble escala temporal. Este diseño integra dos módulos Transformer, de alto y bajo nivel, para procesar embeddings de entrada a través de múltiples ciclos, permitiendo una profundidad de cálculo ilimitada mientras se mantiene un conteo de parámetros acotado.
Leer más
El modelo está preentrenado en un objetivo de PrefixLM con tokens de prefijo de condición, lo que lo hace adecuado para diversas tareas de NLP como clasificación, extracción y salida estructurada. Sin embargo, es importante señalar que HRM-Text-1B es un punto de control de modelo pre-alineado y no está optimizado para tareas de chat o seguimiento de instrucciones. Los usuarios interesados en tales aplicaciones necesitarían realizar una alineación adicional, como un ajuste fino supervisado (SFT) o aprendizaje por refuerzo (RL), en datos específicos de la tarea.
HRM-Text-1B admite una variedad de técnicas de prompting, incluyendo condiciones directas con ejemplos de pocos disparos para tareas de NLP y condiciones compuestas para tareas de razonamiento y matemáticas. La arquitectura del modelo incluye características como atención controlada, codificación de posición RoPE y activación SwiGLU, asegurando un rendimiento robusto en diversas tareas.
Aunque el modelo está predominantemente entrenado en corpora de texto en inglés, ha mostrado potencial para adaptación en tareas de codificación a través de experimentos de terceros. Sin embargo, los usuarios deben ser conscientes de sus limitaciones, incluyendo posibles sesgos e imprecisiones en las salidas. HRM-Text-1B es de código abierto bajo la Licencia Apache 2.0, fomentando la investigación y el desarrollo adicionales.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de HRM-Text-1B
1 Mil Millones de Parámetros
Arquitectura del Modelo de Razonamiento Jerárquico
Diseño Recurrente de Doble Escala Temporal
Pre-entrenamiento con Objetivo de PrefixLM
Mecanismo de Atención Controlada
Codificación de Posición RoPE
Activación SwiGLU
Código Abierto bajo la Licencia Apache 2.0
Primeros pasos con HRM-Text-1B
Acceder a la página del modelo: Visita la página del modelo HRM-Text-1B en Hugging Face.
Autenticarse: Inicia sesión en tu cuenta de Hugging Face.
Configurar: Configura el modelo con la versión requerida de transformers.
Enviar prompts: Utiliza técnicas de prompting apropiadas para tus tareas.
Ajustar: Realiza una alineación adicional para aplicaciones específicas.
Casos de uso de HRM-Text-1B
- Clasificación de NLP
- Extracción de Datos
- Tareas de Razonamiento
- QA de Formato Corto
- Generación Abierta
