Description
HRM-Text-1B est un modèle de langage sophistiqué développé par Sapient Intelligence, présentant une architecture de 1 milliard de paramètres. Il est construit sur l'architecture du Modèle de Raisonnement Hiérarchique (HRM), qui utilise un design récurrent à double échelle temporelle. Ce design intègre deux modules Transformer, de haut niveau et de bas niveau, pour traiter les embeddings d'entrée sur plusieurs cycles, permettant une profondeur de calcul illimitée tout en maintenant un nombre de paramètres limité.
Lire la suite
Le modèle est pré-entraîné sur un objectif PrefixLM avec des tokens de préfixe conditionnels, ce qui le rend adapté à diverses tâches NLP telles que la classification, l'extraction et la sortie structurée. Cependant, il est important de noter que HRM-Text-1B est un point de contrôle de modèle pré-aligné et n'est pas optimisé pour les tâches de chat ou de suivi d'instructions. Les utilisateurs intéressés par de telles applications devront effectuer un alignement supplémentaire, tel que le fine-tuning supervisé (SFT) ou l'apprentissage par renforcement (RL), sur des données spécifiques aux tâches.
HRM-Text-1B prend en charge une gamme de techniques de prompting, y compris la condition directe avec des exemples à faible tirage pour les tâches NLP et la condition composite pour les tâches de raisonnement et de mathématiques. L'architecture du modèle comprend des fonctionnalités telles que l'attention contrôlée, l'encodage de position RoPE et l'activation SwiGLU, garantissant des performances robustes à travers les tâches.
Bien que le modèle soit principalement entraîné sur des corpus de texte en anglais, il a montré un potentiel d'adaptation dans les tâches de codage grâce à des expériences de tiers. Cependant, les utilisateurs doivent être conscients de ses limitations, y compris les biais potentiels et les inexactitudes dans les sorties. HRM-Text-1B est open-source sous la licence Apache 2.0, encourageant ainsi la recherche et le développement supplémentaires.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de HRM-Text-1B
1 milliard de paramètres
Architecture du Modèle de Raisonnement Hiérarchique
Design récurrent à double échelle temporelle
Pré-entraînement sur l'objectif PrefixLM
Mécanisme d'attention contrôlée
Encodage de position RoPE
Activation SwiGLU
Open Source sous la licence Apache 2.0
Premiers pas avec HRM-Text-1B
Accéder à la page du modèle : Visitez la page du modèle HRM-Text-1B sur Hugging Face.
S'authentifier : Connectez-vous à votre compte Hugging Face.
Configurer : Configurez le modèle avec la version requise des transformers.
Envoyer des prompts : Utilisez des techniques de prompting appropriées pour vos tâches.
Ajuster : Effectuez un alignement supplémentaire pour des applications spécifiques.
Cas d'utilisation de HRM-Text-1B
- Classification NLP
- Extraction de données
- Tâches de raisonnement
- QA courte
- Génération ouverte
