Description
AliceAI-Foundation-80B-A3B-Base est un modèle de langage fondamental développé par Yandex, hébergé sur Hugging Face. Il est conçu avec une architecture hybride incorporant des couches de mélange d'experts (MoE), et il dispose d'un total de 80 milliards de paramètres, avec 3 milliards actifs pour chaque token.
Lire la suite
Le modèle prend en charge une longueur de contexte allant jusqu'à 262 144 tokens, ce qui le rend adapté à la gestion de saisies de texte étendues.
Le modèle a été entraîné depuis le début, avec un corpus d'entraînement nouvellement assemblé et une architecture et des hyperparamètres soigneusement sélectionnés. Il est particulièrement performant dans les tâches impliquant des connaissances factuelles en langue russe, surpassant les modèles open-source plus grands dans ce domaine. La performance du modèle est validée par des benchmarks tels que WikiWebFacts et HardMultiQA, qui se concentrent sur des contextes russes.
AliceAI-Foundation-80B-A3B-Base est un modèle de langage autoregressif, actuellement en phase de pré-entraînement. Il dispose d'une taille d'état caché de 2048, d'une taille de vocabulaire de 129 024, et se compose de 48 couches. L'architecture du modèle comprend 12 blocs de 3 KDA à des couches MoE suivis d'une couche d'attention à MoE.
Les capacités du modèle sont démontrées à travers divers benchmarks, où il montre des résultats compétitifs dans les tâches de mathématiques, de programmation et de raisonnement. Il est particulièrement efficace dans les tâches de connaissance factuelle en russe, comme en témoigne sa performance dans les benchmarks WikiWebFacts et HardMultiQA.
AliceAI-Foundation-80B-A3B-Base est disponible pour utilisation via la bibliothèque Transformers, avec une version de référence de 5.16.1. Il peut également être déployé en utilisant vLLM, nécessitant Docker et NVIDIA Container Toolkit pour l'exécution. Le modèle est ouvert à un affinement et une adaptation supplémentaires à des tâches spécifiques, avec un support pour l'affinement LoRA fourni dans le dépôt.
Ce modèle est principalement destiné à la recherche, à l'expérimentation et au développement ultérieur. Ce n'est pas une solution prête à l'emploi pour les produits et services destinés aux utilisateurs finaux. Les utilisateurs sont conseillés de réaliser leurs propres tests et de mettre en œuvre les ajustements et mesures de contrôle nécessaires avant de déployer le modèle dans des environnements de production.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de AliceAI-Foundation-80B-A3B-Base
80 milliards de paramètres
3 milliards de paramètres actifs par token
Architecture hybride avec des couches MoE
Prend en charge une longueur de contexte allant jusqu'à 262 144 tokens
Excellente performance dans les tâches de connaissance factuelle en russe
Pré-entraîné depuis le début
Disponible via Transformers et vLLM
Support pour l'affinement LoRA
Premiers pas avec AliceAI-Foundation-80B-A3B-Base
Accéder à la page du modèle : Visitez Hugging Face
Authentifier : Connectez-vous à votre compte
Configurer : Définissez les paramètres du modèle
Envoyer des requêtes : Saisissez vos requêtes textuelles
Affiner : Adapter le modèle à des tâches spécifiques
Cas d'utilisation de AliceAI-Foundation-80B-A3B-Base
- Récupération de connaissances factuelles
- Résolution de problèmes mathématiques
- Assistance à la programmation
- Compréhension du langage
- Recherche et développement
