Description
Beam 1.0 DFlash2 est un modèle de brouillon qui fonctionne en conjonction avec le modèle de langage Beam, offrant une approche unique du traitement du langage grâce au décodage spéculatif. Ce modèle n'est pas autonome ; il fonctionne plutôt comme un rédacteur, générant un bloc de jetons en un seul passage avant tout en maintenant les meilleurs candidats à chaque position. Un petit sélecteur choisit ensuite le chemin optimal parmi ces candidats. L'architecture du modèle comprend cinq couches avec une taille cachée de 5120, et il utilise des convolutions dynamiques à deux taps pour éviter la dégradation de l'exactitude vers la fin du bloc.
Lire la suite
Le rédacteur se conditionne sur les états cachés de Beam, réutilisant l'embedding gelé et la tête du modèle de langage de Beam. Il présente une attention sur le contexte avec une fenêtre glissante de 4 096 jetons, garantissant que les coûts de rédaction n'augmentent pas avec la longueur du contexte. Avec 1,93 milliard de paramètres, Beam 1.0 DFlash2 est entraîné avec une taille de bloc de 16, bien qu'une taille de 8 soit recommandée pour le service.
En termes de performance, Beam 1.0 DFlash2 démontre des résultats impressionnants à travers divers benchmarks, y compris GSM8K, MATH-500, HumanEval, MBPP et MT-Bench. La longueur d'acceptation du modèle varie avec la longueur de l'invite, maintenant l'efficacité même avec de longs contextes. De plus, le modèle offre un gain de vitesse de décodage significatif, avec le nombre de jetons de sortie par seconde augmentant considérablement à différents niveaux de concurrence.
Beam 1.0 DFlash2 est conçu pour l'intégration avec Beam dans les formats bf16, FP8 ou NVFP4, utilisant des recettes telles que SGLang, vLLM et TokenSpeed. Ce modèle est particulièrement adapté aux applications nécessitant une grande précision et efficacité dans le traitement du langage, en faisant un outil précieux pour les développeurs et les chercheurs dans le domaine de l'intelligence artificielle.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de Beam 1.0 DFlash2
Serveur de décodage spéculatif
Rédaction de jetons avec sélection des meilleurs candidats
Convolutions dynamiques à deux taps
Attention avec fenêtre glissante de 4 096 jetons
1,93 milliard de paramètres
Architecture à cinq couches
Intégration avec l'embedding gelé de Beam
Support pour bf16, FP8, NVFP4
Premiers pas avec Beam 1.0 DFlash2
Accéder au modèle : Visitez Hugging Face
S'authentifier : Utilisez vos identifiants
Configurer l'environnement : Configurer le système pour Beam
Intégrer via API : Connectez-vous en utilisant les recettes fournies
Optimiser : Ajustez les paramètres pour la performance
Cas d'utilisation de Beam 1.0 DFlash2
- Traitement du langage
- Rédaction de jetons
- Attention contextuelle
- Recherche en IA
- Intégration de modèle










