Description
GLiDE 27B est un modèle de décision sophistiqué de 27 milliards de paramètres développé par Fastino, conçu pour fournir des réponses probabilistes à des questions tapées basées sur des états d'entrée divers. Le modèle excelle dans les scénarios nécessitant une classification, un routage et une notation précis, plutôt que la génération de texte. Il traite des états d'entrée qui peuvent inclure du texte, du JSON et des images, offrant une capacité multimodale pour une analyse décisionnelle complète.
Lire la suite
Les utilisateurs peuvent interagir avec GLiDE 27B via l'API hébergée de Fastino, qui prend en charge les demandes de décision via un point de terminaison POST. L'API permet divers types de questions, y compris « choix » (sélectionner un parmi jusqu'à 255 options nommées), « noul » (questions oui/non retournant P(oui)), et « score » (assignation de niveaux ordonnés). Pour chaque question, GLiDE 27B retourne des probabilités pour chaque option possible, dérivées d'une lecture de décision à 255 voies, garantissant qu'aucun texte génératif n'est produit.
Le modèle est conçu pour l'efficacité, effectuant un passage avant par question et notant toutes les questions dans une demande, ainsi que des demandes concurrentes, ensemble dans des micro-lots. Il prend en charge de longs contextes, accueillant jusqu'à 40 000 tokens par invite de question par défaut, ce qui inclut les tokens d'état, de question, d'options et d'images. Des interfaces sont disponibles via une API Python et un serveur HTTP qui communique en utilisant le format System One.
GLiDE 27B fonctionne avec des poids bf16, nécessitant un GPU avec 80 Go ou plus de mémoire, tel que le NVIDIA RTX PRO 6000 Blackwell Server Edition. Il a démontré une latence médiane de 112 ms par demande sur ce matériel. L'architecture du modèle comprend un modèle de langage de 51,2 Go, un encodeur de vision de 0,92 Go et une lecture de 2,6 Mo. Fastino fournit un système de clés API et une documentation pour une intégration et un déploiement faciles. Le modèle est sous licence Fastino Community License, les composants tiers conservant leurs licences d'origine.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireContacter les ventes
- DéploiementCloud
- PlateformesWeb
Points forts de GLiDE 27B
27 milliards de paramètres
Modèle de décision image-texte-à-texte
Questions de décision tapées (choix, noul, score)
Sorties probabilistes pour chaque option
Pas de génération de texte (non génératif)
Entrée multimodale (texte, JSON, images)
Support de long contexte (jusqu'à 40 000 tokens)
Interfaces API Python et serveur HTTP
Traitement en micro-lots pour l'efficacité
Poids et calcul bf16
Nécessite 80 Go ou plus de mémoire GPU
API hébergée Fastino disponible
Authentification par clé API
Prend en charge les images en ligne (URLs de données, Base64)
Traitement par lots et concurrence configurables
Premiers pas avec GLiDE 27B
Obtenir une clé API : Obtenez une clé API de Fastino pour accéder à l'API GLiDE hébergée.
Préparer la demande : Formatez votre demande de décision avec un état (texte, JSON ou multimodal avec images) et une ou plusieurs questions tapées.
Envoyer la demande : Utilisez le point de terminaison API Fastino (POST https://api.fastino.ai/v1/systemone) avec le modèle `fastino/GLiDE`.
Recevoir la réponse : Obtenez une réponse contenant le choix le plus probable, la probabilité noul ou le score, ainsi que les probabilités pour toutes les options.
Intégrer localement (optionnel) : Suivez les instructions du dépôt pour exécuter GLiDE 27B localement en utilisant Python ou un serveur HTTP.
Cas d'utilisation de GLiDE 27B
- Tâches de classification
- Routage de décision
- Systèmes de notation
- Analyse multimodale
- Analyse de sentiment
- Modération de contenu
- Triage du support client
- Analyse des enquêtes
