Descripción
GLiDE 27B es un sofisticado modelo de decisión de 27 mil millones de parámetros desarrollado por Fastino, diseñado para proporcionar respuestas probabilísticas a preguntas escritas basadas en diversos estados de entrada. El modelo sobresale en escenarios que requieren clasificación, enrutamiento y puntuación precisas, en lugar de generación de texto. Procesa estados de entrada que pueden incluir texto, JSON e imágenes, ofreciendo una capacidad multimodal para un análisis de decisiones integral.
Leer más
Los usuarios pueden interactuar con GLiDE 27B a través de la API alojada de Fastino, que admite solicitudes de decisión a través de un punto final POST. La API permite varios tipos de preguntas, incluyendo «choice» (seleccionando una de hasta 255 opciones nombradas), «noul» (preguntas de sí/no que devuelven P(sí)), y «score» (asignando niveles ordenados). Para cada pregunta, GLiDE 27B devuelve probabilidades para cada opción posible, derivadas de una lectura de decisión de 255 vías, asegurando que no se produzca texto generativo.
El modelo está diseñado para la eficiencia, realizando un pase hacia adelante por pregunta y puntuando todas las preguntas dentro de una solicitud, así como solicitudes concurrentes, juntas en micro-lotes. Soporta contextos largos, acomodando hasta 40,000 tokens por solicitud de pregunta de forma predeterminada, lo que incluye tokens de estado, pregunta, opciones y de imagen. Las interfaces están disponibles a través de una API de Python y un servidor HTTP que se comunica utilizando el formato System One.
GLiDE 27B opera con pesos bf16, requiriendo una GPU con 80 GB o más de memoria, como la NVIDIA RTX PRO 6000 Blackwell Server Edition. Ha demostrado una latencia media de 112 ms por solicitud en este hardware. La arquitectura del modelo incluye un modelo de lenguaje de 51.2 GB, un codificador de visión de 0.92 GB y una lectura de 2.6 MB. Fastino proporciona un sistema de claves API y documentación para una integración y despliegue sencillos. El modelo está licenciado bajo la Licencia de la Comunidad Fastino, con componentes de terceros que mantienen sus licencias originales.
- CategoríaModelos de IA y LLM
- Modelo de preciosContactar con ventas
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de GLiDE 27B
27 Mil Millones de Parámetros
Modelo de Decisión de Imagen-Texto-a-Texto
Preguntas de Decisión Escritas (Elección, Noul, Puntuación)
Salidas Probabilísticas para Cada Opción
Sin Generación de Texto (No Generativo)
Entrada Multimodal (Texto, JSON, Imágenes)
Soporte para Contextos Largos (Hasta 40,000 Tokens)
Interfaces de API de Python y Servidor HTTP
Procesamiento en Micro-Lotes para Eficiencia
Pesos y Cálculo bf16
Requiere GPU con Memoria de 80 GB o Más
API Alojada por Fastino Disponible
Autenticación con Clave API
Soporta Imágenes Inline (URLs de Datos, Base64)
Batching y Concurrencia Configurables
Primeros pasos con GLiDE 27B
Obtener Clave API: Obtén una clave API de Fastino para acceder a la API alojada de GLiDE.
Preparar Solicitud: Formatea tu solicitud de decisión con un estado (texto, JSON o multimodal con imágenes) y una o más preguntas escritas.
Enviar Solicitud: Utiliza el punto final de la API de Fastino (POST https://api.fastino.ai/v1/systemone) con el modelo `fastino/GLiDE`.
Recibir Respuesta: Obtén una respuesta que contenga la opción más probable, la probabilidad de noul o la puntuación, junto con probabilidades para todas las opciones.
Integrar Localmente (Opcional): Sigue las instrucciones del repositorio para ejecutar GLiDE 27B localmente usando Python o un servidor HTTP.
Casos de uso de GLiDE 27B
- Tareas de Clasificación
- Enrutamiento de Decisiones
- Sistemas de Puntuación
- Análisis Multimodal
- Análisis de Sentimientos
- Moderación de Contenidos
- Triage de Soporte al Cliente
- Análisis de Encuestas
