Descrição
GLiDE 27B é um sofisticado modelo de decisão com 27 bilhões de parâmetros desenvolvido pela Fastino, projetado para fornecer respostas probabilísticas a perguntas digitadas com base em diversos estados de entrada. O modelo se destaca em cenários que exigem classificação, roteamento e pontuação precisos, em vez de geração de texto. Ele processa estados de entrada que podem incluir texto, JSON e imagens, oferecendo uma capacidade multimodal para uma análise de decisão abrangente.
Ler mais
Os usuários podem interagir com o GLiDE 27B através da API hospedada da Fastino, que suporta solicitações de decisão via um endpoint POST. A API permite vários tipos de perguntas, incluindo «escolha» (selecionando uma entre até 255 opções nomeadas), «noul» (perguntas sim/não que retornam P(sim)) e «pontuação» (atribuição de níveis ordenados). Para cada pergunta, o GLiDE 27B retorna probabilidades para cada opção possível, derivadas de uma leitura de decisão de 255 vias, garantindo que nenhum texto gerativo seja produzido.
O modelo é projetado para eficiência, realizando uma passagem direta por pergunta e pontuando todas as perguntas dentro de uma solicitação, bem como solicitações concorrentes, juntas em micro-lotes. Ele suporta longos contextos, acomodando até 40.000 tokens por prompt de pergunta por padrão, o que inclui tokens de estado, pergunta, opções e imagem. Interfaces estão disponíveis através de uma API Python e um servidor HTTP que se comunica usando o formato System One.
O GLiDE 27B opera com pesos bf16, exigindo uma GPU com 80 GB ou mais de memória, como a NVIDIA RTX PRO 6000 Blackwell Server Edition. Ele demonstrou uma latência mediana de 112 ms por solicitação nesse hardware. A arquitetura do modelo inclui um modelo de linguagem de 51,2 GB, um codificador de visão de 0,92 GB e uma leitura de 2,6 MB. A Fastino fornece um sistema de autenticação por chave de API e documentação para fácil integração e implantação. O modelo é licenciado sob a Licença da Comunidade Fastino, com componentes de terceiros mantendo suas licenças originais.
- CategoriaModelos de IA e LLMs
- Modelo de preçosFale com vendas
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de GLiDE 27B
27 Bilhões de Parâmetros
Modelo de Decisão Imagem-Texto-para-Texto
Perguntas de Decisão Digitadas (Escolha, Noul, Pontuação)
Saídas Probabilísticas para Cada Opção
Sem Geração de Texto (Não Gerativo)
Entrada Multimodal (Texto, JSON, Imagens)
Suporte a Longos Contextos (Até 40.000 Tokens)
Interfaces de API Python e Servidor HTTP
Processamento em Micro-Lotes para Eficiência
Pesos e Cálculo bf16
Requer GPU com 80 GB ou mais de Memória
API Hospedada da Fastino Disponível
Autenticação por Chave de API
Suporta Imagens Inline (URLs de Dados, Base64)
Loteamento e Concorrência Configuráveis
Primeiros passos com GLiDE 27B
Obter Chave de API: Obtenha uma chave de API da Fastino para acessar a API hospedada do GLiDE.
Preparar Solicitação: Formate sua solicitação de decisão com um estado (texto, JSON ou multimodal com imagens) e uma ou mais perguntas digitadas.
Enviar Solicitação: Use o endpoint da API Fastino (POST https://api.fastino.ai/v1/systemone) com o modelo `fastino/GLiDE`.
Receber Resposta: Receba uma resposta contendo a escolha mais provável, a probabilidade de noul ou a pontuação, juntamente com as probabilidades para todas as opções.
Integrar Localmente (Opcional): Siga as instruções do repositório para executar o GLiDE 27B localmente usando Python ou um servidor HTTP.
Casos de uso de GLiDE 27B
- Tarefas de Classificação
- Roteamento de Decisões
- Sistemas de Pontuação
- Análise Multimodal
- Análise de Sentimento
- Moderação de Conteúdo
- Triagem de Suporte ao Cliente
- Análise de Pesquisa
