描述
GLiDE 27B 是由 Fastino 开发的一个复杂的 270 亿参数的决策模型,旨在根据多样的输入状态提供概率性答案。该模型在需要精确分类、路由和评分的场景中表现出色,而不是文本生成。它处理的输入状态可以包括文本、JSON 和图像,提供多模态能力以进行全面的决策分析。
阅读更多
用户可以通过 Fastino 托管的 API 与 GLiDE 27B 进行交互,该 API 支持通过 POST 端点发送决策请求。API 允许多种问题类型,包括「选择」(从最多 255 个命名选项中选择一个)、「noul」(返回 P(yes) 的是/否问题)和「评分」(分配有序级别)。对于每个问题,GLiDE 27B 返回每个可能选项的概率,基于 255 路决策读出,确保不生成文本。
该模型经过高效设计,每个问题执行一次前向传递,并在请求中对所有问题进行评分,同时支持并发请求,以微批处理的方式进行处理。它支持长上下文,默认情况下每个问题提示可容纳多达 40,000 个标记,包括状态、问题、选项和图像标记。接口通过 Python API 和使用 System One 格式进行通信的 HTTP 服务器提供。
GLiDE 27B 使用 bf16 权重,要求 GPU 内存 80 GB 或更多,例如 NVIDIA RTX PRO 6000 Blackwell 服务器版。在该硬件上,模型的中位延迟为每个请求 112 毫秒。该模型的架构包括 51.2 GB 的语言模型、0.92 GB 的视觉编码器和 2.6 MB 的读出。Fastino 提供 API 密钥系统和文档,以便于集成和部署。该模型根据 Fastino 社区许可证进行许可,第三方组件保留其原始许可证。
- 类别AI 模型与大语言模型
- 定价模式联系销售
- 部署云端
- 平台网页版
GLiDE 27B亮点
270 亿参数
图像-文本到文本的决策模型
输入决策问题(选择、noul、评分)
每个选项的概率输出
无文本生成(非生成性)
多模态输入(文本、JSON、图像)
长上下文支持(最多 40,000 个标记)
Python API 和 HTTP 服务器接口
高效的微批处理
bf16 权重和计算
需要 80 GB 以上的 GPU 内存
提供 Fastino 托管的 API
API 密钥认证
支持内联图像(数据 URL、Base64)
可配置的批处理和并发
GLiDE 27B入门
获取 API 密钥:从 Fastino 获取 API 密钥以访问托管的 GLiDE API。
准备请求:格式化您的决策请求,包含一个状态(文本、JSON 或带图像的多模态)和一个或多个输入问题。
发送请求:使用 Fastino API 端点(POST https://api.fastino.ai/v1/systemone)和模型 `fastino/GLiDE`。
接收响应:获取包含最可能选择、noul 概率或评分的响应,以及所有选项的概率。
本地集成(可选):按照存储库说明使用 Python 或 HTTP 服务器在本地运行 GLiDE 27B。
GLiDE 27B的使用案例
- 分类任务
- 决策路由
- 评分系统
- 多模态分析
- 情感分析
- 内容审核
- 客户支持分流
- 调查分析









