描述
Flide 是一个先进的推理基础设施,专门设计用于加速 Jev 风格的决策模型。其核心创新在于能够执行精确的状态分叉,允许单个输入状态在一次前向传递中处理多个问题。这意味着状态只读取一次,然后高效地分叉,确保每个问题都能获得其在孤立提问时所得到的精确答案。
阅读更多
这种独特的架构提供了显著的性能提升,Flide 的推理速度比广泛使用的服务引擎如 vLLM 和 SGLang 快多达 9.5 倍。随着与给定状态相关的问题数量增加,性能优势变得更加明显。例如,在一个 2k-token 状态上,64 个问题时,Flide 实现了 9.5 倍的加速和 2.2 倍的吞吐量,支持 64 个客户端。
除了速度,Flide 还优先考虑准确性,保持在 float32 参考值的 1.1 分以内,使其成为最接近真实参考的引擎之一。它支持多种模型,包括基于 Qwen3.5 和 Gemma 4 的聊天模型,以及 OneJev 模型。Flide 还处理混合模型,其中 Gated DeltaNet 层确保每个问题从共享上下文的确切状态开始。该系统提供了 `--batch-invariant` 选项,确保请求无论如何批处理都能产生相同的结果。
通过 pip 安装非常简单,并且支持使用针对各种 NVIDIA GPU(包括 A40、A10、RTX 30、H100 和 H200)预构建的内核进行服务。Flide 暴露与 vLLM 和 SGLang 相同的 `/v1/systemone` API,为每个选项提供概率。它支持多模态输入,包括文本、图像和视频,具体取决于基础模型。像 FP8 量化用于在 Ada、Hopper 和 Blackwell GPU 上运行 Qwen3.5,以及用于恢复代理状态的会话缓存,进一步增强了其能力。
- 类别MLOps 与模型部署
- 部署自托管
- 平台网页版
Flide的核心功能
精确状态分叉:在一次前向传递中处理一个状态的所有问题。
加速推理:比其他服务引擎快多达 9.5 倍。
高吞吐量:在特定基准测试中,支持 64 个客户端时实现 2.2 倍的吞吐量。
接近 Float32 参考:在准确性上保持在 float32 参考值的 1.1 分以内。
批处理不变性:通过 `--batch-invariant` 确保结果一致,无论如何批处理。
ForkAttention 机制:每个问题在其状态中就地读取,仿佛是单独提问。
混合模型的精确性:支持 Gated DeltaNet 层以精确处理上下文。
单一流处理:将请求作为单个令牌流通过 CUDA 图重放。
与 vLLM/SGLang 兼容的 API:使用 `/v1/systemone` API 标准。
预构建内核:针对 NVIDIA A40、A10、RTX 30、H100 和 H200 GPU 进行了优化。
模型骨干:支持 Qwen3.5(0.8B、2B、4B、9B、27B)和 Gemma 4(E2B、E4B、12B、26B-A4B、31B)。
多模态输入:处理文本、图像和视频输入。
FP8 量化:在 Ada、Hopper 和 Blackwell GPU 上以 FP8 运行 Qwen3.5。
会话缓存:保留早期状态以供代理恢复(例如,`--session-cache-gb 40`)。
前端进程:支持在多个客户端中以单独进程运行 HTTP、渲染和标记化。
如何使用 Flide?
安装 Flide:使用 pip 安装 Flide 包。
启动服务器:运行 `flide serve` 启动推理服务器,可选择指定 `--host`。
配置模型:直接提供 Qwen3.5 或 Gemma 4 等聊天模型,或合并 Open-Jev 适配器。
发送请求:使用 `/v1/systemone` API 与服务器交互,发送状态和问题。
处理多模态输入:在状态中包含图像路径,并发送支持图像的模型的媒体。
Flide的使用案例
- 加速决策模型
- 多模态推理
- 一致的批处理
- 代理状态管理
- 高性能 LLM 服务
- 研究与开发








