Описание
Flide — это продвинутая инфраструктура вывода, специально разработанная для ускорения моделей принятия решений в стиле Jev. Его основная инновация заключается в способности выполнять точное разделение состояния, позволяя обрабатывать одно входное состояние для нескольких вопросов в одном прямом проходе. Это означает, что состояние считывается только один раз, а затем эффективно разделяется, обеспечивая, чтобы каждый вопрос получал точный ответ, который он получил бы, если бы был задан в изоляции.
Читать далее
Эта уникальная архитектура обеспечивает значительные приросты производительности, при этом Flide демонстрирует до 9,5 раз более быстрое выполнение по сравнению с широко используемыми серверами, такими как vLLM и SGLang. Преимущество в производительности становится еще более заметным по мере увеличения числа вопросов, связанных с данным состоянием. Например, с 64 вопросами на состоянии в 2k токенов Flide достигает ускорения в 9,5 раз и 2,2 раза большей пропускной способности с 64 клиентами.
Помимо скорости, Flide придает первостепенное значение точности, оставаясь в пределах 1,1 пункта от эталона float32, что делает его одним из самых близких движков к эталонному значению. Он поддерживает различные модели, включая модели чата на основе Qwen3.5 и Gemma 4, а также модели OneJev. Flide также обрабатывает гибридные модели, где слои Gated DeltaNet обеспечивают, чтобы каждый вопрос начинался с точного состояния общего контекста. Система предлагает опцию `--batch-invariant`, гарантируя, что запрос дает одинаковые биты независимо от того, как он сгруппирован.
Установка проста через pip, и она поддерживает обслуживание с предустановленными ядрами для различных графических процессоров NVIDIA, включая A40, A10, RTX 30, H100 и H200. Flide предоставляет тот же API `/v1/systemone`, что и vLLM и SGLang, предоставляя вероятности для каждого варианта в ответе. Он поддерживает мультимодальные входы, включая текст, изображения и видео, в зависимости от основной модели. Такие функции, как квантование FP8 для Qwen3.5 на графических процессорах Ada, Hopper и Blackwell, а также кэш сессий для возобновления состояний агентов, дополнительно улучшают его возможности.
- КатегорияMLOps и развёртывание моделей
- РазвёртываниеСамостоятельный хостинг
- ПлатформыВеб
Основные функции Flide
Точное разделение состояния: Обрабатывает одно состояние для всех вопросов в одном прямом проходе.
Ускоренный вывод: До 9,5 раз быстрее, чем другие серверы.
Высокая пропускная способность: Достигает 2,2 раза большей пропускной способности с 64 клиентами на определенных тестах.
Близость к эталону float32: Остается в пределах 1,1 пункта от эталона float32 для точности.
Непрерывность пакетов: Обеспечивает последовательные результаты независимо от группировки с помощью `--batch-invariant`.
Механизм ForkAttention: Каждый вопрос считывает свое состояние на месте, как если бы он был задан отдельно.
Точность для гибридных моделей: Поддерживает слои Gated DeltaNet для точной обработки контекста.
Обработка одного потока: Выполняет запросы как один поток токенов, воспроизводимый графиками CUDA.
Совместимый API vLLM/SGLang: Использует стандарт API `/v1/systemone`.
Предустановленные ядра: Оптимизированы для графических процессоров NVIDIA A40, A10, RTX 30, H100 и H200.
Основные модели: Поддерживает Qwen3.5 (0.8B, 2B, 4B, 9B, 27B) и Gemma 4 (E2B, E4B, 12B, 26B-A4B, 31B).
Мультимодальные входы: Обрабатывает текстовые, изображенческие и видео входы.
Квантование FP8: Запускает Qwen3.5 в FP8 на графических процессорах Ada, Hopper и Blackwell.
Кэш сессий: Сохраняет предыдущие состояния для агентов для возобновления (например, `--session-cache-gb 40`).
Процессы фронтенда: Поддерживает выполнение HTTP, рендеринг и токенизацию в отдельных процессах для многих клиентов.
Как использовать Flide?
Установите Flide: Используйте pip для установки пакета Flide.
Запустите сервер: Выполните `flide serve`, чтобы запустить сервер вывода, при необходимости указав `--host`.
Настройте модели: Обслуживайте модели чата, такие как Qwen3.5 или Gemma 4 напрямую, или объедините адаптеры Open-Jev.
Отправляйте запросы: Взаимодействуйте с сервером, используя API `/v1/systemone`, чтобы отправлять состояния и вопросы.
Обрабатывайте мультимодальные входы: Включите пути к изображениям в состояние и отправьте медиа для моделей, поддерживающих изображения.
Варианты использования Flide
- Ускоренные модели принятия решений
- Мультимодальный вывод
- Последовательная обработка пакетов
- Управление состоянием агентов
- Обслуживание высокопроизводительных LLM
- Исследования и разработки








