Xinference

PowerInfer

AI-репозитории на GitHub

#208

Высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…PowerInfer — это высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…

vLLM

AI-репозитории на GitHub

#22

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

FlashInfer

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

BentoML

AI-репозитории на GitHub

#95

Платформа с открытым исходным кодом, предназначенная для упрощения развертывания AI-моделей и приложений. Она позволяет разработчикам создавать API для вывода…BentoML — это платформа с открытым исходным кодом, предназначенная для упрощения развертывания AI-моделей и приложений. Она позволяет разработчикам создавать API для вывода…

Petals

AI-репозитории на GitHub

#105

Проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…Petals — это проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…

LocalAI

AI-репозитории на GitHub

#44

Открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…LocalAI — это открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…

Официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…BitNet — это официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…

Runanywhere

AI-репозитории на GitHub

Runanywhere SDKs — это готовый к производству набор инструментов, предназначенный для локального запуска AI-моделей. Он упрощает разработку и развертывание AI-приложений,…