TokenSpeed

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

Petals

AI-репозитории на GitHub

#102

Проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…Petals — это проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…

Официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…BitNet — это официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…

MNN

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

AirLLM

AI-репозитории на GitHub

#234

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLX

AI-репозитории на GitHub

Массивный фреймворк, разработанный специально для Apple silicon, который обеспечивает эффективные операции машинного обучения. Он позволяет разработчикам вносить свой…MLX — это массивный фреймворк, разработанный специально для Apple silicon, который обеспечивает эффективные операции машинного обучения. Он позволяет разработчикам вносить свой…

FlashInfer

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

WebLLM

AI-репозитории на GitHub

web-llm — это высокопроизводительный движок вывода LLM в браузере, предназначенный для выполнения задач машинного обучения непосредственно в веб-средах. Он позволяет разработчикам…