omlx

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MNN

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

Splash

AI-репозитории на GitHub

#137

Локальный движок вывода, разработанный специально для Apple silicon. Он обеспечивает эффективный вывод моделей на устройствах Apple, предоставляя упрощенное решение…Splash — это локальный движок вывода, разработанный специально для Apple silicon. Он обеспечивает эффективный вывод моделей на устройствах Apple, предоставляя упрощенное решение…

LMCache

AI-репозитории на GitHub

Высокопроизводительный уровень кэширования ключ-значение, разработанный для повышения эффективности больших языковых моделей (LLM). Он оптимизирует скорость…LMCache — это высокопроизводительный уровень кэширования ключ-значение, разработанный для повышения эффективности больших языковых моделей (LLM). Он оптимизирует скорость…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

WebLLM

AI-репозитории на GitHub

web-llm — это высокопроизводительный движок вывода LLM в браузере, предназначенный для выполнения задач машинного обучения непосредственно в веб-средах. Он позволяет разработчикам…

TokenSpeed

AI-репозитории на GitHub

#189

Высокопроизводительный движок вывода LLM, разработанный для обеспечения быстрого процесса обработки. Он оптимизирован для больших языковых моделей, предоставляя…TokenSpeed — это высокопроизводительный движок вывода LLM, разработанный для обеспечения быстрого процесса обработки. Он оптимизирован для больших языковых моделей, предоставляя…

Официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…BitNet — это официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…