Petals

Официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…BitNet — это официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…

PowerInfer

AI-репозитории на GitHub

#202

Высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…PowerInfer — это высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

bitsandbytes

AI-репозитории на GitHub

Проект на GitHub, направленный на упрощение доступа к большим языковым моделям с помощью k-битной квантизации для PyTorch. Он стремится оптимизировать…Bitsandbytes — это проект на GitHub, направленный на упрощение доступа к большим языковым моделям с помощью k-битной квантизации для PyTorch. Он стремится оптимизировать…

ColossalAI

AI-репозитории на GitHub

#65

Проект, направленный на то, чтобы сделать большие модели ИИ более доступными, быстрыми и доступными. Он предоставляет инструменты и фреймворки для оптимизации…ColossalAI — это проект, направленный на то, чтобы сделать большие модели ИИ более доступными, быстрыми и доступными. Он предоставляет инструменты и фреймворки для оптимизации…

FlashInfer

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

MNN

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

LocalAI

AI-репозитории на GitHub

#44

Открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…LocalAI — это открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…