AirLLM

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

PowerInfer

AI-репозитории на GitHub

#202

Высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…PowerInfer — это высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…

FlashInfer

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

ColossalAI

AI-репозитории на GitHub

#65

Проект, направленный на то, чтобы сделать большие модели ИИ более доступными, быстрыми и доступными. Он предоставляет инструменты и фреймворки для оптимизации…ColossalAI — это проект, направленный на то, чтобы сделать большие модели ИИ более доступными, быстрыми и доступными. Он предоставляет инструменты и фреймворки для оптимизации…

MNN

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

Petals

AI-репозитории на GitHub

#102

Проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…Petals — это проект с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) на домашнем оборудовании, используя подход в стиле…