MNN

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

Официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…BitNet — это официальная инфраструктура вывода для 1-битных больших языковых моделей (LLM), разработанная Microsoft. Она обеспечивает эффективную обработку и развертывание LLM,…

Baseten

AI-платформы

#72

Платформа вывода Baseten позволяет пользователям эффективно развертывать и масштабировать модели ИИ с открытым исходным кодом и настраиваемые модели. Она предлагает…

AirLLM

AI-репозитории на GitHub

#234

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

omlx

AI-репозитории на GitHub

#135

Сервер вывода LLM, разработанный для Apple Silicon, с функциями непрерывной пакетной обработки и кэширования SSD. Он управляется непосредственно из меню macOS,…omlx — это сервер вывода LLM, разработанный для Apple Silicon, с функциями непрерывной пакетной обработки и кэширования SSD. Он управляется непосредственно из меню macOS,…

Платформа ИИ-инфраструктуры для разработчиков, позволяющая развертывать, настраивать и запускать более 200 оптимизированных LLM и мультимодальных моделей через один совместимый с…