GenieX

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

PowerInfer

AI-репозитории на GitHub

#202

Высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…PowerInfer — это высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…

ZETIC Melange

AI-приложения

#137

Автоматизирует развертывание ИИ на устройствах для любой модели на любом устройстве. Разработанный бывшими инженерами Qualcomm, он оптимизирует ускорение NPU,…ZETIC Melange автоматизирует развертывание ИИ на устройствах для любой модели на любом устройстве. Разработанный бывшими инженерами Qualcomm, он оптимизирует ускорение NPU,…

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

Ollama

AI-репозитории на GitHub

#10

Инструмент с открытым исходным кодом для запуска больших языковых моделей на вашем компьютере. Он позволяет разработчикам устанавливать модели, такие как Llama,…Ollama — это инструмент с открытым исходным кодом для запуска больших языковых моделей на вашем компьютере. Он позволяет разработчикам устанавливать модели, такие как Llama,…

LocalAI

AI-репозитории на GitHub

#44

Открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…LocalAI — это открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

FlashInfer

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…