Проект Мая

LocalAI

AI-репозитории на GitHub

#44

Открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…LocalAI — это открытый ИИ-движок, который позволяет пользователям запускать различные модели, включая LLM, визуальные, голосовые, изображения и видео, на любом оборудовании без…

GPUStack

AI-репозитории на GitHub

#115

Менеджер кластеров GPU, разработанный для высокопроизводительного обслуживания AI-моделей, включая vLLM и SGLang, и предоставляет доступные по запросу экземпляры…GPUStack — это менеджер кластеров GPU, разработанный для высокопроизводительного обслуживания AI-моделей, включая vLLM и SGLang, и предоставляет доступные по запросу экземпляры…

Shimmy

AI-репозитории на GitHub

Движок вывода на основе WebGPU, написанный на чистом Rust, совместимый с OpenAI-API и поддерживающий GGUF. Он работает на любом GPU без необходимости в Python или…Shimmy — это движок вывода на основе WebGPU, написанный на чистом Rust, совместимый с OpenAI-API и поддерживающий GGUF. Он работает на любом GPU без необходимости в Python или…

openTPU

AI-репозитории на GitHub

Открытый источник ускорителя ИИ, разработанный компанией FeSens. Он объединяет RTL, ISA, симулятор, компилятор и профайлер в одном репозитории, что позволяет…openTPU — это открытый источник ускорителя ИИ, разработанный компанией FeSens. Он объединяет RTL, ISA, симулятор, компилятор и профайлер в одном репозитории, что позволяет…

Бесплатный инструмент, который определяет вашу GPU или Mac и показывает, какие открытые AI модели, включая LLM, модели для кодирования, изображения и видео, вы можете запустить…

AirLLM

AI-репозитории на GitHub

#234

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

TensorRT-LLM

AI-репозитории на GitHub

#63

Предоставляет Python API для определения больших языковых моделей, оптимизируя вывод на графических процессорах NVIDIA. Он включает компоненты для создания сред…TensorRT-LLM предоставляет Python API для определения больших языковых моделей, оптимизируя вывод на графических процессорах NVIDIA. Он включает компоненты для создания сред…

GenieX

AI-репозитории на GitHub

Позволяет выполнять передовые LLM и VLM локально на устройствах Qualcomm, используя NPU, GPU и CPU. Он упрощает процесс с минимальным количеством кода, предлагая…GenieX позволяет выполнять передовые LLM и VLM локально на устройствах Qualcomm, используя NPU, GPU и CPU. Он упрощает процесс с минимальным количеством кода, предлагая…