LMCache

GPTCache

AI-репозитории на GitHub

Семантический кэш, разработанный для больших языковых моделей (LLMs), полностью интегрированный с LangChain и llama_index. Он оптимизирует производительность LLM,…GPTCache — это семантический кэш, разработанный для больших языковых моделей (LLMs), полностью интегрированный с LangChain и llama_index. Он оптимизирует производительность LLM,…

LMDeploy

AI-репозитории на GitHub

#72

Набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…

omlx

AI-репозитории на GitHub

#135

Сервер вывода LLM, разработанный для Apple Silicon, с функциями непрерывной пакетной обработки и кэширования SSD. Он управляется непосредственно из меню macOS,…omlx — это сервер вывода LLM, разработанный для Apple Silicon, с функциями непрерывной пакетной обработки и кэширования SSD. Он управляется непосредственно из меню macOS,…

vLLM

AI-репозитории на GitHub

#23

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

SGLang

AI-репозитории на GitHub

#53

Высокопроизводительный фреймворк для обслуживания, разработанный для крупных языковых моделей и мультимодальных моделей. Он предоставляет эффективные возможности…SGLang — это высокопроизводительный фреймворк для обслуживания, разработанный для крупных языковых моделей и мультимодальных моделей. Он предоставляет эффективные возможности…

llmware

AI-репозитории на GitHub

#81

Унифицированная платформа, предназначенная для создания корпоративных RAG-пайплайнов с использованием небольших специализированных моделей. Она упрощает интеграцию…llmware — это унифицированная платформа, предназначенная для создания корпоративных RAG-пайплайнов с использованием небольших специализированных моделей. Она упрощает интеграцию…

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…