FlashInfer

llamafile

AI-репозитории на GitHub

#135

Инструмент, предназначенный для упрощения распространения и выполнения больших языковых моделей (LLM) с использованием одного файла. Он облегчает сотрудничество и…Llamafile — это инструмент, предназначенный для упрощения распространения и выполнения больших языковых моделей (LLM) с использованием одного файла. Он облегчает сотрудничество и…

SGLang

AI-репозитории на GitHub

#53

Высокопроизводительный фреймворк для обслуживания, разработанный для крупных языковых моделей и мультимодальных моделей. Он предоставляет эффективные возможности…SGLang — это высокопроизводительный фреймворк для обслуживания, разработанный для крупных языковых моделей и мультимодальных моделей. Он предоставляет эффективные возможности…

MLX LM

AI-репозитории на GitHub

#162

Проект на GitHub, разработанный для упрощения работы с большими языковыми моделями (LLM) с использованием фреймворка MLX. Он позволяет разработчикам участвовать в его…MLX LM — это проект на GitHub, разработанный для упрощения работы с большими языковыми моделями (LLM) с использованием фреймворка MLX. Он позволяет разработчикам участвовать в его…

mlc-llm

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

DeepEval

AI-репозитории на GitHub

#80

Фреймворк с открытым исходным кодом, предназначенный для оценки больших языковых моделей (LLM). Он позволяет разработчикам вносить свой вклад и улучшать процесс…DeepEval — это фреймворк с открытым исходным кодом, предназначенный для оценки больших языковых моделей (LLM). Он позволяет разработчикам вносить свой вклад и улучшать процесс…

PowerInfer

AI-репозитории на GitHub

#202

Высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…PowerInfer — это высокоскоростной инструмент для обслуживания больших языковых моделей, предназначенный для локального развертывания. Он обеспечивает эффективное и быстрое…

Mirascope - LLM Anti-Framework

AI-репозитории на GitHub

Инновационный LLM Anti-Framework, разработанный для упрощения процесса разработки больших языковых моделей. Он предлагает совместную платформу на GitHub, где…Mirascope — это инновационный LLM Anti-Framework, разработанный для упрощения процесса разработки больших языковых моделей. Он предлагает совместную платформу на GitHub, где…

LMDeploy

AI-репозитории на GitHub

#72

Набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…