Xinference

PowerInfer

Repositórios de IA no GitHub

#202

Ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…PowerInfer é uma ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…

vLLM

Repositórios de IA no GitHub

#23

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

FlashInfer

Repositórios de IA no GitHub

Biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

BentoML

Repositórios de IA no GitHub

#93

Plataforma de código aberto projetada para simplificar a implantação de modelos e aplicações de IA. Ela permite que desenvolvedores construam APIs de inferência de…BentoML é uma plataforma de código aberto projetada para simplificar a implantação de modelos e aplicações de IA. Ela permite que desenvolvedores construam APIs de inferência de…

Petals

Repositórios de IA no GitHub

#102

Projeto de código aberto que permite aos usuários executar grandes modelos de linguagem (LLMs) em casa usando uma abordagem estilo BitTorrent. Oferece um ajuste fino e…Petals é um projeto de código aberto que permite aos usuários executar grandes modelos de linguagem (LLMs) em casa usando uma abordagem estilo BitTorrent. Oferece um ajuste fino e…

LocalAI

Repositórios de IA no GitHub

#44

Motor de IA de código aberto que permite aos usuários executar vários modelos, incluindo LLMs, visão, voz, imagem e vídeo, em qualquer hardware sem exigir uma GPU.…LocalAI é um motor de IA de código aberto que permite aos usuários executar vários modelos, incluindo LLMs, visão, voz, imagem e vídeo, em qualquer hardware sem exigir uma GPU.…

Estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…BitNet é uma estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…

Runanywhere

Repositórios de IA no GitHub

Runanywhere SDKs é um kit de ferramentas pronto para produção projetado para executar modelos de IA localmente. Facilita o desenvolvimento e a implantação de aplicações de IA,…