Petals

Estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…BitNet é uma estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…

PowerInfer

Repositórios de IA no GitHub

#208

Ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…PowerInfer é uma ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…

vLLM

Repositórios de IA no GitHub

#22

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

bitsandbytes

Repositórios de IA no GitHub

Projeto do GitHub focado em tornar modelos de linguagem grandes mais acessíveis através da quantização k-bit para PyTorch. O objetivo é otimizar o desempenho do…Bitsandbytes é um projeto do GitHub focado em tornar modelos de linguagem grandes mais acessíveis através da quantização k-bit para PyTorch. O objetivo é otimizar o desempenho do…

ColossalAI

Repositórios de IA no GitHub

#65

Projeto voltado para tornar modelos de IA grandes mais acessíveis, rápidos e acessíveis. Ele fornece ferramentas e estruturas para otimizar o treinamento e a…ColossalAI é um projeto voltado para tornar modelos de IA grandes mais acessíveis, rápidos e acessíveis. Ele fornece ferramentas e estruturas para otimizar o treinamento e a…

FlashInfer

Repositórios de IA no GitHub

Biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

MNN

Repositórios de IA no GitHub

Motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

LocalAI

Repositórios de IA no GitHub

#44

Motor de IA de código aberto que permite aos usuários executar vários modelos, incluindo LLMs, visão, voz, imagem e vídeo, em qualquer hardware sem exigir uma GPU.…LocalAI é um motor de IA de código aberto que permite aos usuários executar vários modelos, incluindo LLMs, visão, voz, imagem e vídeo, em qualquer hardware sem exigir uma GPU.…