TokenSpeed

vLLM

Repositórios de IA no GitHub

#23

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

Petals

Repositórios de IA no GitHub

#102

Projeto de código aberto que permite aos usuários executar grandes modelos de linguagem (LLMs) em casa usando uma abordagem estilo BitTorrent. Oferece um ajuste fino e…Petals é um projeto de código aberto que permite aos usuários executar grandes modelos de linguagem (LLMs) em casa usando uma abordagem estilo BitTorrent. Oferece um ajuste fino e…

Estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…BitNet é uma estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…

MNN

Repositórios de IA no GitHub

Motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

AirLLM

Repositórios de IA no GitHub

#234

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLX

Repositórios de IA no GitHub

Framework de arrays projetado especificamente para Apple silicon, permitindo operações de aprendizado de máquina eficientes. Ele permite que desenvolvedores contribuam…MLX é um framework de arrays projetado especificamente para Apple silicon, permitindo operações de aprendizado de máquina eficientes. Ele permite que desenvolvedores contribuam…

FlashInfer

Repositórios de IA no GitHub

Biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

WebLLM

Repositórios de IA no GitHub

web-llm é um motor de inferência LLM de alto desempenho que funciona no navegador, projetado para facilitar tarefas de aprendizado de máquina diretamente em ambientes web. Permite…