MNN

vLLM

Repositórios de IA no GitHub

#23

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

Estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…BitNet é uma estrutura de inferência oficial para modelos de linguagem de 1-bit (LLMs) desenvolvida pela Microsoft. Ela permite o processamento e a implantação eficientes de LLMs,…

Baseten

Plataformas de IA

#72

A Plataforma de Inferência da Baseten permite que os usuários implantem e escalem modelos de IA de código aberto e personalizados de forma eficiente. Oferece inferência de alto…

AirLLM

Repositórios de IA no GitHub

#234

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

mlc-llm

Repositórios de IA no GitHub

Motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

Soup

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

omlx

Repositórios de IA no GitHub

#135

Servidor de inferência LLM projetado para Apple Silicon, com recursos de agrupamento contínuo e cache SSD. É gerenciado diretamente a partir da barra de menu do macOS,…omlx é um servidor de inferência LLM projetado para Apple Silicon, com recursos de agrupamento contínuo e cache SSD. É gerenciado diretamente a partir da barra de menu do macOS,…

Uma plataforma de infraestrutura de IA para desenvolvedores implantarem, ajustarem e executarem mais de 200 LLMs e modelos multimodais otimizados através de uma API compatível com…