Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

inferssd

inferssd é um projeto de código aberto no GitHub projetado para executar grandes modelos de IA que excedem a capacidade da RAM ou VRAM do seu sistema. Isso é alcançado ao transmitir de forma eficiente componentes de Mixture-of-Experts (MoE) diretamente do armazenamento SSD. Construído sobre a estrutura llama.cpp, inferssd permite a execução local de modelos avançados em hardware mais restrito, tornando a IA poderosa acessível sem a necessidade de extensas atualizações de memória.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

inferssd é um projeto no GitHub focado em permitir a execução de grandes modelos de IA, especificamente aqueles com arquiteturas de Mixture-of-Experts (MoE), mesmo quando seu tamanho supera a RAM ou VRAM disponíveis. A inovação central reside em sua capacidade de transmitir especialistas MoE do armazenamento SSD, utilizando efetivamente o disco como uma extensão da memória do sistema.

Ler mais

Essa abordagem reduz significativamente os requisitos de hardware para executar modelos avançados localmente, tornando-os acessíveis a uma gama mais ampla de usuários e sistemas.

O projeto é construído sobre a base do llama.cpp, um motor de inferência de alto desempenho para grandes modelos de linguagem. Ao aproveitar o llama.cpp, inferssd se beneficia de uma base otimizada para a execução de modelos, enquanto estende suas capacidades para lidar com modelos que, de outra forma, seriam grandes demais para hardware típico de consumo. Isso é particularmente valioso para pesquisadores, desenvolvedores e entusiastas que desejam experimentar ou implantar grandes modelos sem investir em GPUs caras de alta capacidade ou em vastas quantidades de RAM.

As principais capacidades incluem gerenciamento eficiente de memória que prioriza a transmissão de componentes do modelo conforme necessário, em vez de carregar o modelo inteiro na memória volátil de uma só vez. Esse mecanismo de carregamento dinâmico garante que apenas os 'especialistas' ou segmentos do modelo atualmente ativos residam na RAM/VRAM, minimizando a pegada de memória. O projeto também demonstra desenvolvimento contínuo, com commits recentes indicando suporte para inferência SSD no Windows em laptops e otimizações para várias configurações de hardware, incluindo GPUs de memória unificada no macOS.

inferssd visa democratizar o acesso a grandes modelos de IA superando limitações comuns de hardware. Sua natureza de código aberto incentiva contribuições da comunidade e desenvolvimento adicional, promovendo inovação na inferência local de IA. A estrutura do projeto, com componentes distintos de 'motor' e 'estrutura', sugere um design modular que poderia facilitar expansões futuras e integrações com diferentes arquiteturas de modelo ou plataformas de hardware.

  • CategoriaMLOps e implantação de modelos
  • Modelo de preçosCódigo aberto
  • ImplantaçãoAuto-hospedado
  • PlataformasWindows, macOS

  • Executar modelos maiores que a RAM ou VRAM

  • Transmitir Mixture-of-Experts (MoE) do SSD

  • Construído sobre llama.cpp para inferência eficiente

  • Suporta execução de grandes modelos de IA em hardware restrito

  • Gerenciamento de memória otimizado para modelos MoE

  • Permite inferência local sem extensas atualizações de memória

  • Desenvolvimento contínuo com commits recentes

  • Suporte para inferência SSD no Windows em laptops

  • Otimizações para GPUs de memória unificada (por exemplo, macOS)

  • Arquitetura modular de 'motor' e 'estrutura'

  • Licença Apache-2.0 para uso de código aberto

  • Disponível publicamente no GitHub para colaboração

  1. Clonar Repositório: Use `git clone` para baixar o projeto inferssd do GitHub para sua máquina local.

  2. Instalar Dependências: Siga a documentação do projeto (por exemplo, em `docs` ou `README.md`) para instalar as ferramentas e bibliotecas de construção necessárias, potencialmente incluindo CMake e compiladores específicos.

  3. Configurar Construção: Utilize CMake para configurar o processo de construção, especificando sua plataforma alvo e quaisquer opções desejadas.

  4. Compilar Projeto: Compile o código-fonte usando seu sistema de construção escolhido (por exemplo, Make ou Visual Studio) para gerar os executáveis do inferssd.

  5. Preparar Modelos: Converta ou obtenha modelos MoE compatíveis com llama.cpp e o mecanismo de transmissão do inferssd, garantindo que estejam formatados corretamente para inferência SSD.

  6. Executar Inferência: Execute o aplicativo inferssd compilado com seus modelos preparados, permitindo que ele transmita especialistas do SSD para inferência.

  7. Monitorar Desempenho: Observe o uso de recursos e a velocidade de inferência, potencialmente ajustando configurações para desempenho ideal em seu hardware específico.

  • Inferência Local de LLM
  • Implantação de Modelos MoE
  • Pesquisa e Desenvolvimento em IA
  • Aplicações de IA na Edge
  • Prototipagem de IA Custo-Efetiva

Avaliações de inferssd

Carregando...

Ferramentas de IA populares como inferssd

BigMoeOnEdge

Repositórios de IA no GitHub

BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

llama-modchip

Repositórios de IA no GitHub

llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

vLLM

Repositórios de IA no GitHub

vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

MLOps e implantação de modelos

Nº 23 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

DestaqueMLOps e implantação de modelos
Nº 23 em Repositórios de IA no GitHub

trnrt

Repositórios de IA no GitHub

trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos

Nº 160 em MLOps e implantação de modelos

Ver ferramenta

Repositórios de IA no GitHub

Mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos
Nº 160 em MLOps e implantação de modelos

Soup

Repositórios de IA no GitHub

Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

MNN

Repositórios de IA no GitHub

MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

LMDeploy

Repositórios de IA no GitHub

LMDeploy é um conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…

MLOps e implantação de modelos

Nº 59 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…LMDeploy é um conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…

MLOps e implantação de modelos
Nº 59 em Repositórios de IA no GitHub

AirLLM

Repositórios de IA no GitHub

AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos

Nº 73 em Machine learning e ciência de dados

Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos
Nº 73 em Machine learning e ciência de dados
1 de 8