Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

llama-modchip

llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele suporta altas taxas de tokens por segundo e uma janela de contexto de 256K, integrando recursos avançados como SwiGLU-H2 e restauração de código Claude para implantação e experimentação de modelos de IA de forma eficiente e acessível.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

llama-modchip é um projeto de código aberto do GitHub projetado para otimizar a execução de grandes modelos de linguagem (LLMs) em hardware de CPU convencional, visando especificamente sistemas com 64GB de RAM e sem GPUs dedicadas. O projeto demonstra a capacidade de executar modelos como o 284B DeepSeek-V4-Flash com menos de 59GiB de RAM, alcançando métricas de desempenho impressionantes como 44,4 tokens por segundo (pp) e 9,1-14,7 tokens por segundo no geral. Ele também suporta modelos de 30B Mistura de Especialistas (MoE), entregando velocidades entre 25-111 tokens por segundo.

Ler mais

A inovação central do llama-modchip reside em sua capacidade de aproveitar os recursos da CPU de forma eficiente, proporcionando uma solução econômica e acessível para pesquisadores, desenvolvedores e entusiastas que podem não ter acesso a uma infraestrutura de GPU de alto desempenho. Isso é particularmente significativo para modelos que requerem uma grande janela de contexto, uma vez que o projeto suporta até 256K de contexto, permitindo amplas capacidades de processamento de conversas ou documentos.

Além do desempenho bruto, o llama-modchip incorpora vários recursos e otimizações avançadas. Estes incluem SwiGLU-H2, uma função de ativação altamente eficiente, e Stockfish-PVS L3, que provavelmente se refere a um algoritmo de busca ou estrutura de dados otimizada, aprimorando as capacidades de raciocínio ou processamento do modelo. O projeto também destaca um recurso de "restauração de código Claude de 13ms", sugerindo recuperação rápida ou integração de funcionalidades relacionadas ao código, potencialmente melhorando fluxos de trabalho de desenvolvimento ou tarefas de geração de código.

A estrutura do repositório indica desenvolvimento contínuo e um foco em vários aspectos da implantação e otimização de modelos. Diretórios como `apple-silicon` sugerem otimizações específicas para os chips da série M da Apple, enquanto `benchmarks` e `docs` fornecem dados de desempenho e explicações detalhadas. A presença de pastas `patches` e `speculative` aponta para esforços contínuos de refinamento e fortalecimento de segurança. No geral, o llama-modchip visa expandir os limites do que é possível com a inferência de LLMs apenas com CPU, tornando modelos avançados de IA mais amplamente disponíveis.

  • CategoriaMLOps e implantação de modelos
  • Modelo de preçosCódigo aberto
  • ImplantaçãoAuto-hospedado
  • PlataformasLinux, Windows

  • Executar 284B DeepSeek-V4-Flash em CPU de 64GB

  • Alcançar 44,4 tokens/s pp para DeepSeek-V4-Flash

  • Suportar modelos de 30B Mistura de Especialistas (MoE)

  • Operar com janela de contexto de 256K na CPU

  • Utilizar otimização SwiGLU-H2

  • Integrar Stockfish-PVS L3

  • Apresentar restauração de código Claude de 13ms

  • Otimizado para uso de menos de 59GiB de RAM

  • Inclui otimizações específicas para Apple Silicon

  • Fornece benchmarks e documentação detalhada

  • Oferece fortalecimento de segurança e patches

  • Suporta vários sistemas operacionais (por exemplo, Fedora, Windows)

  1. Clonar Repositório: Use `git clone` para baixar o projeto llama-modchip do GitHub.

  2. Revisar Documentação: Consulte os arquivos `README.md`, `ARCHITECTURE.md` e `FAQ.md` para instruções detalhadas de configuração e requisitos do sistema.

  3. Instalar Dependências: Execute o script `install.sh` ou siga as instruções manuais para configurar as bibliotecas e ferramentas necessárias.

  4. Configurar Ambiente: Ajuste as configurações para sua arquitetura de CPU específica e configuração de RAM conforme descrito na documentação.

  5. Executar Modelos: Siga os scripts ou comandos fornecidos para carregar e executar os modelos DeepSeek-V4-Flash ou MoE.

  6. Monitorar Desempenho: Utilize ferramentas de benchmark dentro do repositório para avaliar taxas de tokens por segundo e uso de recursos.

  • Inferência de LLM Apenas com CPU
  • Desenvolvimento de IA com Limitação de Memória
  • Processamento de Janela de Contexto Alta
  • Implantação Eficiente de Modelos MoE
  • Pesquisa e Experimentação em IA
  • Geração e Restauração de Código

Avaliações de llama-modchip

Carregando...

Ferramentas de IA populares como llama-modchip

BigMoeOnEdge

Repositórios de IA no GitHub

BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

Soup

Repositórios de IA no GitHub

Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

vLLM

Repositórios de IA no GitHub

vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

MLOps e implantação de modelos

Nº 23 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

DestaqueMLOps e implantação de modelos
Nº 23 em Repositórios de IA no GitHub

mlc-llm

Repositórios de IA no GitHub

mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

trnrt

Repositórios de IA no GitHub

trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos

Nº 160 em MLOps e implantação de modelos

Ver ferramenta

Repositórios de IA no GitHub

Mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos
Nº 160 em MLOps e implantação de modelos

AirLLM

Repositórios de IA no GitHub

AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos

Nº 72 em Machine learning e ciência de dados

Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos
Nº 72 em Machine learning e ciência de dados

LMDeploy

Repositórios de IA no GitHub

LMDeploy é um conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…

MLOps e implantação de modelos

Nº 57 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…LMDeploy é um conjunto de ferramentas projetado para comprimir, implantar e servir grandes modelos de linguagem (LLMs). Ele fornece aos desenvolvedores as ferramentas necessárias…

MLOps e implantação de modelos
Nº 57 em Repositórios de IA no GitHub

FlashInfer

Repositórios de IA no GitHub

FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub
1 de 8