Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

smolmaxxing

smolmaxxing é um projeto do GitHub focado na otimização da execução de vários modelos de linguagem de grande porte (LLMs) em dispositivos com recursos limitados. Ele fornece benchmarks, ferramentas e documentação para permitir uma inferência eficiente de LLMs em pequenos dispositivos como telefones, iPads e caixas de TV. O projeto visa maximizar o desempenho e a compatibilidade em uma variedade de hardware, tornando a IA avançada acessível em gadgets do dia a dia.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

smolmaxxing é um repositório de código aberto no GitHub dedicado a expandir os limites da execução de modelos de linguagem de grande porte (LLMs) nos menores dispositivos possíveis. A missão central do projeto é maximizar a capacidade de implantar e executar diferentes LLMs de forma eficiente em hardware tipicamente considerado subdimensionado para tais tarefas, incluindo smartphones, tablets e caixas de TV inteligentes.

Ler mais

O repositório contém uma coleção abrangente de recursos, incluindo benchmarks, dados, documentação e ferramentas. Ele apresenta métricas de desempenho para vários LLMs, como Qwen3-Next-80B-A3B e Qwen3.6-35B-A3B, executando em dispositivos específicos como um telefone OnePlus ou uma Xiaomi TV Box S. O projeto rastreia meticulosamente o desempenho em tokens por segundo (tok/s), demonstrando a viabilidade de executar modelos variando de 260K a 9B parâmetros nesses dispositivos compactos.

smolmaxxing fornece uma abordagem estruturada para experimentação, com diretórios dedicados para ativos, benchmarks, dados e documentação. Inclui patches e ferramentas para facilitar o processo de otimização, juntamente com capturas de tela ilustrando o progresso do projeto. O arquivo `README.md` serve como um hub central, apresentando uma tabela de classificação dos modelos com melhor desempenho por classe de tamanho e links para modelos hospedados no Hugging Face.

Este projeto é ideal para desenvolvedores, pesquisadores e entusiastas interessados em IA de borda, aprendizado de máquina em dispositivos e otimização da inferência de LLMs para ambientes de baixo consumo. Ele promove a colaboração, com contribuições de vários desenvolvedores, e inclui um guia `CONTRIBUTING.md` para aqueles que desejam enviar seus benchmarks de dispositivos ou melhorias de código. O arquivo `LICENSE` indica uma licença MIT, promovendo o uso e a modificação abertos.

  • CategoriaMLOps e implantação de modelos
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem, Auto-hospedado
  • PlataformasWeb

  • Inferência otimizada de LLM em pequenos dispositivos

  • Benchmarks para vários LLMs em hardware diverso

  • Suporte para modelos de 260K a 9B parâmetros

  • Rastreamento de desempenho (tokens por segundo)

  • Documentação para otimizações específicas de dispositivos

  • Ferramentas e patches para implantação de LLM

  • Tabela de classificação dos modelos com melhor desempenho

  • Links para modelos do Hugging Face

  • Contribuições da comunidade e formulários de problemas

  • Licença MIT para uso de código aberto

  • Exemplos para telefones, iPads e caixas de TV

  • Repositório para pesquisa e desenvolvimento contínuos

  1. Clone o Repositório: Use `git clone` para obter o projeto smolmaxxing em sua máquina local.

  2. Explore a Documentação: Revise o diretório `docs/` e o `README.md` para uma visão geral do projeto, especificações do dispositivo e instruções de configuração.

  3. Revise os Benchmarks: Examine os diretórios `bench/` e `data/` para entender o desempenho existente de LLM em vários pequenos dispositivos.

  4. Instale Dependências: Identifique e instale quaisquer bibliotecas ou ferramentas necessárias para executar LLMs em seu dispositivo alvo.

  5. Aplique Patches/Ferramentas: Utilize os patches e ferramentas fornecidos nos diretórios `patches/` e `tools/` para otimizar a execução de LLM.

  6. Realize Experimentos: Siga as diretrizes em `EXPERIMENT.md` para conduzir seus próprios testes de inferência de LLM em pequenos dispositivos.

  7. Contribua com Descobertas: Use o formulário de problema `Submit your device` ou `CONTRIBUTING.md` para compartilhar seus resultados ou melhorias de código.

  • Desenvolvimento de IA de Borda
  • Inferência de LLM em Dispositivos
  • Benchmarking de Desempenho
  • IA em Ambientes com Recursos Limitados
  • IA para Dispositivos IoT
  • Aplicação de IA Móvel

Avaliações de smolmaxxing

Carregando...

Ferramentas de IA populares como smolmaxxing

MNN

Repositórios de IA no GitHub

MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…MNN é um motor de inferência leve e de alto desempenho desenvolvido pela Alibaba. É projetado para otimizar LLMs em dispositivos e aplicações de Edge AI, proporcionando…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

BigMoeOnEdge

Repositórios de IA no GitHub

BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…BigMoeOnEdge permite executar modelos MoE maiores do que a sua RAM em vários dispositivos, incluindo telefones e laptops. Ele utiliza um otimizador de streaming adaptativo para…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

trnrt

Repositórios de IA no GitHub

trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos

Nº 160 em MLOps e implantação de modelos

Ver ferramenta

Repositórios de IA no GitHub

Mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos
Nº 160 em MLOps e implantação de modelos

vLLM

Repositórios de IA no GitHub

vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

MLOps e implantação de modelos

Nº 23 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

DestaqueMLOps e implantação de modelos
Nº 23 em Repositórios de IA no GitHub

llama-modchip

Repositórios de IA no GitHub

llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

mlc-llm

Repositórios de IA no GitHub

mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

Soup

Repositórios de IA no GitHub

Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

AirLLM

Repositórios de IA no GitHub

AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos

Nº 73 em Machine learning e ciência de dados

Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos
Nº 73 em Machine learning e ciência de dados
1 de 8