Descrição
smolmaxxing é um repositório de código aberto no GitHub dedicado a expandir os limites da execução de modelos de linguagem de grande porte (LLMs) nos menores dispositivos possíveis. A missão central do projeto é maximizar a capacidade de implantar e executar diferentes LLMs de forma eficiente em hardware tipicamente considerado subdimensionado para tais tarefas, incluindo smartphones, tablets e caixas de TV inteligentes.
Ler mais
O repositório contém uma coleção abrangente de recursos, incluindo benchmarks, dados, documentação e ferramentas. Ele apresenta métricas de desempenho para vários LLMs, como Qwen3-Next-80B-A3B e Qwen3.6-35B-A3B, executando em dispositivos específicos como um telefone OnePlus ou uma Xiaomi TV Box S. O projeto rastreia meticulosamente o desempenho em tokens por segundo (tok/s), demonstrando a viabilidade de executar modelos variando de 260K a 9B parâmetros nesses dispositivos compactos.
smolmaxxing fornece uma abordagem estruturada para experimentação, com diretórios dedicados para ativos, benchmarks, dados e documentação. Inclui patches e ferramentas para facilitar o processo de otimização, juntamente com capturas de tela ilustrando o progresso do projeto. O arquivo `README.md` serve como um hub central, apresentando uma tabela de classificação dos modelos com melhor desempenho por classe de tamanho e links para modelos hospedados no Hugging Face.
Este projeto é ideal para desenvolvedores, pesquisadores e entusiastas interessados em IA de borda, aprendizado de máquina em dispositivos e otimização da inferência de LLMs para ambientes de baixo consumo. Ele promove a colaboração, com contribuições de vários desenvolvedores, e inclui um guia `CONTRIBUTING.md` para aqueles que desejam enviar seus benchmarks de dispositivos ou melhorias de código. O arquivo `LICENSE` indica uma licença MIT, promovendo o uso e a modificação abertos.
- CategoriaMLOps e implantação de modelos
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Recursos principais de smolmaxxing
Inferência otimizada de LLM em pequenos dispositivos
Benchmarks para vários LLMs em hardware diverso
Suporte para modelos de 260K a 9B parâmetros
Rastreamento de desempenho (tokens por segundo)
Documentação para otimizações específicas de dispositivos
Ferramentas e patches para implantação de LLM
Tabela de classificação dos modelos com melhor desempenho
Links para modelos do Hugging Face
Contribuições da comunidade e formulários de problemas
Licença MIT para uso de código aberto
Exemplos para telefones, iPads e caixas de TV
Repositório para pesquisa e desenvolvimento contínuos
Primeiros passos com smolmaxxing
Clone o Repositório: Use `git clone` para obter o projeto smolmaxxing em sua máquina local.
Explore a Documentação: Revise o diretório `docs/` e o `README.md` para uma visão geral do projeto, especificações do dispositivo e instruções de configuração.
Revise os Benchmarks: Examine os diretórios `bench/` e `data/` para entender o desempenho existente de LLM em vários pequenos dispositivos.
Instale Dependências: Identifique e instale quaisquer bibliotecas ou ferramentas necessárias para executar LLMs em seu dispositivo alvo.
Aplique Patches/Ferramentas: Utilize os patches e ferramentas fornecidos nos diretórios `patches/` e `tools/` para otimizar a execução de LLM.
Realize Experimentos: Siga as diretrizes em `EXPERIMENT.md` para conduzir seus próprios testes de inferência de LLM em pequenos dispositivos.
Contribua com Descobertas: Use o formulário de problema `Submit your device` ou `CONTRIBUTING.md` para compartilhar seus resultados ou melhorias de código.
Casos de uso de smolmaxxing
- Desenvolvimento de IA de Borda
- Inferência de LLM em Dispositivos
- Benchmarking de Desempenho
- IA em Ambientes com Recursos Limitados
- IA para Dispositivos IoT
- Aplicação de IA Móvel








