Descrição
tinycmdr é um agente de operações autônomo adaptado para gerenciar modelos de linguagem grandes (LLMs) locais e auto-hospedados. Ele foi projetado para funcionar com um único arquivo Python e três dependências, tornando-o leve e eficiente. A ferramenta suporta qualquer ponto de extremidade compatível com OpenAI, incluindo llama.cpp, vLLM, SGLang, Ollama ou uma API em nuvem, proporcionando flexibilidade na implementação.
Ler mais
O agente é construído para rodar na máquina que gerencia, permitindo que os usuários enviem tarefas que ele executa usando ferramentas reais como comandos de shell, execução de código, edição de arquivos e busca de URLs. Ele narra suas ações e mantém seu estado em arquivos simples, garantindo transparência e facilidade de uso. O prompt é um prefixo estável e amigável ao cache, e o tempo de execução é projetado para evitar que um modelo confuso ocupe o slot de inferência.
Os usuários podem interagir com o tinycmdr através de um terminal ou plataformas de chat como Mattermost e Telegram, usando o mesmo vocabulário e processo. A instalação é simples, com opções para Windows, Linux e macOS, e requer versões do Python de 3.10 a 3.12. O agente cria seu próprio ambiente Python privado e inicia com a máquina, garantindo uma integração perfeita.
tinycmdr oferece uma variedade de comandos para diversas operações, incluindo verificação de status, diagnóstico de problemas, atualização da versão e reinicialização do agente. Os usuários podem estender suas capacidades adicionando ferramentas ou runbooks personalizados, que ficam imediatamente disponíveis para uso. Isso torna o tinycmdr uma ferramenta versátil para desenvolvedores e operadores que trabalham com LLMs locais e auto-hospedados.
- CategoriaCriadores de agentes de IA
- Modelo de preçosCódigo aberto
- ImplantaçãoPython
- PlataformasWindows, Linux, macOS
Recursos principais de tinycmdr
Implantação com um único arquivo Python
Três dependências necessárias
Suporta pontos de extremidade compatíveis com OpenAI
Funciona em Windows, Linux e macOS
Interação via terminal e plataformas de chat
Integração de ferramentas e runbooks personalizados
Prefixo de prompt estável e amigável ao cache
Mantém estado em arquivos simples
Como usar tinycmdr?
Instalar: Siga as instruções específicas da plataforma
Configurar: Configure o ambiente Python e as dependências
Usar: Execute tarefas via terminal ou chat
Estender: Adicione ferramentas ou runbooks personalizados
Casos de uso de tinycmdr
- Gerenciamento de Modelos Locais
- Operações de LLM Auto-Hospedados
- Integração de Ferramentas Personalizadas
- Interação em Plataformas de Chat
- Execução de Comandos no Terminal
