Descripción
tinycmdr es un agente de operaciones autónomo diseñado para gestionar modelos de lenguaje grandes (LLMs) locales y autoalojados. Está diseñado para funcionar con un solo archivo de Python y tres dependencias, lo que lo hace ligero y eficiente. La herramienta soporta cualquier punto final compatible con OpenAI, incluyendo llama.cpp, vLLM, SGLang, Ollama o una API en la nube, proporcionando flexibilidad en el despliegue.
Leer más
El agente está construido para ejecutarse en la máquina que gestiona, permitiendo a los usuarios enviar tareas que ejecuta utilizando herramientas reales como comandos de shell, ejecución de código, edición de archivos y recuperación de URL. Narra sus acciones y mantiene su estado en archivos de texto plano, asegurando transparencia y facilidad de uso. El prompt es un prefijo estable y amigable con la caché, y el tiempo de ejecución está diseñado para evitar que un modelo confundido ocupe el espacio de inferencia.
Los usuarios pueden interactuar con tinycmdr a través de una terminal o plataformas de chat como Mattermost y Telegram, utilizando el mismo vocabulario y proceso. La instalación es sencilla, con opciones para Windows, Linux y macOS, y requiere versiones de Python de 3.10 a 3.12. El agente crea su propio entorno privado de Python y se inicia con la máquina, asegurando una integración sin problemas.
tinycmdr ofrece una variedad de comandos para diversas operaciones, incluyendo verificar el estado, diagnosticar problemas, actualizar la versión y reiniciar el agente. Los usuarios pueden extender sus capacidades añadiendo herramientas personalizadas o runbooks, que se vuelven inmediatamente disponibles para su uso. Esto hace de tinycmdr una herramienta versátil para desarrolladores y operadores que trabajan con LLMs locales y autoalojados.
- CategoríaCreadores de agentes de IA
- Modelo de preciosCódigo abierto
- ImplementaciónPython
- PlataformasWindows, Linux, macOS
Características principales de tinycmdr
Despliegue con un solo archivo de Python
Tres dependencias requeridas
Soporta puntos finales compatibles con OpenAI
Funciona en Windows, Linux y macOS
Interacción a través de terminal y plataformas de chat
Integración de herramientas personalizadas y runbooks
Prefijo de prompt estable y amigable con la caché
Mantiene el estado en archivos de texto plano
¿Cómo usar tinycmdr?
Instalar: Siga las instrucciones específicas de la plataforma
Configurar: Configure el entorno de Python y las dependencias
Usar: Ejecute tareas a través de la terminal o chat
Extender: Agregue herramientas personalizadas o runbooks
Casos de uso de tinycmdr
- Gestión de Modelos Locales
- Operaciones de LLM Autoalojados
- Integración de Herramientas Personalizadas
- Interacción en Plataformas de Chat
- Ejecución de Comandos en Terminal
