Description
tinycmdr est un agent d'opérations autonome conçu pour gérer des modèles de langage de grande taille (LLMs) locaux et auto-hébergés. Il est conçu pour fonctionner avec un seul fichier Python et trois dépendances, ce qui le rend léger et efficace. L'outil prend en charge tout point de terminaison compatible avec OpenAI, y compris llama.cpp, vLLM, SGLang, Ollama ou une API cloud, offrant ainsi une flexibilité de déploiement.
Lire la suite
L'agent est construit pour s'exécuter sur la machine qu'il gère, permettant aux utilisateurs d'envoyer des tâches qu'il exécute à l'aide d'outils réels tels que des commandes shell, l'exécution de code, l'édition de fichiers et la récupération d'URL. Il narre ses actions et maintient son état dans des fichiers simples, garantissant transparence et facilité d'utilisation. L'invite est un préfixe stable et compatible avec le cache, et le temps d'exécution est conçu pour empêcher un modèle confus d'occuper l'emplacement d'inférence.
Les utilisateurs peuvent interagir avec tinycmdr via un terminal ou des plateformes de chat telles que Mattermost et Telegram, en utilisant le même vocabulaire et le même processus. L'installation est simple, avec des options pour Windows, Linux et macOS, et nécessite les versions de Python 3.10 à 3.12. L'agent crée son propre environnement Python privé et démarre avec la machine, garantissant une intégration transparente.
tinycmdr offre une gamme de commandes pour diverses opérations, y compris la vérification de l'état, le diagnostic des problèmes, la mise à jour de la version et le redémarrage de l'agent. Les utilisateurs peuvent étendre ses capacités en ajoutant des outils ou des livres de recettes personnalisés, qui deviennent immédiatement disponibles à l'utilisation. Cela fait de tinycmdr un outil polyvalent pour les développeurs et les opérateurs travaillant avec des LLMs locaux et auto-hébergés.
- CatégorieCréateurs d'agents IA
- Modèle tarifaireOpen source
- DéploiementPython
- PlateformesWindows, Linux, macOS
Fonctionnalités principales de tinycmdr
Déploiement avec un seul fichier Python
Trois dépendances requises
Prend en charge les points de terminaison compatibles avec OpenAI
Fonctionne sur Windows, Linux et macOS
Interaction via terminal et plateformes de chat
Intégration d'outils et de livres de recettes personnalisés
Préfixe d'invite stable et compatible avec le cache
Maintient l'état dans des fichiers simples
Comment utiliser tinycmdr ?
Installer : Suivez les instructions spécifiques à la plateforme
Configurer : Configurez l'environnement Python et les dépendances
Utiliser : Exécutez des tâches via le terminal ou le chat
Étendre : Ajoutez des outils ou des livres de recettes personnalisés
Cas d'utilisation de tinycmdr
- Gestion de Modèle Local
- Opérations LLM Auto-Hébergées
- Intégration d'Outils Personnalisés
- Interaction sur Plateforme de Chat
- Exécution de Commandes Terminal
