Описание
tinycmdr — это автономный агент операций, предназначенный для управления локальными и самохостингованными большими языковыми моделями (LLM). Он разработан для работы с одним файлом Python и тремя зависимостями, что делает его легким и эффективным. Инструмент поддерживает любую конечную точку, совместимую с OpenAI, включая llama.cpp, vLLM, SGLang, Ollama или облачное API, обеспечивая гибкость в развертывании.
Читать далее
Агент создан для работы на машине, которую он управляет, позволяя пользователям отправлять задачи, которые он выполняет с использованием реальных инструментов, таких как команды оболочки, выполнение кода, редактирование файлов и получение URL. Он описывает свои действия и поддерживает свое состояние в простых файлах, обеспечивая прозрачность и удобство использования. Подсказка — это стабильный, удобный для кэширования префикс, а время выполнения разработано так, чтобы предотвратить занятие слота вывода запутанной моделью.
Пользователи могут взаимодействовать с tinycmdr через терминал или платформы чата, такие как Mattermost и Telegram, используя ту же лексику и процесс. Установка проста, с вариантами для Windows, Linux и macOS, и требует версии Python от 3.10 до 3.12. Агент создает свою собственную частную среду Python и запускается вместе с машиной, обеспечивая бесшовную интеграцию.
tinycmdr предлагает ряд команд для различных операций, включая проверку статуса, диагностику проблем, обновление сборки и перезапуск агента. Пользователи могут расширять его возможности, добавляя пользовательские инструменты или сценарии, которые становятся немедленно доступными для использования. Это делает tinycmdr универсальным инструментом для разработчиков и операторов, работающих с локальными и самохостингованными LLM.
- КатегорияКонструкторы AI-агентов
- Модель ценообразованияОткрытый код
- РазвёртываниеPython
- ПлатформыWindows, Linux, macOS
Основные функции tinycmdr
Развертывание с одним файлом Python
Требуются три зависимости
Поддерживает конечные точки, совместимые с OpenAI
Работает на Windows, Linux и macOS
Взаимодействие через терминал и платформы чата
Интеграция пользовательских инструментов и сценариев
Стабильный, удобный для кэширования префикс подсказки
Поддерживает состояние в простых файлах
Как использовать tinycmdr?
Установить: Следуйте инструкциям для конкретной платформы
Настроить: Настройте среду Python и зависимости
Использовать: Выполняйте задачи через терминал или чат
Расширить: Добавьте пользовательские инструменты или сценарии
Варианты использования tinycmdr
- Управление локальными моделями
- Операции с самохостингованными LLM
- Интеграция пользовательских инструментов
- Взаимодействие с платформами чата
- Выполнение команд терминала
