描述
tinycmdr 是一个为管理本地和自托管的大型语言模型(LLMs)量身定制的自主操作代理。它设计为使用一个 Python 文件和三个依赖项,使其轻量高效。该工具支持任何与 OpenAI 兼容的端点,包括 llama.cpp、vLLM、SGLang、Ollama 或云 API,提供灵活的部署选项。
阅读更多
该代理构建在其管理的机器上运行,允许用户发送任务,由其使用真实工具执行,如 shell 命令、代码执行、文件编辑和 URL 获取。它叙述其操作并在普通文件中维护其状态,确保透明性和易用性。提示是一个稳定的、缓存友好的前缀,运行时设计旨在防止混淆的模型占用推理槽。
用户可以通过终端或聊天平台(如 Mattermost 和 Telegram)与 tinycmdr 互动,使用相同的词汇和流程。安装过程简单,支持 Windows、Linux 和 macOS,并要求 Python 版本为 3.10 至 3.12。该代理创建自己的私有 Python 环境,并与机器一起启动,确保无缝集成。
tinycmdr 提供一系列命令用于各种操作,包括检查状态、诊断问题、更新构建和重启代理。用户可以通过添加自定义工具或运行手册来扩展其功能,这些工具或手册会立即可用。这使得 tinycmdr 成为开发人员和操作人员在处理本地和自托管 LLM 时的多功能工具。
- 类别AI 智能体构建工具
- 定价模式开源
- 部署Python
- 平台Windows、Linux、macOS
tinycmdr的核心功能
单个 Python 文件部署
需要三个依赖项
支持与 OpenAI 兼容的端点
在 Windows、Linux 和 macOS 上运行
终端和聊天平台互动
自定义工具和运行手册集成
稳定的、缓存友好的提示前缀
在普通文件中维护状态
如何使用 tinycmdr?
安装:按照特定平台的说明进行操作
配置:设置 Python 环境和依赖项
使用:通过终端或聊天执行任务
扩展:添加自定义工具或运行手册
tinycmdr的使用案例
- 本地模型管理
- 自托管 LLM 操作
- 自定义工具集成
- 聊天平台互动
- 终端命令执行







