説明
tinycmdrは、ローカルおよび自己ホスト型の大規模言語モデル(LLM)を管理するために特化した自律的なオペレーションエージェントです。単一のPythonファイルと3つの依存関係で動作するように設計されており、軽量で効率的です。このツールは、llama.cpp、vLLM、SGLang、Ollama、またはクラウドAPIを含む、OpenAI互換のエンドポイントをサポートし、展開の柔軟性を提供します。
続きを読む
エージェントは、管理するマシン上で実行されるように構築されており、ユーザーはシェルコマンド、コード実行、ファイル編集、URL取得などの実際のツールを使用して実行されるタスクを送信できます。エージェントはその行動をナレーションし、状態をプレーンファイルに保持することで、透明性と使いやすさを確保しています。プロンプトは安定したキャッシュフレンドリーなプレフィックスであり、ランタイムは混乱したモデルが推論スロットを占有するのを防ぐように設計されています。
ユーザーは、ターミナルやMattermost、Telegramなどのチャットプラットフォームを介してtinycmdrと対話でき、同じ語彙とプロセスを使用します。インストールは簡単で、Windows、Linux、macOS向けのオプションがあり、Pythonのバージョンは3.10から3.12が必要です。エージェントは独自のプライベートPython環境を作成し、マシンと共に起動するため、シームレスな統合が保証されます。
tinycmdrは、ステータスの確認、問題の診断、ビルドの更新、エージェントの再起動など、さまざまな操作のためのコマンドを提供します。ユーザーはカスタムツールやランブックを追加することでその機能を拡張でき、すぐに使用可能になります。これにより、tinycmdrはローカルおよび自己ホスト型のLLMを扱う開発者やオペレーターにとって多用途なツールとなります。
- カテゴリーAI エージェントビルダー
- 料金モデルオープンソース
- デプロイPython
- プラットフォームWindows、Linux、macOS
tinycmdrの主要機能
単一のPythonファイルでの展開
必要な依存関係は3つ
OpenAI互換のエンドポイントをサポート
Windows、Linux、macOSで動作
ターミナルおよびチャットプラットフォームとの対話
カスタムツールおよびランブックの統合
安定したキャッシュフレンドリーなプロンプトプレフィックス
状態をプレーンファイルに保持
tinycmdrの使い方は?
インストール: プラットフォーム固有の指示に従う
設定: Python環境と依存関係を設定する
使用: ターミナルまたはチャットを介してタスクを実行する
拡張: カスタムツールやランブックを追加する
tinycmdrの使用例
- ローカルモデル管理
- 自己ホスト型LLMオペレーション
- カスタムツール統合
- チャットプラットフォームとの対話
- ターミナルコマンドの実行







