설명
tinycmdr는 로컬 및 자체 호스팅된 대형 언어 모델(LLM)을 관리하기 위해 맞춤화된 자율 운영 에이전트입니다. 단일 Python 파일과 세 가지 종속성으로 작동하도록 설계되어 가볍고 효율적입니다. 이 도구는 llama.cpp, vLLM, SGLang, Ollama 또는 클라우드 API를 포함한 모든 OpenAI 호환 엔드포인트를 지원하여 배포의 유연성을 제공합니다.
더 읽기
이 에이전트는 관리하는 머신에서 실행되도록 구축되어 사용자가 셸 명령, 코드 실행, 파일 편집 및 URL 가져오기와 같은 실제 도구를 사용하여 실행할 작업을 보낼 수 있습니다. 작업을 설명하고 상태를 일반 파일에 유지하여 투명성과 사용 용이성을 보장합니다. 프롬프트는 안정적이고 캐시 친화적인 접두사이며, 런타임은 혼란스러운 모델이 추론 슬롯을 차지하지 않도록 설계되었습니다.
사용자는 터미널 또는 Mattermost 및 Telegram과 같은 채팅 플랫폼을 통해 tinycmdr와 상호작용할 수 있으며, 동일한 어휘와 프로세스를 사용합니다. 설치는 간단하며 Windows, Linux 및 macOS에 대한 옵션이 있으며, Python 버전 3.10에서 3.12가 필요합니다. 에이전트는 자체 개인 Python 환경을 생성하고 머신과 함께 시작하여 원활한 통합을 보장합니다.
tinycmdr는 상태 확인, 문제 진단, 빌드 업데이트 및 에이전트 재시작을 포함한 다양한 작업을 위한 명령어를 제공합니다. 사용자는 사용자 정의 도구나 실행서를 추가하여 기능을 확장할 수 있으며, 이는 즉시 사용 가능해집니다. 이는 로컬 및 자체 호스팅된 LLM을 사용하는 개발자와 운영자에게 다재다능한 도구가 됩니다.
- 카테고리AI 에이전트 빌더
- 요금제오픈소스
- 배포Python
- 플랫폼Windows, Linux, macOS
tinycmdr의 핵심 기능
단일 Python 파일 배포
세 가지 종속성 필요
OpenAI 호환 엔드포인트 지원
Windows, Linux 및 macOS에서 실행
터미널 및 채팅 플랫폼 상호작용
사용자 정의 도구 및 실행서 통합
안정적이고 캐시 친화적인 프롬프트 접두사
일반 파일에 상태 유지
tinycmdr 사용 방법은?
설치: 플랫폼별 지침 따르기
구성: Python 환경 및 종속성 설정
사용: 터미널 또는 채팅을 통해 작업 실행
확장: 사용자 정의 도구 또는 실행서 추가
tinycmdr의 사용 사례
- 로컬 모델 관리
- 자체 호스팅된 LLM 운영
- 사용자 정의 도구 통합
- 채팅 플랫폼 상호작용
- 터미널 명령 실행
