설명
smolmaxxing은 가능한 가장 작은 장치에서 대형 언어 모델(LLM)을 실행하는 한계를 확장하는 데 전념하는 오픈 소스 GitHub 리포지토리입니다. 이 프로젝트의 핵심 사명은 일반적으로 이러한 작업에 대해 성능이 부족하다고 여겨지는 하드웨어, 즉 스마트폰, 태블릿 및 스마트 TV 박스에서 다양한 LLM을 효율적으로 배포하고 실행할 수 있는 능력을 극대화하는 것입니다.
더 읽기
이 리포지토리는 벤치마크, 데이터, 문서 및 도구를 포함한 포괄적인 리소스 모음을 포함하고 있습니다. 특정 장치(예: OnePlus 전화 또는 Xiaomi TV Box S)에서 실행되는 Qwen3-Next-80B-A3B 및 Qwen3.6-35B-A3B와 같은 다양한 LLM의 성능 메트릭을 보여줍니다. 이 프로젝트는 초당 토큰(tok/s) 성능을 면밀히 추적하여 260K에서 9B 매개변수에 이르는 모델을 이러한 소형 장치에서 실행할 수 있는 가능성을 입증합니다.
smolmaxxing은 자산, 벤치마크, 데이터 및 문서에 대한 전용 디렉토리를 통해 실험에 대한 구조화된 접근 방식을 제공합니다. LLM 실행 최적화를 촉진하기 위한 패치 및 도구를 포함하고 있으며, 프로젝트의 진행 상황을 보여주는 스크린샷도 포함되어 있습니다. `README.md` 파일은 중앙 허브 역할을 하며, 크기 클래스별로 최고의 성능을 발휘하는 모델의 점수판과 Hugging Face에 호스팅된 모델에 대한 링크를 제공합니다.
이 프로젝트는 엣지 AI, 장치 내 기계 학습 및 저전력 환경에서 LLM 추론 최적화에 관심이 있는 개발자, 연구자 및 애호가에게 이상적입니다. 여러 개발자의 기여를 통해 협업을 촉진하며, 장치 벤치마크 또는 코드 개선을 제출하려는 사람들을 위한 `CONTRIBUTING.md` 가이드를 포함하고 있습니다. `LICENSE` 파일은 MIT 라이센스를 나타내며, 개방적인 사용 및 수정을 촉진합니다.
- 카테고리MLOps 및 모델 배포
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
smolmaxxing의 핵심 기능
소형 장치에서 최적화된 LLM 추론
다양한 하드웨어에서의 다양한 LLM에 대한 벤치마크
260K에서 9B 매개변수까지의 모델 지원
성능 추적(초당 토큰)
장치별 최적화를 위한 문서
LLM 배포를 위한 도구 및 패치
최고 성능 모델의 점수판
Hugging Face 모델에 대한 링크
커뮤니티 기여 및 이슈 양식
오픈 소스 사용을 위한 MIT 라이센스
스마트폰, iPad 및 TV 박스에 대한 예제
지속적인 연구 및 개발을 위한 리포지토리
smolmaxxing 시작하기
리포지토리 복제: `git clone`을 사용하여 smolmaxxing 프로젝트를 로컬 머신에 가져옵니다.
문서 탐색: `docs/` 디렉토리와 `README.md`를 검토하여 프로젝트 개요, 장치 세부정보 및 설정 지침을 확인합니다.
벤치마크 검토: `bench/` 및 `data/` 디렉토리를 살펴보아 다양한 소형 장치에서의 기존 LLM 성능을 이해합니다.
종속성 설치: 대상 장치에서 LLM을 실행하는 데 필요한 라이브러리나 도구를 식별하고 설치합니다.
패치/도구 적용: LLM 실행 최적화를 위해 `patches/` 및 `tools/` 디렉토리에서 제공된 패치 및 도구를 활용합니다.
실험 실행: `EXPERIMENT.md`의 지침을 따라 소형 장치에서 LLM 추론 테스트를 수행합니다.
결과 기여: `Submit your device` 이슈 양식이나 `CONTRIBUTING.md`를 사용하여 결과나 코드 개선 사항을 공유합니다.
smolmaxxing의 사용 사례
- 엣지 AI 개발
- 장치 내 LLM 추론
- 성능 벤치마킹
- 자원 제한 AI
- IoT 장치를 위한 AI
- 모바일 AI 애플리케이션








