본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

smolmaxxing

smolmaxxing은 자원이 제한된 장치에서 다양한 대형 언어 모델(LLM)의 실행을 최적화하는 데 중점을 둔 GitHub 프로젝트입니다. 이 프로젝트는 스마트폰, iPad 및 TV 박스와 같은 소형 장치에서 효율적인 LLM 추론을 가능하게 하는 벤치마크, 도구 및 문서를 제공합니다. 이 프로젝트의 목표는 다양한 하드웨어에서 성능과 호환성을 극대화하여 일상적인 기기에서 고급 AI를 접근 가능하게 만드는 것입니다.

저장소 보기
공유
저장소 보기
공유

smolmaxxing은 가능한 가장 작은 장치에서 대형 언어 모델(LLM)을 실행하는 한계를 확장하는 데 전념하는 오픈 소스 GitHub 리포지토리입니다. 이 프로젝트의 핵심 사명은 일반적으로 이러한 작업에 대해 성능이 부족하다고 여겨지는 하드웨어, 즉 스마트폰, 태블릿 및 스마트 TV 박스에서 다양한 LLM을 효율적으로 배포하고 실행할 수 있는 능력을 극대화하는 것입니다.

더 읽기

이 리포지토리는 벤치마크, 데이터, 문서 및 도구를 포함한 포괄적인 리소스 모음을 포함하고 있습니다. 특정 장치(예: OnePlus 전화 또는 Xiaomi TV Box S)에서 실행되는 Qwen3-Next-80B-A3B 및 Qwen3.6-35B-A3B와 같은 다양한 LLM의 성능 메트릭을 보여줍니다. 이 프로젝트는 초당 토큰(tok/s) 성능을 면밀히 추적하여 260K에서 9B 매개변수에 이르는 모델을 이러한 소형 장치에서 실행할 수 있는 가능성을 입증합니다.

smolmaxxing은 자산, 벤치마크, 데이터 및 문서에 대한 전용 디렉토리를 통해 실험에 대한 구조화된 접근 방식을 제공합니다. LLM 실행 최적화를 촉진하기 위한 패치 및 도구를 포함하고 있으며, 프로젝트의 진행 상황을 보여주는 스크린샷도 포함되어 있습니다. `README.md` 파일은 중앙 허브 역할을 하며, 크기 클래스별로 최고의 성능을 발휘하는 모델의 점수판과 Hugging Face에 호스팅된 모델에 대한 링크를 제공합니다.

이 프로젝트는 엣지 AI, 장치 내 기계 학습 및 저전력 환경에서 LLM 추론 최적화에 관심이 있는 개발자, 연구자 및 애호가에게 이상적입니다. 여러 개발자의 기여를 통해 협업을 촉진하며, 장치 벤치마크 또는 코드 개선을 제출하려는 사람들을 위한 `CONTRIBUTING.md` 가이드를 포함하고 있습니다. `LICENSE` 파일은 MIT 라이센스를 나타내며, 개방적인 사용 및 수정을 촉진합니다.

  • 카테고리MLOps 및 모델 배포
  • 요금제오픈소스
  • 배포클라우드, 셀프 호스팅
  • 플랫폼웹

  • 소형 장치에서 최적화된 LLM 추론

  • 다양한 하드웨어에서의 다양한 LLM에 대한 벤치마크

  • 260K에서 9B 매개변수까지의 모델 지원

  • 성능 추적(초당 토큰)

  • 장치별 최적화를 위한 문서

  • LLM 배포를 위한 도구 및 패치

  • 최고 성능 모델의 점수판

  • Hugging Face 모델에 대한 링크

  • 커뮤니티 기여 및 이슈 양식

  • 오픈 소스 사용을 위한 MIT 라이센스

  • 스마트폰, iPad 및 TV 박스에 대한 예제

  • 지속적인 연구 및 개발을 위한 리포지토리

  1. 리포지토리 복제: `git clone`을 사용하여 smolmaxxing 프로젝트를 로컬 머신에 가져옵니다.

  2. 문서 탐색: `docs/` 디렉토리와 `README.md`를 검토하여 프로젝트 개요, 장치 세부정보 및 설정 지침을 확인합니다.

  3. 벤치마크 검토: `bench/` 및 `data/` 디렉토리를 살펴보아 다양한 소형 장치에서의 기존 LLM 성능을 이해합니다.

  4. 종속성 설치: 대상 장치에서 LLM을 실행하는 데 필요한 라이브러리나 도구를 식별하고 설치합니다.

  5. 패치/도구 적용: LLM 실행 최적화를 위해 `patches/` 및 `tools/` 디렉토리에서 제공된 패치 및 도구를 활용합니다.

  6. 실험 실행: `EXPERIMENT.md`의 지침을 따라 소형 장치에서 LLM 추론 테스트를 수행합니다.

  7. 결과 기여: `Submit your device` 이슈 양식이나 `CONTRIBUTING.md`를 사용하여 결과나 코드 개선 사항을 공유합니다.

  • 엣지 AI 개발
  • 장치 내 LLM 추론
  • 성능 벤치마킹
  • 자원 제한 AI
  • IoT 장치를 위한 AI
  • 모바일 AI 애플리케이션

smolmaxxing 리뷰

로딩 중...

smolmaxxing와(과) 비슷한 인기 AI 도구

MNN

AI GitHub 저장소

MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

BigMoeOnEdge

AI GitHub 저장소

BigMoeOnEdge는 전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.BigMoeOnEdge는 전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

trnrt

AI GitHub 저장소

trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포

MLOps 및 모델 배포 160위

도구 보기

AI GitHub 저장소

AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포
MLOps 및 모델 배포 160위

vLLM

AI GitHub 저장소

vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

MLOps 및 모델 배포

AI GitHub 저장소 23위

도구 보기

AI GitHub 저장소

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

추천MLOps 및 모델 배포
AI GitHub 저장소 23위

llama-modchip

AI GitHub 저장소

llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

mlc-llm

AI GitHub 저장소

mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

AirLLM

AI GitHub 저장소

AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포

머신러닝 및 데이터 사이언스 73위

도구 보기

AI GitHub 저장소

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포
머신러닝 및 데이터 사이언스 73위
1/8