본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

inferssd

AI GitHub 저장소MLOps 및 모델 배포오픈소스 · Windows, macOS

inferssd는 시스템의 RAM 또는 VRAM 용량을 초과하는 대규모 AI 모델을 실행하기 위해 설계된 오픈 소스 GitHub 프로젝트입니다. 이는 SSD 저장소에서 Mixture-of-Experts (MoE) 구성 요소를 효율적으로 스트리밍하여 달성됩니다. llama.cpp 프레임워크를 기반으로 구축된 inferssd는 제한된 하드웨어에서 고급 모델의 로컬 실행을 가능하게 하여 광범위한 메모리 업그레이드 없이도 강력한 AI를 접근할 수 있게 합니다.

저장소 보기
공유
저장소 보기
공유

inferssd는 Mixture-of-Experts (MoE) 아키텍처를 가진 대규모 AI 모델의 실행을 가능하게 하는 GitHub 프로젝트로, 모델의 크기가 사용 가능한 RAM 또는 VRAM을 초과하더라도 실행할 수 있습니다. 핵심 혁신은 SSD 저장소에서 MoE 전문가를 스트리밍할 수 있는 능력에 있으며, 이를 통해 디스크를 시스템 메모리의 확장으로 효과적으로 활용합니다. 이러한 접근 방식은 고급 모델을 로컬에서 실행하기 위한 하드웨어 요구 사항을 크게 낮추어 더 넓은 사용자와 시스템이 접근할 수 있도록 합니다.

더 읽기

이 프로젝트는 대규모 언어 모델을 위한 고성능 추론 엔진인 llama.cpp의 기반 위에 구축되었습니다. llama.cpp를 활용함으로써 inferssd는 모델 실행을 위한 최적화된 기반의 이점을 누리며, 일반 소비자급 하드웨어에서는 너무 큰 모델을 처리할 수 있는 능력을 확장합니다. 이는 비싼 고용량 GPU나 대량의 RAM에 투자하지 않고도 대규모 모델을 실험하거나 배포하고자 하는 연구자, 개발자 및 애호가들에게 특히 유용합니다.

주요 기능으로는 전체 모델을 한 번에 휘발성 메모리에 로드하는 대신 필요에 따라 모델 구성 요소를 스트리밍하는 효율적인 메모리 관리가 포함됩니다. 이 동적 로딩 메커니즘은 현재 활성화된 '전문가' 또는 모델 세그먼트만 RAM/VRAM에 존재하도록 하여 메모리 사용량을 최소화합니다. 이 프로젝트는 또한 최근 커밋을 통해 노트북에서 Windows SSD 추론 지원 및 macOS의 통합 메모리 GPU를 포함한 다양한 하드웨어 구성에 대한 최적화를 보여줍니다.

inferssd는 일반적인 하드웨어 제한을 극복하여 대규모 AI 모델에 대한 접근을 민주화하는 것을 목표로 합니다. 오픈 소스 특성은 커뮤니티 기여와 추가 개발을 장려하여 로컬 AI 추론에서 혁신을 촉진합니다. '엔진'과 '프레임워크' 구성 요소가 구분된 프로젝트 구조는 향후 다양한 모델 아키텍처나 하드웨어 플랫폼과의 통합 및 확장을 용이하게 할 수 있는 모듈형 설계를 제안합니다.

  • 카테고리MLOps 및 모델 배포
  • 요금제오픈소스
  • 배포셀프 호스팅
  • 플랫폼Windows, macOS

  • RAM 또는 VRAM보다 큰 모델 실행

  • SSD에서 Mixture-of-Experts (MoE) 스트리밍

  • 효율적인 추론을 위한 llama.cpp 기반

  • 제한된 하드웨어에서 대규모 AI 모델 실행 지원

  • MoE 모델을 위한 최적화된 메모리 관리

  • 광범위한 메모리 업그레이드 없이 로컬 추론 가능

  • 최근 커밋을 통한 지속적인 개발

  • 노트북에서 Windows SSD 추론 지원

  • 통합 메모리 GPU에 대한 최적화 (예: macOS)

  • 모듈형 '엔진' 및 '프레임워크' 아키텍처

  • 오픈 소스 사용을 위한 Apache-2.0 라이센스

  • 협업을 위한 GitHub에서 공개적으로 이용 가능

  1. 저장소 복제: `git clone`을 사용하여 inferssd 프로젝트를 GitHub에서 로컬 머신으로 다운로드합니다.

  2. 종속성 설치: 프로젝트 문서(예: `docs` 또는 `README.md`)를 따라 필요한 빌드 도구 및 라이브러리를 설치합니다. CMake 및 특정 컴파일러가 포함될 수 있습니다.

  3. 빌드 구성: CMake를 사용하여 빌드 프로세스를 구성하고, 대상 플랫폼 및 원하는 옵션을 지정합니다.

  4. 프로젝트 컴파일: 선택한 빌드 시스템(예: Make 또는 Visual Studio)을 사용하여 소스 코드를 컴파일하여 inferssd 실행 파일을 생성합니다.

  5. 모델 준비: llama.cpp 및 inferssd의 스트리밍 메커니즘과 호환되는 MoE 모델을 변환하거나 획득하여 SSD 추론에 맞게 올바르게 형식화합니다.

  6. 추론 실행: 준비한 모델로 컴파일된 inferssd 애플리케이션을 실행하여 SSD에서 전문가를 스트리밍하여 추론을 수행합니다.

  7. 성능 모니터링: 리소스 사용량 및 추론 속도를 관찰하고, 특정 하드웨어에서 최적의 성능을 위해 구성을 조정할 수 있습니다.

  • 로컬 LLM 추론
  • MoE 모델 배포
  • AI 연구 및 개발
  • 엣지 AI 애플리케이션
  • 비용 효율적인 AI 프로토타이핑

inferssd 리뷰

로딩 중...

inferssd와(과) 비슷한 인기 AI 도구

BigMoeOnEdge

AI GitHub 저장소

BigMoeOnEdge는 전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.BigMoeOnEdge는 전화기와 노트북을 포함한 다양한 장치에서 RAM보다 큰 MoE 모델을 실행할 수 있게 해줍니다. 이는 적응형 스트리밍 최적화를 사용하여 모든 하드웨어나 운영 체제에서 손실 없는 성능을 보장하며, stock llama.cpp를 활용합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

llama-modchip

AI GitHub 저장소

llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

vLLM

AI GitHub 저장소

vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

MLOps 및 모델 배포

AI GitHub 저장소 23위

도구 보기

AI GitHub 저장소

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

추천MLOps 및 모델 배포
AI GitHub 저장소 23위

trnrt

AI GitHub 저장소

trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포

MLOps 및 모델 배포 160위

도구 보기

AI GitHub 저장소

AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포
MLOps 및 모델 배포 160위

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

MNN

AI GitHub 저장소

MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

LMDeploy

AI GitHub 저장소

LMDeploy는 대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.

MLOps 및 모델 배포

AI GitHub 저장소 59위

도구 보기

AI GitHub 저장소

대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.LMDeploy는 대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.

MLOps 및 모델 배포
AI GitHub 저장소 59위

AirLLM

AI GitHub 저장소

AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포

머신러닝 및 데이터 사이언스 73위

도구 보기

AI GitHub 저장소

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포
머신러닝 및 데이터 사이언스 73위
1/8